Identifying African mammal species in aerial images with object detection algorithms

Abstract

Monitoring and census of wild animal populations are among the key elements in nature conservation. The use of UAV (Unmanned Aircraft Vehicle) or light aircraft as aerial image acquisition system is a more suitable and cheaper alternative to traditional census methods. However, the manual localization and identification of species within these images can quickly become time-consuming and complex. Detection algorithms, based on Convolutional Neural Networks (CNNs), have shown a good capacity for animal detection based on aerial images. Nevertheless, most of the work is focused on binary detection cases. The main objective of this study is to compare the performances of three recent detection algorithms to detect and identify seven African mammals (Alcelaphinae, buffaloes, elephants, hippopotamuses, kobs, warthogs, and waterbucks) based on high-resolution aerial images of various African landscapes. To do so, the performances of the multi-class CNNs Faster-RCNN, Libra-RCNN and RetinaNet to detect these seven animal species in aerial images from four different datasets were evaluated. The algorithms tested were able to detect 91.8 to 95.5% of the animals, with a ratio of 2.8 to 13.8 false positives per true positive. All three algorithms have generally met the challenges that aerial images can present in animal detection. Libra-RCNN showed the best mean Average Precision (mAP=0.68), the lowest degree of inter-species confusion and a lower sensitivity to variation in prediction thresholding. Hippopotamuses and warthogs were the most difficult species to identify and detect (low precision) by all three algorithms. However, these algorithms present themselves as good future semi-automatic detection tools and each has interesting specificity for a potential practical implementation.

La surveillance et le recensement des populations animales sauvages font partie des éléments clefs dans la conservation de la nature. L'utilisation de drones ou d'avions légers comme système d'acquisition d'images aériennes se présente comme une alternative plus adaptée et moins chère que les méthodes traditionnelles d'inventaire. Cependant, la localisation et l'identification manuelles des espèces au sein de ces images peuvent rapidement devenir chronophage et complexe. Des algorithmes de détection, basés sur des réseaux de neurones convolutifs (RNCs), ont montré une bonne capacité à la détection animale sur base d'images aériennes. Néanmoins, la majorité des travaux ont porté sur des cas de détection binaire. L'objectif principal de cette étude est de comparer les performances de trois récents algorithmes à détecter et identifier sept mammifères africains (Alcelaphinae, buffles, éléphants, hippopotames, cobs, des phacochères et cobs à croissant) sur base d'images aériennes à haute résolution de paysages africains variés. Pour ce faire, les performances des RNCs multi-classe Faster-RCNN, Libra-RCNN et RetinaNet à détecter ces sept espèces animales au sein d'images aériennes provenant de quatre jeux de données différents, ont été évaluées. Les algorithmes testés ont réussi à détecter 91,8 à 95,5% des animaux, avec un rapport allant de 2,8 à 13,8 faux positifs par vrai positif. Les trois algorithmes ont globalement relevé les défis que peuvent présenter les images aériennes en détection animale. Libra-RCNN est celui qui a montré la meilleure mean Average Precision (mAP=0.68), le moins de confusion entre les espèces et une moins forte sensibilité à la variation du seuillage des prédictions. Les hippopotames et les phacochères ont été les espèces les plus difficiles à identifier et détecter (faible précision) par les trois algorithmes. Toutefois, ces algorithmes se présentent comme de bons futurs outils de détection semi-automatique et possèdent chacun une spécificité intéressante pour une potentielle implémentation pratique.