Tree inventory identification from UAV-mounted LiDAR point cloud using deep learning: application of VoteNet from TorchPoints3D for 3D object detection purposes

Abstract

Réaliser de manière efficace un inventaire forestier précis est une étape importante pour une gestion optimale des forêts. De nombreuses études se sont intéressées à ce sujet. Une méthode efficace pour acquérir des données sur la structure horizontale et verticale des forêts sur de larges zones est d'utiliser un capteur light detection and ranging(LiDAR) monté sur un drone. Diverses méthodes basées sur ces données ont été explorées dans la littérature. Les méthodes traditionnelles utilisent souvent des algorithmes basés sur des règles ou des techniques de machine learning. Cependant, le point faible de ces méthodes est leur dépendance au site d'étude, nécessitant que leurs paramètres soient déterminés en fonction du type de forêt étudié. Elles sont plus difficilement applicables en contexte forestier hétérogène. Une solution récente est le développement des modèles de détection d'objets par deep learning. Ces méthodes sont de plus en plus étudiées dans la littérature, dans divers domaines de recherche. Leur avantage est que, grâce à un jeu de données d'entrainement suffisamment large et varié, un modèle de détection d'objets peut apprendre à détecter avec précision des objets de différents types et dans des contextes divers. L'un de leurs principaux inconvénients est que leur processus d'entraînement est chronophage et nécessite des ensembles de données vastes et variés, ainsi que des ressources de calcul importantes. Ce domaine a été largement exploré pour la détection et la segmentation d'objets en 2D, avec des modèles pré-entraînés désormais disponibles, capables de détecter diverses classes et d'être appliqués à différentes tâches sans nécessiter de ré-entraînement, ou nécessitant seulement quelques ajustements, comme c'est le cas avec le modèle You Only Look Once (YOLO). Cependant, à notre connaissance, aucune étude n'a appliqué ce type de modèles de détection d'objets directement aux nuages de points 3D pour la détection des arbres en contexte forestier. De ce fait, le but de cette étude est de réaliser de la détection d'arbres en contexte forestier, en utilisant un modèle de deep learning. Le modèle choisi est le modèle VoteNet présenté par Qi et al. en 2019. Un capteur LiDAR embarqué sur un drone a été utilisé pour obtenir un nuage de points au sein d'une forêt mélangée au Sart-Tilman, situé dans la ville de Liège en Belgique. Ces données ont été annotées manuellement à l'aide du logiciel CloudCompare, et utilisées en tant que jeu de données d'entrainement pour le modèle. Le modèle et le jeu de données ont été implémentés et testés dans le framework Python TorchPoints3D. La prise en main de ce framework a constitué un partie importante du travail réalisé pour cette étude. Bien que cette étude ait permis le développement et l'implémentation d'un algorithme de deep learning pour réaliser de la détection d'objets, son applicabilité en contexte forestier mixte n'a pas pu être démontrée. Un des aspects majeurs de cette étude qui pourrait être amélioré pour obtenir de meilleurs résultats est le manque de données d'entrainement. En raison du temp requis et de la difficulté pour annoter les données, seulement une partie du jeu de données a pu être annoté. Or, pour obtenir un modèle de deep learning efficace, il est important d'avoir un large jeu de données. Ainsi, avant de modifier l'architecture du modèle ou d'ajuster davantage de paramètres, il est important de labelliser une plus grande quantité de données. De plus, des lacunes dans ce domaine ont été mises en évidence par ce travail. L'une d'entre elles est l'absence de logiciels open-source pour la labellisation de nuages de points, permettant de créer des bounding boxes dans de grands nuages de points. Par conséquent le logiciel CloudCompare a été utilisé pour annoter les nuages de points, ce qui s'est avéré chronophage et compliqué. Un autre problème est l'absence, à notre connaissance, de jeux de données publiques de nuages de points d'environnements forestiers annotés pour de la détection d'objets 3D, ce qui rend nécessaire l'acquisition et l'annotation de données. Par conséquent, ce travail ne fournit pas de résultats permettant de prouver l' applicabilité du deep learning pour la détection d'arbres dans des nuages de points. Cependant, il propose une procédure d'installation complète et à jour du framework TorchPoints3D, un jeu de données de nuages de points aériens de milieux forestiers hétérogènes, ainsi qu'une méthode de labellisation de nuages de points pour la détection d'objets. Il inclut également une extension de TorchPoints3D pour intégrer ce jeu de données et l'utiliser pour entrainer le modèle VoteNet