Master thesis : NVIDIA Jetson Xavier AGX as multimedia broadcast system

Abstract

On the one hand, with the emergence, in particular, of the Internet of Things (IoT) and artificial intelligence, embedded systems are becoming increasingly popular and are used in many applications, including autonomous machines. The use of autonomous machines has revolutionized the industry, with inventions, such as repetitive task robots used in manufacturing and medical sensors in healthcare. Indeed, to name but two advantages, autonomous machines allow for cost efficiency and quality assurance. On the other hand, the audiovisual world is becoming increasingly demanding, particularly in terms of image quality. Indeed, while 4K resolution is becoming the quality standard, researchers are already setting up increasingly complex systems to broadcast 8K content on a large scale. This implies a furious growth in the amount of data transferred, given the growth in image quality and the numerous users enjoying video content every single day. However, the internet network responsible for data transfer is a very limited resource unable to support more and more data without problems. Video streaming is governed by a trade-off between video quality, computation, and compression rate. To succeed in providing ever higher image quality, video content must, therefore, be both compressed at never before achieved compression rates thanks to increasingly complex video encoding standards, and processed by increasingly powerful machines. The hardware, which is at the center of this work, was the NVIDIA Jetson Xavier AGX developer kit. This developer kit allows to build and produce software solutions on a large scale in Jetson Xavier AGX modules, often used in autonomous machines. Therefore, the purpose of this thesis was to provide a broadcasting solution as powerful and portable as possible on an NVIDIA Jetson Xavier AGX module. This thesis addresses the issue of video streaming by analyzing the different main video formats, video coding standards, and key video compression techniques. Then, this project deals mainly with the computational part of the trade-off, i.e., providing more computing power to accelerate the decompression of encoded data on embedded systems, via well-known and advanced formats such as H.264 or H.265. For the practical part of this thesis, we will first analyze the decoding performance of a solution based on the specific hardware of the AGX module. Then, we will extend this powerful solution to make it as portable as possible by using CPU and then GPU programming. Finally, we will compare the results provided by the different solutions.

D'une part, avec l'émergence, en particulier, de l'Internet of Things (IoT) et de l'intelligence artificielle, les systèmes embarqués sont de plus en plus populaires et sont utilisés dans de nombreuses applications, y compris dans le domaine des machines autonomes. L'utilisation de machines autonomes a révolutionné l'industrie avec des inventions telles que les robots à tâches répétitives, pour la fabrication, et les capteurs médicaux, pour les soins de santé. En effet, pour ne citer que deux avantages, les machines autonomes permettent de réduire les coûts et d'assurer la qualité. D'autre part, le monde de l'audiovisuel devient de plus en plus exigeant, notamment en termes de qualité d'image. En effet, alors que la résolution 4K est en passe de devenir la norme de qualité, les chercheurs mettent déjà en place des systèmes de plus en plus complexes pour diffuser des contenus 8K à grande échelle. Cela implique une croissance furieuse de la quantité de données transférées, compte tenu de l'augmentation de la qualité des images et des nombreux utilisateurs profitant chaque jour de contenu vidéo. Or, le réseau internet chargé du transfert de données est une ressource très limitée, incapable de supporter, sans aucun problème, une quantité de données toujours plus importante. Le streaming vidéo est régi par un compromis entre la qualité vidéo, le calcul et le taux de compression. Pour réussir à fournir une qualité d'image toujours plus élevée, le contenu vidéo doit donc être à la fois compressé à des taux de compression jamais atteints auparavant, grâce à des normes d'encodage vidéo de plus en plus complexes, et traité par des machines de plus en plus puissantes. Le matériel, qui est au centre de ce travail, est le kit de développement NVIDIA Jetson Xavier AGX. Ce kit de développement permet de construire et de produire des logiciels à grande échelle dans les modules Jetson Xavier AGX, souvent utilisés dans les machines autonomes. L'objectif de cette thèse était donc de fournir une solution de diffusion, aussi puissante et portable que possible, sur un module NVIDIA Jetson Xavier AGX. Cette thèse aborde la question du streaming vidéo en analysant les principaux formats de vidéo, les normes d'encodage vidéo et les principales techniques de compression vidéo. Ensuite, ce projet traite principalement de la partie calcul du compromis, i.e., en fournissant plus de puissance de calcul pour accélérer la décompression des données encodées sur les systèmes embarqués via des formats connus et avancés, tels que H.264 ou H.265. Pour la partie pratique de cette thèse, nous analyserons d'abord les performances de décodage d'une solution basée sur le matériel spécifique du module AGX. Ensuite, nous étendrons cette solution puissante pour la rendre aussi portable que possible en utilisant la programmation par CPU puis par GPU. Enfin, nous comparerons les résultats fournis par les différentes solutions.