Master Thesis : Exploring Dynamic NeRFs for Reconstructing Soccer Scenes

Abstract

In computer vision, novel view synthesis refers to generating new views of an environment from unseen viewpoints, given only a set of images and possibly associated camera poses. This long-standing problem is often tackled by building an underlying 3D model that can then be rendered from new angles. Neural radiance fields (NeRFs), a recent neural method using this approach, brought groundbreaking results compared to previous techniques. The problem can be extended to 4D scene reconstruction where the scene is dynamic. Solving this even more complex problem could lead to many applications, especially in the considered context of broadcast sequences, such as special effects, bullet time, and more. Sports environments are rarely tackled yet exhibit particular characteristics as they are often composed of small dynamic parts in a large static environment (e.g., players in a stadium). This thesis explores how current state-of-the-art dynamic NeRF models perform in such environments, seeking to assess their applicability and identify crucial components that should be the focus of future work. Various experiments are performed in four environments, including real-world conditions. Although satisfactory performance can be reached in synthetic environments, we show they currently drastically fail in real-world conditions and require additional assumptions to work. However, promising directions are identified toward practical applications.

En vision par ordinateur, la synthèse de nouvelles vues consiste à générer de nouvelles images d'un environnement, seulement à partir d'images connues, et possiblement de poses de caméra associées. L'angle d'attaque généralement utilisé pour ce problème de longue date consiste à reconstruire un modèle 3D intermédiaire de l'environnement, qui peut être ensuite rendu depuis n'importe quel point de vue. Les NeRFs (neural radiance fields en anglais, littéralement champs de radiance neuronaux), ont permis des avancées spectaculaires. Le problème peut être étendu au domaine dynamique pour reconstruire des scènes en mouvement, ce qui mène à de nombreuses applications très intéressantes. Plus particulièrement, nous nous intéressons à la diffusion de football, qui bénéficierait notamment de nombreux effets spéciaux avec une méthode efficace et photoréaliste. Ces scènes sont très complexes car elles présentent une majorité de contenu statique dans lequel se situent des petits éléments dynamiques, comme les joueurs dans un stade. Nous explorons dans cette thèse les performances de méthodes récentes basées sur les NeRFs, dans le but de situer leur applicabilité actuelle pour le sport, et d'identifier de potentielles directions de recherche. Après de nombreuses expériences sur des données réelles et synthétiques, nous montrons que ces méthodes ne sont pas prêtes, mais demeurent très prometteuses grâce à l'ajout de composants supplémentaires.