Feedback

Faculté des Sciences appliquées
Faculté des Sciences appliquées
MASTER THESIS
VIEW 163 | DOWNLOAD 21

Master Thesis : Exploring Dynamic NeRFs for Reconstructing Soccer Scenes

Download
Lewin, Sacha ULiège
Promotor(s) : Louppe, Gilles ULiège
Date of defense : 26-Jun-2023/27-Jun-2023 • Permalink : http://hdl.handle.net/2268.2/17704
Details
Title : Master Thesis : Exploring Dynamic NeRFs for Reconstructing Soccer Scenes
Translated title : [fr] Exploration des NeRFs Dynamiques pour la Reconstruction de Scènes de Football
Author : Lewin, Sacha ULiège
Date of defense  : 26-Jun-2023/27-Jun-2023
Advisor(s) : Louppe, Gilles ULiège
Committee's member(s) : Van Droogenbroeck, Marc ULiège
Geurts, Pierre ULiège
Hoyoux, Thomas 
Language : English
Number of pages : 74
Keywords : [en] NeRF
[en] Deep Learning
[en] 3D Reconstruction
[en] Dynamic
[en] Sports
[en] Computer Vision
Discipline(s) : Engineering, computing & technology > Computer science
Target public : Researchers
Professionals of domain
Institution(s) : Université de Liège, Liège, Belgique
Degree: Master : ingénieur civil en science des données, à finalité spécialisée
Faculty: Master thesis of the Faculté des Sciences appliquées

Abstract

[en] In computer vision, novel view synthesis refers to generating new views of an environment from unseen viewpoints, given only a set of images and possibly associated camera poses. This long-standing problem is often tackled by building an underlying 3D model that can then be rendered from new angles. Neural radiance fields (NeRFs), a recent neural method using this approach, brought groundbreaking results compared to previous techniques. The problem can be extended to 4D scene reconstruction where the scene is dynamic. Solving this even more complex problem could lead to many applications, especially in the considered context of broadcast sequences, such as special effects, bullet time, and more. Sports environments are rarely tackled yet exhibit particular characteristics as they are often composed of small dynamic parts in a large static environment (e.g., players in a stadium). This thesis explores how current state-of-the-art dynamic NeRF models perform in such environments, seeking to assess their applicability and identify crucial components that should be the focus of future work. Various experiments are performed in four environments, including real-world conditions. Although satisfactory performance can be reached in synthetic environments, we show they currently drastically fail in real-world conditions and require additional assumptions to work. However, promising directions are identified toward practical applications.

[fr] En vision par ordinateur, la synthèse de nouvelles vues consiste à générer de nouvelles images d'un environnement, seulement à partir d'images connues, et possiblement de poses de caméra associées. L'angle d'attaque généralement utilisé pour ce problème de longue date consiste à reconstruire un modèle 3D intermédiaire de l'environnement, qui peut être ensuite rendu depuis n'importe quel point de vue. Les NeRFs (neural radiance fields en anglais, littéralement champs de radiance neuronaux), ont permis des avancées spectaculaires. Le problème peut être étendu au domaine dynamique pour reconstruire des scènes en mouvement, ce qui mène à de nombreuses applications très intéressantes. Plus particulièrement, nous nous intéressons à la diffusion de football, qui bénéficierait notamment de nombreux effets spéciaux avec une méthode efficace et photoréaliste. Ces scènes sont très complexes car elles présentent une majorité de contenu statique dans lequel se situent des petits éléments dynamiques, comme les joueurs dans un stade. Nous explorons dans cette thèse les performances de méthodes récentes basées sur les NeRFs, dans le but de situer leur applicabilité actuelle pour le sport, et d'identifier de potentielles directions de recherche. Après de nombreuses expériences sur des données réelles et synthétiques, nous montrons que ces méthodes ne sont pas prêtes, mais demeurent très prometteuses grâce à l'ajout de composants supplémentaires.


File(s)

Document(s)

File
Access thesis.pdf
Description:
Size: 42.47 MB
Format: Adobe PDF
File
Access abstract.pdf
Description:
Size: 163.13 kB
Format: Adobe PDF

Annexe(s)

File
Access experiment_1.mp4
Description: Results of Experiment 1 (Section 5.3)
Size: 54.51 MB
Format: Unknown
File
Access experiment_2.mp4
Description: Results of Experiment 2 (Section 5.4)
Size: 16.87 MB
Format: Unknown
File
Access experiment_3.mp4
Description: Results of Experiment 3 (Section 5.5)
Size: 56.8 MB
Format: Unknown
File
Access experiment_4.mp4
Description: Results of Experiment 4 (Section 5.6)
Size: 59.86 MB
Format: Unknown
File
Access code.zip
Description: Code: Nerfstudio, Experiments, Scripts.
Size: 1.55 MB
Format: Unknown

Author

  • Lewin, Sacha ULiège Université de Liège > Master ingé. civ. sc. don. à . fin.

Promotor(s)

Committee's member(s)

  • Van Droogenbroeck, Marc ULiège Université de Liège - ULiège > Dép. d'électric., électron. et informat. (Inst.Montefiore) > Télécommunications
    ORBi View his publications on ORBi
  • Geurts, Pierre ULiège Université de Liège - ULiège > Dép. d'électric., électron. et informat. (Inst.Montefiore) > Algorith. des syst. en interaction avec le monde physique
    ORBi View his publications on ORBi
  • Hoyoux, Thomas EVS
  • Total number of views 163
  • Total number of downloads 21










All documents available on MatheO are protected by copyright and subject to the usual rules for fair use.
The University of Liège does not guarantee the scientific quality of these students' works or the accuracy of all the information they contain.