Human Motion Simulation Using Reinforcement Learning

Abstract

The simulation of realistic human motion is a critical aspect in several fields. Ranging from character animations in video games to medical research, human motion simulation is involved in a lot of domains. In fact, replicating physiologically plausible human motion is essential for creating realistic human motion. However, due to the complexity of modeling a physiologically accurate model, being able to simulate a realistic motion is very challenging.

A common approach to tackle this kind of problem includes reinforcement learning. Since reinforcement learning is very popular nowadays and showed to be quite successful on a bunch of tasks, this is the approach chosen for this work.

In particular, this thesis aims at controlling a physiologically plausible model in order to make it move forward. This work is segmented into 3 parts.

First, the key concepts for this work are exposed in order to make the following as clear as possible. Then, the main components of the reinforcement learning framework are chosen through a comparative analysis of several sets of components. This concerns the algorithm, the neural network architectures along with other training methods. Lastly, a controller is to be trained to make a human model moves forward. The behavior of the human model is then analyzed to assess its gait.

This work brings insights into various elements that are important when using reinforcement learning to train an agent to move forward. In particular, it provides a detailed method for training an agent as well as a description of the main components. In addition, this controller succeeds to make a musculo-skeletal model walk forward.

La simulation de mouvements humains réalistes est un aspect essentiel dans de nombreux domaines. De l'animation de personnages dans les jeux vidéo à la recherche médicale, la simulation de mouvements humains intervient dans de nombreux domaines. En effet, la reproduction de mouvements humains physiologiquement plausibles est essentielle pour créer des mouvements humains réalistes. Cependant, en raison de la complexité de la modélisation d'un modèle physiologiquement précis, il est très difficile de simuler un mouvement réaliste.

L'apprentissage par renforcement est une approche courante pour résoudre ce type de problème. Comme l'apprentissage par renforcement est très populaire de nos jours et qu'il s'est avéré très efficace dans un grand nombre de tâches, c'est l'approche choisie pour ce travail.

En particulier, cette thèse vise à contrôler un modèle physiologiquement plausible afin de le faire avancer. Ce travail est divisé en 3 parties.

Tout d'abord, les concepts clés de ce travail sont exposés afin de rendre la lecture de ce qui suit la plus claire possible. Ensuite, les principaux composants du cadre d'apprentissage par renforcement sont choisis par le biais d'une analyse comparative de plusieurs ensembles de composants. Cela concerne à la fois l'algorithme, les architectures de réseaux neuronaux et diverses méthodes d'apprentissage. Enfin, un contrôleur est formé pour faire avancer un modèle humain. Le comportement du modèle humain est ensuite analysé pour évaluer sa démarche.

Ce travail apporte un regard sur différents éléments qui sont importants lors de l'utilisation de l'apprentissage par renforcement pour entraîner un agent à avancer. En particulier, il fournit une méthode détaillée pour la conception d'un agent ainsi qu'une description de ses principaux composants. De plus, ce contrôleur réussit à faire avancer un modèle de squelette musculaire.