Évaluation linguistique de résultats de parsing syntaxique dépendanciel automatique (spaCy) d'un corpus de poèmes en prose de Pierre Reverdy

Abstract

Ce travail a pour objectif de montrer l'intérêt d'une évaluation linguistique des résultats d'analyses syntaxiques effectuées par les modèles statistiques développés pour le Traitement Automatique des Langues (TAL), dans ce cas le modèle fr-dep-news-trf de spaCy. Nous montrons également l'intérêt de réaliser cette évaluation sur un corpus littéraire contenant de nombreuses difficultés syntaxiques, le recueil Flaques de verre de Pierre Reverdy. Dans un premier temps, nous réalisons une évaluation automatique des résultats pour situer les performances du modèle par rapport aux données déjà disponibles à son sujet. Nous analysons ensuite les erreurs individuellement selon divers paramètres linguistiques, notamment la cohérence, la longueur des dépendances et le flux de dépendance, puis dressons une typologie des erreurs selon des structures et fonctions syntaxiques. Nous montrons que l'analyse est perturbée par des particularités syntaxiques de notre corpus littéraire, mais également qu'elle semble être limitée par les règles d'annotation sélectionnées pour l'entrainement du modèle, Universal Dependencies. Enfin, nous terminons l'exposé par une discussion concernant l'intérêt du TAL pour les études littéraires, en particulier la stylistique.