Étude et analyse de l'efficacité de ChatGPT pour la post-édition de traductions FR-RO

Abstract

Ce travail examine dans quelle mesure ChatGPT peut aujourd'hui constituer un outil efficace de post-édition automatique, capable d'accélérer ce processus sans pour autant se substituer entièrement au post-éditeur humain. L'étude compare les performances du modèle sur deux textes spécialisés traduits du français vers le roumain, un contrat de bail glissant relevant du domaine juridique et une fiche d'information médicale destinée à un patient, en confrontant systématiquement la traduction automatique, la post-édition automatique produite par ChatGPT selon ses propres critères, et une post-édition humaine de référence. L'analyse qualitative, fondée sur la grille TAUS DQF-MQM, est complétée par une analyse quantitative reposant sur la métrique ASTrED, qui mesure la distance d'édition d'arbres syntaxiques entre le texte source et chacune des versions cibles. Les résultats montrent que la post-édition automatique améliore sensiblement la fluidité et la cohérence grammaticale des deux textes, mais qu'elle demeure défaillante dès que la tâche exige une connaissance spécialisée du domaine, qu'il s'agisse d'une institution juridique propre à un système de droit étranger ou d'une terminologie médicale précise. Contrairement à l'hypothèse d'une meilleure performance sur le texte juridique en raison de ses exigences normatives, c'est au contraire sur le texte médical que l'intervention humaine s'est révélée la plus soutenue. L'analyse quantitative ne révèle par ailleurs aucune tendance systématique faisant apparaître l'une des deux versions post-éditées comme structurellement plus proche du texte source. Ces résultats invitent à considérer ChatGPT comme un outil d'assistance dont l'apport, réel, mais inégal, ne dispense pas d'une révision humaine spécialisée.