Evaluation de la fidélité inter-juges de la grille d'évaluation des rencontres parents-enfants encadrées et semi-encadrées utilisée dans le guide méthodologique de Chartier (2020)

Abstract

Objectif : L’objectif de ce mémoire est d’évaluer la fidélité inter-juges de la grille d’évaluation des rencontres parents-enfants encadrées et semi-encadrées utilisée dans le guide méthodologique établi par Chartier et son équipe (2020) qui a pour but de fixer les modalités de rencontres entre les parents et leur enfant placé. Méthodologie : La grille d’évaluation des rencontres parents-enfants encadrées et semi-encadrées a été administrée par deux personnes (une assistante sociale, ou psychologue et une stagiaire en psychologie) après plusieurs droits de visites, les deux juges ont complété la grille sans se concerter après chaque droit de visite. L’échantillon compte soixante-huit droits de visites qui ont été évalués grâce à la grille au sein du service Familles d’accueil de Verviers, à la Sauvegarde familiale à Liège, à En Famille à Liège, à La Frenaie à Liège et au Home St François à Baelen et à Verviers.

Résultats : Nous avons pu observer que la fidélité inter-juges mesurée grâce au coefficient Kappa de Cohen est insuffisante pour nous permettre de dire que la grille d’évaluation des rencontres parents-enfants encadrées et semi-encadrées est objective. En effet, le Kappa de Cohen global est de 0,330 ce qui signifie un accord global qualifié de mauvais entre les différents juges. Les Kappa catégoriels ont alors été calculés et il se fait que la fidélité inter-juges est bonne seulement pour deux items sur 73. Le Kappa de Cohen catégoriel global a été calculé en faisant la moyenne de tous les Kappa catégoriels et le résultat est de 0,288 ce qui signifie un accord global qualifié de mauvais entre les différents juges. Conclusion : Cette étude a permis de montrer que la fidélité inter-juges de la grille n’était pas suffisante. Néanmoins, celle-ci peut être modifiée au niveau des modalités de réponse, de la structure et du contenu des items. Ce mémoire a également permis de mettre en avant l’intérêt de l’outil. Nous espérons que des études futures valideront cet outil ainsi que les outils présents dans le guide méthodologique de Chartier (2020). Les études futures qui tenteraient d’évaluer la fidélité inter-juges de la grille après modifications devront tenter de contourner les limites présentes dans ce mémoire comme le biais créé par les cotateurs.