FIDELIA : l’outil d’aide à la correction automatisée de l’épreuve d’expression écrite du TCF sur ordinateur

Qu’est-ce que FIDELIA ?

FIDELIA est une solution automatisée d’aide à la correction, propriété exclusive de France Éducation international qui l'a développée avec un partenaire scientifique, le laboratoire CENTAL de l’université de Louvains-La-Neuve, en Belgique.

FIDELIA s’appuie sur un modèle d’intelligence artificielle directionnelle. La différence avec un modèle d’IA générative, c’est que le résultat donné à la requête sera toujours le même. C’est donc un modèle plus robuste. 

Quelle est la valeur ajoutée de FIDELIA ?

Le schéma de correction prévu reste celui adopté en 2014, celui de la double correction à l’aveugle. A partir de mai 2024, l’évaluation des productions d’expression écrite passées sur ordinateur associe une correction humaine et une correction par FIDELIA. Le niveau délivré au candidat est calculé sur les résultats des deux corrections. En cas de désaccord, une troisième correction, humaine, sera assurée. 

L’évaluation repose donc sur la complémentarité entre l’humain et la machine.

Dans 70% des cas, la correction des personnes correctrices et celle de FIDELIA est la même mais il se peut que l’intelligence artificielle n’arrive pas à estimer une production qui relève d’un type qu’il n’a jamais vu (production atypique). Un correcteur humain est alors plus à même d’estimer le niveau des individus évalués car le cerveau humain est capable de généralisation et d’appliquer des procédures sur des éléments nouveaux qu’il n’a jamais vus. Le rôle du correcteur humain est ainsi renforcé.

FIDELIA, de son côté, n’est jamais fatiguée les résultats produits par le modèle numérique sont constants : une même production corrigée plusieurs fois, obtiendra toujours le même résultat. FIDELIA nous permet d’obtenir une évaluation similaire à ce que nous obtiendrions si la production écrite était corrigée par un ensemble de correcteurs. 

France Éducation international va ainsi pouvoir réallouer ses ressources à d’autres tâches pour améliorer la qualité des examens et du service.

Quelles ont été les principales étapes ?

• Mettre en place il y a 10 ans la double correction était le prérequis au développement d’un système d’aide à la correction automatisée ;
• France Éducation international dispose d’une base de données de corrections d’épreuves d’expression écrite du TCF. 27 000 productions ont ainsi été sélectionnées en veillant à la diversité du corpus afin ne pas privilégier une catégorie de candidats ;
• Faire réévaluer le corpus par 55 correcteurs du TCF ;
• Sélectionner 48 variables linguistiques, non-redondantes, identifiées comme pertinentes pour différencier des niveaux de compétence en langue ;
• Apprendre au modèle à estimer le niveau du candidat à partir de celui qui avait été attribué pour la tâche et les 48 variables linguistiques.