Sarra El Ayari

Ingénieure de recherche en développement d'applications linguistiques

mail sarra.elayari[at]univ-paris-diderot.fr

Évaluation transparente du traitement de la variabilité linguistique des éléments de réponse à une question factuelle.

Problématique


Un système de questions-réponses permet de répondre à une question posée en langage naturel (Quel est le premier homme à avoir marché sur la lune ?) par une réponse précise (Neil Armstrong). A travers ce travail, nous cherchons à répondre à la question suivante : comment évaluer un système de questions-réponses de l'intérieur, sans avoir à modifier le système lui-même pour autant ?

Si les campagnes d'évaluation menées à grande échelle s'intéressent essentiellement aux résultats finaux produits pour classer les systèmes, il est néanmoins essentiel pour les équipes d'évaluer les différents modules qui composent leurs systèmes ainsi que les stratégies utilisées.

Pour ce faire, nous avons développé un outil : REVISE (acronyme de Recherche, Extraction, VISualisation et Evaluation ) qui permet à la fois de visualiser les données produites, d'évaluer les résultats à différentes étapes de la chaîne de traitement, de modifier les résultats et de créer des fichiers modifiés pour tester certains choix linguistiques et relancer le processus à l'endroit adéquat. Cet outil nous a permis de créer et de tester une méthodologie d'évaluation transparente pour les systèmes de questions-réponses.

Téléchargement

Thèse format PDF (7 Mo) Thèse format ZIP (6 Mo) Transparents soutenance (PDF)