Belainine, Billal
(2023).
« Modèle intégré pour la génération de dialogue et la traduction automatique à base d'attention » Thèse.
Montréal (Québec, Canada), Université du Québec à Montréal, Doctorat en informatique.
Fichier(s) associé(s) à ce document :
Résumé
Les agents conversationnels, aussi appelés systèmes de questions-réponses ou chatbots, jouissent d’une grande popularité. Ces agents informatiques peuvent simuler une conversation avec un ou plusieurs humains par voie textuel ou même vocal. Ainsi, ils peuvent accomplir des tâches impressionnantes pour la société moderne en offrant à l’usager de l’aide, du soutien, des directions, des instructions, des suggestions, ou tout simplement une conversation. Depuis quelques années, l’usage du modèle encodeur-décodeur s’est imposé en étant une approche de choix pour leur mise en oeuvre et, dans le cadre de la conversation à plusieurs répliques entre un usager et un agent (dialogue multi-tours). Ces architectures neuronales hiérarchiques ont suscité beaucoup d’intérêts. Cependant, elles reposent sur une mémoire de contexte qui est réalisée à l’aide de Réseaux de Neurones Récurrents (RNR), ce qui limite leur performance pour les longues séquences d’entrée. Cette thèse s’intéresse au développement d’architectures neuronales de type encodeur-décodeur pour les longues conversations textuelles multi-tours. Les modèles développés peuvent non seulement servir à la génération de réponses dans les dialogues multi-tours ; mais peuvent aussi servir à la traduction automatique de séquences de phrases. Cela est rendu possible grâce à une nouvelle vision architecturale de la modélisation des agents conversationnels neuronaux. Dans cette thèse, nous proposons un modèle encodeur-décodeur qui utilise l’auto-attention multidimensionnelle pour remplacer le concept hiérarchique utilisé auparavant, en utilisant une généralisation du modèle Transformer. L’introduction de la représentation multidimensionnelle permet de retracer les sources des mots générés lors de la conversation sans recourir à un contexte créé à l’aide de réseaux de neurones récurrents (RNR). Le modèle présenté est le premier dans le domaine de la conversation multi-tours qui n’utilise ni encodeur hiérarchique ni RNR, ce qui lui permet d’éviter les problèmes d’oubli des RNR et le potentiel de propager les erreurs avec amplification d’un décodeur hiérarchique (à cause du traitement séquentiel sous-jacent). En outre, le modèle neuronal développé possède une complexité computationnelle plus faible, ce qui lui confère plusieurs avantages en termes de besoins en mémoire et de vitesse de calcul. La validation du modèle a été complétée par le biais de trois corpus de tailles différentes et les comparaisons subséquentes avec l’état de l’art ont permis de montrer que notre modèle surclasse plusieurs modèles de référence en Perplexity dans la génération de réponses et en score BLUE pour une tâche de traduction automatique à base de réseaux de neurones.
_____________________________________________________________________________
MOTS-CLÉS DE L’AUTEUR : traitement du Langage Naturel, agent conversationnel, traduction automatique, chatbot, génération de réponses, apprentissage machine, auto-attention, attention multidimensionnelle
| Type: |
Thèse ou essai doctoral accepté
|
| Informations complémentaires: |
Fichier numérique reçu et enrichi en format PDF/A. |
|
Directeur de thèse: |
Sadat, Fatiha |
| Mots-clés ou Sujets: |
Agents conversationnels / Traitement du langage naturel / Traduction automatique / Réseaux neuronaux / Apprentissage automatique |
| Unité d'appartenance: |
Faculté des sciences > Département d'informatique |
| Déposé par: |
Service des bibliothèques
|
| Date de dépôt: |
27 juin 2023 12:39 |
| Dernière modification: |
27 juin 2023 12:39 |
| Adresse URL : |
http://archipel.uqam.ca/id/eprint/16690 |
RECHERCHER
PARCOURIR
LIBRE ACCÈS
