Toward a better understanding of self supervision from geometric perspective

Amdouni, Youssef (2024). « Toward a better understanding of self supervision from geometric perspective » Mémoire. Montréal (Québec), Université du Québec à Montréal, Maîtrise en informatique.

Fichier(s) associé(s) à ce document :

Prévisualisation	PDF Télécharger (3MB)

Résumé

Récemment, l’apprentissage de représentation des graphes est devenu fondamental dans l’analyse des données structurées en graphe. Les travaux précédents ont adopté l’auto-supervision, un paradigme d’apprentissage automatique dans lequel un modèle apprend à partir des données elles-mêmes, sans dépendre d’étiquettes externes, pour extraire des informations sémantiques de haut niveau et des motifs. L’apprentissage auto-supervisé exploite diverses tâches préliminaires, telles que la prédiction des noeuds ou des arêtes manquantes, pour créer des représentations significatives. Ensuite, les chercheurs affinent leurs modèles en utilisant des tâches en aval telles que la classification des noeuds, le regroupement et la prédiction de liens. Cependant, la transition entre les niveaux d’abstraction de l’auto-supervision, qui représentent différentes granularités d’informations dans les données, n’a jamais été étudiée d’un point de vue géométrique. Dans ce mémoire, nous présentons un nouveau cadre d’apprentissage contrastif auto-supervisé conçu pour apprendre des représentations à plusieurs niveaux d’abstraction : au niveaux des noeuds, de la proximité, des clusters et des graphes. En utilisant une stratégie de pré-entraînement suivie d’une étape de raffinement, nous étudions l’évolution de la dimension intrinsèque et de la dimension intrinsèque linéaire lors de la transition entre ces niveaux d’abstraction. Nos résultats expérimentaux démontrent l’existence d’un défi significatif de « Feature Twist » caractérisé par une transformation géométrique abrupte et une détérioration des performances du modèle dans les tâches en aval lors de la transition entre les différents niveaux d’auto-supervision. Pour résoudre ce problème, nous proposons un mécanisme de filtrage qui réduit le « Feature Twist » et facilite les transitions entre les niveaux d’abstraction. Cette amélioration peut atténuer l’effet du problème du « Feature Twist » et améliorer les performances du modèle dans les tâches en aval. _____________________________________________________________________________ MOTS-CLÉS DE L’AUTEUR : Apprentissage de représentation des graphes, Auto-supervision, Classification, Regroupement, Apprentissage contrastif

Type:	Mémoire accepté
Informations complémentaires:	Fichier numérique reçu et enrichi en format PDF/A.
Directeur de thèse:	Bouguessa, Mohamed
Mots-clés ou Sujets:	Apprentissage auto-supervisé (Intelligence artificielle) / Apprentissage de représentation des graphes / Feature Twist
Unité d'appartenance:	Faculté des sciences > Département d'informatique
Déposé par:	Service des bibliothèques
Date de dépôt:	30 oct. 2024 08:11
Dernière modification:	30 oct. 2024 08:11
Adresse URL :	http://archipel.uqam.ca/id/eprint/18133

Modifier les métadonnées (propriétaire du document)

Statistiques