Mrabah, Nairouz
(2023).
« Deep clustering from novel perspectives » Thèse.
Montréal (Québec), Université du Québec à Montréal, Doctorat en informatique.
Fichier(s) associé(s) à ce document :
Résumé
Les approches récentes de clustering profond consistent à effectuer conjointement un clustering sur les représentations latentes et un apprentissage profond de descripteurs basé sur deux stratégies d’entraînement : l’auto-supervision et la pseudo-supervision. Cependant, deux problèmes majeurs ont été négligés par les méthodes précédentes de clustering profond. Le premier problème est la Randomisation des Caractéristiques (Feature Randomness). Ce problème découle de la tâche de pseudo-supervision. Les pseudo-étiquettes construites en appliquant un algorithme de clustering aux représentations latentes sont intrinsèquement bruyantes et ne correspondent pas parfaitement aux catégories sémantiques. Ainsi, l’erreur accumulée due à l’entraînement avec ces pseudoétiquettes entraîne que le modèle apprenne des caractéristiques non représentatives. Pour atténuer ce problème, l’auto-supervision est utilisée comme tâche d’entraînement auxiliaire. Cependant, la combinaison de la pseudo-supervision et de l’auto-supervision engendre le deuxième problème : la Dérive des Caractéristiques (Feature Drift). Plus précisément, le compromis entre la pseudo-supervision et l’auto-supervision rend les caractéristiques discriminatives apprises par la tâche de pseudo-supervision vulnérable à l’effet de dérive par la tâche d’auto-supervision. Dans le premier chapitre de cette thèse, nous abordons les problèmes de Randomisation des Caractéristiques et de la Dérive des Caractéristiques pour les données représentées dans un espace Euclidien en utilisant des Auto-Encodeurs (AE). Dans ce contexte, nous proposons le modèle ADEC (Adversarial Deep Embedded Clustering). ADEC se base sur l’entraînement adversarial pour pénaliser la génération de caractéristiques aléatoires. De plus, ADEC bloque les effets de la Dérive des descripteurs latents en restreignant la rétropropagation de la reconstruction aux couches de décodage. Sur le plan théorique, nous avons prouvé l’existence d’un compromis entre la Randomisation des Caractéristiques et la Dérive des Caractéristiques pour les modèles d’auto-encodeurs classiques. Dans le deuxième chapitre, nous abordons les problèmes de Randomisation des Caractéristiques et la Dérive des Caractéristiques dans le contexte des données structurées en graphe en utilisant des Auto-Encodeurs de Graphe (GAE). À cet égard, nous avons conçu une fonction d’échantillonnage Ξ qui déclenche un mécanisme de protection contre la Randomisation des Caractéristiques. En outre, nous avons proposé une fonction Υ qui déclenche un mécanisme de correction contre la Dérive des Caractéristiques. L’avantage principal est que Ξ et Υ peuvent être facilement intégrés aux modèles de clustering existants basés sur les auto-encodeurs de graphe. Sur le plan théorique, nous avons prouvé l’existence d’un compromis entre la Randomisation des Caractéristiques et la Dérive des Caractéristiques pour les auto-encodeurs de graphe. De plus, nous avons démontré que l’opération de convolution de graphe ainsi que la réalisation du clustering et de la reconstruction au même niveau (même couche) accentuent le problème de la Dérive des Caractéristiques. Dans le troisième chapitre, nous abordons les problèmes de Randomisation des Caractéristiques et de Dérive des Caractéristiques pour les données structurées en graphe en utilisant des Auto-Encodeurs de Graphe Variationnels (VGAE). Dans ce contexte, nous proposons le modèle CVGAE (Contrastive Variational Graph Auto-Encoder). CVGAE formule une borne inférieure variationnelle qui peut traiter la tâche de clustering en tenant compte du biais inductif de clustering dans l’espace latent. Contrairement aux auto-encodeurs variationnels précédents, la borne inférieure de CVGAE établit un cadre d’apprentissage contrastif qui tient compte de la disparité entre les processus d’inférence et de génération, et peut donc traiter le compromis entre la Randomisation des Caractéristiques et la Dérive des Caractéristiques. De plus, CVGAE a la capacité d’atténuer le problème connu sous le nom l’Effondrement du Postérieur (Posterior Collapse). Sur le plan théorique, nous avons démontré que la borne inférieure proposée est une approximation plus étroite de la fonction de la fonction de vraisemblance que les bornes inférieures traditionnelles. Globalement, les recherches approfondies menées dans le cadre de cette thèse font progresser la compréhension du clustering profond. Les approches développées dans cette thèse ont atteint des résultats de pointe dans trois contextes scientifiques différents en abordant le compromis entre la Randomisation des Caractéristiques et la Dérive des Caractéristiques, et ont été publiées dans des revues et des conférences de renommée, mettant en évidence leur importance dans l’avancement de l’apprentissage non supervisé.
_____________________________________________________________________________
MOTS-CLÉS DE L’AUTEUR : intelligence artificielle, apprentissage profond, réseaux de neurones, réseaux de neurones graphiques, apprentissage non supervisé, apprentissage de représentation, apprentissage de représentation graphique, clustering, clustering graphique, auto-encodeurs, auto-encodeurs, auto-encodeurs variationnels, autosupervision, pseudo-supervision, limite inférieure variationnelle
| Type: |
Thèse ou essai doctoral accepté
|
| Informations complémentaires: |
Fichier numérique reçu et enrichi en format PDF/A. |
|
Directeur de thèse: |
Bouguessa, Mohamed |
| Mots-clés ou Sujets: |
Clustering / Apprentissage profond / Réseaux neuronaux / Apprentissage non supervisé / Intelligence artificielle |
| Unité d'appartenance: |
Faculté des sciences > Département d'informatique |
| Déposé par: |
Service des bibliothèques
|
| Date de dépôt: |
22 août 2024 14:08 |
| Dernière modification: |
22 août 2024 14:08 |
| Adresse URL : |
http://archipel.uqam.ca/id/eprint/17958 |
RECHERCHER
PARCOURIR
LIBRE ACCÈS
