Language writ large: LLMs, ChatGPT, meaning, and understanding

Harnad, Stevan (2025). « Language writ large: LLMs, ChatGPT, meaning, and understanding ». Frontiers in Artificial Intelligence, 7.

Fichier(s) associé(s) à ce document :

	Doc Télécharger (113kB)

Résumé

Apart from what (little) OpenAI may be concealing from us, we all know (roughly) how Large Language Models (LLMs) such as ChatGPT work (their vast text databases, statistics, vector representations, and huge number of parameters, next-word training, etc.). However, none of us can say (hand on heart) that we are not surprised by what ChatGPT has proved to be able to do with these resources. This has even driven some of us to conclude that ChatGPT actually understands. It is not true that it understands. But it is also not true that we understand how it can do what it can do. I will suggest some hunches about benign “biases”—convergent constraints that emerge at the LLM scale that may be helping ChatGPT do so much better than we would have expected. These biases are inherent in the nature of language itself, at the LLM scale, and they are closely linked to what it is that ChatGPT lacks, which is direct sensorimotor grounding to connect its words to their referents and its propositions to their meanings. These convergent biases are related to (1) the parasitism of indirect verbal grounding on direct sensorimotor grounding, (2) the circularity of verbal definition, (3) the “mirroring” of language production and comprehension, (4) iconicity in propositions at LLM scale, (5) computational counterparts of human “categorical perception” in category learning by neural nets, and perhaps also (6) a conjecture by Chomsky about the laws of thought. The exposition will be in the form of a dialogue with ChatGPT-4. Mis à part ce que OpenAI pourrait nous cacher, nous savons à peu près comment fonctionnent les grands modèles de langage comme ChatGPT : leurs immenses bases de données textuelles, leurs statistiques, leurs représentations vectorielles, leurs innombrables paramètres, leur entraînement à la prédiction du mot suivant, etc. Pourtant, aucun d’entre nous ne peut honnêtement dire qu’il n’a pas été surpris par ce que ChatGPT a démontré être capable de faire avec ces ressources. Certains en sont même venus à conclure que ChatGPT comprend réellement. Ce n’est pas vrai : ChatGPT ne comprend pas. Mais il n’est pas vrai non plus que nous comprenons comment il peut faire ce qu’il fait. Je proposerai quelques intuitions sur des biais bénins, des contraintes convergentes qui émergent à l’échelle des grands modèles de langage et qui pourraient expliquer pourquoi ChatGPT dépasse largement ce à quoi nous nous attendions. Ces biais sont intrinsèques à la nature du langage lui-même, à cette échelle, et ils sont étroitement liés à ce qui manque à ChatGPT : un ancrage sensorimoteur direct, qui lui permettrait de connecter ses mots à leurs référents et ses propositions à leur signification. Ces biais convergents concernent le parasitisme de l’ancrage verbal indirect sur l’ancrage sensorimoteur direct, la circularité de la définition verbale, le rapport entre la production et la compréhension du langage, l’iconicité des propositions à l’échelle des LLM, les équivalents computationnels de la perception catégorielle humaine dans l’apprentissage des catégories par les réseaux neuronaux, et peut-être aussi une conjecture de Chomsky sur les lois de la pensée. L’exposé prendra la forme d’un dialogue avec ChatGPT-4.

Type:	Article de revue scientifique
Mots-clés ou Sujets:	ChatGPT, LLMs, Language, Symbol Grounding, Category Learning, Chomsky
Unité d'appartenance:	Faculté des sciences humaines > Département de psychologie
Déposé par:	Stevan Harnad
Date de dépôt:	17 févr. 2025 11:33
Dernière modification:	17 févr. 2025 11:33
Adresse URL :	http://archipel.uqam.ca/id/eprint/18484

Modifier les métadonnées (propriétaire du document)

Statistiques