Bruit & baratin

Je suis complètement ignorant en informatique et ma connaissance de ces "Large Language Models" comme ChatGPT ne vient donc que de vulgarisation. Une chose qui me frappe en l'essayant est de comprendre pourquoi ce modèle peut à la fois (1) bluffer de manière parfois si spectaculaire du point de vue syntaxique ou même dans l'humour (vous pouvez lui demander de pasticher des textes) mais (2) ne pas se soucier du tout de la vérité, y compris sur des faits très élémentaires où le Modèle est très conciliant pour affirmer n'importe quoi selon ce que vous lui demandez (y compris en inventant des faits qui pourraient être pertinents). On pourrait croire que c'est plus difficile de faire un programme qui fait des phrases correctes que lui donner un paramètre de vérification où il cherche ce qui est vrai. Mais le LLM n'est pas du tout contrariant : si vous insistez pour qu'il vous défende quelque chose de faux ou d'absurde, il le fera aisément (sauf sur certains sujets où les programmateurs ont deviné des provocations possibles). 

L'idée - autant que je comprenne - est qu'il a accès à des millions de textes (qui peuvent se contredire dans ce qu'ils jugent vrai) et qu'il répond simplement en les combinant d'après ce qui semble le plus fréquent et probable. Donc si vous demandez un fait peu connu et donc peu contesté, il a plus de chances de vous donnez une réponse consensuelle et vraie, alors que pour un fait connu et plus victimes de délires complotistes, il sera donc plus relativiste et sera plus susceptible de donner autant de valeur aux suites de phrases fausses. Il y a tellement de pages Web où on doit citer des énoncés comme "On n'a jamais marché sur la Lune" ou "2+2 = 5" que ce genre de résultat doit avoir un certain poids et qu'il peut donc céder assez vite pour reconnaître que oui, en un sens, pourquoi pas, "2+2=5". Il n'est pas très contrariant comme cela ne le dérange pas de se contredire. 

Ce n'est donc pas seulement l'indifférence à la vérité (au "réalisme sémantique") qui est intéressant mais le fait que ce discours de "baratin" n'est que le résultat d'une émergence probabiliste à partir de textes déjà écrits. Il peut simuler une autorité ou une originalité par l'effet du nombre dans ses archives. 

Nous présupposons (peut-être un peu confusément) que la pensée claire du sujet doit être comme un système formel entièrement cohérent de propositions consistantes. Il paraît plus vraisemblable que la réalité psychologique de la pensée est nettement moins "logique". 

Au lieu de se rassurer que le Sujet est bien sûr plus profond et authentique dans son Intentionnalité Originaire que ces Modèles de Langage, il est plus vertigineux d'y voir certaines analogies entre l'original et sa simulation comme si les défauts de l'imitation révélaient une vérité ou un vide sur le modèle. Si jamais on a raison de penser que la pensée du sujet sort plutôt de processus connexionnistes en parallèle, de modules idiots "sub-cognitifs", alors la pensée peut se saisir plus comme ces émergences de Baratins sur un fond de "bruit" confus, ce qui nous fait accepter des propositions contradictoires ou mêmes des énoncés vides de sens qui ne sont rien que des successions fréquentes dans notre base de données de référence. 

L'information, le vrai ou le sensé ne sont que des épiphénomènes accidentels à la limite de ces torrents informes qui finiront par être sélectionnés soit pour certaines exaptations ou des avantages objectifs soit par des effets statistiques qui leur conféreront leur importance objective. 

Baratiner, ce n'est pas seulement vouloir persuader en disant n'importe quoi (sans se soucier de vérité), c'est aussi (pour utiliser pour une fois une métaphore qui sonne désagréablement comme du Merleau-Ponty) se laisser happer par ce flux de langage où on dit un peu n'importe quoi par manque de rigueur, par diplomatie, par suivisme, par consensus, par mimétisme, par irréflexion, par réflexe. Le sujet n'est pas qu'une activité d'effort conscient pour garder des déductions cohérentes mais plutôt ces réarrangements de termes et de phrases qui peuvent de temps en temps nous apparaître vraies ou vraisemblables parce qu'elles résonnent suffisamment avec ce bruit de fond confus. 

Être tolérant à l'égard de plusieurs types de discours confus ou avec plusieurs niveaux d'opinion plus ou moins sensée n'est peut-être pas vraiment une marque d'ouverture d'esprit mais un effet de ce baratin. Ce n'est pas le baratin rhétorique du sophiste qui veut en tirer un pouvoir, qui veut flatter, escroquer ou plaire. C'est un baratin plus généralisé au fond de toute pensée sans "volonté de pouvoir", un baratin plus "neutralisé" où la tension du scrupule de réalité et de cohérence n'apparaît plus que comme des paramètres optionnels qu'on peut plus ou moins varier. 

La différence entre ce bavardage et le discours rationnel peut ressembler à la différence entre des superpositions d'esquisses schématiques, plagiées, désorientées ou inabouties chez ceux qui ne savent pas dessiner et le trait maîtrisé des dessinateurs. Il est d'ailleurs amusant que les LLMs savent mieux structurer des phrases ou singer le logos que les "IA" graphiques ne savent dessiner le nombre correct de doigts ou même de mains dans leurs simulacres. 

Les lecteurs (s'ils ne sont pas des robots de moteurs de recherche) auront deviné que le texte ci-dessus est d'ailleurs auto-référentiel. Je crois qu'il a (plutôt) un sens mais ce jugement n'est pas le mieux placé pour s'analyser.