Comment l'IA génère du texte
L'IA n'écrit pas une phrase entière d'un coup : elle la devine un petit bout à la fois, comme on complète un mot sur le bout de la langue.
Quand l'IA écrit, elle ne pense pas à ce qu'elle va dire : elle prédit juste le prochain « morceau » de texte (un mot ou un bout de mot, qu'on appelle un token), puis le suivant, et ainsi de suite. Pour bien choisir, elle relit tout ce qui précède et décide quels mots comptent le plus à cet instant : c'est le mécanisme d'« attention », le cœur d'une architecture appelée Transformer, qui regarde toute la phrase d'un coup au lieu de la lire de gauche à droite. À force d'avoir vu des montagnes de textes, elle a appris quelles suites de mots sont les plus probables, et elle rejoue cette intuition à chaque pas. C'est puissant parce que prédire le mot suivant l'oblige, sans qu'on le lui demande, à apprendre la grammaire, le sens, le style et des tonnes de connaissances. Mais c'est aussi sa faiblesse : elle cherche ce qui « sonne juste » et probable, pas ce qui est vrai, et rien ne vérifie un fait au passage. Quand elle ne sait pas, elle comble quand même le trou avec la suite la plus plausible : c'est ça, une « hallucination ».
C'est comme le texto qui suggère le mot suivant au-dessus de ton clavier, mais en bien plus malin : à chaque mot tapé, il propose la suite la plus probable. Sauf que l'IA enchaîne ces suggestions des centaines de fois pour écrire des paragraphes entiers, en gardant en tête tout ce qui a déjà été écrit. Et comme ton clavier, elle propose parfois un mot très crédible... mais totalement à côté.