Comment fonctionnent les détecteurs de texte IA, et pourquoi ils se trompent

Depuis que les modèles de langage se sont installés dans les salles de classe, les rédactions et les services RH, une question revient partout : ce texte, est-ce un humain qui l'a écrit ? Une industrie entière s'est constituée pour y répondre, avec des interfaces rassurantes qui affichent un verdict en quelques secondes. Le problème n'est pas que ces outils soient inutiles. Le problème est que la nature de ce qu'ils mesurent est très mal comprise par ceux qui s'en servent, et que l'écart entre « ce texte présente des caractéristiques statistiques particulières » et « cette personne a triché » est immense.

Ce que mesure réellement un détecteur

Un modèle de langage fonctionne par prédiction. À chaque mot, il évalue quelles suites sont les plus probables compte tenu de ce qui précède, et il en choisit une. Sans réglage particulier, il a tendance à privilégier les continuations les plus attendues. C'est ce qui rend ses textes lisibles, fluides, et aussi, très souvent, un peu lisses.

Les détecteurs partent de là. Plutôt que de chercher une signature cachée ou une empreinte technique, ils repassent le texte à travers un modèle de langage et regardent à quel point chaque mot était prévisible. Un texte dont presque tous les mots correspondent au choix le plus probable ressemble à ce que produit une machine. Un texte parsemé de tournures inattendues, de ruptures, de choix lexicaux improbables ressemble davantage à une écriture humaine.

Deux notions reviennent dans ces analyses. La première est le degré de surprise moyen : à quel point le texte s'écarte de ce que le modèle aurait prédit. La seconde est la variabilité de cette surprise d'une phrase à l'autre. Un humain écrit rarement de façon homogène : il produit une phrase courte et sèche, puis une longue phrase à tiroirs, il change de rythme, il se contredit un peu, il se reprend. Une génération automatique non retouchée tend au contraire vers une régularité assez constante. Certains outils y ajoutent un classifieur entraîné sur de grands corpus de textes étiquetés « humain » et « machine », qui apprend à reconnaître des combinaisons de traits sans qu'on ait à les nommer explicitement.

Il faut bien voir la conséquence de ce mode de fonctionnement. Un détecteur ne constate pas un fait. Il produit une estimation de ressemblance à un profil statistique. Ce n'est pas de la même nature qu'un test qui identifierait une trace matérielle.

Pourquoi des textes parfaitement humains sont signalés

Si le critère est la prévisibilité, alors toute écriture humaine prévisible devient suspecte. Et il existe beaucoup de raisons parfaitement légitimes d'écrire de façon régulière.

• L'écriture scolaire appliquée. Un élève à qui l'on a enseigné le plan en trois parties, la phrase d'accroche, les connecteurs logiques et la conclusion qui reprend l'introduction produit exactement ce que le modèle attend. Il applique une norme, et une norme est par définition prévisible.
• L'écriture en langue non maternelle. Une personne qui écrit dans une langue apprise mobilise en général un vocabulaire plus restreint et des structures plus canoniques. Elle prend moins de libertés, parce qu'elle en a moins les moyens. Ce n'est pas une faute, mais cela ressemble, sur le plan statistique, à un texte généré.
• Les textes techniques et normés. Un compte rendu médical, une notice, une procédure qualité, un rapport administratif, un texte juridique : ces genres imposent un vocabulaire fixe et des formulations récurrentes. On ne fait pas preuve de créativité dans un protocole.
• Les traductions. Un texte traduit, par un humain comme par une machine, tend à s'aligner sur les tournures les plus standard de la langue d'arrivée. La singularité de l'original se perd souvent au passage.
• Les rédactions contraintes. Un article rédigé selon une charte éditoriale stricte, avec des titres formatés et une longueur imposée, subit le même effet de lissage.

Ces situations ont un point commun gênant : elles concernent en priorité des personnes déjà en position de fragilité. Les élèves les plus scolaires, souvent les plus consciencieux. Les étudiants étrangers. Les professionnels de secteurs très normés. L'erreur ne se répartit pas au hasard, elle frappe des populations identifiables. C'est ce qui rend la question sérieuse, au-delà du débat technique.

L'erreur symétrique, plus discrète

Le raisonnement fonctionne aussi dans l'autre sens. Un texte produit par un modèle puis repris, réorganisé, coupé, complété, intégré à un ensemble plus large ne présente plus les mêmes propriétés statistiques. Le simple fait de mélanger de l'écriture personnelle et du texte généré brouille la mesure. Il en va de même quand la génération elle-même a été paramétrée pour produire des sorties moins conventionnelles.

Un détecteur est donc dans une position inconfortable : il tend à signaler ce qui est régulier, et l'usage le plus élaboré des modèles produit rarement quelque chose de régulier. Ce qu'il repère le mieux, c'est le collage brut. Ce qui échappe le plus facilement, c'est l'usage travaillé. Autrement dit, l'outil est le moins fiable précisément là où l'enjeu est le plus grand.

Un score n'est pas une preuve

C'est le point central. Beaucoup d'établissements et d'entreprises se sont mis à traiter la sortie d'un détecteur comme un constat, avec les conséquences que cela implique : note annulée, procédure disciplinaire, candidature écartée, collaboration rompue. Or un pourcentage affiché par une interface reste une estimation probabiliste produite par un système dont on ne connaît généralement ni le modèle de référence, ni le corpus d'entraînement, ni les seuils de décision.

Plusieurs choses manquent pour qu'un tel résultat puisse fonder une accusation. On ne dispose pas d'explication : l'outil indique un score, pas ce qui, dans le texte, a déclenché ce score. On ne dispose pas de reproductibilité inter-outils : deux détecteurs peuvent diverger sur le même texte. On ne dispose pas non plus de possibilité réelle de contestation technique pour la personne mise en cause, qui se retrouve à devoir prouver une négation.

Un point mérite d'être souligné. Face à une accusation, un auteur honnête n'a souvent aucun moyen matériel de se disculper s'il a écrit d'une traite, sans brouillon, dans un traitement de texte classique. Fonder une sanction sur un score, c'est faire porter la charge de la preuve à celui qui ne peut pas la produire. C'est une inversion qu'aucune procédure sérieuse n'accepterait dans un autre contexte.

Ce qu'il vaut mieux faire à la place

Renoncer aux détecteurs comme instrument de décision ne signifie pas renoncer à évaluer l'authenticité d'un travail. Cela signifie déplacer l'examen du texte fini vers le processus qui y a mené.

• Regarder l'historique de production. Les environnements d'écriture collaboratifs conservent l'historique des versions. Un document construit progressivement, avec des repentirs, des paragraphes déplacés et des passages supprimés, raconte une fabrication.
• Demander à l'auteur d'expliquer son texte. Une conversation de quelques minutes sur les choix de structure, les sources écartées, les difficultés rencontrées est infiniment plus informative qu'un score. Qui a réellement travaillé un sujet sait dire pourquoi il a tranché dans un sens.
• Comparer avec des productions antérieures connues. Un écart brutal de niveau, de style ou de vocabulaire est un signal d'alerte à instruire, pas une conclusion.
• Rendre visible le processus dans la consigne elle-même. Un travail qui demande une trace de recherche, des notes intermédiaires, une soutenance courte ou une part d'expérience personnelle réduit mécaniquement l'intérêt de la sous-traitance intégrale.
• Clarifier la règle en amont. Beaucoup de conflits naissent d'une politique floue. Dire explicitement ce qui est autorisé, dans quelles proportions, et ce qui doit être déclaré, évite une partie des litiges.

Si un détecteur doit garder une place, c'est celle d'un signal parmi d'autres, à l'origine d'un examen, jamais à la fin. Un score élevé peut justifier qu'on regarde de plus près ; il ne justifie pas qu'on tranche. La différence entre les deux postures est exactement celle qui sépare une évaluation d'une accusation.

Il reste que le problème de fond ne se résoudra pas par un meilleur outil. Tant que la mesure portera sur des propriétés statistiques du texte, elle confondra l'écriture régulière avec l'écriture automatique, parce que ces deux choses se ressemblent vraiment. La réponse est plutôt du côté des pratiques : évaluer autrement, expliciter les règles, et accepter qu'une conviction sur l'origine d'un texte se construise avec la personne qui l'a écrit, pas contre elle.