Reconnaître ChatGPT sera essentiel (mais pas de tout repos)

Des outils de détection, comme Copyleaks, Originality.AI et celui de la montréalaise Draft & Goal, sont capables de dire si un texte a été écrit par l’intelligence artificielle ChatGPT. 

deepblue4you / Getty Images / montage : L’actualité

La petite note affichée sur le site d’un marchand de chaussures me fait sourciller, et pas seulement à cause de la faute d’orthographe : « Comparé (sic) à d’autres méthodes d’expédition, les expéditions par voie terrestre se font plus près de la terre. » Cette définition semble ridicule tellement elle est terre à terre. Aurait-elle été écrite par une intelligence artificielle ?

Cette question, nous risquons de nous la poser de plus en plus souvent au cours des prochaines années, avec l’arrivée des IA génératrices de textes. Si cette description louche de l’expédition terrestre est sans conséquence, d’autres usages de cette technologie pourraient s’avérer problématiques. Les enseignants se demandent par exemple comment détecter les travaux rédigés par ChatGPT, une IA à l’efficacité impressionnante lancée par OpenAI en novembre dernier. Et ce type d’outils capables de générer du texte à volonté pourraient notamment être utilisés pour écrire de fausses nouvelles, produire des pourriels et même créer de faux documents pour faire dérailler une enquête policière. 

Plusieurs outils de détection, dont Copyleaks, Originality.AI, Writer, GPTZero et Crossplag, sont donc apparus au cours des dernières semaines pour permettre de distinguer le vrai du faux — c’est-à-dire un texte écrit par un humain de celui généré en une fraction de seconde par une machine. L’entreprise montréalaise Draft & Goal a elle aussi lancé ce mois-ci un outil en ligne gratuit et facile à utiliser, qui fonctionne pour l’instant pour les textes en anglais, et bientôt pour ceux en français également.

Comment reconnaître les traces de l’IA

Tous ces détecteurs fonctionnent à peu près de la même manière. On y copie un texte, puis le logiciel estime la probabilité qu’une IA ait été utilisée pour la rédaction.

Parmi les signes qui permettent de reconnaître l’œuvre d’une IA, notons l’occurrence plus fréquente de certains mots, comme des prépositions, et un style plus continu d’une phrase à l’autre. Un auteur en chair et en os pourrait par exemple enchaîner deux phrases très longues avec une toute petite phrase, mais pas une IA. Ou si peu.

« Nous avons plusieurs façons d’analyser le texte. On le regarde tout d’abord avec une approche linguistique, comment sont structurées les phrases, entre autres. On utilise ensuite aussi une approche par IA », explique le cofondateur de Draft & Goal, Nabil Tayeb, sans toutefois révéler la recette secrète de l’outil.

Les technologies mises au point pour reconnaître les IA ont cependant leurs limites. Elles ont notamment besoin d’un long échantillon pour effectuer leur analyse. Elles repèrent en effet plus d’indices (comme la structure syntaxique) dans un texte de plusieurs paragraphes que dans un extrait d’une phrase ou deux.  

J’ai fait un test avec différents textes, dont un court rap de 457 caractères (environ cinq lignes) généré par ChatGPT. Tous les services de détection ont été bernés par l’intelligence artificielle et ont dit que cette chanson avait été écrite par un humain. Oups… Les autres textes, plus longs, ont toutefois été correctement identifiés.

Un jeu du chat et de la souris

Pouvoir déceler si du texte a été rédigé par une IA est d’une importance sans équivoque. Car même si un utilisateur de ChatGPT n’a pas d’intention malicieuse au moment de lui commander un texte, le document qui en résulte peut être bourré d’erreurs difficiles à repérer au premier coup d’œil. 

« De la presse à l’industrie juridique, beaucoup de secteurs auront besoin de détecter les fausses informations. Nous croyons que ce sera un gros marché », prédit le cofondateur de Draft & Goal, Nabil Tayeb. 

Plusieurs sites Web bannissent d’ailleurs déjà le texte généré par des IA. Stack Overflow, un service d’entraide pour les développeurs, a ainsi interdit le code généré par ordinateur, puisque celui-ci peut avoir l’air véritable, mais il n’a pas forcément été mis à l’essai (car, oui, ChatGPT « parle » des langages de programmation, comme le Python et le JavaScript, de la même manière qu’il « parle » l’anglais et le français).

À mesure que les outils de détection s’amélioreront, les intelligences artificielles capables de générer du texte deviendront elles aussi plus performantes. On ignore quelles seront les caractéristiques du modèle GPT-4 d’OpenAI, le successeur attendu l’année prochaine de GPT-3.5, le cerveau de ChatGPT, mais chose certaine, il sera meilleur. Un jeu du chat et de la souris, où les détecteurs devront s’adapter à chaque nouvelle génération d’IA, semble inévitable.

Tout n’est pas noir, cela dit. Les générateurs de texte fonctionnent tous sensiblement de la même façon, ils écrivent en fonction de la probabilité qu’un mot en suive un autre. Dans une recette de pâté chinois, « maïs » a de bonnes chances d’être suivi par « en conserve » ou « congelé », par exemple. Ces IA introduisent également une certaine dose de hasard dans le texte, pour que le résultat produit ne soit pas toujours le même, et ait ainsi l’air plus naturel. « En raison de leur nature probabiliste, on croit qu’on pourra adapter notre outil pour qu’il détecte aussi les prochains modèles », note Nabil Tayeb.

Lors d’une conférence à l’Université du Texas à Austin en novembre dernier, le chercheur Scott Aaronson a quant à lui révélé être en train de mettre au point chez OpenAI un outil pour marquer en filigrane le texte généré par les modèles d’IA de l’entreprise, comme ChatGPT, un peu comme un billet de banque marqué pour éviter la fraude. La technologie serait invisible pour l’humain, mais pourrait permettre à OpenAI de créer un détecteur indiquant avec plus de précision si un texte a été écrit ou non avec son outil — je vous épargne les détails techniques. Ce détecteur serait toutefois impuissant à analyser les mots générés par une autre IA, ou encore ceux d’un texte substantiellement modifié par un humain après avoir été rédigé automatiquement.

Les détecteurs et les filigranes devraient nous aider à savoir si un texte a été rédigé par un ordinateur. Mais ils ne suffiront probablement pas à le confirmer hors de tout doute. À moins d’un revirement de situation important, il faudra apprendre à vivre avec cette réalité.

Laisser un commentaire

Les commentaires sont modérés par l’équipe de L’actualité et approuvés seulement s’ils respectent les règles de la nétiquette en vigueur. Veuillez nous allouer du temps pour vérifier la validité de votre commentaire.

Merci de faire le point sur les outils d’intelligence artificielle (IA) susceptibles de reconnaître les textes générés par d’autres outils d’IA (générateur de textes ou robots rédacteurs), comme le fameux ChatGPT.

En gros, ces outils de détection reposent sur une analyse statistique, d’abord une simple analyse lexicométrique ou stylométrique basée sur les fréquences d’emploi comparées des mots et expressions, parfois on ajoute des indices syntaxiques. Les plus outils plus sophistiqués reposent sur la reconnaissance de formes par entraînement supervisé d’un réseau de neurones profond sur des textes rédigés par des humains versus des textes générés par des IA. On peut également utiliser l’apprentissage non supervisé avec un algorithme de groupement des données (clustering). Les meilleurs outils combineront ces différentes approches. Rappelons que ces mêmes techniques sont utilisées pour identifier l’auteur d’un texte. Le résultat n’est jamais certain, mais plus ou moins probable. Il faut donc se fixer un seuil, par exemple 80, 90 ou 95% afin de soulever un doute raisonnable.

Il est important de souligner trois lacunes importantes des outils de détection des textes générés par une IA:

1. La précision de la détection augmente avec la longueur du texte analysé. Par conséquent, plus l’échantillon analysé sera court, plus faible sera la probabilité de détection de sa provenance (humaine versus IA).

2. La précision de la détection diminue avec la quantité de modifications apportée (par un humain ou un logiciel) au texte après qu’il ait été rédigé automatiquement par une IA. On verra sans doute apparaître des logiciels d’aide au brouillage de textes. Puis la « course à l’armement » se poursuivra avec des logiciels de détection des logiciels brouilleurs, … dans une régression théoriquement infinie.

3. Les outils de détection sont le plus souvent conçus pour détecter un seul outil de génération de textes. Il est possible d’en détecter plusieurs, mais avec un risque d’être moins performants ou précis.

Un court billet sur mes expériences avec ChatGPT (https://bit.ly/3FBiUbr). Mes conclusions, ChatGPT est impressionnant mais c’est un « idiot savant » qui joue avec la vérité et l’éducation de nos enfants….

Scientifiquement vôtre
Claude COULOMBE
Ph. D. – entrepreneur – consultant en IA appliquée

Répondre