On a essayé le moteur de recherche Bing avec ChatGPT

« Bonjour, c’est Bing. Le Super Bowl 2023 a eu lieu le 12 février 2023 au State Farm Stadium à Glendale, en Arizona. Les Chiefs de Kansas City ont battu les Eagles de Philadelphie par 38 à 35. C’était le premier Super Bowl opposant deux quarts partants noirs, Patrick Mahomes et Jalen Hurts, mais aussi opposant deux frères, Travis et Jason Kelce. »

Voilà la réponse que m’a donnée le nouveau moteur de recherche Bing, lorsque je lui ai demandé qui avait gagné le dernier Super Bowl, au lendemain de la grand-messe du football américain.

La réponse du nouveau Bing, qui intègre le moteur de recherche à l’intelligence artificielle capable de générer du texte ChatGPT, a de quoi impressionner. Ce n’est plus une longue liste de liens, mais plutôt un texte clair, en français, avec des informations justes et même une mise en contexte pour expliquer l’importance de l’événement. Des liens sont aussi intégrés au texte pour en savoir plus. Surtout, les informations présentées sont à jour, ce qui corrige une des lacunes majeures de ChatGPT. En comparaison, la version originale de l’IA générative de la jeune entreprise américaine OpenAI dit en effet parfois tout et son contraire, et elle ne connaît pas l’actualité récente, puisqu’elle a été entraînée sur un corpus de textes amassés en 2021.

Le nouveau Bing, accessible sur invitation seulement, représente selon Microsoft l’avenir des moteurs de recherche. Accessoirement, c’est également l’occasion pour l’entreprise de prendre sa revanche sur Google, qui domine la recherche sur le Web depuis le début des années 2000, tandis que Bing est plutôt la cible de blagues depuis son lancement en 2009.

Dans le domaine des technologies de l’information, le sujet est sur toutes les lèvres en ce moment. La semaine dernière, au lendemain du dévoilement du nouveau Bing, Google a présenté Bard, son propre robot conversationnel relié à Internet. L’événement s’est avéré un échec parce que Bard a commis une erreur en affirmant que le télescope spatial James Webb avait photographié pour la première fois une planète en dehors du système solaire. Le télescope a bien pris un tel cliché, mais il n’était pas le premier à le faire. L’action de Google a chuté le lendemain, ce qui a fait perdre à l’entreprise plus de 100 milliards de dollars américains en Bourse.

Les hauts et les bas de Bing avec IA

Pourtant, après quelques jours d’essai, force est de constater que Bing commet aussi des erreurs. Quand je lui demande qui est à la tête des différents partis politiques au Québec en ce moment, Bing affirme par exemple que Dominique Anglade est toujours cheffe du Parti libéral du Québec.

Et les erreurs du genre sont nombreuses. Quand je lui demande de me trouver des cabanes à sucre avec des activités pour les enfants, qui permettent d’apporter son alcool et qui se situent à moins de 45 minutes de Montréal en voiture (une recherche poussée, où un tel outil serait parfait), Bing propose généralement des endroits qui ne respectent qu’un ou deux des critères.

Autre problème : les liens dans le texte, qui sont essentiels pour s’assurer rapidement de la véracité des affirmations fournies, sont souvent inutiles. Ils correspondent au sujet, mais pas forcément aux passages soulignés. Les sources en bas de page, elles, ne contiennent la plupart du temps aucune des informations présentées dans la réponse.

D’autres exemples ont toutefois été plus probants.

Quand on lui a demandé pourquoi le joueur du Canadien de Montréal Rafaël Harvey-Pinard avait été sélectionné tardivement au repêchage, Bing a notamment mentionné sa petite stature. « Il ne mesure que 5 pieds et 9 pouces, pèse 183 livres, ce qui pourrait expliquer pourquoi certaines équipes ne l’ont pas pris malgré ses atouts et son potentiel. Une autre raison est son âge. Il avait déjà 20 ans lorsqu’il a été sélectionné, ce qui est plus vieux que la plupart des autres choix. »

Que vaut la réponse ? Pour comparer, j’ai posé la même question à Olivier Tremblay, journaliste sportif à Radio-Canada : « Harvey-Pinard a été ignoré deux fois au repêchage, notamment parce que ce n’est ni le plus costaud, ni le plus rapide, ni le plus puissant des joueurs de hockey, et c’est difficile de prévoir comment ce profil-là va s’adapter aux rangs professionnels. Mais il comble ces écarts par son travail et son acharnement. Ce n’est donc pas le genre de joueur à choisir en début de repêchage, mais c’était un pari intéressant pour beaucoup d’équipes dans les derniers tours, à sa troisième année d’admissibilité. »

La réponse humaine est évidemment plus complète (Dieu merci pour mon avenir professionnel !), mais celle de l’IA était tout de même suffisante.

Autre bon coup : quand j’ai demandé à Bing d’expliquer la fin du film American Psycho, le moteur a fourni trois interprétations différentes, provenant de trois sources crédibles. C’est une réponse complète, qui améliore l’expérience de recherche par rapport à ce qu’il est possible de faire actuellement avec Google, par exemple.

Démêler les erreurs temporaires des failles intrinsèques

Microsoft ne prétend pas que son nouveau moteur de recherche est prêt. Il s’agit plutôt d’un aperçu, qui devrait permettre de recueillir des commentaires et d’améliorer l’expérience (les réponses prennent d’ailleurs de longues secondes à apparaître pour l’instant).

Plusieurs des erreurs obtenues semblent liées à un même défaut de conception : en essayant d’intégrer les faits de différents sites trouvés sur le Web, Bing mêle parfois des informations contradictoires (c’est ce qui explique pourquoi Dominique Anglade faisait partie de sa réponse, par exemple). C’est un problème facile à régler, simplement en privilégiant les données les plus récentes, comme le ferait un humain.

D’autres défauts sont toutefois plus pernicieux. En offrant un résumé qui paraît complet, Bing peut occulter certaines parties de la réponse, comme l’importance de Patrick Mahomes pour les Chiefs de Kansas City. Ce joueur a remporté son deuxième Super Bowl à 27 ans seulement, ce qui est plus susceptible de passer à l’histoire du football américain que le fait que deux frères s’y sont affrontés. Un conseil économique ou une explication pour comprendre un enjeu politique seront évidemment aussi plus limités qu’un article de fond sur le sujet, par exemple.

En obtenant toutes ses réponses sur Bing, l’utilisateur est également détourné des sites visités par le moteur de recherche (ce qui est mauvais signe pour leur survie s’ils dépendent des revenus publicitaires). Le phénomène n’est pas nouveau, Google conservant depuis plusieurs années une partie du trafic en synthétisant les informations recherchées, mais Bing avec ChatGPT amplifie cette tendance. 

Et même si on peut présumer que l’IA s’améliorera avec le temps, il sera probablement impossible de s’y fier à 100 %, à moins d’aller lire ensuite chacune des sources indiquées, comme on le ferait en ce moment en consultant les différentes réponses fournies par Google.

Une fois que la technologie sera peaufinée, la recherche Web aidée par l’intelligence artificielle pourra être très utile dans certains cas, notamment pour les cas complexes qui nécessitent la synthèse de nombreux sites. Mais les longues listes de résultats qui dominent la recherche Web depuis les années 1990 et qui demandent à l’utilisateur de faire une partie du travail n’ont pas dit leur dernier mot pour autant. Et c’est très bien ainsi.