Ia et échecs : une défaite surprenante face à la machine
Un reverssement inattendu dans le domaine de l'intelligence artificielle : les grands modèles de langage, comme Gemini, ChatGPT et Claude, se sont révélés impuissants face à un adversaire classique : les échecs.
Une déception pour les optimistes de l'ia
Pendant des décennies, l'informatique a produit des machines capables de défier les meilleurs joueurs d'échecs, dont le célèbre affrontement entre Garry Kasparov et Deep Blue en 1996. Bien que le Maître Russe ait remporté plusieurs parties, Deep Blue a finalement triomphé, marquant un tournant dans l'histoire de ce jeu millénaire. L'avènement des grands modèles de langage naturel (LLM) suscitait naturellement l'espoir de voir ces modèles surpasser les humains à l'échecs. Demis Hassabis, PDG de DeepMind, a pourtant levé un pavé : « L'IA pourrait commettre les mêmes erreurs que les réseaux sociaux. »
Mais la réalité est bien plus nuancée. Après avoir testé directement les principaux modèles – Gemini, ChatGPT et Claude – via une partie d'échecs en notation algébrique dans un chatbot, j'ai été stupéfait par leur incapacité. Il s'agit d'une véritable désastreuse performance.
Ces LLM, dotés d'une puissance de calcul impressionnante, semblent manquer d'une composante essentielle : la véritable compréhension du jeu. Ils se contentent d'anticiper une réponse, sans saisir la logique stratégique profonde de l'échecs. Ils ne possèdent pas la capacité d'analyser les positions avec la rigueur et la perspicacité d'un joueur de haut niveau.
Il ne s'agit pas d'un manque de capacités mathématiques ou probabilistes, comme on pourrait l'imaginer. L'échecs est bien plus qu'un simple problème de calcul ; c'est un jeu d'intuition, d'anticipation et de vision à long terme. Les LLM se réduisent à une tentative maladroite de résoudre un puzzle à l'aveugle, commettant une multitude d'erreurs.
Cette faiblesse de ces modèles se reflète dans leur niveau d'ELO : je me situe autour de 1 200, contre plus de 2 000 pour les grands maîtres. Leurs ouvertures sont prévisibles, leur développement est souvent imparfait, et ils produisent régulièrement des coups illégaux. Le nombre de variantes possibles dans une partie d'échecs, avec plus de 120 000 combinaisons possibles après seulement trois coups, dépasse largement les capacités de ces systèmes. Ils sont incapables de prendre en compte les subtilités tactiques et stratégiques qui découlent de l'analyse profonde de la position.
Claude a été le modèle le plus persévérant, reproduisant fidèlement le déroulement du jeu, mais il souffre des mêmes défauts : oublis, erreurs de coups, incapacité à respecter les règles de base. En fin de compte, les LLM ne sont que des symptômes d'un problème plus fondamental : leur manque de véritable compréhension du monde.
La probabilité, seule, ne suffit pas à garantir un résultat positif. L'IA ne peut pas remplacer la connaissance et l'expérience d'un joueur d'échecs expérimenté. Il est temps de reconnaître que les LLM, malgré leur impressionnante puissance, restent des outils imparfaits pour ce genre de défis.