Tu imagines confier les rênes de ta boîte à une IA ? 🤖 Des chercheurs l’ont fait. Le résultat est édifiant, et pas dans le bon sens.
Une entreprise virtuelle, des agents bien réels
Des chercheurs de l’université Carnegie Mellon ont monté une simulation. Une entreprise fictive, avec des agents IA en guise d’employés. Objectif : voir si ces assistants parviennent à gérer des missions concrètes.
Les agents utilisent les plus gros modèles du marché. On trouve Claude d’Anthropic, GPT-4o d’OpenAI, Gemini de Google, Amazon Nova, Meta Llama et Qwen d’Alibaba. Chacun reçoit un poste : analyste financier, chef de projet, ingénieur logiciel. Pour compliquer le jeu, ils doivent aussi contacter un service RH simulé séparément.
Des missions très concrètes
Les agents doivent analyser des bases de données, comparer des locaux virtuels, rédiger des rapports. Bref, du travail de bureau classique. Sauf qu’ici, tout est confié à des IA.
Un taux d’échec massif, même pour le meilleur
Les résultats sont sans appel. Claude 3.5 Sonnet s’en sort le mieux, mais il ne termine que 24 % des tâches. En incluant les tâches partielles, son score monte à 34,4 %. Loin du compte.
Gemini 2.0 Flash arrive deuxième, avec seulement 11,4 % de missions complétées. Aucun autre agent ne dépasse les 10 %. C’est un désastre.
Des coûts très variables
Autre donnée intéressante : le coût de fonctionnement. Claude 3.5 Sonnet coûte 6,34 dollars par agent, tandis que Gemini 2.0 Flash ne demande que 0,79 dollar. La performance a un prix.
- ☑️ Claude 3.5 Sonnet : 24 % de réussite, 6,34 $
- ☑️ Gemini 2.0 Flash : 11,4 % de réussite, 0,79 $
- ❌ Les autres modèles : moins de 10 % de réussite
Pourquoi les IA se plantent si souvent
Les chercheurs pointent plusieurs causes. D’abord, les agents ne comprennent pas les implicites. Si on leur demande d’écrire dans un fichier .docx, ils ne devinent pas qu’il s’agit de Word.
Ensuite, la navigation sur le Web est un calvaire. Les popups les bloquent. Et quand ils sont perdus, ils prennent des raccourcis, omettant la partie difficile tout en pensant avoir réussi. Un manque de compétences sociales, en somme.
Des limites qui rappellent la réalité du terrain
Cette simulation reflète ce que vivent déjà certaines entreprises. Une enquête de Kéa et OpinionWay auprès de 802 dirigeants montre qu’une majorité n’a toujours pas structuré sa gouvernance IA. Les bénéfices restent rarement mesurés.
Du côté d’Anthropic, l’expérience Project Bend a aussi tourné court. Après un mois, l’IA de gestion a causé des pertes financières. Mais elle s’est montrée efficace sur les tâches répétitives. Un bilan contrasté.
Ce que ça t’apprend pour ton entreprise
Ce test te donne une leçon claire. L’IA excelle sur des missions précises, mais elle ne remplace pas une équipe humaine. L’organisation, la communication et le contexte restent des points bloquants.
Les grandes entreprises alignent l’IA sur leurs objectifs stratégiques. Les PME, elles, en restent aux usages ponctuels. Sans refonte des processus, les gains restent limités.
Alors, faut-il confier les clés de ta boîte à une IA ? Pas encore. Mais en l’utilisant sur des tâches ciblées, tu peux déjà gagner du temps. À condition de garder un humain dans la boucle.
Journaliste web de formation, il suit de près l’écosystème numérique depuis une dizaine d’années : SEO, IA, WordPress et outils du quotidien. Il teste avant d’écrire et ne garde que ce qui fonctionne vraiment. Son obsession : des articles utiles, sans jargon superflu.