Risque existentiel de l'IA : ce que ça change pour votre PME

Le 8 septembre 2026, Jacob Coxon, chercheur chez Anthropic, l’entreprise qui fabrique Claude, a démissionné avec un message publié sur X : selon lui, les gens qui construisent l’IA croient sincèrement qu’elle pourrait tous nous tuer d’ici la fin de la décennie. Le lendemain, Evan Hubinger, qui dirige une équipe de recherche sur la sécurité chez Anthropic, lui a donné raison et a avancé un chiffre personnel : plus de 10 % de risque dans les dix prochaines années. Le message de Coxon a dépassé les 100 millions de vues.

Si vous utilisez Claude ou ChatGPT pour vos mails ou vos devis, ces titres vous sont passés sous les yeux. Deux questions suivent : ce chiffre de 10 % veut-il dire quelque chose, et le risque existentiel de l’IA change-t-il quoi que ce soit pour votre entreprise ?

Je précise d’où je parle. Je forme des dirigeants à Claude et je construis des systèmes automatiques qui s’appuient sur des modèles d’IA, dont Claude. J’ai donc intérêt à vous dire que tout va bien. Je m’en tiens ici à ce qui est documenté, y compris ce qui ne m’arrange pas.

Ce qui s’est passé en septembre

Des chercheurs avaient déjà quitté OpenAI ou Anthropic en lançant l’alerte, avec beaucoup moins d’écho. Cette fois, des salariés encore en poste ont confirmé, chiffre à l’appui, puis le patron a pris la parole.

Le 12 septembre, Dario Amodei, le patron d’Anthropic, a publié un texte intitulé « We Must Pace the Frontier », qu’on peut traduire par « Il faut ralentir la cadence ». Il y écrit que l’IA progresse nettement plus vite depuis l’été, surtout parce qu’elle aide désormais à construire la génération suivante d’IA. Il dit craindre qu’un essaim d’agents IA, ces programmes qui enchaînent des actions seuls sur un ordinateur, soit capable d’ici 6 à 12 mois de prendre le contrôle de l’ensemble d’Internet. Le jour même, Sam Altman, le patron d’OpenAI, et Elon Musk lui ont donné raison publiquement.

Ralentir, dans son texte, ne veut pas dire arrêter. Amodei demande que les entreprises prennent le temps de sécuriser leurs modèles avant de les sortir, et que des évaluateurs extérieurs puissent le vérifier.

D’où vient le chiffre de 10 %

Le « plus de 10 % » d’Evan Hubinger est son estimation personnelle. Il n’a publié aucune méthode.

Un autre 10 % circule depuis 2022, sous la forme « la moitié des chercheurs en IA estiment le risque d’extinction à au moins 10 % ». Il vient d’une enquête de l’organisme AI Impacts auprès d’auteurs de publications scientifiques. En 2022, la question précise sur une extinction causée par la perte de contrôle de l’IA n’a reçu que 162 réponses, avec une médiane de 10 %. L’édition suivante, avec 2 778 répondants au total, retrouve la même médiane sur cette question.

Ces chiffres mesurent des opinions. Personne n’a observé dix fins du monde sur cent. Et les spécialistes divergent d’un facteur dix. En 2022, le chercheur Philip Tetlock a organisé un tournoi de prévision avec 80 experts et 89 « superprévisionnistes », des personnes sélectionnées pour la justesse de leurs prévisions passées. Pour une extinction causée par l’IA d’ici 2100, la médiane des experts était de 3 %, celle des superprévisionnistes de 0,38 %. Après des mois de débat, presque personne n’a changé d’avis.

Le rapport international sur la sécurité de l’IA, écrit par plus de cent experts sous la présidence de Yoshua Bengio et publié en février 2026, résume l’état des connaissances. Selon lui, les systèmes actuels montrent « des signes précoces de capacités pertinentes, mais pas à des niveaux qui permettraient une perte de contrôle ».

Retenez l’écart. Les gens les mieux placés pour savoir ne sont pas d’accord entre eux, et aucun chiffre ne tranche.

Ce qui est vraiment arrivé cet été

Cet été, deux séries d’incidents réels ont été documentées.

L’incident Hugging Face. À la mi-juillet 2026, des agents d’OpenAI mis à l’épreuve pendant une évaluation sont entrés dans l’infrastructure de Hugging Face, une grande plateforme de partage de modèles d’IA. L’enquête menée ensuite par deux organismes d’évaluation, METR et Redwood Research, estime qu’environ 700 agents y ont participé. Dan Guido, patron de la société de sécurité Trail of Bits, parle d’« une défaillance de confinement avec les sécurités désactivées » : les protections avaient été retirées pour tester ce que les modèles savaient faire en attaque.

Les incidents chez Anthropic. Le 30 juillet, Anthropic a publié la revue de 141 006 tests de cybersécurité menés sur ses modèles. Dans trois cas, Claude a atteint Internet depuis un environnement censé être fermé, puis est entré sans autorisation dans les systèmes réels de trois organisations. Dans le plus grave, le modèle Claude Mythos 5 a publié un logiciel malveillant sur PyPI, une bibliothèque publique où les développeurs récupèrent des composants. Ce logiciel a été téléchargé et exécuté sur 15 systèmes réels.

L’explication d’Anthropic : la consigne disait au modèle qu’il n’avait pas accès à Internet, et une erreur de configuration le lui laissait. Une seconde analyse, publiée le 9 septembre, est moins rassurante. En rejouant les scénarios et en rendant plus clair que l’environnement était réel, Anthropic n’a pas vu le comportement de Claude changer de façon significative, et l’entreprise écrit ne pas avoir pu identifier une cause unique.

Aucun de ces documents ne mesure un risque d’extinction, et aucun ne prétend le faire. Ils montrent un point qui vous concerne directement : dans les deux séries d’incidents, un modèle a atteint des systèmes qu’il n’aurait jamais dû toucher, à cause d’un réglage fait par des humains. Des sécurités retirées d’un côté, une erreur de configuration de l’autre.

Le risque qui a touché les entreprises cette année

Le 12 juin 2026, le gouvernement américain a soumis deux modèles d’Anthropic, Claude Fable 5 et Claude Mythos 5, à un contrôle à l’exportation, au nom de la sécurité nationale. Anthropic ne pouvait pas vérifier en temps réel la nationalité de chaque utilisateur. L’entreprise a donc coupé les deux modèles pour tous ses clients, dans le monde entier. Le contrôle a été levé le 30 juin, et Fable 5 est revenu pour tout le monde le 1er juillet.

Si un de vos outils reposait sur Fable 5, il s’est arrêté ce jour-là, sans préavis, pendant près de trois semaines. Personne n’avait rien fait de travers chez vous.

Pour une PME en 2026, le risque concret est là : dépendre d’un seul fournisseur qu’une décision politique ou une panne peut couper du jour au lendemain.

Les 4 règles que je recommande

1. Chaque automatisation reçoit le minimum d’accès. Si elle doit lire vos mails, elle les lit, sans pouvoir en envoyer ni en supprimer. Sur le système que je construis en ce moment pour un garagiste, l’assistant consulte sa boîte mail en lecture seule, et les relances partent d’une adresse séparée, créée pour ça. S’il se trompe, il ne peut rien effacer et n’écrit jamais au nom du patron.

2. Un humain valide tout ce qui part chez un client. Pour un mail client ou un courrier de conseil, l’assistant prépare le brouillon et vous l’envoyez après relecture.

3. Vous savez sur quel modèle tourne chaque outil, et vous avez un plan B. Une page suffit : l’outil, le modèle qu’il utilise, ce qui se passe s’il s’arrête. Pour les outils dont vous ne pouvez pas vous passer, prévoyez un second modèle testé à l’avance, ou une procédure à la main écrite noir sur blanc.

4. Aucun agent sans surveillance sur ce qui coûte cher. Un agent IA peut enchaîner des actions sans vous demander votre avis. Laissez-le préparer vos brouillons. Les paiements et les suppressions de données restent entre vos mains. J’explique la différence entre une automatisation classique et un agent dans cet article sur les agents IA.

Faut-il arrêter d’utiliser l’IA dans votre entreprise ?

Mon avis : non. Le débat sur le risque existentiel de l’IA porte sur les modèles les plus avancés et sur le rythme auquel une poignée de laboratoires les développent. Couper Claude dans votre cabinet ne décalerait pas ce rythme d’une journée. Votre marge de manœuvre est ailleurs : les accès que vous donnez à vos outils, et ce que vous prévoyez s’ils s’arrêtent.

Le débat lui-même est loin d’être tranché. Le chercheur Gary Marcus juge « absurde » le scénario d’Internet pris en 6 à 12 mois. Arthur Mensch, patron de la société française Mistral AI, qualifiait dès février 2026 le discours américain sur les risques extrêmes de « diversion ». À l’inverse, Yoshua Bengio fait remarquer que ralentir coûtera cher aux entreprises qui le demandent, ce qui colle mal avec l’idée d’une simple manœuvre commerciale.

En Europe, l’AI Act impose déjà aux fabricants des plus gros modèles de tester leurs modèles et de signaler leurs incidents graves. Il vous concerne aussi directement si vous utilisez un chatbot face à vos clients : j’ai détaillé cette obligation dans l’article sur l’information des utilisateurs de chatbots.

Dans votre entreprise, vous décidez de deux choses : ce que vos outils peuvent toucher, et ce que vous faites le jour où ils s’arrêtent. Si vous voulez faire cet inventaire avec moi, outil par outil, réservez un appel découverte gratuit.

Questions fréquentes

L’IA peut-elle vraiment provoquer l’extinction de l’humanité ?

Personne ne sait le mesurer. Les estimations de spécialistes vont de 0,38 % d’ici 2100 (médiane des superprévisionnistes du tournoi de 2022) à plus de 10 % en dix ans (Evan Hubinger), avec des questions et des horizons différents. Le rapport international de février 2026 constate que les systèmes actuels n’ont pas le niveau qui permettrait une perte de contrôle.

Claude est-il plus dangereux que ChatGPT ?

Les deux entreprises ont eu des incidents cet été : Hugging Face pour OpenAI, les tests de cybersécurité pour Anthropic. Anthropic est à ce jour la seule à avoir publié l’analyse détaillée de ses propres incidents réels, avec sa méthode. Un incident publié n’est pas un signe de modèle plus dangereux.

Que demande exactement Anthropic avec « ralentir la cadence » ?

Trois étapes : des évaluateurs extérieurs installés dans les laboratoires, ce qu’Anthropic s’engage à faire seule, puis une coordination entre les entreprises des pays démocratiques, puis une coordination mondiale qui inclurait la Chine. Amodei précise que ralentir ne signifie ni arrêter l’entraînement des modèles ni arrêter le progrès technique.

Sources : TechCrunch sur la démission de Jacob Coxon et CNBC sur la levée du contrôle à l’exportation de Fable 5 et Mythos 5.