Une démission qui remet la sécurité de l’IA au centre du débat
L’intelligence artificielle promet de rédiger des mails, diagnostiquer des maladies, automatiser des tâches répétitives et, accessoirement, nous éviter de chercher pendant vingt minutes le bon onglet dans un tableur. Mais derrière cette image pratique et souvent spectaculaire, une inquiétude beaucoup plus lourde revient avec force : que se passe-t-il si les systèmes d’IA deviennent trop puissants pour être réellement contrôlés ?
C’est la question posée avec fracas par Jacob Coxon, chercheur britannique de 27 ans qui a quitté Anthropic après avoir auparavant travaillé chez OpenAI. Dans une série de publications très relayées sur X, il accuse les deux entreprises de se lancer dans une course risquée vers des IA capables de s’améliorer elles-mêmes. Ses mots ont rapidement dépassé le cercle très fermé des spécialistes de l’IA : son premier message a cumulé des dizaines de millions de vues et a été repris par de nombreux médias internationaux.
Son avertissement est particulièrement direct : selon lui, les entreprises qui construisent les modèles les plus avancés considèrent sérieusement le risque qu’une IA puisse devenir catastrophique pour l’humanité au cours de la décennie. Une formule qui fait froid dans le dos, même si elle mérite d’être replacée dans son contexte scientifique, industriel et politique.
Pourquoi Jacob Coxon a quitté Anthropic
Jacob Coxon n’est pas un commentateur extérieur à l’industrie. Il travaillait sur le pré-entraînement des modèles d’IA, cette phase centrale durant laquelle un système absorbe et traite d’immenses volumes de données pour apprendre à générer du texte, analyser des images, résoudre des problèmes ou écrire du code.
Il avait rejoint Anthropic après OpenAI, en estimant que l’entreprise était plus attentive aux enjeux de sécurité de l’IA. Anthropic s’est d’ailleurs construite une réputation autour de ce sujet : son approche dite de l’IA constitutionnelle vise à encadrer le comportement des modèles à l’aide de principes et de règles explicites.
Mais le chercheur estime désormais que cette prudence affichée ne suffit pas. Son reproche porte moins sur l’absence totale de réflexion que sur une contradiction impossible à ignorer : vouloir bâtir des systèmes toujours plus capables tout en reconnaissant qu’on ne sait pas encore garantir leur contrôle à un niveau supérieur à celui de l’humain.
D’après lui, les laboratoires sont enfermés dans une logique de compétition. Chaque acteur redoute qu’un concurrent, potentiellement moins prudent, prenne de l’avance. Résultat : personne ne veut être le premier à appuyer sur le bouton pause. Un peu comme une course de karting où tout le monde assure avoir vu le mur, tout en gardant le pied sur l’accélérateur.
Le scénario qui inquiète : l’auto-amélioration récursive
Au cœur de cette controverse se trouve une expression technique : l’auto-amélioration récursive. L’idée est la suivante : une IA suffisamment compétente pourrait contribuer à concevoir une version plus performante d’elle-même. Cette nouvelle version pourrait ensuite accélérer encore le processus, créant une boucle d’améliorations de plus en plus rapides.
Sur le papier, cela peut évoquer de la science-fiction. Dans la réalité, le débat porte surtout sur le rythme auquel les capacités des modèles progressent et sur les garde-fous disponibles avant d’atteindre des systèmes beaucoup plus autonomes.
Les chercheurs les plus inquiets redoutent un problème de contrôle. Si une IA possède des compétences très avancées en programmation, en recherche, en persuasion ou en planification, comment s’assurer qu’elle respecte durablement les objectifs humains ? Lui demander gentiment de ne pas faire de bêtises ne constitue pas encore une méthode scientifique reconnue, même avec beaucoup de points d’exclamation.
Le sujet est connu sous le nom d’alignement de l’IA. Il désigne la capacité à faire en sorte qu’un système poursuive réellement les intentions humaines, y compris dans des situations nouvelles et complexes. Or, les méthodes actuelles de sécurité sont utiles, mais elles restent imparfaites. Les modèles peuvent contourner des consignes, produire des réponses trompeuses ou adopter des comportements inattendus lorsqu’ils sont placés dans des contextes différents de ceux rencontrés pendant leur entraînement.
Anthropic reconnaît des risques, sans partager toutes les conclusions
La particularité de cette affaire est qu’elle n’a pas suscité un démenti catégorique du côté d’Anthropic. Evan Hubinger, responsable de la sûreté au sein de l’entreprise, a lui aussi affirmé publiquement prendre très au sérieux le risque existentiel lié à une IA future extrêmement puissante.
Il a toutefois précisé que le danger associé aux modèles actuels restait faible. Cette nuance est essentielle. Les IA disponibles aujourd’hui, même les plus impressionnantes, ne sont pas des entités autonomes capables de réécrire le monde depuis un serveur caché sous une montagne. Elles dépendent d’infrastructures humaines, de données, d’accès limités et de décisions prises par des organisations.
Le problème soulevé concerne donc surtout les prochaines générations de modèles. Les grands laboratoires investissent des milliards de dollars pour améliorer le raisonnement, l’autonomie, les capacités de recherche et l’utilisation d’outils numériques. À mesure que ces fonctions progressent, la frontière entre un assistant très performant et un agent capable d’exécuter des actions complexes devient plus délicate à tracer.
Anthropic affirme travailler sur des mécanismes d’évaluation, des restrictions d’usage et des protocoles de sécurité. OpenAI communique également sur la nécessité d’étudier les risques des modèles les plus avancés. Mais le point soulevé par Jacob Coxon reste entier : ces efforts sont-ils suffisamment solides face à la vitesse de la compétition ?
OpenAI, Anthropic et la course à la superintelligence
Le terme de superintelligence désigne une IA qui dépasserait les capacités humaines dans presque tous les domaines cognitifs importants. Nous n’en sommes pas là. Toutefois, plusieurs dirigeants et chercheurs du secteur évoquent ouvertement cet horizon comme une possibilité à préparer.
Cette perspective explique la nervosité qui traverse la Silicon Valley. Une IA beaucoup plus intelligente que les humains pourrait avoir des effets positifs immenses : accélération de la recherche médicale, nouveaux matériaux, découverte de traitements, optimisation énergétique ou amélioration des systèmes éducatifs. La promesse est colossale.
Mais un outil aussi puissant créerait aussi des risques majeurs s’il était mal conçu, détourné ou déployé sans contrôle. Cyberattaques plus sophistiquées, désinformation à grande échelle, automatisation de décisions sensibles, usage militaire ou concentration excessive du pouvoir technologique font partie des scénarios déjà débattus par les experts.
Le risque le plus extrême, celui évoqué par Jacob Coxon, est plus controversé. Certains spécialistes le jugent plausible et demandent d’agir maintenant. D’autres estiment qu’il détourne l’attention des dommages plus immédiats : discriminations algorithmiques, précarisation de certains emplois, surveillance, manipulation de l’information ou consommation énergétique des data centers.
Ces deux approches ne sont pas forcément incompatibles. Une politique sérieuse de régulation de l’intelligence artificielle peut traiter les risques actuels tout en préparant les risques futurs. En clair, il est possible de surveiller la fuite d’eau dans la cuisine sans oublier de vérifier l’alarme incendie.
Le besoin d’un freinage coordonné
Pour Jacob Coxon, une entreprise seule ne peut pas résoudre le problème. Si Anthropic ou OpenAI ralentit unilatéralement ses recherches, un concurrent américain, chinois ou issu d’un autre pays pourrait poursuivre le développement sans les mêmes exigences. Cette crainte alimente justement la course que le chercheur dénonce.
La solution avancée par plusieurs voix du secteur repose sur une coordination entre États et laboratoires. L’objectif serait de créer des règles communes, vérifiables et applicables à tous les acteurs capables d’entraîner les modèles les plus puissants.
Parmi les pistes souvent citées figurent :
- des tests de sécurité obligatoires avant le déploiement de modèles avancés ;
- une déclaration des capacités de calcul les plus importantes ;
- des audits indépendants sur les risques de cybersécurité et d’autonomie ;
- des mécanismes permettant de ralentir ou suspendre certains entraînements ;
- une coopération internationale sur les seuils de danger et les usages interdits.
Aux États-Unis, l’absence de cadre fédéral complet reste un sujet de tension. Des responsables politiques appellent à une approche légère pour ne pas freiner l’innovation, tandis que d’autres réclament un régulateur spécialisé et des obligations strictes pour les entreprises d’IA.
Le défi est immense : réguler trop tard peut laisser les risques s’installer, mais réguler maladroitement peut aussi favoriser les acteurs les plus riches, capables d’absorber les contraintes. La réglementation doit donc protéger le public sans verrouiller l’innovation derrière quelques portes blindées avec badge VIP.
Faut-il avoir peur de l’IA aujourd’hui ?
La réponse honnête est : il faut rester lucide. Les déclarations de Jacob Coxon sont alarmantes, et elles reflètent une inquiétude réelle chez une partie des chercheurs qui participent directement à la création des modèles les plus avancés. Elles ne constituent pas pour autant une prédiction certaine ni l’annonce d’une catastrophe imminente.
Les modèles actuels présentent déjà des limites connues. Ils peuvent inventer des informations, reproduire des biais, se tromper avec aplomb et confondre parfois confiance et compétence. Quiconque a demandé à une IA une référence très précise et reçu une source qui semble sortir d’une bibliothèque imaginaire sait de quoi il s’agit.
Mais leur progression rapide impose une vigilance continue. La sécurité ne devrait pas être une couche ajoutée à la fin, comme le petit cadenas sur une valise déjà partie à l’aéroport. Elle doit être intégrée dès la conception, testée par des experts indépendants et accompagnée de règles publiques compréhensibles.
L’alerte lancée par cet ancien chercheur d’Anthropic a au moins le mérite de remettre une question fondamentale sur la table : qui décide de la vitesse à laquelle l’IA progresse, et avec quelles garanties pour la société ? La réponse ne peut pas rester entre les mains de quelques entreprises, aussi brillantes soient-elles. Car quand l’enjeu concerne potentiellement tout le monde, le débat mérite mieux qu’un simple fil viral sur X.
Source : IA hors de contrôle : pourquoi l’alerte d’un ex-chercheur d’Anthropic secoue la Silicon Valley
