Jacob Coxon, en 27-årig brittisk forskare som arbetade i tre år på OpenAI och därefter på Anthropic, beslutade att lämna AI-branschen efter en varning som fick varningsklockorna att ringa.
Kort efter att han sagt upp sig från Anthropic publicerade Coxon ett inlägg på X där han skrev att inget av företagen agerar ansvarsfullt och att båda rusar för fullt mot en självförbättrande superintelligens.
Hans oro är ännu mer extrem: han hävdade att de som utvecklar denna teknik uppriktigt tror att en avancerad AI kan döda alla människor innan det här årtiondet är slut.
Enligt Coxon skulle dessa system kunna vida överträffa människans förmågor, hacka datorsystem, revolutionera hela områden och få tillgång till resurser och makt i den verkliga världen.
Men det som gör hans uttalanden särskilt slående är att han säger sig ha hört chefer och forskare uttrycka långt större farhågor privat än de ger uttryck för offentligt.
Och det kom ett svar som gav hans ord ännu större tyngd.
Evan Hubinger, en Anthropic-forskare och Coxons tidigare chef, svarade offentligt att ”vi verkligen tror” att AI kan döda alla människor, även om han uppskattade att han personligen bedömer den risken till under 10%. Han medgav också att Anthropic fortfarande inte har någon plan för att lösa säkerhetsproblemet med en framtida superintelligens.
Coxon menar att problemet är kapplöpningen mellan företagen: även de som förstår riskerna känner att de måste gå vidare innan konkurrenterna gör det.
Och det lämnar oss med frågan som hans varning väcker: om de som bygger tekniken själva tror att den kan bli farlig, går vi då för fort fram?