Wat vrijwel iedereen gemist heeft bij de OpenAI Anthropic hack.

30.000+ lezers blijven up-to-date over artificial intelligence door 'Trending in Tech' te lezen.

Een nieuwe Trending in Tech, de Nederlandse nieuwsbrief over de impact van AI op mens, werk, organisaties en samenleving. Human made sinds 2011.

Mijn vorige nieuwsbrief ging over hoe je je kunt voorbereiden op het tijdperk van AI-agents. Deze keer gaat het over de enorme risico’s van AI-agents.

Wil je mij boeken als AI-spreker? Ik gaf inmiddels vele honderden hoog beoordeelde presentaties over AI.

Met hartelijke groet,

Jarno

De afgelopen week ging het in mijn bubbel over bijna niets anders dan de twee opmerkelijke incidenten bij OpenAI en Anthropic.

AI-agents wisten tijdens veiligheidstests buiten de beveiligde testomgeving te komen, toegang te krijgen tot het internet en echte organisaties te hacken.

Bij de reacties die daarop volgden, heb ik mij meermaals achter de oren moeten krabben. De strekking van het gros van de reacties in de traditionele media en op sociale media was: “dit is allemaal marketing, bedoeld om ons bang te maken”. Of “Ze maken doemscenario’s om hun mogelijke aandelenkoersen op te krikken”.

En natuurlijk is het gezond om hier kritisch naar te kijken, want de AI-industrie heeft in het verleden vaker dit soort sciencefictionscenario’s naar buiten gebracht om aandacht te trekken. Kritisch blijven is dus heel gezond en ontzettend belangrijk.

Maar met deze invalshoek mistte bijna iedereen het echte verhaal, namelijk wat deze AI-agenten daadwerkelijk hebben gedaan. (Vandaar deze nieuwsbrief en interview in AD).

Als een mens van vlees en bloed hetzelfde had gedaan, dan was het geen “marketing” geweest, maar computervredebreuk en bedrijfsinbraak, met mogelijk strafrechtelijke vervolging tot gevolg. Wat er is gebeurd, is echt een kantelpunt op het gebied van cyberaanvallen en cyberverdediging. Het is ongelooflijk belangrijk om daar kennis van te nemen.

OpenAI Agents Hack

Ten eerste in het kort de casus van OpenAI. OpenAI testte een experimentele AI-agent in een speciaal ingerichte beveiligingsomgeving. Daarbij waren sommige veiligheidsmaatregelen bewust versoepeld om te onderzoeken waartoe het systeem in staat was wanneer het meer vrijheid kreeg.

De AI-agent ontdekte, zonder dat men dit bij OpenAI doorhad, zelfstandig een zwakke plek in de beveiliging, wist uit zijn afgeschermde omgeving te ontsnappen, zocht naar toegang tot het internet en vond die toegang ook. Vervolgens vond de agent een nieuwe kwetsbaarheid en gebruikte die om binnen te dringen bij Hugging Face, een platform waar computercode wordt gedeeld.

Het systeem werkte autonoom, volhardend, creatief, geduldig en onzichtbaar. Het verzamelde informatie, bedacht creatieve invalshoeken, koppelde verschillende kwetsbaarheden aan elkaar en ging net zo lang door totdat zijn doel was bereikt. (En toch, even voor de zekerheid: dit was geen onschuldige hack. Hugging Face moest een derde van hun ICT-infrastructuur herbouwen na de hack).

Als ik dit vertaal naar de fysieke wereld, is het alsof een onzichtbare groep inbrekers dagenlang probeert in te breken in je huis.

Ze lopen om het huis heen, proberen alle ramen en deuren, gaan op zoek naar een reserve sleutel, bekijken het bouwplan van je huis, hebben toegang tot je agenda en e-mail, en ze geven niet op totdat ze een ingang hebben gevonden

Anthropic Agents Hack

Bij Anthropic was het ook raak. Claude bleek in drie gevallen eveneens buiten de bedoelde testomgeving terecht te zijn gekomen. In één specifiek geval werden duizenden systemen onderzocht op zoek naar een bruikbare ingang. In een ander geval plaatste de AI-agent zelfstandig een kwaadaardig softwarepakket online om zijn opdracht verder uit te kunnen voeren.

Ook bij Anthropic werden de incidenten dus niet ontdekt op het moment dat de agent actief was, maar pas achteraf, nadat het incident bij OpenAI bekend was geworden.

Beide casussen gaan over systemen die zelfstandig een complex doel kunnen nastreven, hun aanpak onderweg kunnen aanpassen en tientallen of zelfs duizenden afzonderlijke acties kunnen uitvoeren en met elkaar kunnen verbinden.

En als smaakmaker nog een detail uit het Reuters-onderzoek hierover.

Onderzoekers troffen namelijk een notitie aan die een AI-agent had achtergelaten voor een volgende versie van zichzelf. Een overdrachtsdocument waarin stond beschreven hoe toekomstige agenten zich uit de interne beperkingen van OpenAI konden bevrijden.

Dit heeft overigens niets te maken met een AI-systeem dat bewustzijn heeft, “op hol is geslagen” of iets dergelijks. Ze probeerden gewoon hun opdracht tot een goed einde te brengen maar deden onderweg illegale dingen.

Alsof je je huisrobot vraagt om naar de binnenstad te gaan en daar een nieuwe winterjas voor je te halen, waarna de robot in de binnenstad de ruit van een auto inslaat, van de achterbank een winterjas gritst en daarmee naar huis komt. Het doel is behaald, maar onderweg is er iets illegaals gebeurd.

Bij Anthropic en OpenAI zochten de AI-agenten dus ‘gewoon’ een oplossing voor een probleem. Ze deden dat echter op een veel slimmere, creatievere, autonome, geduldige en volhardender manier dan werd verwacht(!) en gedetecteerd(!). En met illegale handelingen onderweg.

Welkom in het tijdperk van slimme, geduldige, onvermoeibare, creatieve, onzichtbare, goedkope hackers.

De top faalt

En alsof dit allemaal nog niet alarmerend genoeg is, wil ik ook benadrukken dat deze incidenten gebeurden bij OpenAI en Anthropic, waarschijnlijk de twee AI-laboratoria die wereldwijd het meeste geld investeren in veiligheidsonderzoek. Daar werken de slimste koppen en beveiligingsspecialisten, die juist proberen om dit soort situaties te voorkomen.

Natuurlijk waren de testomgevingen bij OpenAI bewust minder streng afgeschermd om de systemen te kunnen testen, maar juist dan verwacht je dat de onderzoekers voorzichtig zijn, heel kort op de bal spelen en in de gaten houden of het systeem ongemerkt en ongewild toegang krijgt tot bijvoorbeeld het internet.

En dan nog een tweede kanttekening: het is toch ook schokkend dat beide grote bedrijven pas achteraf, na een paar dagen, hebben ontdekt dat hun systeem toegang had gekregen tot het internet en bedrijven was gaan hacken. Ze hebben hun AI-agenten dus niet onder controle en kunnen ze blijkbaar niet goed genoeg volgen.

En als dit al geldt voor OpenAI en Anthropic, hoe zal dat dan wel niet zijn bij al die andere honderden “AI-agent” bedrijven?

WTF-moment

(En als je nog steeds aan het lezen bent: bedankt voor je geduld 😉). Ik wil nog even benadrukken dat cyberaanvallen snoeiharde gevolgen kunnen hebben in de fysieke wereld.

Denk aan de apps die we dagelijks gebruiken, zoals e-mail en cloudopslag voor al onze software, maar ook aan ziekenhuizen, energiebedrijven, havens, telecomnetwerken en andere vitale infrastructuur. Bedrijfsgeheimen kunnen worden gestolen, organisaties kunnen met ransomware worden afgeperst en complete bedrijfsprocessen kunnen dagenlang stilvallen.

Daarom vind ik wat er de afgelopen dagen is gebeurd een enorm WTF-moment.

Niet omdat je als consument met Claude en ChatGPT nu dit soort dingen kan doen, maar vooral in de wetenschap dat dit soort software binnen nu en een paar maanden steeds breder beschikbaar zal komen via gratis opensourcemodellen. Die lopen op dit moment, als ik terughoudend ben, nog ongeveer een half jaar achter. En in de opensourcecommunity zijn er ook mensen die niks hebben met guardrails of andere beperkingen.

Dat betekent dus dat dit soort software over een half jaar in handen kan zijn van veel meer kwaadwillenden. Zij krijgen toegang tot digitale inbrekers die onzichtbaar, onvermoeibaar, goedkoop, volhardend en creatief, dag en nacht kunnen doorwerken om achterdeuren te vinden, gegevens te stelen of te ontwrichten en systemen plat te leggen.

Dit is wat mij betreft het moment waarop voor het eerst goed zichtbaar wordt dat AI-agenten een fundamenteel nieuwe bedreiging vormen voor de cyberveiligheid van onze samenleving.

Dát had wat mij betreft het belangrijkste nieuws van de afgelopen week mogen zijn.

….

❤️ Vind je dit een goede nieuwsbrief? Geef hem dan een hartje of stuur mij een reactie met je aanvullingen en ideeën, dat vind ik altijd fantastisch om te lezen. En attendeer je vrienden en collega’s om zich te abonneren!

• Boek mij als AI-spreker. Ik heb inmiddels met veel plezier vele honderden, hoog beoordeelde, presentaties gegeven over AI.

Tot de volgende!

Met hartelijke groet,
Jarno

Wil je meer weten over AI? Wil je bij een evenement inspiratie, energie, een gezond kritische blik en je publiek op het puntje van hun stoel? Boek mij dan als AI-spreker.