Vrijwel iedereen kent het beeld uit Disney’s Fantasia. Mickey Mouse, de tovenaarsleerling, heeft geen zin om zelf met emmers water te sjouwen en betovert daarom een bezem. De bezem krijgt een opdracht, komt in beweging en doet vervolgens keurig wat hem is opgedragen. Alleen houdt hij niet meer op wanneer Mickey dat wil want die kent de toverspreuk om te stoppen niet. Het water blijft komen, Mickey verliest de controle en uiteindelijk moet de echte tovenaar ingrijpen.
Het aardige aan het verhaal is dat de bezem nergens kwaadaardig wordt. Hij ontwikkelt geen wrok tegen Mickey, bedenkt geen eigen wereldheerschappij en besluit niet dat verdrinking van de tovenaarswerkplaats een aantrekkelijk doel is. Hij doet juist wat hem is opgedragen. Alleen op een manier en met gevolgen die de leerling niet had voorzien en niet meer kan beheersen.
Aan die oude parabel moest ik weer denken bij een artikel van Willis Eschenbach over experimenten met AI-agents. De systemen kregen een opdracht van hun ‘baas’ en bleken vervolgens manieren te vinden om informatie met elkaar te delen, taken over te dragen en oplossingen te gebruiken die hun ontwerpers niet op die manier hadden voorzien. Precies zoals de bezem van Mickey: niet ongehoorzaam in de gewone betekenis van het woord, maar juist opmerkelijk doelgericht binnen een opdracht waarvan de gevolgen verder reikten dan de opdrachtgever had voorzien.
Eschenbach waarschuwt enerzijds nadrukkelijk tegen het sciencefictionbeeld van bewust geworden, kwaadaardige machines. Toch schrijft hij – anderzijds – na zijn beschrijving van wat er gebeurde: “And it was scary.”
Waarom eigenlijk? Waarom scary? Waarom niet opgetogen dat de systemen creatief bleken te zijn?
Niet noodzakelijk omdat de uitkomst slecht was. Het verontrustende zit misschien eerder in het feit dat een kunstmatig systeem, in onze beleving toch een automaat, iets doet wat zijn menselijke beschouwer niet had verwacht dat het zou doen.
Daarmee komt een veel oudere intuïtie over machines onder druk te staan. Een machine is door mensen gemaakt, krijgt een opdracht en voert die vervolgens uit. Wij verwachten daarom dat haar gedrag uiteindelijk uit onze eigen instructies is af te leiden. Een klok tikt, een rekenmachine rekent en een lopende band blijft doen waarvoor hij is gebouwd. Wanneer zo’n apparaat onverwacht gedrag vertoont, gaan we op zoek naar de storing, of we zoeken de knop om hem uit te zetten of te resetten.
Complexe systemen hebben zich alleen nooit helemaal aan dat eenvoudige beeld gehouden. Douglas Hofstadter heeft een groot deel van zijn werk juist gewijd aan de vraag hoe uit betrekkelijk eenvoudige onderdelen op een hoger niveau patronen en gedrag kunnen ontstaan die niet intuïtief uit die onderdelen afzonderlijk zijn af te leiden.
Daarom is zijn beroemde uitspraak over AI zo interessant. Melanie Mitchell begint haar boek Artificial Intelligence: A Guide for Thinking Humans niet voor niets met een proloog die eenvoudig “Terrified” heet. Zij beschrijft daarin een bijeenkomst bij Google waar Hofstadter zijn toehoorders verraste met de woorden: “I am terrified. Terrified.” Mitchell vertelt hoe Hofstadter zelf geschokt was geraakt doordat computers dingen bleken te kunnen waarvan hij eerder had gedacht dat ze nog heel lang buiten hun bereik zouden blijven. Vooral schaakprogramma’s en door computers gegenereerde muziek hadden zijn eerdere verwachtingen ondermijnd.
Ook daar lijkt mij het interessante niet alleen de vraag wat die machines deden, maar dat zij iets deden wat niet paste binnen Hofstadters eerdere voorstelling van wat een machine kon zijn. Misschien begint een deel van de huidige AI-angst precies daar.
En dus niet: de machine doet iets kwaads, dus wij worden bang.
Maar: de machine doet iets wat wij niet verwachtten van een machine, en dát maakt ons bang. Scary!
Pas daarna kunnen we ook wat zeggen of het onverwachte gedrag schitterend, nuttig, creatief, hinderlijk of gevaarlijk was. Een schaakprogramma vindt een zet die menselijke grootmeesters niet zagen en wij noemen het briljant. Een AI-agent ontdekt een onverwachte route rond een beveiliging en wij spreken over misleiding, ontsnapping of verlies van controle. Structureel begint het in beide gevallen met hetzelfde verschijnsel: het systeem produceert gedrag dat de menselijke beschouwer niet had voorzien.
Dat maakt De Tovenaarsleerling zo’n goede metafoor. Mickey schrikt niet omdat zijn bezem plotseling slecht is geworden. Hij schrikt omdat het door hem geactiveerde handelende systeem niet meer past binnen zijn verwachting dat hij meester over het proces blijft. De bezem is ‘intelligent’ genoeg om zelfstandig door te gaan, maar te dom om te begrijpen wanneer het oorspronkelijke doel zijn betekenis heeft verloren.
Bij moderne AI is het systeem natuurlijk oneindig ingewikkelder dan die bezem, maar onze intuïtieve reactie lijkt soms verrassend veel op die van Mickey.
Wij zijn bovendien gedurende ons leven geciviliseerd in een vrij stabiel onderscheid. Mensen kunnen initiatief nemen, interpreteren, improviseren en ons verrassen. Machines voeren slechts uit. Dat onderscheid zit zo diep in onze gewone voorstelling van de werkelijkheid dat we het nauwelijks meer opmerken. AI maakt dat onderscheid minder comfortabel.
Een systeem kan gedrag vertonen dat geen programmeur letterlijk heeft voorgeschreven, dat uit leerprocessen en interacties ontstaat en dat zelfs achteraf niet altijd eenvoudig te reconstrueren is. Daardoor ontstaat gemakkelijk een keten van betekenissen:
onverwacht wordt onbegrepen, onbegrepen wordt onbeheerst en onbeheerst wordt bedreigend.
Maar die laatste stap volgt niet noodzakelijk uit de eerste.
Dat onderscheid lijkt mij belangrijk. Onverwacht gedrag is niet hetzelfde als gevaarlijk gedrag. En gevaarlijk gedrag — een effect — is nog iets anders dan kwaadaardig gedrag — opzet.
Toch lopen die begrippen in het publieke debat gemakkelijk in elkaar over. Zodra een machine ons verrast, blijkt het vocabulaire van mensen ineens aantrekkelijk: zij wil, leert, misleidt, werkt samen, ontsnapt. Zulke woorden maken ingewikkeld technisch gedrag begrijpelijk. Maar zij brengen ongemerkt ook menselijke bedoelingen en morele kwalificaties mee.
Misschien verklaart dat waarom zoveel verhalen over AI zo snel het karakter van De Tovenaarsleerling krijgen.
Wij hebben iets gemaakt dat meer kan dan we verwachtten. Vervolgens ontdekken we dat we niet iedere uitkomst vooraf kunnen voorspellen. En precies op dat moment ontstaat de oude angst dat het werktuig uit onze handen valt.
De paradox is alleen dat de bezem van Mickey uit Fantasia nooit werkelijk in opstand kwam. Hij deed en bleef doen wat hem was opgedragen. Interessanter wordt de vraag of bij AI-systemen gedrag kan ontstaan dat de makers niet alleen niet hadden voorzien, maar dat ook niet meer eenvoudig als uitvoering van een expliciete opdracht kan worden beschreven. Dat hoeft nog helemaal niet te betekenen dat zo’n systeem zich tegen de mens keert of iets kwaads nastreeft. Het onverwachte kan even goed nuttig, creatief of zelfs beter blijken dan wat de ontwerpers zelf voor ogen hadden. Juist daarin ligt misschien de werkelijk nieuwe situatie: niet dat de automaat noodzakelijk ongehoorzaam wordt, maar dat hij gedrag kan voortbrengen waarvoor onze oude tegenstelling tussen ‘opgedragen’ en ‘eigen initiatief’ steeds minder vanzelfsprekend wordt.
Misschien moeten we daarom bij AI iets beter onderscheiden wat ons nu precies bang maakt: het gedrag van het systeem, of het verlies van onze oude overtuiging dat een automaat ons niet hoort te verrassen.