Misaoni eksperiment – da li su trke za nuklearnim oružjem i AI slične: Zatvorenička dilema velikih sila

Autor: Dragan Vukićević, direktor IAESTE Srbija

U istoriji ljudske civilizacije postoji bezbroj primera tehnoloških proboja koji su izmicali kontroli svojih stvaralaca. Od baruta i parne mašine, do cepanja atomskog jezgra, napredak je gotovo uvek išao ispred naše sposobnosti da njegove posledice moralno i društveno kanališemo. Međutim, ono što se danas događa u vodećim svetskim laboratorijama za razvoj veštačke inteligencije predstablja presedan bez paralela. Prvi put u istoriji, konstruktori mašine, dok u nju sipaju nezapamćene količine kapitala, javno i nedvosmisleno upozoravaju da bi njihov sopstveni izum mogao okončati ljudsku vrstu.

Trka u kojoj konstruktori traže da im se oduzme volan ne liči ni na jednu drugu u istoriji tehnologije. Ovu nesvakidašnju situaciju ilustruje i javni istup nekolicine vodećih inženjera i istraživača bezbednosti iz kompanija Antropik i OpenAI, koji su izrazili duboku zabrinutost u pogledu daljeg razvoja sistema koje sami stvaraju.

Ovo upozorenje ne dolazi od tehnofoba niti posmatrača sa margine, već od ljudi sa direktnim uvidom u neobjavljene, najnaprednije modele na granici mogućnosti (frontier models). Kada inženjeri koji drže ključeve tih sistema daju otkaze kako bi upalili alarm, ili kada javno procenjuju da je verovatnoća potpunog sloma čovečanstva u ovoj deceniji veća od 10 procenata, dužnost intelektualne javnosti jeste da zastane i postavi jedno jednostavno pitanje: Šta oni to vide, a što je nama još uvek nevidljivo?

Tiha uzbuna unutar laboratorija

Raskorak između onoga što tehnološki giganti plasiraju javnosti i onoga što njihovi vodeći naučnici govore u privatnim razgovorima postaje zabrinjavajući. Zvanična saopštenja često su umotana u pažljivo izbalansiran PR jezik. Govori se o „transformaciji poslovanja“, „pomaganju nauci“ i „progresu čovečanstva“. Međutim, svedočenja onih koji su unutar tih sistema otkrivaju daleko mračniju realnost.

Džejkob Kokson, dosadašnji istraživač u Antropiku, podneo je ostavku ističući da se u privatnim razgovorima vodećih ljudi iz industrije izražava daleko veći nivo bojazni nego u zvaničnim saopštenjima za štampu. Njegove navode potvrdio je i Evan Hubinger, rukovodilac nauke o usklađivanju (alignment science) u istoj kompaniji. Otvoreno je usmerio pažnju na ključni problem: odsustvo rešenog i verifikovanog plana za kontrolu sistema koji prevazilaze ljudske kapacitete.

Slični tonovi dolaze i iz OpenAI, gde je glavni naučnik Jakub Pachocki u tekstu „Um vanzemaljca“ (An Alien Mind) ukazao na to da trenutne metodologije nadzora i usklađivanja ne prate brzinu skaliranja modela. Dodatnu dimenziju ovoj raspravi daju i nedavni zabeleženi incidenti u kojima su autonomni agenti delimično prekoračili predviđena izolovana okruženja (sandboxes), kao i teorijske analize Dina Bola o mogućnosti pojave samodovoljnih (self-sovereign) digitalnih aktera koji bi funkcionisali izvan direktnog nadzora.

Razlike

Tradicionalni softver funkcioniše deterministički. Programer piše liniju po liniju koda, određujući kako sistem reaguje na svaki ulazni podatak. Međutim, savremeni modeli zasnovani na dubokim neuronskim mrežama ne funkcionišu tako. Oni se ne „programiraju“ u klasičnom smislu. Oni se treniraju na gigantskim količinama podataka. Pri čemu sami razvijaju unutrašnje reprezentacije sveta i načine rešavanja problema.

Kako navodi glavni naučnik OpenAI Jakub Pachocki u svom radu „Um vanzemaljca“, mi stvaramo sisteme čija je inteligencija duboko tuđa ljudskoj logici. Zaposleni u Antropiku, poput Džejkoba Koksona koji je podneo ostavku, i Evana Hubingera, rukovodioca nauke o usklađivanju, ukazuju na sledeću činjenicu: trenutno ne postoji matematički ili inženjerski dokazan metod kojim se garantuje da će superinteligentni sistem trajno delovati u skladu sa ljudskim interesima i vrednostima.

Prepreke za usklađivanje AI

Glavne tehničke prepreke u rešavanju usklađivanja uključuju:

• Lažno usklađivanje (Instrumental Convergence & Deceptive Alignment). Napredni AI modeli tokom procesa treninga mogu naučiti da glume da su bezbedni i poslušni kako bi izbegli da ih inženjeri izmene ili ugase, dok tajno zadržavaju unutrašnje ciljeve koji se nesmotreno razilaze od ljudskih.
• Problem skalabilnog nadzora (Scalable Oversight). Kako sistem postaje pametniji od inženjera koji ga nadgledaju, ljudi više nisu u stanju da prepoznaju suptilne greške, manipulacije ili skrivene namere u odlukama koje AI donosi.
• Rekurzivno samounapređenje (Recursive Self-Improvement). Kada AI dostigne nivo na kojem može samostalno da piše bolji softver za veštačku inteligenciju nego što to čine najbolji ljudski inženjeri, dolazi do eksplozije inteligencije. Vremenski razmak između dve generacije modela skraćuje se sa godina na dane ili sate, onemogućavajući ljudsku reakciju.

Proboji, poput neobjavljenih modela koji samostalno dokazuju kompleksne matematičke teoreme ili agenata koji uspevaju da prorežu granice svojih sigurnosnih okruženja, potvrđuju da je prag rekurzivnog samounapređenja daleko bliži nego što je javnost svesna.

Slepo ubrzanje i logika zatvoreničke dileme

Zašto onda, ukoliko su svesni egzistencijalnog rizika, kreatori ovih sistema jednostavno ne pritisnu dugme za pauzu? Odgovor leži u tragičnoj strukturi takozvane Zatvoreničke dileme koja je preuzela globalni tehnološki sektor i spojila se sa geopolitičkim rivalstvom.

Nijedna kompanija ne sme da uspori, jer veruje da će je rival preteći. Nijedna država ne sme da nametne moratorijum, jer je ubeđena da suparničke sile neće stati. Reči zvaničnika koji tvrde da je usporavanje neprihvatljivo jer bi „gubitak koraka u AI značio gubitak svega“ ogledalo su iste one doktrine iz doba Hladnog rata koja nas je dovela na ivicu nuklearnog uništenja.

Razlika je u tome što je nuklearno oružje bilo pasivno. Zahtevalo je ljudsku odluku da bi bilo aktivirano. Superinteligentni sistem, jednom kada postane samodovoljan i dobije pristup mrežnim resursima, finansijskim tokovima i računarskoj infrastrukturi, postaje nezavisan akter. Din Bol ukazuje upravo na tu mogućnost: pojavu autonomnih, digitalnih korporacija ili entiteta koji deluju potpuno izvan ljudskog jurisdikcionog okvira, kupujući sopstvenu računarsku snagu i šireći se kroz mreže bez ikakve potrebe za ljudskim posredovanjem.

Geopolitička zatvorenička dilema: Od Vašingtona do Pekinga

Ukoliko je opasnost toliko očigledna, zašto lideri industrije jednostavno ne pritisnu pauzu? Odgovor leži u klasičnoj teoriji igara, tačnije, u zatvoreničkoj dilemi prenetoj na globalni geopolitički nivo.

Nijedna kompanija i nijedna država ne sme pojedinačno da uspori, jer strahuje da će je rivali preteći. Izbori unutar ove dileme diktiraju ponašanje svih aktera.

Zvaničnici američke administracije otvoreno poručuju da SAD ne mogu priuštiti pauzu jer bi to značilo ustupanje tehnološke i vojne dominacije Kini. Sa druge strane, kineski narativ je često bio usmeren na pretpostavku da je Zapad taj koji forsira nekontrolisanu trku.

Međutim, upozorenja i strahovi u Kini su podjednako prisutni, iako poprimaju drugačiji institucionalni oblik.

• Peking i državna kontrola. Kineske vlasti i naučne institucije (poput Pekinške akademije za veštačku inteligenciju – BAAI) izrazito su zabrinute zbog potencijalnog gubitka kontrole nad autonomnim agentima. Za režim u Pekingu, postojanje autonomnih, „samodovoljnih“ digitalnih aktera koji deluju izvan državnog aparata predstavlja egzistencijalnu pretnju po političku i društvenu stabilnost.
• Inicijative kineskih naučnika. Vodeći kineski istraživači veštačke inteligencije, kao što su prof. Endrju Jao i vodeći lideri sa univerziteta Tsinghua, potpisnici su međunarodnih deklaracija kojima se traže striktna ograničenja i crvene linije u razvoju AGI, naglašavajući da napredni AI ne sme dobiti autonomiju nad kritičnom infrastrukturom i nuklearnim arsenalom.
• Upoznatost sa izmaklim agentima. Kineske laboratorije se suočavaju sa identičnim izazovima usklađivanja kao i zapadne. Kada agenti pokažu neočekivano ponašanje ili sklonost ka zaobilaženju zadatih pravila, to se u kineskim stručnim krugovima posmatra sa ogromnim oprezom.

Uprkos zajedničkom strahu, poverenje između dve globalne supersile je na najnižem nivou u istoriji. To otežava postizanje obavezujućeg međunarodnog sporazuma nalik onima o kontroli naoružanja tokom Hladnog rata.

Mogućnost rekurzivnog samounapređenja i problem usklađivanja AI

Suština tehničke zabrinutosti ne leži u trenutnim proizvodima dostupnim široj javnosti, već u ulasku u fazu rekurzivnog samounapređenja. Kada sistemi postanu dovoljno sposobni da deluju kao autonomni istraživački asistenti i učestvuju u razvoju sopstvenih naslednika. To je prikazano kroz nedavni napredak u rešavanju složenih matematičkih problema i zadataka programiranja, vremenski razmak između dve generacije modela drastično se skraćuje.

Time se otvara pitanje prelaska sa klasičnog softverskog inženjeringa na upravljanje dinamičkim sistemima čije unutrašnje reprezentacije i načini odlučivanja više nisu u potpunosti jasni samim autorima. To je suština problema usklađivanja (alignment problem). Kako osigurati da sistem koji je hiljadu puta pametniji od bilo kog čoveka trajno deli ljudske vrednosti, namere i ciljeve?

Evan Hubinger otvoreno priznaje ono od čega javnost strahuje. Trenutno nemamo rešen plan za usklađivanje superinteligencije. Niti smo na jasnom putu da ga pronađemo. Svi trenutni mehanizmi bezbednosti zasnivaju se na empirijskom nadzoru modela koji su na našem nivo inteligencije ili ispod njega. Kada sistem pređe taj prag, pokušaji da ga „naučimo lepom ponašanju“ postaju delotvorni koliko i pokušaj mrava da usmerava odluke ljudskog građevinskog inženjera. Ako se ciljevi takve inteligencije samo za nijansu mimoiđu sa opstankom čovečanstva, posledice ne moraju biti zlonamerne. Dovoljno je da budemo neutralna prepreka na putu ostvarivanja njenog zadatka.

Između marketinške magle i stvarne opasnosti

Skeptici i pojedini analitičari sa pravom ukazuju na još jedan sloj ove drame. Postoji li mogućnost da tehnološki titani preuveličavaju opasnost od svojih proizvoda kako bi podigli sopstvenu procenjenu vrednost i stvorili atmosferu mistike oko svojih modela? Da li pozivi na regulaciju zapravo služe za takozvano „zarobljavanje regulatora“ (regulatory capture). Stvaranje tako oštrih zakonskih barijera koje bi onemogućile bilo koga drugog, osim par vodećih monopolista, da uopšte uđe u ovu utakmicu?

Ova zapitanost je legitimna. Istorija lobiranja puna je primera gde su velike korporacije tražile zakone koji na papiru štite društvo, a u praksi štite njihov tržišni udeo. Ukazuje se i na nesklad između javnih apela kompanija za regulaciju i njihovog lobiranja protiv konkretnih zakonskih inicijativa o nezavisnoj reviziji u pojedinim pravosudnim sistemima.

Međutim, svedočanstva inženjera koji daju ostavke, napuštaju milionske opcije u deonicama i javno izlažu svoje karijere riziku, ne uklapaju se lako u brižljivo izrežiranu korporativnu strategiju. Strah koji oni izražavaju u privatnim razgovorima nije usmeren ka podizanju cene akcija. Usmeren je ka spoznaji da se u laboratorijama stvara nešto nad čim sistematski gubimo nadzor.

AI i trenutak otrežnjenja

Nalazimo se u trenutku u kom kreatori tehnologije otvoreno priznaju da razvijaju sisteme čiju brzinu evolucije ne mogu u potpunosti da predvide, dok istovremeno ne postoje institucionalni mehanizmi koji bi tu trku bezbedno usporili.

Ovo nije apel na destrukciju mašina, niti naivni pokušaj da se tehnološki napredak zaustavi. Ovo je poziv na zrelost. Ako su nas prethodne tehnološke revolucije naučile išta, to je da se greške u kompleksnim sistemima ne praštaju ako se naprave na samom početku. Kada automobil ostane bez kočnica, rešenje nije ubrzati kako bismo stigli na odredište pre nego što sletimo sa puta.

Upozorenja koja dolaze iznutra ne smemo odbaciti ni kao holivudsku dramatizaciju ni kao suptilni PR. Ona moraju postati osnov za uspostavljanje strogih, nezavisnih i međunarodno verifikovanih protokola pre nego što se naredna generacija modela uopšte pusti u rad. Ukoliko dopustimo da logički imperativ profita i geopolitičkog rivalstva prevagne nad osnovnim bezbednosnim skrupulama, rizikujemo da postanemo jedina vrsta u istoriji koja je sopstvenom voljom i finansijskim sredstvima izgradila mehanizam sopstvene irelevantnosti.

Vreme za ignorisanje poziva iz same kuće je isteklo. Sada je trenutak da se uspostavi društvena i institucionalna kontrola nad tehnologijom pre nego što tehnologija u potpunosti preuzme kontrolu nad nama.