Jacob Coxon, istraživač koji je radio na predtreniranju modela u OpenAI-ju i Anthropicu, napustio je Anthropic uz optužbu da se vodeći laboratoriji utrkuju prema samopoboljšavajućoj superinteligenciji i pritom riskiraju ljudsku sigurnost. Na njegovu je objavu odgovorio Evan Hubinger, voditelj Anthropicova alignment istraživanja, napisavši da osobno procjenjuje vjerojatnost veću od 10 posto da AI u idućem desetljeću uzrokuje smrt svih ljudi. To nije statistička prognoza ni dokaz neposredne opasnosti današnjih modela, nego neuobičajeno izravno upozorenje jednog od ljudi zaduženih za njihovo buduće usklađivanje.

Odlazak iz laboratorija pretvorio se u javno upozorenje

Coxon je u javnoj objavi napisao da je radio na predtreniranju, fazi u kojoj model uči obrasce iz vrlo velikih skupova podataka prije finijeg podešavanja za razgovor ili specifične zadatke. Anthropic i OpenAI opisao je kao tvrtke zaključane u utrci prema sustavima koji bi mogli poboljšavati vlastiti razvoj. Njegova tvrdnja da laboratoriji ‘riskiraju naše živote’ vrijednosna je i sporna ocjena zaposlenika na odlasku, a ne nalaz regulatora ili dovršena tehnička istraga. Ipak, težinu joj daje neposredno iskustvo rada u oba vodeća laboratorija.

Hubinger nije odbacio osnovnu zabrinutost. Napisao je da Anthropic problem shvaća ozbiljno i pokušava ga riješiti, ali da nema gotov plan za usklađivanje superinteligencije niti je jasno na putu prema rješenju. Njegovih ‘više od 10 posto’ osobna je procjena mogućeg ishoda u idućih deset godina. Objave ne donose izračun, podatkovni skup, interval pouzdanosti ili metodologiju kojom bi drugi istraživači mogli ponoviti tu brojku, pa je treba čitati kao iskaz uvjerenja stručnjaka, ne kao precizno izmjeren rizik.

Alignment pokušava zadržati sposobniji sustav pod ljudskom namjerom

Alignment, odnosno usklađivanje, zajednički je naziv za metode kojima se pokušava osigurati da AI sustav slijedi ljudsku namjeru i sigurnosna ograničenja čak i kada dobije nove sposobnosti, duže zadatke ili pristup alatima. Problem nije samo može li model izreći štetan odgovor. Napredniji agent mogao bi planirati kroz mnogo koraka, koristiti računala, prikrivati dio ponašanja ili pronaći način izvršenja cilja koji formalno odgovara naredbi, ali proizvodi neželjene posljedice. Što je sustav autonomniji, to je važnije da ograničenja ostanu učinkovita izvan laboratorijskog testa.

Rekurzivna samonadogradnja označava hipotetski ciklus u kojem AI pomaže poboljšati istraživanje i izgradnju svojeg nasljednika, a novi sustav zatim još više ubrzava isti proces. Hubinger upravo uz takav budući scenarij veže svoju najveću zabrinutost. Coxonove i Hubingerove objave, međutim, ne pokazuju da je taj ciklus već ostvaren niti opisuju dokazan put od današnjih modela do izumiranja čovječanstva. Razlika između mogućeg budućeg mehanizma i demonstrirane sadašnje sposobnosti ključna je za razumijevanje vijesti.

Službeni izvještaj sadašnji rizik i dalje naziva niskim

Anthropicov redigirani izvještaj o riziku iz kolovoza pruža hladniju referentnu točku od dramatične javne rasprave. Tvrtka u njemu procjenjuje rizik neusklađenog ponašanja u okruženjima visokog uloga kao nizak, premda je ocjenu povećala s prethodne razine ‘vrlo nisko’. Izvještaj nije ograničen na jedan javni Claude: obuhvaća sve modele tvrtke, uključujući interne neobjavljene sustave, zajedno sa sigurnosnim kontrolama i zaštitama pri uvođenju. To je procjena samog proizvođača, ali detaljnija je od pojedinačne brojke na društvenoj mreži.

Isti izvještaj ne odbacuje buduću opasnost. Posebno opisuje mogućnost da sposobni modeli snažno ubrzaju AI istraživanje i razvoj, čime bi u kratkom vremenu mogli nastati još moćniji sustavi i porasti drugi katastrofalni rizici. Anthropic takve scenarije prati kroz Responsible Scaling Policy i periodične procjene sposobnosti, zaštitnih mjera i procesnih propusta. Zato javni spor nije jednostavna podjela između tvrtke koja tvrdi da je sve sigurno i zaposlenika koji tvrdi suprotno: obje strane priznaju problem, ali se razilaze u procjeni je li tempo razvoja odgovoran.

Važnost je u unutarnjem neslaganju, ne u jednoj dramatičnoj brojci

Procjene rijetkih katastrofalnih događaja nužno ovise o pretpostavkama o tehnologiji koja još ne postoji. Dvije osobe mogu ozbiljno proučavati isti problem i dati vrlo različite postotke jer drugačije procjenjuju brzinu napretka, vjerojatnost samonadogradnje, učinkovitost kontrola i mogućnost međunarodnog nadzora. Stoga Hubingerova brojka nije beskorisna, ali njezina informacijska vrijednost leži u tome što otkriva stupanj zabrinutosti vodećeg internog stručnjaka. Ne pretvara neizvjestan scenarij u dokazanu prognozu.

Coxonov odlazak dodatno otvara pitanje upravljanja: što se događa kada sigurnosni istraživači smatraju da njihove tehničke rezerve ne mijenjaju poslovni smjer tvrtke? Anthropic objavljuje opsežne formalne izvještaje, ali javnost ne vidi sve interne modele, rasprave ni odluke o nastavku razvoja. Ostavka sama po sebi ne dokazuje da je sigurnosni proces neučinkovit. Ona ipak pokazuje da se barem jedan istraživač nije složio s prihvatljivom ravnotežom između napretka i rizika, dok voditelj alignmenta javno priznaje da konačno rješenje nije na vidiku.

Za korisnike nema neposredne promjene, za nadzor ostaje veliko pitanje

Odlazak i javna razmjena nisu popraćeni promjenom cijene, dostupnosti ili funkcija Claudea. Za korisnike u Hrvatskoj i Europskoj uniji nema novog proizvoda, sigurnosnog upozorenja za trenutačnu uporabu ni konkretne radnje koju bi trebali poduzeti. Posljedica je zasad korporativna i regulatorna: laboratoriji traže da im se vjeruje kako će sami prepoznati trenutak u kojem nove sposobnosti zahtijevaju strože zaštite ili zaustavljanje razvoja, a javnost dobiva samo dio dokaza na kojima se te odluke temelje.

Najkorisniji nastavak neće biti još jedna nepoduprta procjena vjerojatnosti, nego mjerljivi pragovi: koje sposobnosti predstavljaju stvarno ubrzanje AI istraživanja, kako se testira prikriveno ponašanje, tko može zaustaviti trening i objavljuju li se incidenti dovoljno brzo da ih neovisni stručnjaci provjere. Dok tih odgovora nema, dvije tvrdnje mogu istodobno biti točne: današnji procijenjeni rizik može biti nizak, a ljudi koji najbolje poznaju problem mogu iskreno vjerovati da se dugoročno približava neprihvatljivoj razini.

Zašto je važno

Javno upozorenje voditelja Anthropicova alignment tima i odlazak istraživača pokazuju koliko je velika razlika između formalnih sigurnosnih procesa i povjerenja dijela stručnjaka da ti procesi mogu držati korak s razvojem.

Hrvatska / EU kontekst

Za hrvatske korisnike nema neposredne promjene Claudeovih usluga. Događaj je relevantan budućem europskom nadzoru jer pokazuje ograničenja oslanjanja isključivo na interne procjene i dobrovoljna pravila proizvođača.

Što još ne znamo

  • Procjena veća od 10 posto osobno je uvjerenje bez objavljene kvantitativne metodologije.
  • Objave ne dokazuju da današnji modeli mogu provesti rekurzivnu samonadogradnju ili uzrokovati izumiranje ljudi.
  • Anthropic nije objavio hoće li Coxonov odlazak promijeniti raspored razvoja, ovlasti sigurnosnih timova ili javne obveze.