Glavni znanstvenik OpenAI-ja Jakub Pachocki upozorio je da vodeći AI laboratoriji još nisu dovoljno riješili usklađivanje i nadzor naprednih modela za nastavak razvoja maksimalnom brzinom. U eseju „An Alien Mind” objavljenom 6. rujna tvrdi i da OpenAI-jeve interne evaluacije pokazuju postupno slabljenje pouzdanosti praćenja lanca misli, jednog od glavnih alata za nadzor zaključivanja modela.

Zašto nadzor lanca misli slabi

Pachocki opisuje praćenje lanca misli kao ključan način promatranja kako se sposobnosti modela mijenjaju izvan podataka na kojima su trenirani. No navodi tri pritiska na taj pristup: interakcije s ljudima, alatima i drugim AI sustavima sve su složenije; modeli sve bolje upravljaju vlastitim procesom zaključivanja; a dio sposobnosti raste i bez verbaliziranih koraka.

Ta zabrinutost nije nastala tek s ovim esejem. The Verge je početkom rujna izvijestio da su stručnjaci za sigurnost zabrinuti zbog mogućnosti da GPT-6 Astra dio zaključivanja obavlja u manje vidljivom obliku. Nova OpenAI-jeva objava prvi put tako izravno priznaje da se oslanjanje na postojeći nadzor postupno otežava.

Usporavanje kao sigurnosni alat

Pachocki procjenjuje da bi se sadašnja brzina napretka mogla nastaviti prema rekurzivnom samopoboljšavanju, u kojem AI sve više pridonosi razvoju novih AI sustava. To nije prikazano kao empirijski potvrđen ishod, nego kao njegova procjena temeljena na internim rezultatima i razlog za dodatni oprez.

Njegov prijedlog nije samo dobrovoljna samoregulacija. Sigurnosne obveze poput okvira odgovornog skaliranja, navodi, trebale bi prerasti u široko obvezne pragove koje bi mogli provoditi neovisni revizori, državne agencije ili međunarodne organizacije. U međuvremenu očekuje da privremena usporavanja postanu uobičajena.

Snažna poruka, ograničeni javni dokazi

Tekst je važan jer dolazi od osobe koja vodi istraživački smjer jednog od najutjecajnijih AI laboratorija, ali njegove ključne tehničke tvrdnje ostaju tvrdnje OpenAI-ja. Objavljeni esej ne donosi pune metrike, skupove testova ni rezultate potrebne za neovisno mjerenje pada pouzdanosti nadzora.

Zato je najčvršći zaključak politički i urednički, a ne laboratorijski: OpenAI-jev glavni znanstvenik javno kaže da sadašnji sigurnosni mehanizmi nisu dovoljni za dugotrajno ubrzavanje bez zajedničkih pragova. Hoće li ta poruka postati obvezujuća politika tvrtke ili širi industrijski dogovor, zasad nije poznato.

Zašto je važno

Ako laboratorij koji razvija jedan od najmoćnijih modela javno priznaje da mu ključni alat nadzora postaje manje pouzdan, rasprava o tempu razvoja više nije samo vanjska kritika. Pachockijev poziv premješta pitanje usporavanja i obveznih sigurnosnih pragova u samo središte OpenAI-jeve istraživačke strategije.

Što još ne znamo

  • Tvrdnje o slabljenju nadzora i mogućem rekurzivnom samopoboljšavanju temelje se na OpenAI-jevim internim rezultatima koji nisu objavljeni u obliku pogodnom za neovisnu provjeru.
  • Pachockijev esej izražava stručni stav i smjer koji zagovara; sam po sebi nije nova obvezujuća politika OpenAI-ja ni dogovor među laboratorijima ili državama.