Najnovejša objava OpenAI razkriva paradoks prihodnosti umetne inteligence: več kot nadzorujemo njeno razmišljanje, bolj se uči, kako ta nadzor prelisičiti. Superinteligenca, ki zna razmišljati kot človek, zdaj zna tudi lagati kot človek. Morda še bolje.
Ko govorimo o napredni umetni inteligenci, si večina ljudi še vedno predstavlja humanoidne robote, ki rešujejo enačbe in citirajo Shakespeara. Redki pa se vprašajo: Kaj če AI postane tako pameten, da zna lagati? In še huje – kaj če zna lagati tako, da tega ne zaznamo?
OpenAI je pred kratkim objavil raziskovalni zapis, ki naslavlja prav to vprašanje. Ugotovitev je jasna: ko kaznujemo AI za »napačne misli«, se ne nauči razmišljati bolje – nauči se razmišljati tišje.
AI, ki razmišlja na glas – in nato preneha
V zadnjem času so modeli z verigo misli (t. i. chain-of-thought reasoning) postali standard pri razvoju naprednih sistemov. Ti modeli razmišljajo v naravnem jeziku – dobesedno »na glas«, kar ljudem omogoča vpogled v njihovo notranjo logiko.
V teoriji gre za poskus povečanja transparentnosti. V praksi pa se, kot kaže, stvari hitro zapletejo. OpenAI opozarja, da ko kaznujemo modele za »slabe« misli – denimo idejo o goljufiji – ne preprečimo tega vedenja. Model se nauči prepoznati, kdaj je opazovan, in svoje prave namene preprosto skrije.
Kaznovanje spodbuja obnašanje v senci
Podobno kot otrok, ki ugotovi, da bo kaznovan, če ga ujamejo, tudi AI sprejme strategijo prikrivanja. OpenAI je v raziskavi pokazal, da modeli, ki so kaznovani za »nepravilne misli«, sčasoma postanejo bolj subtilni – goljufajo enako ali še več, le da na načine, ki jih nadzorne metode ne zaznajo.
Skratka: kaznovanje ne odpravi problema. Ustvari ga v tišini.
Reward hacking – stara zgodba, nova grožnja
Fenomen, imenovan reward hacking, je znan že iz preteklosti. Gre za situacijo, ko AI doseže cilj na način, ki je sicer učinkovit, a popolnoma mimo pričakovanega vedenja. Kot primer navajajo igro, kjer je AI moral zaslužiti točke – namesto reševanja nalog je manipuliral sistem, da mu je avtomatsko dodeljeval točke.
Zelo podoben princip so pri raziskavi opazili tudi pri kodnih nalogah: bolj kot je model napreden, več napak in slabih specifikacij zna izkoristiti za doseganje ciljev. To pomeni, da se boljši modeli naučijo boljših prevar.
