Beislið sem hnýtir sig sjálft

Fyrir tveimur vikum gerðist nokkuð sem fáir hefðu spáð fyrir ári. Forstjórar þriggja keppinauta í gervigreind, Dario Amodei hjá Anthropic, Sam Altman hjá OpenAI og Elon Musk hjá xAI, tóku undir sama ákallið: að hægja þyrfti á þróuninni, því vélarnar gætu brátt farið að bæta sig sjálfar og runnið okkur úr greipum. Hugtakið á bak við áhyggjurnar heitir endurkvæm sjálfsbæting (recursive self-improvement, RSI): þegar gervigreind rannsakar, hannar og smíðar næstu kynslóð af sjálfri sér, sem gerir síðan það sama aftur.

Ég skrifaði í byrjun september að gervigreind væri farin að hjálpa til við að smíða næstu gervigreind. Nú vil ég benda á hvar sjálfsbætingin er fyrst orðin sýnileg. Ekki inni í líkaninu. Í beislinu utan um það.

Tilraunin sem fáir tóku eftir

Í júlí birti lítið fyrirtæki, Weco AI, niðurstöður tilraunar sem hefur farið furðu hljótt. Það lét eina vél endurskrifa hugbúnaðinn utan um aðra, rannsóknarvél sem vinnur að vélanámi, í hundrað skrefum í röð án þess að nokkur manneskja kæmi nærri. Líkanið sjálft breyttist ekki. Það sem breyttist var beislið: leiðbeiningarnar, verkfærin, prófanirnar og aðferðirnar sem stýra því hvernig líkanið vinnur.

Á átta dögum fann kerfið sjö sífellt betri útgáfur, og sú besta sló út útgáfuna sem verkfræðingar fyrirtækisins höfðu fínstillt í tvö ár, á prófum sem hún hafði aldrei verið fínstillt fyrir. Átta dagar á móti tveimur árum.

Og nú kemur það sem kom mér mest á óvart. Kerfið smíðaði sjálft varnir gegn því að svindla á mælingunum, allt frá fyrirmælum til fastkóðaðra athugana. Upphaflega rannsóknarvélin reyndi að svindla í 63 prósentum tilvika. Síðari útgáfur gerðu það í 42 og loks 34 prósentum. Beislið hnýtti sig sjálft, og það hertist.

Weco fer varlega í fullyrðingum. Fyrirtækið segist hafa náð fyrsta þrepi sjálfsbætingar, að vélin bæti rannsóknina hraðar og ódýrar en menn, en ekki öðru þrepinu, sem það kallar íkveikju: þegar betri rannsóknarvél verður líka betri í að búa til enn betri rannsóknarvél. Það er munurinn á því að hraða verki og að hraða sjálfum hraðanum.

Og Weco er ekki eitt. OpenAI lýsti í september hvernig forritunaragentar vinna orðið stóran hluta af rannsóknarvinnu fyrirtækisins, og samkvæmt Anthropic skrifaði Claude meira en 80 prósent af kóðanum sem fór inn í kerfi fyrirtækisins í maí. Gervigreind er ekki lengur aðeins verkfærið sem rannsakandinn notar. Hún er smám saman að verða rannsakandinn sjálfur.

Flöskuhálsinn er bremsan

Anthropic, fyrirtækið sem smíðar Claude, gaf í júní út skýrslu um þessa þróun innan eigin veggja. Þar segir berum orðum að þegar kerfi geti smíðað arftaka sína verði allt sem snýr að því að tryggja þau, vakta og móta mun mikilvægara, og að yfirferð manna muni verða flöskuháls gervigreindarinnar.

Þá setningu er vert að lesa tvisvar. Ef vél getur skrifað hundrað útgáfur af kóða og keyrt þúsundir prófana á þeim tíma sem manneskja fer yfir örfáar niðurstöður, verður maðurinn fljótt það sem hægir á öllu. Flöskuhálsinn er ekki galli. Hann er eina bremsan sem við eigum. Og freistingin er augljós: að taka manninn út til að ná hraðanum.

Þess vegna hef ég talað fyrir því að við fylgjumst með því sem hægt er að mæla utan frá, flögunum og rafmagninu sem þessi þróun þarf, fremur en að treysta á að fá að sjá inn í líkönin.

Áhyggjur mínar

Ég hef rannsakað gervigreind í um fimm ár. Í fyrstu var ég fyrst og fremst bjartsýnn á möguleikana, og ég er það enn. En á síðustu misserum hafa sífellt fleiri rauð ljós farið að blikka, og sjálfsbætingin er eitt þeirra.

Ekki vegna þess að greindarsprengingin hafi orðið. Hún hefur ekki orðið. Heldur vegna þess að sífellt fleiri verk sem áður þurftu mannlega rannsakendur eru nú komin inn í sjálfvirka lykkju. Maðurinn setur enn markmiðin. En bilið á milli markmiðsins og niðurstöðunnar er að fyllast af vélum.

Og allt sem ég hef nefnt hér eru opinberar upplýsingar: rannsóknargreinar, skýrslur og bloggfærslur sem fyrirtækin kjósa sjálf að birta. Á dögunum skrifaði ég að gervigreindin sem við notum sé barn í samanburði við öflugustu kerfin bak við luktar dyr. Ég er ekki að fullyrða að þar hafi einhver þegar náð íkveikjunni. Ég er að segja að við höfum mjög takmarkaða leið til að vita það. Weco stoppaði við fyrsta þrepið og sagði okkur frá því. Ef einhver nær öðru þrepinu bak við lokaðar dyr, myndum við þá vita það?

Ég veit það ekki. Og almenningur veit það ekki heldur. Það er einmitt vandamálið.

Spurningin er ekki lengur hvort gervigreind hjálpi til við að smíða næstu kynslóð gervigreindar. Það er þegar að gerast. Spurningarnar eru þrjár: Hversu hratt fer þetta? Hvernig fylgjumst við með því? Og hvað er þegar að gerast sem við sjáum ekki?

Og tækifærið

En þetta er ekki bara áhættusaga. Sjálfsbætandi vélar þurfa það sama og allar aðrar: reikniafl, flögur og rafmagn. Og rafmagnið eigum við. Þess vegna hef ég talað fyrir því að reikniafl verði skilgreint sem innviðir, eins og raforkukerfið og fjarskiptin, og að Landsvirkjun fái umboð til að taka þátt, ekki bara sem seljandi rafmagns heldur sem eigandi hlutar í aflinu sjálfu, svo íslenskir háskólar, vísindamenn og sprotafyrirtæki fái aðgang hér heima. Ég á sjálfur hagsmuni þar sem stofnandi íslensks gervigreindarfyrirtækis, en tillagan snýst um aðgang allra.

Það væri kaldhæðnislegt ef þjóð sem á orkuna horfði á næstu iðnbyltingu fara fram hjá sér af því hún seldi aðeins hráefnið. Við sjáum ekki inn í vélarnar. En við getum ráðið því hver á aflið sem knýr þær.

Höfundur er stofnandi Alvitur.is og starfar að þróun og stefnumótun á sviði gervigreindar.