Zadnji dve leti gledamo enainistovetni spektakel. Direktorji IT-oddelkov po vsem svetu se obnašajo kot navdušeni najstniki, ki so si pravkar kupili svojega prvega rabljenega superšportnika z motorjem V12. Usmerjeni so izključno v to, koliko stane en liter goriva oziroma v primeru umetne inteligence – koliko centov stane tisoč žetonov (tokens) pri najnovejšem modelu. A kot vam bo povedal vsak izkušen avtomobilistični navdušenec, vas ne bo uničila cena bencina, temveč menjava sklopke, menjavanje pnevmatik vsakih nekaj tisoč kilometrov in vzdrževanje hidravličnega sistema. Enako se sedaj dogaja v svetu tehnologije.
Prehod iz faze navdušenega eksperimentiranja v vsakodnevno poslovno uporabo je prinesel kruto realnost. Podjetja ugotavljajo, da je osredotočanje na cenik API-žetonov popolnoma zgrešeno. Vsaka interakcija z umetno inteligenco, vsako generirano besedilo ali analizirana tabela na koncu dneva pristane na povsem fizični računalniški infrastrukturi. In ta infrastruktura ne potrebuje le vaše naročnine, temveč ogromne količine računske moči, pomnilnika, omrežnih povezav, elektrike in obsežnega hlajenja.
"Vprašanje v upravah podjetij se ne sme več glasiti, koliko stane posamezen žeton, temveč koliko stane trajnostna, zanesljiva in predvidljiva dostava AI zmogljivosti na dolgi rok."
Fizika ne laže: Skriti stroški silicija, elektrike in hladilnih sistemov
Model obplačil glede na porabo (consumption-based pricing) deluje izjemno privlačno, pregledno in preprosto na mesečnem računu. Vendar pa je ta račun le vrh ledene gore. Ko posamezne aplikacije umetne inteligence razširite na celotno podjetje in se število zahtevkov povzpne v milijone, infrastruktura za kulisami postane tisti dejavnik, ki odloča o dobičkonosnosti celotnega projekta.
Tukaj pridemo do ključne razlike med učenjem (training) in izvajanjem (inference) modelov. Medtem ko treniranje novih nevronskih mrež zahteva gigantske grozde grafičnih procesorjev (GPU) ter kompleksne tekočinske hladilne sisteme, zahteva izvajanje povsem drugačno arhitekturo. Namenska infrastruktura za izvajanje zahtevkov je lahko bistveno bolj energijsko učinkovita. In v svetu podjetniške tehnologije manjša poraba energije pomeni manjše zahteve po hlajenju, enostavnejše podatkovne centre in bistveno nižje operativne stroške v celotni življenjski dobi opreme.
Če podjetje spremlja le obseg porabljenih žetonov, meri zgolj stopnjo aktivnosti, ne pa tudi dejanske poslovne vrednosti, ki jo ta aktivnost ustvarja. Brez razumevanja podtalne infrastrukture podjetja tvegajo finančna presenečenja, ki bodo hitro pokvarila začetno navdušenje nad digitalno transformacijo.
Namenska infrastruktura kot nova strateška prednost
Neprekinjeno povečevanje porabe žetonov prek zunanjih ponudnikov ustvarja stroškovni model, ki ga je sčasoma izjemno težko napovedovati in nadzorovati. Zato se najbolj napredne organizacije že usmerjajo k drugačnemu ekonomskemu modelu – namenski infrastrukturi za izvajanje AI operacij. Namesto nenehnega plačevanja za vsak posamezen klik in zahtevek podjetja raje investirajo v lastne ali posamično zakupne kapacitete s fiksni in predvidljivimi operativnimi stroški.
Ta pristop prinaša tri ključne prednosti:
