Če v zadnjem letu niste živeli v jami brez internetne povezave, verjetno vsakodnevno uporabljate ChatGPT, Claude ali Google Gemini. Pomagajo nam pisati e-pošto, odpravljati napake v kodi in povzemati neskončno dolga poročila. A bodimo iskreni: vsakič, ko v tisto simpatično vnosno polje vtipkate svoje poslovne ideje ali osebna vprašanja, te informacije odpotujejo neposredno na strežnike velikih tehnoloških gigantov. Zasebnost? Pozabite nanjo. Poleg tega vam za naprednejše modele z veseljem zaračunajo soljeno mesečno naročnino.
Kaj pa, če bi vam povedal, da lahko svojega lastnega umetnointeligentnega asistenta poganjate lokalno, neposredno na svojem računalniku? Brez spletne povezave, brez mesečnih računov in predvsem brez strahu, da nekdo v Silicijevi dolini analizira vaše podatke. Morda lokalni modeli ne bodo dosegali svetlobne hitrosti najnovejših oblačnih superračunalnikov, a za vsakodnevno uporabo so več kot dovolj zmogljivi.
Kaj potrebujete pod pokrovom: Strojna oprema za vaš digitalni super um
Poganjanje lokalnih velikih jezikovnih modelov (LLM) je nekaj podobnega kot navijanje motorja v domači garaži – potrebujete pravo strojno opremo in dovolj konjskih moči. Dobra novica je, da lokalna umetna inteligenca deluje na operacijskih sistemih Windows, macOS in Linux, vendar imajo Applovi uporabniki tukaj rahlo prednost.
Računalniki Mac s procesorji Apple Silicon (serije M1 do M4) so naravnost fantastični za AI, saj združujejo CPU, GPU in sistemski pomnilnik v enotno arhitekturo. Umetnointeligentni modeli obožujejo ta hiter dostop do pomnilnika. Če prisegate na sistem Windows, boste za resno delo potrebovali namensko grafično kartico Nvidia z vsaj 8 GB VRAM-a (namenskega video pomnilnika). Grafične kartice so namreč tiste, ki nosijo težko breme računskih operacij.
Pri delovnem pomnilniku (RAM) veljata preprosti pravili: več je vedno bolje in kompromisi stanejo živcev.
- 8 GB RAM: Absolutni minimum. Delovalo bo, a izkušnja bo podobna vožnji s starim hroščem po avtocesti – opazno počasno in z omejenim izborom manjših modelov.
- 16 GB RAM: Zlata sredina za večino vsakdanjih uporabnikov, ki omogoča tekoče poganjanje zelo sposobnih modelov.
- 32 GB RAM ali več: Popolna svoboda. Tukaj lahko brez težav poganjate največje, najbolj natančne in kompleksne modele.
Programska oprema: LM Studio in čarobni svet Hugging Face
Ko imate pripravljeno strojno opremo, potrebujete le še dve stvari: uporabniški vmesnik (program) in sam AI model. Če niste računalniški inženir, ki obožuje ukazno vrstico, pozabite na zapletene nastavitve. Za začetnike in napredne uporabnike je najboljša izbira brezplačni program LM Studio Bionic, ki je na voljo za Windows in macOS.
Za tiste, ki želijo bolj tehnične rešitve ali delo preko terminala, obstajajo odlične alternative, kot so Ollama, GPT4All, vLLM in Llama.cpp. Ko namestite program, je čas za izbiro modela. Glavno stičišče celotne skupnosti je spletna platforma Hugging Face, ki ponuja več kot 3 milijone različnih modelov. Med njimi boste našli vrhunske odprtokodne modele velikanov, kot sta Meta (serija Llama) ali Google (serija Gemma).
