Verjetno se je že zgodilo, da ste ChatGPT, Gemini ali drugemu AI-sistemu postavili vprašanje, dobili odgovor, nato pa isto vprašanje ponovili in prejeli nekoliko drugačen rezultat.

Včasih se spremeni samo način razlage. Drugič model izpostavi druge argumente, predlaga drugo rešitev ali celo pride do drugačnega zaključka.

Na prvi pogled se to lahko zdi nenavadno. Če je vprašanje enako, zakaj odgovor ni vedno enak?

Razlog je v tem, da generativna umetna inteligenca ne deluje kot klasičen iskalnik ali podatkovna baza, v kateri za določeno vprašanje obstaja en vnaprej shranjen odgovor.

AI odgovor ustvarja sproti.

AI ne poišče stavka, ampak ga sestavlja

Ko velikemu jezikovnemu modelu postavimo vprašanje, ta praviloma ne poišče enega pripravljenega odgovora in ga vrne uporabniku.

Namesto tega začne napovedovati, kateri del besedila je glede na vprašanje in kontekst najbolj smiseln naslednji korak.

Poenostavljeno povedano: model pri ustvarjanju odgovora ocenjuje verjetnost različnih možnih naslednjih besed oziroma tokenov in iz njih postopoma sestavlja odgovor.

Ker je pogosto več različnih nadaljevanj dovolj verjetnih, ni nujno, da bo model vsakič izbral popolnoma isto pot.

Google na primer pri svojih generativnih modelih opisuje parameter »temperature«, ki vpliva na naključnost izbire pri generiranju. Višje vrednosti lahko privedejo do bolj raznolikih odgovorov, nižje pa do bolj predvidljivih. Tudi pri zelo nizkih nastavitvah popolnoma enak rezultat ni vedno zagotovljen. Google AI for Developers

Ena majhna sprememba lahko vpliva na cel odgovor

Pri generiranju besedila vsak naslednji del odgovora temelji tudi na besedilu, ki ga je model ustvaril pred njim.

Če model že na začetku izbere nekoliko drugačno formulacijo ali argument, lahko ta majhna razlika vpliva na vse, kar sledi.

Rezultat je lahko odgovor, ki govori o isti stvari, vendar uporablja druge primere, drugačno strukturo ali poudari drug vidik.

Zato lahko dve različici odgovora vsebujeta podobno glavno sporočilo, vendar sta napisani precej drugače.

To je ena od značilnosti generativnih sistemov, ne nujno napaka.

Na odgovor vpliva več kot samo vaše vprašanje

Uporabnik vidi svoje vprašanje, model pa lahko pri pripravi odgovora upošteva precej širši kontekst.

Pomembni so lahko prejšnji deli pogovora, navodila sistema, nastavitve modela in različica modela, ki odgovarja.

Zato lahko isto vprašanje v novem pogovoru prinese drugačen odgovor kot vprašanje, postavljeno po daljši razpravi.

Če ste pred tem govorili o poslovanju, lahko model odgovor oblikuje bolj poslovno. Če je pogovor potekal o programiranju, lahko isti pojem razloži bolj tehnično.

Kontekst torej spreminja, kaj model razume kot najbolj uporaben odgovor.

Tudi dva AI-modela ne gledata na vprašanje povsem enako

Razlika postane še bolj očitna, če isto vprašanje postavimo različnim AI-sistemom.

ChatGPT, Gemini, Claude, Grok in drugi modeli niso enaki.

Razlikujejo se v arhitekturi, načinu učenja, podatkih, dodatnem prilagajanju, sistemskih navodilih in načinu generiranja odgovorov.

Zato lahko pri odprtem vprašanju eden izpostavi tehnološki vidik, drugi poslovnega, tretji pa družbenega.

To ne pomeni nujno, da je eden pravilen in drugi napačen. Pri številnih vprašanjih obstaja več smiselnih načinov razlage.

Prav zato so lahko primerjave odgovorov različnih AI-modelov zanimive: pokažejo, kako lahko enako vprašanje vodi do različnih perspektiv.

Kaj pomeni »temperature«?

Eden od tehničnih dejavnikov, ki lahko vplivajo na raznolikost odgovorov, je tako imenovana temperatura.

Gre za nastavitev, povezano z načinom, kako model izbira med verjetnimi naslednjimi možnostmi.

Nižja temperatura običajno pomeni bolj predvidljive rezultate. Višja omogoča več raznolikosti in s tem pogosto bolj ustvarjalne odgovore. Google v svoji dokumentaciji izrecno navaja, da temperatura nadzira stopnjo naključnosti pri izbiri tokenov. Google Cloud Documentation

To je koristno pri ustvarjalnih nalogah, kjer si želimo več različnih idej.

Pri nalogah, kjer želimo čim bolj dosleden rezultat, pa je običajno zaželena manjša variabilnost.

V nekaterih sodobnih sistemih uporabnik teh nastavitev sploh ne vidi, saj jih ponudnik določa sam.

Ali to pomeni, da AI ne pozna pravilnega odgovora?

Ne nujno.

Pri preprostem dejstvu, kot je glavno mesto določene države, lahko različni odgovori uporabljajo druge besede, dejanski podatek pa ostane isti.

Pri odprtih vprašanjih pa situacija ni tako preprosta.

Vprašanje, kot je »Katera tehnologija bo najbolj spremenila delo do leta 2030?«, nima enega objektivno pravilnega odgovora. Model lahko enkrat izpostavi umetno inteligenco, drugič robotiko ali avtomatizacijo.

V takšnem primeru razlika ni nujno znak nezanesljivosti. Lahko je posledica dejstva, da obstaja več razumnih argumentov.

Problem nastane, kadar AI različno odgovarja na vprašanja, pri katerih bi moral obstajati preverljiv dejanski odgovor.

Takrat je smiselno informacije preveriti pri dodatnih virih.

Samozavesten odgovor še ni dokaz pravilnosti

Generativna umetna inteligenca lahko nekaj napiše zelo prepričljivo.

Stavki so tekoči, struktura je jasna in odgovor pogosto zveni samozavestno.

Toda način pisanja ni dokaz, da je informacija pravilna.

Model poskuša ustvariti verjeten in uporaben odgovor, kar pomeni, da lahko včasih ustvari tudi napačen podatek ali napačno razlago.

Prav zato je pri pomembnih odločitvah dobro razlikovati med uporabo AI za ideje, povzetke in pomoč pri razmišljanju ter uporabo AI kot edinega vira dejstev.

Različni odgovori so lahko tudi prednost

Če AI uporabljamo pravilno, variabilnost ni nujno slabost.

Lahko mu na primer postavimo isto vprašanje večkrat in zahtevamo:

»Predlagaj drugačen pristop.«

»Poišči argument proti svojemu prejšnjemu odgovoru.«

»Poglej problem z vidika uporabnika.«

»Kaj bi pri tem lahko spregledali?«

Tako lahko lastnost, zaradi katere AI ne odgovarja vedno identično, uporabimo kot orodje za iskanje novih perspektiv.

Pri ustvarjalnem delu, raziskovanju idej in reševanju problemov je to lahko zelo koristno.

Pri pomembnih vprašanjih ne iščite samo enega odgovora

Največja napaka je, če en odgovor umetne inteligence razumemo kot dokončno resnico.

Bolj smiselno je AI obravnavati kot sistem, ki lahko pomaga pri raziskovanju vprašanja.

Pri zahtevnejših temah lahko vprašanje ponovimo, zahtevamo dodatne argumente, primerjamo več modelov in nato preverimo ključne trditve pri zanesljivih virih.

To postaja še pomembnejše, ko AI uporabljamo v podjetjih, pri analizah, raziskavah ali odločanju.

Ker vprašanje ni več samo:

»Kaj je odgovoril AI?«

Temveč tudi:

»Zakaj je odgovoril tako – in ali lahko temu odgovoru zaupamo?«

In prav razumevanje te razlike je eden ključnih korakov pri pametni uporabi generativne umetne inteligence.