Generativ AI omfatter metoder som genererer nytt innhold, slik som bilder, tekst eller video. Disse modellene består som oftest av flere milliarder parametre som brukes til å regne ut hvordan modellen skal generere innholdet som blir etterspurt. Slike modeller forventes å ha veldig mye kunnskap om veldig mange ting, og ha evnen til å løse generelle oppgaver. De største generative modellene blir i praksis laget av de store teknologi-gigantene som Google eller Meta siden det er så krevende å trene dem og å drifte dem at ingen andre har ressursene til det. Noen modeller blir lagt ut open-source slik at man kan bruke modellen slik man vil. Da kan man også trene modellen på egne data, eller få modellen til å lære å løse en oppgave den ikke kunne løse fra før. Noen ganger medfølger denne tilspissingen av store språkmodeller på spesifikke oppgaver et betydelig tap av allmenn kunnskap, og denne problematikken medførerer en “trade-off” man ikke vanligvis ser med Tradisjonelle AI metoder, som er tilspisset og spesifikke av natur.

De store generative modellene vi har sett de siste årene har blitt utrolig populære. Det er nytt for oss å kunne be om en tekst eller et bilde og få det generert på sekunder, uten et menneske involvert! Det er utrolig inspirerende, og det er veldig mange som ser muligheter for dette i sine egne bedrifter. Men kanskje det er på tide å gi tradisjonell AI litt oppmerksomhet også?

Tradisjonelle AI metoder og modeller kan ta mange former. Det finnes metoder for å klassifisere data, for eksempel om en søknad er godkjent eller ikke godkjent, eller om en bankkunde driver med hvitvasking eller ikke. De kan estimere tallverdier, som sannsynligheten for at noe skjer i en risikovurdering, eller hvor langt unna et objekt er i et bilde. En viktig forskjell mellom slike modeller og de generative modellene er at de tradisjonelle modellene blir spesialisert til å løse én oppgave. For å lage slike modeller må man ha spesifikke data om oppgaven som skal løses, og trene en modell til å løse den. Tradisjonelle modeller gir som oftest bedre resultater enn generelle generative modeller, da de blir spesifikt tilpasset en oppgave. I tillegg til forbedrede resultater vil bruk av mindre, tradisjonelle modeller også redusere kostnader betraktelig, ettersom de krever vesentlig mindre energi og datakraft. En slik sparsommelighet er forøvrig mye bedre for miljøet. ChatGPT har blitt kritisert i det siste da en rapport viste hvor mye CO2 utslipp som kommer fra den store språkmodellen til OpenAI.

I noen tilfeller har vi sett folk som bruker generelle, generative modeller for å løse oppgaver som enhver oppegående maskinlæringsingeniør ville gjort på en tradisjonell måte. Tekstgenerering bruker typisk 20 ganger mer energi enn det tradisjonelle klassifiseringsmetoder gjør. Å generere navnet på klassen tilhørende et datapunkt istedenfor å gjøre det tradisjonelt er i beste fall veldig ineffektivt og i verste fall på grensen til galskap (sett fra en lidenskapelig Data Scientist sitt perspektiv).

Et fantastisk eksempel på moderne bruk av tradisjonell maskinlæring er Deepmind’s Alphafold algoritme. Denne modellen har lært seg å forutse hvordan et protein bretter seg sammen, noe som har tidligere vært en nær umulig oppgave å løse for både mennesker og maskiner. Det pleide å være sånn at det krevde en doktorgrad og flere år for å finne strukturen på ett slikt protein. I 2022 slapp Deepmind en database med over 200 millioner slike strukturer. Dette verktøyet er uvurderlig for forskere og kjemikere over hele verden, som kan bruke Alphafold til å finne nye medisiner. Prediksjonsmodellen har i overkant av 93 millioner parametre, som er ganske lite sammenlignet med de fleste språkmodeller som har flere milliarder parametre. Dette er kanskje ikke en rettferdig sammenligning, men verdt å merke seg likevel.

Bærum sykehus var i nyhetene for ikke så lenge siden med den nye AI-modellen deres som kan detektere brukne bein på røntgenbilder. Denne teknologien endrer pasientforløpet til 14 000 pasienter i året på Bærum sykehus, og gjør jobben for leger på sykehuset mye mer effektiv. Dette er et eksempel på bildeklassifisering med en spesialisert modell.

Hvis man først trenger en generativ modell, har man mye å vinne på å være mer oppmerksom på bruken. Dersom man skal gjøre en oppsummeringsoppgave, så kan man bruke modeller som er trent på akkurat denne oppgaven, istedenfor å bruke større generelle modeller, som er trent på mange andre oppgaver i tillegg. Dette vil skape bedre resultater, med færre parametre.

Jeg prøver ikke å sky noen unna generative modeller. Jeg bruker dem selv stadig vekk! Likevel mener jeg at mange bør gjøre seg mer kjent med de tradisjonelle metodene, siden de kan gi vel så mye verdi til bedrifter som generativ AI kan. Man bruker ikke skrutrekker for å slå inn en spiker, og da bør man ikke løse klassifiseringsoppgaver med språkmodeller heller.

Om skribenten:

Herman Jangsett Mostein jobber som data scientist og ML-ingeniør hos Visito. Han har en mastergrad i maskinlæring fra Universitetet i Bergen og besitter bred erfaring med ulike ML-verktøy anvendt i næringslivet.

Kilder:

Alphafold: https://alphafold.ebi.ac.uk/

Bærum sykehus: https://www.nrk.no/stor-oslo/baerum-sykehus-er-forst-i-norge-med-a-ta-i-bruk-kunstig-intelligens-til-behandling-1.16531977