Siden lanceringen af ChatGPT i november 2022 har en bølge af kunstig intelligens ramt kommunikationsverdenen. Hvad der begyndte som et nyt og kraftfuldt redskab, er nu udviklet til en bottom-up bevægelse, hvor medarbejderne selv driver innovationen ved at integrere avancerede sprogmodeller i deres daglige arbejdsprocesser.
I denne bølge er virksomheder og organisationer begyndt at se potentialet i at trække eksisterende sprogmodeller ind i egne organisationer for derefter at definere og gentræne modellerne, baseret på deres specifikke behov og branchejargon.
Det giver nemlig mulighed for at skræddersy sprogmodeller til egne unikke kommunikationskrav og styrker, men det medfører også problemer med underrepræsentation, bias og kulturelle udfordringer, mener professor Kristoffer Nielbo og professor Mads Rosendahl Thomsen, der er henholdsvis ledere af Center for Humanities Computing og Center for Language Generation and AI. Begge under Aarhus Universitet.
Sprogmodeller udvikles til virksomheder
Helt konkret er en sprogmodel et computerprogram eller AI-system, der er designet til at forstå og generere et naturligt sprog. Det er, ifølge Kristoffer Nielbo, en statisk model, der har lært af løse en række sprogproblemer.
En af de mest kendte og tilgængelige er ChatGPT, der er udviklet af OpenAI, som er i stand til at generere tekst, der kan ligne, hvad et menneske vil kunne producere.
”I kommunikationsbranchen kan man dele arbejdsopgaverne op i forskellige segmenter. Derfor er AI meget brugbart for k-folk, fordi det kan støtte op om specifikke arbejdsopgaver som for eksempel idégenerering, research, strukturering, tekstgenerering, hjælp til korrektur og opsummering af tekster til evaluering,” siger Mads Rosendahl Thomsen, der i sit arbejde har fokus på brugsscenarier, hvor og hvordan mennesket faktisk anvender dem.
Mens ChatGPT er en offentlig tilgængelig sprogmodel, er flere virksomheder og organisationer, ifølge Kristoffer Nielbo, begyndt at hente sprogmodeller, som de efterfølgende selv kan gentræne og tilpasse.
Det kan enten være de store sprogmodeller som GPT-modellerne, hvor medarbejderne kan arbejde i særlige systemer, der er tilpasset virksomhedens tone of voice og værdier, og det kan være domænespecifikke hyper-lokale systemer, der kan bruges til særligt bestemte opgaver.
”I flere virksomheder downloader man en sprogmodel, gentræner og tilpasser dem – for så at få dem ud i ens virksomhed. Det kan både være godt, hvis man vil ramme bestemte regler og værdisæt, og det kan også være godt, hvis man vil sikre egne data. Men det er vigtigt, at man er særlig opmærksom - for hvis man ikke tester dem ordentligt, så ved man ikke, hvor gode de er, eller hvor sensitive de er i forhold til normer og praksisser i Danmark,” siger Kristoffer Nielbo, der, som leder af Center for Humanities Computing, er med til at udvikle og forske i sprogmodeller.
Kønsroller og pornografi
Når virksomhederne henter sprogmodeller, kan de gentræne og tilpasse modellen på flere forskellige måder, for eksempel på virksomhedens egne data, på data fra internettet eller de kan få sprogmodellen til at gentræne sig selv på data, den selv genererer.
Det første er tidskrævende og kræver mange ressourcer, mens de to sidste løsninger kan skabe store udfordringer, påpeger Kristoffer Nielbo.
”Sprogmodeller er virkelig gode til at generere nye data, og derfor er det fristende at få den til at gentræne sig selv. Men det viser sig, at sprogmodellerne faktisk bliver dårligere af at blive gentrænet på data, de selv har genereret,” siger Kristoffer Nielbo.
Årsagen er det såkaldte “rekursive problem”, hvor sprogmodellerne fokuserer på det generelle og sorterer alt det unikke fra, hvilket har en særlig betydning for dens kunnen.
”Sprogmodeller kommer til at reproducere egenskaber, der eksisterer, det vil sige, at de etniske minoriteter bliver underrepræsenterede. Den forstærker vores egne stereotyper, hvis man ikke er meget påpasselig med, hvordan man gentræner sine modeller,” siger Kristoffer Nielbo og uddyber:
”Det gælder også nede på det helt basale forståelsesniveau. Den kan for eksempel fortælle dig, at en læge er en mand, og at en zoneterapeut er en kvinde. Og hvis man bruger sprogmodellerne til at hjælpe med ansøgere til en ny lederstilling, vil den højst sandsynligt vurdere en mand bedre egnet end en kvinde.”
Data er alfa og omega, og det er derfor, man, ifølge Kristoffer Nielbo, skal være ekstra opmærksom på, hvad man fodrer modellerne med. Særligt hvis man henter data fra internettet, hvor der findes en ualmindelig stor mængde pornografisk materiale, påpeger Kristoffer Nielbo.
”I pornografien er der en stor overrepræsentation af etniske minoriteter, som ellers er underrepræsenteret i det danske samfund. Det vil sige, at hvis dine sprogmodeller bliver gentrænet på data fra internettet, så vil nogle af de her etniske minoriteter i højere grad være associeret med pornografisk materiale,” siger han.
Kulturelle og sproglige udfordringer
En anden større problematik er, at de fleste sprogmodeller, både ChatGPT og dem man henter fra internettet, er trænet på det engelske sprog. Det betyder særligt noget for de k-folk, der arbejder i programmerne, mener Mads Rosendahl Thomsen.
”De her store modeller, der er trænet på engelsk, tager virkelig mange forbehold og hensyn. Dét er jo ikke et problem i sig selv, men det er et problem i forhold til at forstå en dansk kontekst og de danske sprognuancer. Derfor skal man virkelig være opmærksom, når man som kommunikatør bruger de her sprogmodeller,” siger Mads Rosendahl Thomsen.
Kristoffer Nielbo er enig:
”Det kan ende galt, hvis du tager sprogmodellens output for gode varer. Du kan ende ud i en model, der synes, det er rigtig fornuftigt at gå rundt med en skyder i lommen, men det er strafbart at stille din barnevogn uden for at have en café med en baby i,” siger han.
Domænespecifikke sprogmodeller
Problemet er, at bias bliver forstærket, når de bliver kørt igennem sprogmodellerne, påpeger Kristoffer Nielbo.
”Os udviklere arbejder på at justere sprogmodeller hele tiden, men det er næsten umuligt at fjerne bias fuldstændigt. Derfor er man, både som udvikler og som bruger, nødt til at se på, hvilken grad af misrepræsentation, vi kan være tilfredse med, og hvilken form for stereotyper vi kan tåle at have. Og ikke mindst, hvad vi absolut ikke kan tåle at have,” siger han.
Vi er, ifølge Mads Rosendahl Thomsen, på vej mod et nyt skifte.
”Det, vi har set med for eksempel ChatGPT, er en bottom-up-proces. Det er medarbejderne, der selv har taget teknologien til dig. Men det næste store skridt kommer, når programmerne bliver lagt ind i virksomhederne fra toppen af. For hvordan kommer virksomhederne til at tage sig af teknologien, og hvordan kommer de til at udvikle forskellige workflows - det er jeg spændt på at se.”
Kristoffer Nielbo er også enig i, at der sandsynligvis kommer flere sprogmodeller, der er gentrænet internt i forskellige virksomheder. Særligt de domænespecifikke modeller kommer i høj kurs, vurderer han.
”Det er modeller, der er tilpasset en meget specifik brugskontekst. Det har man for eksempel allerede i psykiatrien, når man arbejder med patientjournaler,” siger Kristoffer Nielbo.
Foto af Kristoffer Nielbo, professor, Center for Humanities Computing (PR)