Jesper Bengtson
Ny forskning og en voksende bunke retssager viser, at fejlene ikke er tilfældige, men systematiske.
Bruger du ChatGPT, Copilot eller Gemini til at slå symptomer op, planlægge en vandretur eller finde en paragraf, er du i selskab med millioner. Men i netop de tre opgaver falder AI-assistenterne igennem så ofte, at forskere og myndigheder nu klassificerer dem som højrisiko-brug.
Et studie fra Wake Forest University School of Medicine, offentliggjort i BMJ Open i 2026, testede fem populære chatbots på 250 medicinske spørgsmål. Konklusionen var opsigtsvækkende: cirka halvdelen af svarene var problematiske, 30 procent i mindre grad og knap 20 procent i høj grad.
Forskerne testede ChatGPT, Gemini, Meta AI, DeepSeek og Grok. Grok klarede sig værst med 58 procent højst problematiske svar, mens Gemini leverede de mest præcise. “Vores fund omkring videnskabelig præcision, kildekvalitet og læsbarhed peger på vigtige adfærdsmæssige begrænsninger og et behov for at gentænke, hvordan AI-chatbots bliver taget i brug i offentlig sundhedskommunikation”, skrev forskerholdet i studiet.
Kilderne kan være ren opdigt
En parallel gennemgang refereret af det medicinske fagmedie Medscape fandt, at hallucinationsraterne i medicinske referencer varierede fra 0 til 34 procent på tværs af ni chatbots. Grok 3 var værst med 34 procent opdigtede eller uverificerbare kilder, tæt fulgt af DeepSeek DeepThink med 25 procent.
Selv når svaret lyder autoritativt, kan de citerede studier altså være fri fantasi. Stanford HAI’s AI Index rapport for 2025 påpeger i sit kapitel om ansvarlig AI, at gamle værktøjer som HaluEval og TruthfulQA “har ikke fået udbredt tilslutning i AI-fællesskabet”, og at nyere benchmarks som FACTS, SimpleQA og Hughes Hallucination Evaluation Model er nødvendige, netop fordi problemet ikke er løst.
Retssalen er fyldt med opdigtede domme
I juridisk arbejde er problemet blevet så udbredt, at det har fået sit eget register. Den franske forsker Damien Charlotin driver en offentlig database over sager, hvor advokater eller selvmødere har indleveret AI-genererede citater til domstole. Pr. juli 2026 talte den 1.668 dokumenterede sager, heraf 1.163 i USA alene og 59 i Storbritannien.
Tempoet er også accelereret voldsomt. Hvor der i midten af 2025 var omkring 200 kendte tilfælde, er antallet firdoblet på et år. En kendt sag fra sommeren 2025 involverede Chicago Housing Authoritys advokater, der i en post-trial-begæring henviste til Illinois-højesteretssagen “Mack v. Anderson”, som simpelthen ikke findes.
Sanktionerne bliver også skarpere. En gennemgang fra advokatfirmaet Sterne Kessler dokumenterer bøder på op til 6.000 dollar (cirka 41.000 kroner), krav om obligatorisk efteruddannelse, indberetning til advokatsamfundet og i flere tilfælde afvisning af hele sagsanlæg. “Hvis bøder og offentlig forlegenhed var effektive afskrækkelsesmidler, ville der ikke være så mange sager”, bemærkede dommeren i sagen Johnson v. Dunn.
Vandreture ender med helikopter
Den tredje højrisiko-kategori er navigation i ukendt terræn, og her er problemet meget håndgribeligt. Den 4. juli 2026 måtte den polske bjergredning TOPR flyve to litauiske vandrere ud af Tatra-bjergene med helikopter, efter ChatGPT havde anbefalet dem at tage en “genvej” via traversen Świnicka Ławka mod Fem Søers Dal. Ruten endte i klippeterræn under toppen Niebieska Turnia, hvor parret ikke kunne komme videre på egen hånd.
Kort forinden var to vandrere i British Columbia blevet reddet fra Unnecessary Mountain efter en ChatGPT-planlagt tur, uden andet fodtøj end almindelige sneakers og uden hensyn til, at sneen ligger længe på breddegrader så tæt på polarcirklen. Brent Calkin fra Lions Bay Search and Rescue advarede om, at “med mængden af information tilgængelig online er det virkelig let for folk at komme langt over hovedet, meget hurtigt”.
Mountain Rescue England and Wales har koblet en historisk høj stigning i redningsaktioner til brugen af navigations-apps og AI-planlægning, hvor ruter foreslås uden reelt kendskab til terræn eller aktuelle forhold.
EU flagger domænerne som højrisiko
Reguleringen er ved at følge med. EU’s AI-forordning definerer i Annex III otte kategorier af højrisiko-anvendelser, som blandt andet dækker retspleje, kritisk infrastruktur som trafikstyring, og essentielle tjenester som sundhedsvisitation. AI-systemer i disse felter skal leve op til krav om risikostyring, dokumentation, menneskelig kontrol og “præcision, robusthed og cybersikkerhed”, som det formuleres i forordningen.
Forpligtelserne for højrisiko-systemer i Annex III begynder først at gælde fuldt ud 2. december 2027 efter EU’s politiske aftale i 2026. Reguleringen gælder udbydere og professionelle brugere, ikke privatpersoner der spørger en chatbot til råds, men klassificeringen viser hvor lovgiverne har set alvorligste risici.
Tre tommelfingerregler
Fælles for sundheds-, jura- og navigationsbrug er, at fejlraten er systematisk, ikke tilfældig. Chatbots svarer med samme selvsikre tone på et enkelt spørgsmål om vejret som på et symptomkompleks eller en obskur retspraksis. Modellen sammensætter tekst statistisk. Den kan ikke skelne mellem, hvornår den har evidens, og hvornår den producerer noget, der bare lyder rigtigt.
Konsekvensen er, at tre regler bør sidde på rygraden: en helbredsbekymring kræver en læge eller en officiel sundhedsportal, en juridisk henvisning skal slås op i den originale domssamling, og en ruteplan i naturen skal tjekkes mod et opdateret kort og lokale meldinger, ikke mod en chatbots gæt.
