Nicolai Busekist
Hvis du bruger Gmail, er det vigtigt, at du sørger for at være opmærksom på denne type AI-angreb.
Google har fortalt os, at dette ville ske. AI-opdateringer, som bliver integreret i browsere og platforme, fungerer som en magnet for kriminelle.
Offentlige myndigheder frygter, at det ‘kan blive værre’ end noget lignende, man har set før. Nu lyder der en ny advarsel til Gmails mange brugere: Hvis en kriminel kan påvirke, hvad AI læser, kan de også påvirke, hvad AI gør.
Da Google fik kritik for angiveligt at træne AI på Gmail-brugeres data, blev det understreget, at det primære problem ikke er, hvorvidt en AI trænes på dataene, men at AI i det hele taget får adgang til dem.
Google afviser dog, at der finder AI-træning sted. Men hvis man aktiverer de nye opdateringer, kan Googles AI se alle brugerens data, skriver Forbes.
Den nye advarsel kommer fra sikkerhedsfirmaet Noma. Her blev en sårbarhed afdækket, som ‘gjorde det muligt for angribere at få adgang til og eksportere virksomhedsdata ved hjælp af noget så simpelt som et delt Google-dokument, en kalenderinvitation eller en e-mail’.
“Den ramte medarbejder skulle ikke klikke på noget. Der var ingen advarselstegn. Og ingen traditionelle sikkerhedsværktøjer blev aktiveret,” skriver de.
Sårbarheden fik navnet GeminiJack. Google arbejdede sammen med Noma og lukkede denne specifikke sikkerhedsbrist, og den udgør ikke længere en risiko. Alligevel fortsætter det vanskelige arbejde med at lukke dørene.
“GeminiJack fremhæver en vigtig realitet: Når organisationer tager AI-værktøjer i brug, som kan læse på tværs af Gmail, Docs og Kalender, bliver AI’en i sig selv et nyt adgangslag,” advarer Noma.
Ifølge Noma bliver dette angreb ikke den sidste af sin slags, men afspejler en voksende klasse af AI-baserede sårbarheder, som organisationer allerede nu bør forberede sig på.
Prompt injection-angreb er endda ikke nødvendigvis teknisk avancerede. Hvis brugerne ikke læser e-mails, invitationer eller websider grundigt nok, kan et angreb skjule instruktioner, som i stedet opfanges af den AI-assistent, man har bedt om at læse materialet.
“GeminiJack gjorde det muligt for kriminelle at stjæle følsomme virksomhedsoplysninger ved at indlejre skjulte instruktioner i et delt eller eksternt bidraget dokument,” siger Noma.
Et eksempel er et budgetdokument med skjulte instruktioner. Når en medarbejder derefter foretager en almindelig søgning i Gemini Enterprise som ‘Vis mig vores budgetter’, henter den kunstige intelligens automatisk det kompromitterede dokument og udfører instruktionerne.
Det britiske National Cyber Security Centre (NCSC) opfordrer brugere til at betragte AI-assistenter som medarbejdere og ikke som betroet teknologi. Hvis man ikke ville betro en menneskelig assistent alle adgangskoder, finansielle oplysninger og fuld adgang til e-mails, bør man heller ikke gøre det med AI.
Noma understreger, at selvom Google har håndteret det konkrete problem, kræver den bredere kategori af indirekte prompt injection-angreb fortsat opmærksomhed.
