Ekspert deler advarsel: Google Gemini bruges til avancerede phishingangreb

Google introducerede Gemini, der er deres AI-drevne chatbot-assistent, i sin Workspace-pakke med produktivitetsapps for noget tid siden.

En af de ting, Gemini kan gøre, er at opsummere indkommende e-mails. Det vil sige, at når en person modtager en e-mail, kan de åbne en lille rude i højre side af skærmen og bede Gemini om hjælp til forskellige ting, såsom at hente vigtig information fra e-mailen, tilføje kalenderaftaler og meget mere.

Eksperter har dog advaret om, at dette også åbner Gmail-konti op for såkaldte ‘prompt-injection’-angreb. Hvis en indkommende e-mail indeholder en skjult prompt til Gemini, kan den blive udført i ruden.

Ifølge sikkerhedsforsker Marco Figueroa er det netop denne type sårbarhed, som tjenesten nu er udsat for. Det skriver TechRadar.

Ved at bruge HTML og CSS kan hackere og andre ondsindede aktører tilføje en prompt til Gemini, hvor skrifttypens størrelse sættes til nul, og farven til hvid. På den måde kan offeret ikke se prompten, men Gemini vil stadig reagere på den.

Hvis prompten får Gemini til at vise en phishing-besked, vil det ske, og da beskeden fremstår som om den kommer fra en betroet kilde, øger det chancen for, at modtageren falder for det.

Figueroa demonstrerede, hvordan en ondsindet prompt kunne få Gemini til at fortælle offeret, at deres e-mailkonto er blevet kompromitteret, og at de derfor er nødt til at ‘ringe’ til Google på et telefonnummer i beskeden for at løse problemet.

For at beskytte sig mod fremtidige prompt-injection-angreb bør virksomheder sikre, at deres e-mailklienter fjerner, neutraliserer eller ignorerer indhold, som er stylet til at være skjult i brødteksten.

Derudover kan de tilføje et såkaldt efterbehandlingsfilter, som scanner indbakken for ‘hastebeskeder’, URL’er eller telefonnumre. Endelig bør virksomheder oplyse deres medarbejdere om, at resuméer fra Gemini-værktøjet ikke bør erstatte sikkerhedsadvarsler.

Selvom der endnu ikke er nogen beviser for, at denne type prompt-injection-angreb bruges i praksis, har Google anerkendt deres eksistens og arbejder på løsninger.

I en e-mail til TechRadar Pro bekræftede en talsmand fra virksomheden, at beskyttelse mod prompt-injection-angreb er en prioritet hos Google.

“Vi styrker løbende vores allerede robuste forsvar gennem red-team-øvelser, som træner vores modeller til at forsvare sig mod denne type fjendtlige angreb,” udtalte vedkommende.

Google har også for nylig offentliggjort et blogindlæg, hvor de beskriver de specifikke forsvarsmekanismer, der i øjeblikket implementeres mod prompt-injection-angreb. Disse forsvarsmekanismer er i øjeblikket ved at blive rullet ud, tilføjede de.