Risker med AI-kodassistenter: En analys av potentiella hot

En ny analys från Unit 42, en avdelning inom Palo Alto Networks, belyser hur kodassistenter baserade på stora språkmodeller (LLM) kan utnyttjas av illvilliga aktörer. Dessa verktyg kan skapa bakdörrar, läcka känslig information och generera skadligt innehåll.

Analysen, med titeln The Risks of Code Assistant LLMs: Harmful Content, Misuse and Deception, visar att funktioner som chatt, auto-complete och bifogad kontext kan missbrukas. Indirekt prompt-injektion är en särskild risk där hotaktörer kan manipulera AI-assistenten att infoga skadlig kod.

Viktiga fynd från rapporten inkluderar:
· Indirekt prompt-injektion: Dolda skadliga instruktioner kan infiltrera AI-assistentens datainmatningar, vilket gör att den kan avslöja känslig information.
· Missbruk av auto-complete: Genom att manipulera indata kan användaren få assistenten att fullfölja skadligt innehåll som annars skulle ha avvisats.
· Direkt åtkomst till modellen: Utan säkerhetsåtgärder kan hotaktörer utnyttja modellen och även använda stulna session-tokens i attacker kallade LLMJacking.

Analysen pekar på att det inte bara handlar om tekniska brister, utan även om en bristande säkerhetskultur kring AI-användning. Utvecklare som obetänksamt kopierar kodförslag öppnar för risker. Det är också möjligt för användare att manipulera assistenter för att skapa oönskade resultat. Detta visar på behovet av tydliga riktlinjer och utbildning kring säker AI-användning.

Unit 42 rekommenderar att utvecklare noggrant granskar all kod innan exekvering och att de är vaksamma på den kontext som används. Som analysen uttrycker:

”You are the ultimate safeguard.”

Palo Alto Networks framhäver att kunder kan skydda sig bättre mot de identifierade hoten med lösningar som Cortex XDR och XSIAM, Cortex Cloud Identity Security, Prisma AIRS samt Unit 42:s AI Security Assessment.

Analysen kan läsas i sin helhet: The Risks of Code Assistant LLMs: Harmful Content, Misuse and Deception.