Riskerna med AI-instruktioner i kritiska sektorer

TrendAI, en affärsenhet inom Trend Micro, varnar nu för att AI-instruktioner kan utgöra en stor risk för företag. Särskilt i kritiska miljöer som SOC, finansiella tjänster, sjukvården och industriella system.

AI-instruktioner är de körbara instruktioner som allt oftare används för att operativt tillämpa AI i verksamheten. I takt med att företag snabbt skalar upp sin AI-automatisering hjälper AI-instruktioner i tysthet till med att koda känslig information, så som beslutslogik och hur AI responderar i arbetsflöden.

Om cyberkriminella tar sig in i dessa kan de ta del av hur företag upptäcker hot, fattar beslut och hanterar incidenter, vilket ger dem en stor fördel.
– AI-instruktioner omvandlar information till körbar kod, vilket gör dem otroligt värdefulla för angripare, säger en expert.

Tillgång till AI-instruktioner kan avslöja logiken bakom sortering och prioritering av varningar, korrelationsregler och responsmanualer. Det gör det möjligt för angripare att stänga av varningar, undvika upptäckter eller manipulera varningars allvarlighetsgrader.

Liknande risker gäller även inom andra sektorer, från manipulation av handelströsklar inom finansvärlden till påverkan av kliniska beslut inom hälso- och sjukvården. De flesta traditionella säkerhetsverktyg är inte utformade för att upptäcka dessa hot.

AI-instruktioner är till stor del ostrukturerad text, vilket kräver semantisk förståelse snarare än signaturbaserad detektering. Det finns dock åtgärder företag kan vidta för att minska riskerna mot denna del av AI-infrastrukturen.

Några etablerade principer som bör tillämpas inkluderar att behandla AI-instruktioner som känslig immateriell egendom.
Tillämpa procedurer för riskbedömning och riskminimering under hela livscykeln. Implementera lämplig åtkomstkontroll, versionshantering och ändringshantering.

Möjliggör lämplig åtkomstkontroll genom korrekt klassificering och märkning. Separera AI-instruktioner från data du inte litar på. Många AI-instruktioner arbetar med data som tillhandahålls av användaren, vilket gör dem möjliga att utnyttja.

Begränsa behörigheter. Tillämpa principen om minsta möjliga behörighet när du utformar AI-instruktioner för att förhindra lateral rörelse under intrång. Validera mot konfliktscenarier för att förstå företagets attackyta.

Implementera omfattande övervakning.
Övervakning, loggning och granskning är avgörande för säker drift av alla affärsprocesser, särskilt i AI-baserade miljöer där traditionella säkerhetsgränser suddas ut.

Läs mer om riskerna med AI-instruktioner och hur de kan hanteras.