Risker med AI-system i offentlig sektor

Trend Micro har idag publicerat en ny studie som varnar för att AI-system kan ge varierande resultat beroende på faktorer som geografi och språk, trots identiska prompts. Företag som implementerar stora språkmodeller (LLM) utan korrekt styrning och övervakning riskerar att drabbas av allvarliga juridiska och ekonomiska konsekvenser.

Studien, som bygger på tusentals tester av nästan 100 modeller, understryker behovet av reglering och verifiering av AI-användning inom offentlig förvaltning. Detta är särskilt viktigt när AI-resultat kan uppfattas som officiella rekommendationer.

”Våra tester visar att AI-system kan återge inkonsekvent eller gammal information i politiskt känsliga scenarier,” säger hon. ”Det ökar risken att felaktig information presenteras, vilket urholkar förtroendet för myndigheter.”

Martin Fribrock fortsätter, ”Många organisationer antar att AI fungerar som traditionell programvara, där samma indata ger samma utdata. Vår rapport visar att detta inte stämmer.” Han påpekar att stora språkmodeller kan justera sina svar utifrån region och språk.

Han framhåller att företag behöver hantera AI som en hög riskfaktor och kräver tydlig styrning och mänsklig verifiering för resultat som påverkar användare. Dessutom betonar han vikten av transparens från AI-leverantörer gällande hur modellerna fungerar och vilka data de baseras på.

AI har potential att främja innovation, men det kräver en medvetenhet om dess begränsningar och robusta kontroller för att säkerställa korrekt användning.