Het risicolandschap van AI en GenAI

Het AI-risicolandschap verandert snel. Gedreven door technologische ontwikkelingen, de groeiende toepassing in verschillende sectoren en de opkomst van meer geavanceerde (Gen)AI-modellen. Nu AI-systemen steeds meer geïntegreerd raken in besluitvormingsprocessen, groeit het risico op onbedoelde gevolgen, bias en kwetsbaarheden in beveiliging.  

Dit roept om een herziening van risicobeheerstrategieën; alleen zo kunnen we de betrouwbare, veilige en verantwoorde AI-implementatie garanderen. 

Steeds meer organisaties krijgen te maken met inbreuken en aanvallen die met machine speed worden uitgevoerd. Dat kan erop wijzen dat steeds meer dreigingsactoren gebruik maken van AI en GenAI. Wij onderscheiden drie manieren waarop AI en GenAI een risico kunnen vormen voor de veiligheid van uw organisatie. 

1. Meer geavanceerde aanvallen en meer tegenstanders 

Dreigingsactoren kunnen AI, inclusief GenAI, op verschillende manieren benutten. Cybercriminelen zetten GenAI voor toepassingen zoals phishing, social engineering, deepfakes, malware-ontwikkeling, het omzeilen van beveiligingscontroles, het benutten van kwetsbaarheden, geautomatiseerd hacken en het creëren van kwaadaardige GPT’s (Generative Pre-trained Transformers). Daarnaast kunnen dreigingsactoren dankzij GenAI beveiligingschecks omzeilen, omdat de technologie in staat is echt gebruikersgedrag na te bootsen. Ze kunnen bijvoorbeeld, geavanceerde phishing-e-mails genereren, scripts voor bestandsmanipulatie of code om detectie te ontwijken[1]. 

In januari 2024 bracht het National Cyber Security Center (NCSC) van de Britse overheid een rapport uit. De organisatie stelt daarin dat AI in de komende twee jaar vrijwel zeker het volume en de impact van cyberaanvallen verder zal vergroten[2].

Geavanceerde bedreigingen

Gen AI maakt het makkelijker voor dreigingsactoren om meer geavanceerde aanvallen uit te voeren. Dat resulteert in verhoogde cyberrisico’s. Bovendien kunnen aanvallers AI-systemen manipuleren om onjuiste voorspellingen te doen of klantenservice te weigeren. 

Prompt injection-risico

Dit houdt in dat kwaadaardige invoer wordt gebruikt om AI- en Gen AI-modellen te manipuleren, waardoor hun integriteit wordt aangetast. Aanvallers kunnen schadelijke scripts en commando’s embedden in afbeeldingen; het model zet die scripts en commando’s vervolgens om in ongewenste acties. Multimodale prompt injectie-aanvallen kunnen resulteren in de exfiltratie van gegevens, het omleiden van zoekopdrachten, de verspreiding van desinformatie en de omzeiling van beveiligingsmaatregelen. Dit alles leidt tot risico’s zoals fraude en operationele sabotage. 

Social engineering aanvallen

Het is bijzonder moeilijk voor organisaties om zich te verweren tegen AI- en Gen AI-gebaseerde social engineering aanvallen zoals deepfakes of phishing e-mails. Dat komt door de hun hoge mate van personalisatie en realisme van dergelijke aanvallen. Deze aanvallen gebruiken customized lokmiddelen in chats, video’s of audio, die individuen met opmerkelijke nauwkeurigheid nabootsen. Dergelijke aanvallen kunnen zijn gericht op meerdere systemen of individuen, met op maat gemaakte berichten. De laatste tijd komen regelmatig aanvallen voor met GenAI-deepfakes. 

Een leidinggevende bij een sportwagenfabrikant ontving opeens berichten die afkomstig leken te zijn van de CEO, met het verzoek een aantal overeenkomsten te ondertekenen. Met behulp van deepfake-technologie voerde de aanvaller een live telefoongesprek. Daarbij werd een stem gebruikt die nauwkeurig de CEO nabootste. Gelukkig merkte de leidinggevende op tijd op dat bepaalde dingen niet klopten, waardoor de aanval kon worden afgeslagen[3].  

Begin 2024 verloor een ontwerp- en ingenieursbureau $25 miljoen door een deepfake-zwendel. Vervolgens viel de Aziatische tak van een andere multinational ten prooi aan een AI-aanval, waarbij een digitaal gerecreëerde versie van de CFO een medewerker op het kantoor in Hong Kong misleidde. Dit leidde ertoe dat de medewerker een half miljoen dollar overmaakte, zogenaamd om een nieuwe vestiging van de organisatie te financieren[4].

AI-wormen

Onderzoekers waarschuwen inmiddels voor een nieuw fenomeen in het cyberlandschap: AI-wormen. Deze hebben het potentieel om zich van het ene systeem naar het andere te verspreiden. Daarbij brengen ze mogelijk de gegevensbeveiliging in gevaar, of planten ze kwaadaardige software. Naarmate GenAI-systemen meer autonomie krijgen en steeds meer verbonden raken, worden ze steeds kwetsbaarder voor uitbuiting door kwaadwillende actoren. Deze AI-wormen kunnen deze onderlinge verbondenheid benutten, zich verspreiden door Gen AI-ecosystemen en tal van apparaten infecteren. Daarbij compromitteren ze mogelijk kritieke infrastructuur, stelen gevoelige gegevens of veroorzaken chaos door de verspreiding van nepnieuws. Door gebruikersgedrag te analyseren en na te bootsen, kunnen AI-wormen traditionele beveiliging omzeilen en zo gepersonaliseerde aanvallen plegen[5]. 

2. Uitbreiding van het cyberaanvaloppervlak

De lancering van ChatGPT in november 2022 zorgde voor enorme opwinding. Vanaf 2023 begonnen organisaties wereldwijd te experimenteren met de nieuwe tools en voerden ze een groot aantal use cases uit. Volgens ons laatste onderzoek maakt bijna een kwart (24%) van de organisaties tot op een bepaalde hoogte gebruik van GenAI[6]. Maar zoals eerder vermeld, brengt de toenemende toepassing van GenAI zowel verhoogde kwetsbaarheid als kansen met zich mee.  

In ons onderzoek ontdekten we dat 97% van de organisaties in het afgelopen jaar te maken heeft gehad met inbreuken of beveiligingsproblemen die verband houden met het gebruik van GenAI. Organisaties worden geconfronteerd met een groeiend aanvaloppervlak, dat bovendien steeds complexer en veelzijdiger wordt. Ze moeten daarmee niet alleen de traditionele aanvaloppervlakken beschermen zoals netwerken, eindpunten, dataplatforms en applicaties, maar ook nieuwere toepassingen beveiligen die mogelijk worden gemaakt – of bedreigd – door AI en GenAI. Denk aan AI-chat-tools, apps met AI-integratie en allerlei AI-assistenten, adviseurs en zoektools. 

Bovendien kunnen AI en GenAI het interne aanvaloppervlak aanzienlijk uitbreiden, omdat interne actoren of werknemers AI-oplossingen kunnen misbruiken. 

Juridische risico’s

Zonder strenge governance en toezicht en ontoereikende databeveiligingsmaatregelen, kan het gebruik van Gen AI ook juridische risico’s vergroten. Handelsgeheimen, eigendomsinformatie en klantgegevens kunnen in een dergelijke situatie immers ook onderhavig zijn aan bedreigingen. 

Shadow AI

Een andere punt van zorg is de opkomst van ‘Shadow AI’ binnen organisaties. Daarbij worden ongeoorloofde, niet-goedgekeurde AI-toepassingen geïnstalleerd en/of op een onjuiste manier gebruikt. Dit vormt een dubbel beveiligingsrisico: enerzijds door het gedrag van gebruikers (zoals het onthullen van vertrouwelijke informatie) en anderzijds door de toepassingen zelf (in geval van beveiligingsfouten of kwetsbaarheden). In een enquête ontdekte Microsoft dat 75% van de kenniswerkers wereldwijd GenAI op het werk gebruikt en dat 78% van de AI-gebruikers bij voorkeur zelf uitgekozen tools gebruikt – tools die dus niet door de organisatie zijn verstrekt[7]. Ons laatste onderzoek naar GenAI toont aan dat ongeoorloofd gebruik onder werknemers relatief vaak voorkomt. Van de 39% van de organisaties met een verbods- of beperkingsbeleid zegt de helft dat er nog steeds ongeoorloofd gebruik van Gen AI voorkomt op de werkplek[8]. Ons recente onderzoek naar GenAI voor software-engineering wijst bovendien uit dat 63% van de softwareprofessionals die GenAI gebruiken, dit op een ongeoorloofde manier doet, terwijl slechts 37% gebruik maakt van een door hun organisatie verstrekte, goedgekeurde tool[9].
Enkele organisaties hebben hierop het ultieme besluit stap genomen om een verbod uit te vaardigen voor het gebruik van AI-tools zoals ChatGPT binnen de organisatie. Een multinational verbood bijvoorbeeld ChatGPT, nadat software engineers per ongeluk vertrouwelijke elementen van de broncode via deze tool hadden gelekt[10]. De opkomst van Shadow AI roept de vraag op of een volledig verbod op deze tools inderdaad effectief is. 

Lifecycle management van maatwerk-GenAI-oplossingen

Het is van groot belang dat GenAI-oplossingen gedurende de gehele levenscyclus worden beveiligd. Alleen dan kan de bescherming van gevoelige gegevens en de betrouwbaarheid van het systeem gewaarborgd worden. Van de initiële fase van het verzamelen van vaak waardevolle en gevoelige bedrijfsgegevens, tot de customisatie van GenAI-modellen die zijn afgestemd op specifieke zakelijke behoeften: elke fase moet worden beveiligd. Tijdens ontwikkeling en implementatie kunnen kwetsbaarheden ontstaan, zoals we verderop uiteenzetten in het kader ‘in kaart brengen en mitigeren van GenAI-risico’s’; daardoor worden vertrouwelijke gegevens blootgesteld aan gevaren, of komen de prestaties van het systeem onder druk te staan.  

Implementatie van robuuste beveiligingsmaatregelen gedurende de gehele levenscyclus zorgt voor bescherming van gevoelige gegevens, maar garandeert ook de beschikbaarheid, betrouwbaarheid en integriteit van de oplossing. Daardoor kunnen organisaties optimaal gebruik maken van de voordelen van AI, terwijl de risico’s worden geminimaliseerd.  

Nog een uitdaging voor organisaties: de AI-modellen die ze bouwen of gebruiken moeten vrij zijn van bias. De adoptie van GenAI maakt organisaties in potentie kwetsbaar voor ongewenste AI-effecten zoals ‘hallucinatie’; ogenschijnlijk authentieke en geldige output die in feite gedeeltelijk of geheel door de AI-oplossing is verzonnen. 

Eerder dit jaar werd een Canadese luchtvaartmaatschappij veroordeeld tot het betalen van een schadevergoeding aan een klant. Reden: de AI-bot had onjuiste informatie aan de klant verstrekt, waardoor deze werd verleid tot de aanschaf van een ticket tegen de volle prijs[11]. Een ander risico: organisaties vertrouwen steeds meer op GenAI voor codegeneratie. Dit kan weliswaar de efficiëntie verbeteren, maar het ook kwetsbaarheden (zoals de MITRE CWE Top 25 Most Dangerous Software Weaknesses) in de code introduceren[12].

Twee op de drie organisaties zijn op hun hoede voor een verhoogde blootstelling aan bedreigingen 

Hoewel organisaties enthousiast zijn over het potentieel van Gen AI, zijn ze zich bewust van de risico’s die gepaard gaan met adoptie. De meeste risico’s die verband houden met Gen AI zijn niet nieuw voor applicatiebeveiliging, maar eerder versterkte versies van bestaande problemen. Sommige risico’s zijn echter uniek voor AI, waaronder model drift, modeldiefstal en gegevensvergiftiging. Gen AI introduceert specifiek extra risico’s en kwetsbaarheden, zoals bevooroordeelde, schadelijke of ongepaste inhoudsgeneratie, hallucinaties en snelle injectieaanvallen. 

In 2023 beperkte Apple het gebruik van ChatGPT en andere externe AI-tools, zoals GitHub. De organisatie was bezorgd dat werknemers vertrouwelijke gegevens zouden kunnen lekken tijdens het gebruik van deze tools[13]. Amazon heeft medewerkers verboden om third party GenAI-tools te gebruiken, met name voor de omgang met vertrouwelijke gegevens. Het bedrijf wil zo problemen met gegevensbezit voorkomen en gevoelige bedrijfsinformatie beschermen[14]. Bij gegevensvergiftiging wordt het AI-model gecompromitteerd, bijvoorbeeld door de injectie van kwaadaardige gegevens in de trainingsdataset of manipulatie van de trainingsdata. Tot op heden hebben onderzoekers ongeveer 100 machine learning (ML) modellen ontdekt die zijn geüpload naar Hugging Face, een open-source platform voor ML, die als een enabler kunnen fungeren voor de injectie van kwaadaardige code[15].

De meeste organisaties onderkennen dat het beveiligingsbudget omhoog moet  

We hebben onderzocht of en in hoeverre organisaties het potentieel GenAI weten te benutten. Daaruit blijkt dat de productiviteit in het afgelopen jaar met gemiddeld 8% is gegroeid. Organisaties verwachten bovendien dat ze het komende jaar flinke vooruitgang zullen boeken als het gaat om van operationele efficiëntie, kostenreductie en sales[16]. Os onderzoek wijst er ook op dat organisaties zich steeds meer bewust zijn van de risico’s die gepaard gaan met de toepassing van AI, en dat ze dus meer zullen moeten investeren in cyberbeveiliging. Figuur 7 laat zien dat de meeste organisaties onderkennen dat ze (veel) meer zullen moeten investeren in beveiliging, om de gevaren van AI het hoofd te kunnen bieden.   

Organisaties en ook overheden geven meer dan ooit uit om hun databases en kritieke verdedigingssystemen te beschermen tegen cyberaanvallen. Cyberbeveiliging vormt nu 12% van de totale technologiebudgetten; een stijging van drie procentpunten sinds 2020[17]. 

In kaart brengen en mitigeren van Gen AI-risico’s

De waardeketen van Gen AI kan complex zijn, en meerdere externe partijen omvatten. Daardoor ontstaan in de verschillende schakels allerlei risico’s. De organisatie moet zich goed bewust zijn van die risico’s, zodat ze zonodig gemitigeerd kunnen worden.  

Vertrouwen in AI- en GenAI-modellen staat of valt met: 

• Begrip van de use case 
• Het in kaart brengen van de bijbehorende risico’s 
• Het evalueren van deze risico’s en 
• Het implementeren van passende mitigatiestrategieën

De onderstaande architectuur benadrukt de verschillende risico’s die op elk niveau kunnen worden geïntroduceerd. Dit raamwerk dient als een gids om organisaties te helpen de risico’s in kaart te brengen en een uitgebreide en veilige AI-strategie te creëren. Zo kunnen ze de uitdagingen die inherent zijn aan de GenAI-pijplijn aanpakken, en een robuuste en betrouwbare benadering van AI-implementatie en -uitrol waarborgen. 

Een gelaagde aanpak voor AI-risicobeheersing

‘Gebruikers’ verwijst naar iedereen die alleen via de prompt- en uitvoerinterface met GenAI omgaat. ‘Implementators’ verwijst naar iedereen die een deel van het Gen AI-systeem ontwikkelt, implementeert, integreert of beheert. Zoals te zien is in de figuur, kunnen beveiligingsproblemen of risico’s bestaan op dataniveau of op modelniveau, op toepassingsniveau en in de gebruikerslagen. 

Om systemen en organisatie te beveiligen, moeten organisaties zich bewust zijn van al deze risico’s en de juiste mitigerende maatregelen treffen. Ook ontwikkelaars van AI-toepassingen treffen maatregelen. Google previewt binnenkort haar nieuwe Model Armor-systeem, dat gebruikers in staat stelt om prompts en reacties van foundation-modellen te inspecteren, routeren en beschermen. Op die manier, zo is de verwachting, kunnen risico’s zoals prompt injections, jailbreaks, toxische content en gegevenslekken gemitigeerd. Model Armor zal volledig integreren met andere producten in de Google Cloud, zoals Vertex AI.  

---

[1] Microsoft, “Staying ahead of threat actors in the age of AI,“ February 14, 2024. 

[2] National Cyber Security Centre, “The near-term impact of AI on the cyber threat,” January 24, 2024. 

[3] Fortune, “Ferrari exec foils deepfake attempt by asking the scammer a question only CEO Benedetto Vigna could answer,” July 2024. 

[4] SCMP, “Hong Kong employee tricked into paying out HK$4 million after video call with deepfake ‘CFO’ of UK multinational firm,” May 2024. 

[5] Cybersecurity Asean, “AI Worms are crawling up as new AI parasites invade your devices,” May 2024. 

[6] Capgemini Research Institute, “Harnessing the value of generative AI 2nd edition: Top use cases across sectors,” July 2024. 

[7] Microsoft, “2024 Work Trend Index Annual Report,” May 8, 2024. 

[8] Capgemini Research Institute, “Harnessing the value of generative AI 2nd edition: Top use cases across sectors,” July 2024. 

[9] Capgemini Research Institute, “Turbocharging software with gen AI,” July 2024. 

[10] Forbes, “Samsung bans ChatGPT among employees after sensitive code leak,” May 2023. 

[11] The Guardian, “Air Canada ordered to pay customer who was misled by airline’s chatbot,” February 2024. 

[12] Negri-Ribalta C, Geraud-Stewart R, Sergeeva A, Lenzini G. A systematic literature review on the impact of AI models on the security of code generation. Front Big Data. 2024 May 13;7:1386720. doi: 10.3389/fdata.2024.1386720. PMID: 38803522; PMCID: PMC11128619. 

[13] The Wall Street Journal, “Apple restricts employee use of ChatGPT, joining other companies wary of leaks,” May 2023. 

[14] Times of India, “Amazon has a ‘warning’ for employees using AI at work,” February 2024. 

[15] Dark Reading, “Hugging Face AI platform riddled with 100 malicious code-execution models,” February 2024. 

[16] Capgemini Research Institute, “Harnessing the value of generative AI 2nd edition: Top use cases across sectors,” July 2024. 

[17] IANS research security budget benchmark report, data as of October 3, 2023.