AI-veiligheidstest toont zwakke beveiliging voor West-Afrikaanse talen

Dramatische daling van veiligheid

De resultaten zijn verontrustend. Terwijl AI-modellen zoals Gemini 2.5 Flash ongeveer 90% van de schadelijke verzoeken in het Engels correct weigeren, daalt dit percentage dramatisch tot slechts 35-55% bij West-Afrikaanse talen. Igala toont de grootste verslechtering, met een Refusal Centroid Drift (RCD) score van 0.55.

Cultureel relevante aanvallen getest

Het onderzoek testte 14 cultureel relevante aanvalsscenario's verdeeld over vier schadecategorieën. Deze aanpak zorgt ervoor dat de benchmark niet alleen technisch accuraat is, maar ook cultureel relevant voor de gemeenschappen die deze talen spreken.

Waarom dit probleem ontstaat

Het kernprobleem ligt in de training van AI-modellen. Veiligheidsafstemming ('safety alignment') wordt voornamelijk gedaan met Engelstalige data. Hierdoor leren modellen vooral in het Engels te herkennen wanneer een verzoek potentieel schadelijk is. In andere talen, vooral minder vertegenwoordigde talen, werken deze beschermingsmechanismen veel minder effectief.

Gevolgen voor wereldwijde AI-implementatie

Deze bevindingen hebben belangrijke implicaties voor de wereldwijde implementatie van AI-systemen. Miljoenen sprekers van West-Afrikaanse talen kunnen te maken krijgen met AI-systemen die onvoldoende bescherming bieden tegen misbruik en schadelijke inhoud.

Oplossingen en vervolgstappen

De onderzoekers hebben hun benchmark beschikbaar gemaakt voor de gemeenschap via het Inspect AI evaluatieframework. LSR is ingediend als bijdrage aan de UK AISI's inspect_evals repository, waarmee andere onderzoekers en bedrijven deze tools kunnen gebruiken om hun eigen modellen te testen.

Bredere impact op AI-ontwikkeling

Deze studie benadrukt de noodzaak van meer inclusieve veiligheidstraining in AI-ontwikkeling. Het toont aan dat echte AI-veiligheid meer vereist dan alleen Engelstalige beschermingen - het vraagt om een fundamenteel herdenken van hoe we veiligheid implementeren in meertalige AI-systemen.

De beschikbaarheid van zowel een live referentie-implementatie als de benchmark dataset stelt de gemeenschap in staat om voort te bouwen op dit werk en meer robuuste, meertalige veiligheidssystemen te ontwikkelen.