Nieuwe techniek gebruikt superklassen om AI-modellen robuuster te maken tegen misleidende patronen zonder handmatige labels.

Onderzoekers hebben een nieuwe methode ontwikkeld om AI-modellen betrouwbaarder te maken door het gebruik van zogenaamde 'superklassen'. Deze innovatieve aanpak helpt kunstmatige intelligentie om beter om te gaan met misleidende correlaties in data, zonder dat er handmatig gelabelde voorbeelden nodig zijn.
AI-modellen hebben vaak moeite met wat onderzoekers 'spurieuze correlaties' noemen - misleidende verbanden in trainingsdata die niet gelden in de echte wereld. Een klassiek voorbeeld is een model dat leert dat koeien altijd op gras staan, waardoor het koeien op strand niet meer herkent.
Bestaande methoden om dit probleem aan te pakken vereisen vaak uitgebreide handmatige annotaties van groepen in de trainingsdata. Dit is niet alleen arbeidsintensief, maar werkt ook alleen als dezelfde groepen voorkomen in zowel trainings- als testdata.
De nieuwe methode gebruikt 'superklassen' - bredere categorieën die hoger staan in de semantische hiërarchie dan de specifieke labels waar het model voor getraind wordt. In plaats van bijvoorbeeld alleen 'auto' en 'vrachtwagen' te onderscheiden, kijkt het systeem ook naar de superklasse 'voertuig'.
"Door superklassen te gebruiken als intrinsiek signaal kunnen we spurieuze correlaties beter onderscheiden zonder externe annotaties," leggen de onderzoekers uit. Deze superklassen worden afgeleid van voorgetrainde vision-language modellen via een geavanceerde gradient-gebaseerde aandachtsmechanisme.
Het onderzoeksteam heeft hun aanpak gecombineerd met twee belangrijke technische componenten:
Feature disentanglement: Het model leert om verschillende aspecten van de input gescheiden te houden, zodat het onderscheid kan maken tussen relevante kenmerken en misleidende correlaties.
Minimax-optimale strategie: Een theoretisch onderbouwde methode voor het optimaal gebruiken van features, die zorgt voor maximale robuustheid tegen verschillende soorten spurieuze correlaties.
Experimenten over verschillende domain generalization taken tonen aan dat de nieuwe methode aanzienlijk beter presteert dan bestaande baselines. Opmerkelijk is dat het systeem zelfs verder gaat dan de oorspronkelijke begeleiding van het vision-language model.
"Onze resultaten laten zowel in kwantitatieve metrics als kwalitatieve visualisaties duidelijke verbeteringen zien," rapporteren de onderzoekers. Dit suggereert dat de methode niet alleen theoretisch sound is, maar ook praktische voordelen biedt.
Een belangrijk voordeel van deze aanpak is dat het werkt zonder handmatige annotaties van trainingssamples. Dit maakt het toegankelijker voor praktische toepassingen waar het labelen van data kostbaar of moeilijk is.
De methode toont robuustheid tegen complexere groepsstructuren en spurieuze correlaties dan voorheen mogelijk was. Dit opent deuren voor betrouwbaardere AI-systemen in kritieke toepassingen zoals medische diagnose, autonome voertuigen en veiligheidsystemen.
Deze ontwikkeling markeert een belangrijke stap voorwaarts in het maken van AI-systemen die betrouwbaarder presteren in verschillende omgevingen. Door het gebruik van semantische hiërarchieën en theoretisch onderbouwde optimalisatiestrategieën biedt deze methode een veelbelovend pad naar robuustere kunstmatige intelligentie.
De publicatie op arXiv maakt deze innovatie beschikbaar voor de bredere onderzoeksgemeenschap, wat verdere ontwikkeling en toepassing kan stimuleren.

Nieuw AI-systeem voorspelt minimaal benodigde beeldresolutie voor visuele taalmodellen, wat tot 80% minder rekenkracht kan opleveren.

Nieuw onderzoek toont aan dat de structuur van woordenschat crucialer is dan vrije woordvolgorde voor hoe AI-modellen talen leren.

Onderzoekers ontwikkelden HATL, een adaptief leerframework dat de vertaling van gebarentaal naar tekst significant verbetert door slim gebruik van voorgetrainde AI-modellen.