HATL: Nieuwe AI-methode verbetert vertaling van gebarentaal met 37%

Bestaande transfer learning-methoden zijn statisch en leiden vaak tot overfitting, waarbij het model te specifiek wordt getraind op beperkte data.

Innovatieve HATL-benadering

Het nieuwe HATL-framework lost deze problemen op door een hiërarchische en adaptieve aanpak:

Dynamisch ontdooien van lagen: In plaats van alle voorgetrainde lagen tegelijk aan te passen, worden ze progressief en dynamisch 'ontdooid' op basis van trainingsprestaties.

Laaggewijze leersnelheid: Verschillende lagen krijgen verschillende leersnelheden, waarbij diepere lagen langzamer worden aangepast.

Stabiliteitsmechanismen: Het framework behoudt generieke representaties terwijl het zich aanpast aan specifieke gebarenkenmerken.

Technische implementatie

De onderzoekers gebruikten een ST-GCN++ backbone voor feature-extractie en Transformer-modellen voor de daadwerkelijke vertaling. Ze testten ook een adaptieve transformer (ADAT) variant.

Het systeem werd geëvalueerd op twee hoofdtaken:

• Sign2Text: Directe vertaling van gebaren naar tekst
• Sign2Gloss2Text: Vertaling via een tussenlaag van glossen (gebarenwoorden)

Indrukwekkende resultaten

HATL werd getest op drie verschillende datasets:

• RWTH-PHOENIX-Weather-2014 (PHOENIX14T): BLEU-4 verbetering van 15,0%
• Isharah: BLEU-4 verbetering van 15,0%
• MedASL: BLEU-4 verbetering van 37,6%

De BLEU-4 score is een standaardmaatstaf voor vertaalkwaliteit, waarbij hogere scores betere vertalingen betekenen.

Meertalige generalisatie

Een belangrijk aspect van het onderzoek was het testen van robuuste meertalige generalisatie. HATL presteerde consistent beter dan traditionele transfer learning-methoden over verschillende taken en modellen heen.

Betekenis voor de toekomst

Deze doorbraak heeft belangrijke implicaties voor toegankelijkheidstechnologie. Betere automatische gebarentaalvertaling kan:

• Communicatiebarrières tussen dove en horende gemeenschappen verminderen
• Toegang tot informatie en diensten verbeteren voor dove gebruikers
• Nieuwe mogelijkheden creëren voor inclusieve technologie-ontwikkeling

Het HATL-framework toont aan dat adaptieve, hiërarchische benaderingen veelbelovend zijn voor het overbruggen van domeinverschillen in AI-toepassingen, niet alleen voor gebarentaalvertaling maar mogelijk ook voor andere gebieden met beperkte data.