Deze keer in Taal Digitaal: SignLab Amsterdam. Dit team van de Universiteit van Amsterdam onderzoekt de komende vier jaar onder andere hoe tekst omgezet kan worden naar gebarentaal door middel van avatars.
Computers zijn de laatste jaren behoorlijk goed geworden in het herkennen en genereren van spraak. Veel mensen en organisaties maken hier inmiddels gebruik van, maar niet iedereen kan ervan meeprofiteren. Dit geldt met name voor mensen met gehoorverlies. Zij hebben beperkt toegang tot spraak, afhankelijk van de mate van gehoorverlies. Dove mensen gebruiken vaak gebarentaal in plaats van spraak om te communiceren. Er zijn veel verschillende gebarentalen in de wereld. De Nederlandse Gebarentaal (NGT) is vorig jaar wettelijk erkend als één van de officiële talen van ons land.
Zouden we computers ook kunnen leren om gebarentaal te herkennen en te genereren? Het SignLab van de Universiteit van Amsterdam doet hier onderzoek naar. De afgelopen maanden is er bijvoorbeeld samen met NS, het Nederlands Gebarencentrum en de Hogeschool Utrecht gewerkt aan een zogenaamde avatar— een virtueel personage— die omroepberichten van NS weergeeft in NGT. Dit is een behoorlijke uitdaging en het huidige prototype is zeker nog niet goed genoeg om in de praktijk ingezet te worden. Maar er zijn wel belangrijke stappen gezet. Hoe lang het nog gaat duren is moeilijk te zeggen, maar het lijkt mogelijk dat reisinformatie van NS in de toekomst net zo toegankelijk gemaakt kan worden voor dove als voor horende treinreizigers.
Voor dit type onderzoek is samenwerking tussen onderzoekers met verschillende achtergronden en expertises heel belangrijk. Het team dat de afgelopen maanden gewerkt heeft aan de NS avatar bestaat uit drie dove onderzoekers met expertise op het gebied van gebarentaalwetenschap en dovencultuur, één horende taalkundige, en twee masterstudenten kunstmatige intelligentie.
Marijke Scheffener is zelf doof en werkt binnen het SignLab als onderzoeksassistente. Ze bevestigt dat een avatar van belang is voor dove mensen, zodat bijvoorbeeld reisinformatie in de trein toegankelijk is voor iedereen. Ze benoemt echter ook wat uitdagingen bij het omzetten van geschreven Nederlands naar NGT, omdat de twee erg van elkaar kunnen verschillen. Zo moet je in een gebaarde vraagzin altijd je wenkbrauwen optrekken, maar de individuele woorden in een geschreven zin bevatten geen intonatie waaraan je kunt herkennen dat het om een vraag gaat. Ook heeft NGT een andere zinsstructuur dan het Nederlands. Verder heeft het Nederlands voor sommige concepten één woord, terwijl er in NGT meerdere gebaren voor zijn, en vice versa. Een voorbeeld is het woord “sturen”, waarvoor er twee gebaren zijn in NGT: het gebaar in de zin “ik stuur een brief” is anders dan het gebaar in de zin “ik stuur jou naar de bakker”.
“Dat is wel spannend”, voegt Marijke toe, “Maar ik denk dat de avatar een mooi toekomstbeeld is: iedereen kan dan uit meer mogelijkheden kiezen. Ik ben dan ook erg benieuwd naar de uitkomsten van dit project, al denk ik ook dat de ontwikkelingen nog na dit project door zullen lopen. Wie weet hoe het er over tien jaar uitziet!”
Meer informatie is te vinden op de website van het SignLab: https://www.signlab-amsterdam.nl/