Inheemse talen worden bedreigd. Ongeveer 3.000 – driekwart van het totaal – zouden vóór het einde van de eeuw kunnen verdwijnen, of één elke twee weken, volgens UNESCO.

Als onderdeel van een beweging om dergelijke talen te beschermen, gebruikt Te Hiku Media uit Nieuw-Zeeland, een omroeporganisatie die zich richt op de inheemse taal van het Māori-volk, bekend als te reo, betrouwbare AI om de tong te helpen behouden en revitaliseren.

Met behulp van ethische, transparante methoden voor het verzamelen en analyseren van spraakgegevens om de gegevenssoevereiniteit voor het Māori-volk te behouden, ontwikkelt Te Hiku Media automatische spraakherkenning (ASR)-modellen voor te reo, een Polynesische taal.

Gebouwd met behulp van de open supply NVIDIA NeMo-toolkit voor ASR en NVIDIA A100 Tensor Core GPU’s, transcriberen de spraak-naar-tekstmodellen te reo met een nauwkeurigheid van 92%. Het kan ook tweetalige spraak transcriberen in het Engels en Te Reo met een nauwkeurigheid van 82%. Het zijn cruciale hulpmiddelen, gemaakt door en voor de Māori-bevolking, die helpen hun verhalen te behouden en te versterken.

“Er schuilt een enorme waarde in het gebruik van de open-sourcetechnologieën van NVIDIA om de instruments te bouwen die we nodig hebben om uiteindelijk onze missie te verwezenlijken, namelijk het behoud, de promotie en de revitalisering van te reo Māori”, zegt Keoni Mahelona, ​​chief expertise officer bij Te Hiku Media, die leidt een crew van datawetenschappers en ontwikkelaars, evenals Māori-taalexperts en datacuratoren, die aan het challenge werken.

“We helpen de industrie ook bij het begeleiden van ethische manieren om information en technologieën te gebruiken om ervoor te zorgen dat ze worden gebruikt voor de empowerment van gemarginaliseerde gemeenschappen,” voegde Mahelona toe, een inheemse Hawaïaan die nu in Nieuw-Zeeland woont.

Het bouwen van een ‘Huis van Spraak’

Te Hiku Media begon meer dan dertig jaar geleden als een radiostation met als doel ervoor te zorgen dat Te Reo ruimte in de ether had. In de loop der jaren heeft de organisatie televisie-uitzendingen geïntegreerd en, met de opkomst van web, belegde ze in 2013 een bijeenkomst met de ouderen van de gemeenschap om een ​​strategie te ontwikkelen voor het delen van inhoud in het digitale tijdperk.

“De ouderen waren het erover eens dat we de verhalen on-line toegankelijk moesten maken voor onze gemeenschapsleden – in plaats van onze archieven alleen maar op cassettes in dozen te bewaren – maar toen we dat doel eenmaal hadden bereikt, was de uitdaging hoe we dit op de juiste manier konden doen, in lijn met onze sterke wortels. bij het waarderen van soevereiniteit”, zei Mahelona.

In plaats van zijn video- en audiobronnen te uploaden naar populaire, mondiale platforms – die in hun gebruiksvoorwaarden vereisen dat bepaalde rechten met betrekking tot de inhoud worden ondertekend – besloot Te Hiku Media zijn eigen contentdistributieplatform te bouwen.

Het platform heet Whare Kōrero – wat ‘huis van de meningsuiting’ betekent – ​​en bevat nu meer dan 30 jaar aan gedigitaliseerd archiefmateriaal met ongeveer 1.000 uur aan te reo-moedertaalsprekers, van wie sommigen aan het einde van de 19e eeuw zijn geboren, evenals recentere inhoud van tweedetaalleerders en tweetalige Māori-mensen.

Nu gebruiken en uploaden ongeveer 20 Māori-radiostations hun inhoud naar Whare Kōrero. Leden van de group hebben toegang tot de inhoud through een app.

“Het is een onschatbare bron van akoestische gegevens”, zei Mahelona.

Wat betreft betrouwbare AI

Zo’n schat had een ongelooflijke waarde voor degenen die werkten aan het nieuw leven inblazen van de taal, besefte het Te Hiku Media-team al snel, maar handmatige transcriptie vergde veel tijd en moeite met beperkte middelen. Zo begonnen in 2016 de betrouwbare AI-inspanningen van de organisatie om haar werk met behulp van ASR te versnellen.

“Niemand zou er een idee van hebben dat er acht NVIDIA A100 GPU’s zijn in ons vervallen, vervallen, naar muskus ruikende gebouw in het uiterste noorden van Nieuw-Zeeland – voor het trainen en bouwen van Māori-taalmodellen”, zei Mahelona. “Maar het werk heeft voor ons een grote verandering teweeggebracht.”

Om spraakgegevens op een transparante, ethisch verantwoorde en gemeenschapsgerichte manier te verzamelen, begon Te Hiku Media met het uitleggen van de zaak aan ouderen, hun steun te verzamelen en hen te vragen naar het station te komen om zinnen hardop voor te lezen.

“Het was heel belangrijk dat we de steun van de ouderen hadden en dat we hun stemmen opnamen, need dat is het soort inhoud dat we willen transcriberen,” zei Mahelona. “Maar uiteindelijk werden deze inspanningen niet groter: we hadden tweedetaalleerders, kinderen, mensen van middelbare leeftijd en veel meer spraakgegevens in het algemeen nodig.”

Daarom voerde de organisatie een crowdsourcing-campagne, Kōrero Māoriom sterk gelabelde spraakfragmenten te verzamelen volgens de Kaitiakitanga-licentie, die ervoor zorgt dat Te Hiku Media de gegevens alleen gebruikt ten behoeve van het Māori-volk.

In slechts 10 dagen hebben meer dan 2.500 mensen zich aangemeld om meer dan 200.000 zinnen te lezen, wat meer dan 300 uur aan gelabelde spraakgegevens opleverde, die werden gebruikt om de te reo Māori ASR-modellen te bouwen en te trainen.

Naast andere betrouwbare open-source AI-tools gebruikt Te Hiku Media nu de ASR-module van de NVIDIA NeMo-toolkit voor spraak-AI in de hele pijplijn. De NeMo-toolkit bestaat uit bouwstenen die neurale modules worden genoemd en omvat voorgetrainde modellen voor de ontwikkeling van taalmodellen.

“Het was absoluut geweldig: NVIDIA’s open-source NeMo zorgde ervoor dat onze ASR-modellen tweetalig waren en voegde automatische interpunctie toe aan onze transcripties”, aldus Mahelona.

De ASR-modellen van Te Hiku Media zijn de motoren achter Kaituhi, nu een te reo Māori-transcriptieservice beschikbaar on-line.

De inspanningen hebben soortgelijke ASR-projecten gestimuleerd die nu worden uitgevoerd door inheemse Hawaiianen en de Mohawk-bevolking in het zuidoosten van Canada.

“Het is door de inheemse bevolking geleid werk op het gebied van betrouwbare AI dat andere inheemse groepen inspireert om te denken: ‘Als zij het kunnen, kunnen wij het ook’,” zei Mahelona.

Meer informatie over NVIDIA-aangedreven betrouwbare AIde NVIDIA NeMo-toolkit en hoe het een Doorbraak in spraak-AI in Telugu.