Artikel 9: het brein

Mijn brein neemt jou de woorden uit de mond

Taal is niet het verwerken van binnenkomende klanken, woorden en zinnen. Het brein wacht niet af, maar voorspelt wat er komen gaat.

Willem Schoonen, 10 september 2022

 

Mijn brein neemt jou de woorden uit de mond. Terwijl de adem nog langs jouw stembanden moet komen, voorspellen mijn hersenen al wat er gaat komen, welke klank, welke woorden, het vervolg van jouw zin. Het brein wacht niet af, maar voorspelt. En het doet dat voortdurend en op alle niveaus.

Dat blijkt uit onderzoek van Micha Heilbron en collega’s in het Donders Instituut van de Radboud Universiteit in Nijmegen. “Je kunt het vergelijken met de autocomplete”, zegt Heilbron, “het systeempje op je telefoon dat vast de meest waarschijnlijke worden klaarzet terwijl jij nog aan het typen bent. Maar we kennen het verschijnsel ook uit eigen ervaring. Als je luistert naar iemand die langzaam praat of moeite heeft zijn woorden te vinden, dan vul je die vast in en heb je de neiging zijn zinnen af te maken. We ervaren dat alleen in bepaalde situaties, maar het brein doet dit voortdurend en op alle niveaus, van klank tot grammatica en betekenis. De vergelijking met de autocomplete gaat dan ook mank, want die voorspelt alleen het volgende woord.”

Het voorspellende brein laat zich op tal van terreinen zien. Het is inmiddels het centrale concept in de hersenwetenschappen. Dat is lang anders geweest; er is lang gedacht dat het brein een rekenmachine was, die signalen binnenkreeg (licht, geluid, geur enzovoorts) en die input als een computer verwerkte, om vervolgens het lichaam aan te sturen met instructies naar spieren, zenuwen en organen. Dat beeld klopt niet. Het brein heeft een beeld van zijn omgeving en weet welke signalen het kan verwachten. Of beter: dénkt dat te weten. En het meet het verschil tussen de eigen verwachting en de signalen van buiten om zijn beeld bij te stellen. Gewaarwording is het meten van de voorspelfout.

Proef met een luisterboek

Dat het brein ook bij taalverwerking een voorspelmachine kan zijn, was wel bekend. Maar er was onder wetenschappers discussie over de vraag of dat soms gebeurt of voortdurend, en maar op één niveau (zoals het woordniveau van de autocomplete) of op alle niveaus (klanken, woorden, zinnen en betekenissen).

Heilbron: “Vrijwel alle studies naar het voorspellende brein tot nu toe zijn experimenten geweest waarin die voorspelling wordt opgewekt, door mensen bijvoorbeeld te laten luisteren naar abstracte geluiden en dan hun hersenactiviteit te meten. Kunstmatige situaties. We zijn experimenten gaan opzetten om te zien of dat ook gebeurt in meer natuurlijke, alledaagse taalverwerking.”

In de Nijmeegse experimenten kregen de proefpersonen een luisterboek. Heilbron: “Dat is een overzichtelijke vorm van taalverwerking: luisteren naar een verhaal. Je hoeft niets terug te zeggen, je kunt achteroverleunen. En de tekst van een luisterboek is oorspronkelijk gemaakt om te lezen, dus dat is gevarieerde en goed gestructureerde taal, die de lezer niet mag vervelen.”

De waarschijnlijkheid van het volgende woord

De proefpersonen namen plaats in een hersenscanner of kregen elektroden op hun hoofd. Daarmee kan hersenactiviteit worden gemeten; in dit geval de reactie van de hersenen op iedere klank en ieder woord in het verhaal. Maar hoe weet je nu of die reactie betekent dat het brein hier zijn eigen voorspellingen aan het corrigeren is?

Om dat te bewijzen maakte de Nijmeegse onderzoekers gebruik van kunstmatige intelligentie: een neuraal netwerk dat in een tekst het volgende woord kan voorspellen. Heilbron: “Er zijn tal van computersystemen die taal kunnen verwerken. En we weten hoe ze dat doen, namelijk door te voorspellen wat er komen gaat, en afwijkingen tussen verwachting en realiteit te corrigeren. Zo leert een neuraal netwerk met taal om te gaan. Dat kunnen we gebruiken, omdat zo’n neuraal netwerk op ieder punt in het verhaal iets kan zeggen over de waarschijnlijkheid van het volgende woord. Dat is een statistisch patroon. En als het brein van de mens op dezelfde manier taal verwerkt, dan moeten de hersenactiviteit van de proefpersonen ongeveer hetzelfde patroon laten zien.”

Dat bleek zo te zijn. Heilbron: “Je ziet dat het brein voortdurend aan het moduleren is, bezig met het corrigeren van zijn voorspelfouten. En we zag dat niet op één niveau, maar op meerdere niveaus en in verschillende hersendelen.”

Taalverwerking is in het brein een hiërarchisch systeem dat loopt van het niveau van fonemen (klank), via syntaxis (zinnen) naar semantiek (betekenis). Het brein blijkt op al die niveaus hetzelfde te doen: voorspellen wat er komen gaat. Heilbron: “Een brein dat taal verwerkt is voortdurend bezig met voorspellen, op alle niveaus, van klank tot betekenis, en op tijdschalen van milliseconden tot minuten.”

Taal kan dubbelzinnig zijn

Goed, dat weten we nu. Rest de vraag waaróm het brein zo werkt.

Omdat dit de beste manier is om taal te leren, zeggen de Nijmeegse onderzoekers. Heilbron: “Daar hebben we geen direct bewijs voor. Maar het is hoe kunstmatige intelligentie, zoals een neuraal netwerk, taal leert. En die systemen doen het uitstekend, dus we mogen aannemen dat een voorspelmachine een heel goede methode is om taal te leren verwerken.”

Maar de voorspelmachine biedt meer voordelen, zegt Heilbron. Doorlopende voorspellingen op alle niveaus bieden de beste kansen om de juiste betekenis te geven aan wat er wordt gezegd. Het is wat in de taalkunde inferentie wordt genoemd. Dat is een belangrijk vermogen, want taal kan dubbelzinnig zijn.

Een veel groter hoofd

En dan is er nog efficiëntie. Omdat een voorspelmachine alleen het verschil hoeft te meten tussen het voorspelde en het binnenkomende signaal, hoeven er minder data rond te gaan, wordt er minder energie gebruikt en werkt de machine sneller.

Dit is ook het grote voordeel dat in andere takken van hersenwetenschap wordt benadrukt. Als het brein geen voorspelmachine zou zijn, zouden we een veel groter hoofd moeten hebben. Sterker: we zouden in de brij van positieve, negatieve, opwindende, alarmerende en rampzalige signalen te traag reageren om te overleven.

Heilbron en collega’s willen nu vergelijkbare experimenten opzetten om het bestaan van de voorspelmachine aan te tonen in de waarneming van geluid en licht. In de eerste experimenten is het luisterboek vervangen door muziek. “Ook een soort taal”, zegt Heilbron. Licht zal lastiger worden, omdat het minder gestructureerd is dan taal of muziek. In een tekst is de voorspelbaarheid van het woord nog relatief eenvoudig te bepalen. In een reeks beelden is dat veel moeilijker. De uitdaging voor de Nijmeegse onderzoekers is om met kunstmatige intelligentie de (on)voorspelbaarheid van visuele informatie te bepalen. Want die kennis heb je nodig om te bepalen of het brein ook hier als een voorspelmachine te werk gaat.

Bron: https://www.trouw.nl/wetenschap/mijn-brein-neemt-jou-de-woorden-uit-de-mond~bdf097b8/

Mijn brein neemt jou de woorden uit de mond