Als GenAI nieuwe tekst maakt (of beeld, audio of softwarecode), lijkt het alsof je met een slimme gesprekspartner praat. In werkelijkheid is het een statistisch model dat voorspelt welk woord (of beeld, geluid of stukje code) waarschijnlijk volgt op de vorige. Vaak gaat dat goed, soms niet, waarover in de volgende hoofdstukken meer.
Het voorspellen door GenAI gebeurd in vier stappen:
Pre-training: eerst wordt het model gevoed met heel veel informatie. In miljarden zinnen (of andere data) leert het patronen ontdekken. Gaandeweg herkent het de grammatica, stijl en structuur.
Tokenisatie en vectorisatie: het model deelt de tekst op in onderdelen (tokens), die worden omgezet in getallen (vectoren). Zo kan het model rekenen met taal.
Voorspelling via neurale netwerken: het model gebruikt een zogeheten transformer-architectuur om te bepalen welke woorden belangrijk zijn. Het voorspelt telkens het meest waarschijnlijke volgende token.
Fine-tuning met menselijke feedback: na de pre-training wordt het model bijgeschaafd met hulp van menselijke trainers. Zij geven feedback op wat wenselijk, beleefd of correct is.
Wil je de begrippen rondom AI op een andere manier hebben uitgelegd? Of is het nog niet helemaal duidelijk? Bekijk dan onderstaande video (t/m 4:00 min.):