‘Moderatie’ klinkt als één ding. In companion-apps zijn het er minstens vier, die op verschillende snelheden werken en verschillende mensen betrekken.
De vier lagen
Elke laag ziet minder inhoud, maar ziet die gedetailleerder.
1. Filters in realtime. Elk bericht dat je stuurt, en elk antwoord dat het model schrijft, kan door geautomatiseerde classificatie worden gecontroleerd voordat het verschijnt. Die vangen verboden categorieën af - alles met minderjarigen, bepaald gewelddadig materiaal, signalen van zelfbeschadiging - en blokkeren het bericht, verzachten het antwoord of tonen een waarschuwing. Hier komen weigeringen en crisiskaarten vandaan; ons artikel over contentfilters legt uit waarom ze soms midden in een scène aanslaan.
2. Markering op gespreksniveau. Daarnaast kunnen systemen hele gesprekken of accounts beoordelen op patronen: herhaalde pogingen een filter te omzeilen, intimidatie, tekenen dat een minderjarige een app voor volwassenen gebruikt. Een markering is geen straf; het is een notitie dat een mens mogelijk meekijkt.
3. Menselijke beoordeling. Medewerkers voor vertrouwen en veiligheid, vaak bij onderaannemers, beoordelen een deel van de gemarkeerde gesprekken, meldingen van gebruikers en bezwaren. Sommige bedrijven nemen ook steekproeven uit gewone gesprekken om kwaliteit te controleren of modellen te trainen. Dit is de laag die privacybeleid beschrijft met zinnen als ‘om onze diensten te verbeteren’ of ‘om onze voorwaarden te handhaven’.
4. Juridische verzoeken. Rechtbanken, politie en toezichthouders kunnen met juridische bevelen om gegevens vragen. Bedrijven reageren volgens hun beleid en het lokale recht.
Wat meestal een menselijke blik uitlokt
| Aanleiding | Waarom |
|---|---|
| Inhoud met minderjarigen | Wettelijke plicht in de meeste landen; wordt vaak verder gemeld |
| Signalen van zelfbeschadiging of zelfmoord | Crisisprotocollen zijn nu in meerdere Amerikaanse staten wettelijk verplicht |
| Bedreigingen aan echte mensen | Mogelijke schade in de echte wereld |
| Je eigen melding of supportticket | Jij hebt iemand gevraagd te kijken |
| Herhaalde pogingen een filter te omzeilen | Handhaving van de gebruiksvoorwaarden |
| Willekeurige kwaliteitssteekproef | Productverbetering, als het beleid dat toestaat |
Wat de nieuwe wetten toevoegen
Amerikaanse wetten voor companion-chatbots, te beginnen met New York in 2025 en Californië in 2026, verplichten apps uitingen van zelfmoordgedachten en zelfbeschadiging te herkennen en gebruikers naar hulpdiensten te verwijzen. Californië eist ook dat bedrijven over hun protocollen rapporteren. In de praktijk betekent dat meer geautomatiseerd toezicht op de gevoeligste gesprekken, niet minder. In Nederland en de EU bestaat zo'n specifieke companion-plicht niet, voor zover ik heb gevonden; de AVG en de AI-verordening gelden wel. De details staan in AI-companion-wetgeving in Nederland en de EU.
Het beleid hierop lezen
Zoek in het privacybeleid en de voorwaarden naar:
- ‘review’, ‘moderate’, ‘human’ - of mensen gesprekken lezen en waarom.
- ‘contractors’ of ‘service providers’ - of beoordelaars voor iemand anders werken.
- ‘improve’, ‘train’ - of gewone chats als steekproef worden gebruikt.
- ‘law enforcement’, ‘legal process’, ‘court order’ - wanneer gegevens worden overgedragen en of daar een rechterlijk bevel voor nodig is.
Een zorgvuldig beleid noemt de aanleidingen en zegt dat beoordelaars gesprekken alleen zien als dat nodig is. Een vaag beleid dat medewerkers toegang geeft tot ‘alle inhoud voor elk zakelijk doel’ zegt ook iets. Onze vier privacychecks behandelen de rest van het document.
Met de AVG in de hand mag je ook vragen wat een app over je bewaart: je hebt recht op inzage, zonder reden, en het bedrijf moet binnen een maand antwoorden. Reageert het niet of weigert het, dan kun je een klacht indienen bij de Autoriteit Persoonsgegevens (kosteloos), nadat je het bedrijf zelf hebt aangeschreven.
Praktische conclusies
- Schrijf alsof een beoordelaar het kan lezen, want in een klein aantal gevallen gebeurt dat ook.
- Houd identificerende gegevens van anderen buiten chats, vooral in expliciete scènes - een beoordelaar die een gemarkeerd gesprek leest, ziet die ook.
- Als een filter bij fictie ten onrechte aanslaat, lost een opmerking buiten je rol het meestal op; in je rol discussiëren kan meer markeringen opleveren.
- Als je boven alles wilt weten wie je chats kan lezen, is de enige opzet waarin niemand anders dat kan een companion die op je eigen computer draait - zie een AI-companion lokaal draaien.
Moderatie is niet hetzelfde als surveillance. Bij de overgrote meerderheid van de gesprekken kijkt niets en niemand verder dan het geautomatiseerde filter. Maar het beleid, niet de warmte van de app, bepaalt de uitzonderingen - en die ken je beter voordat je ze nodig hebt.