Waarom de groep op Nederland lijkt
Vraag je AI om een gevarieerde groep Nederlanders, dan krijg je een groep die er gevarieerd uitziet en dat niet is. Te hoogopgeleid, te vaak uit de Randstad. Je merkt het niet, want het rapport eronder ziet er even overtuigend uit als een rapport dat wel klopt. Hier lees je wat we daartegen doen, en net zo belangrijk: wat we daarmee niet beweren.
Het probleem
Vraag je om variatie zonder te zeggen waarin, dan kiest AI steeds de meest voor de hand liggende invulling. Zo werken deze modellen: ze geven het waarschijnlijkste antwoord. En de waarschijnlijkste Nederlander is niet de gemiddelde Nederlander.
Het gevolg is een groep die stelselmatig één kant op leunt. Bij leeftijd valt dat nog op, want dat is een getal dat je ziet staan. Bij opleiding en woonplaats niet, en juist die twee bepalen bij veel onderwerpen wat mensen vinden.
De Gouden Standaard
Nederlandse onderzoeksbureaus gebruiken onderling dezelfde meetlat om te bepalen of een groep respondenten op de bevolking lijkt. Die heet de Gouden Standaard en is helemaal gebouwd op cijfers van het CBS.
Het is niet ingewikkelder dan een lijst afspraken: welke kenmerken je meet, in welke hokjes je die verdeelt, en welke verdeling daarbij hoort. Geslacht, leeftijd, opleiding, regio en huishoudgrootte. Doordat iedereen dezelfde hokjes gebruikt, zijn twee onderzoeken van twee bureaus met elkaar te vergelijken.
Wij gebruiken diezelfde indeling. Niet omdat het daarmee echt onderzoek wordt, maar omdat de groep dan ergens op lijkt in plaats van nergens op. En omdat je dezelfde taal spreekt als het bureau waar je later misschien naartoe stapt.
Welke cijfers we gebruiken
De cijfers komen rechtstreeks van het CBS en staan als vaste lijst in het platform. Ze worden niet tijdens jouw onderzoek opgehaald: een onderzoek dat stukloopt omdat een externe website traag is, is erger dan een cijfer van een half jaar oud.
- Opleiding kent 8 niveaus, van basisonderwijs tot een master.
- Huishoudgrootte kent 5 categorieën, van alleenwonend tot vijf of meer personen.
- Regio loopt via de 4 landsdelen en de 12 provincies.
Twee dingen werken anders dan je zou denken, en allebei doen ze ertoe.
Opleiding wordt gekoppeld aan leeftijd en niet los geteld. Van de dertigers heeft een veel groter deel hbo of universiteit gedaan dan van de zeventigers. Tel je die los, dan krijg je combinaties die in Nederland nauwelijks bestaan.
En huishoudgrootte wordt geteld over mensen, niet over huishoudens. Bijna veertig procent van de huishoudens bestaat uit één persoon, maar van alle mensen woont ongeveer één op de vijf alleen. Pak je het eerste getal, dan bouw je een groep waarin veel te veel mensen alleen wonen.
Wat we ermee doen
De groep wordt in porties gemaakt, en elke portie krijgt concrete aantallen mee. Dus niet "zorg voor spreiding", maar: van deze tien zijn er vijf man en vijf vrouw, drie tussen de 25 en 30, twee met mbo, twee uit Noord-Brabant.
Die aantallen lopen door over alle porties heen. Dat klinkt als een detail maar is het niet. Groningen is ongeveer drie procent van Nederland, en drie procent van tien is nul. Zou elke portie los afronden, dan zou er in geen enkele groep ooit iemand uit Groningen zitten, ook niet in een groep van honderdvijftig.
Zakelijk onderzoek werkt hetzelfde, met andere cijfers
Doe je onderzoek onder bedrijven in plaats van consumenten, dan zegt de bevolkingsverdeling niets. Je doelgroep is dan geen doorsnede van Nederland maar een beroepsgroep. Daar gebruiken we de bedrijvenstatistiek van het CBS.
Het cijfer dat er dan het meest toe doet is de grootte van het bedrijf. Nederland telt ongeveer 2.4 miljoen bedrijven, en daarvan heeft 83 procent één werkzame persoon. Vraag je AI om zakelijke respondenten zonder dat erbij te zeggen, dan krijg je een groep managers bij bedrijven van honderd man. Dat is niet het Nederlandse bedrijfsleven.
Vul je bij de intake een bedrijfsgrootte in, dan gaat die voor. Vraag je om bedrijven van 20 tot 200 medewerkers, dan wordt de landelijke verdeling daarop bijgesneden en zit er geen zzp'er in je groep.
Wat dit niet is
Dit maakt je uitkomst niet representatief voor Nederland, en nergens in je rapport zal staan dat het dat wel is.
Een echte steekproef werkt anders. Daar worden mensen door loting uit de bevolking getrokken, en juist doordat het toeval bepaalt wie meedoet, kun je uitrekenen hoe ver je uitkomst ernaast kan zitten. Een verzonnen respondent is niet geloot. Er is dus geen toeval om mee te rekenen.
Wat het wel doet: voorkomen dat je zonder het te merken onderzoek doet onder een groep die niets op je doelgroep lijkt.
Je kunt het zelf zien. Onder Respondenten staat hoe ver je groep van de bevolkingscijfers af ligt, in procentpunten. Wordt dat meer dan 12 procentpunt, dan krijgen wij daar intern een melding van. Je onderzoek gaat gewoon door, want een wat scheve groep is nog steeds bruikbaar en een afgebroken onderzoek kost jou meer.
Wanneer het niet geldt
- Bij de proefrun en het pakket Verkenning. Het ijken zit in Onderzoek en Validatie. Dat is een keuze over wat je koopt en niet iets technisch: het kost per onderzoek niets extra.
- Bij een markt buiten Nederland. Die kun je hier niet kiezen. Zonder cijfers om op te ijken zouden we doen alsof.
- Bij oudere onderzoeken uit de tijd dat je de markt zelf kon intypen. Die krijgen geen verdeling in plaats van een verkeerde.
De andere helft: hoe er geantwoord wordt
Een groep die op Nederland lijkt is de helft van het werk. De andere helft is hoe die groep antwoordt.
Deze modellen zijn vooral op Engelstalig materiaal getraind, en Amerikanen gebruiken een schaal anders dan wij. Daar is de hoogste score een normaal cijfer voor iets goeds. Hier is een 7 al goed en geeft bijna niemand een 10. Zonder sturing valt de bovenkant van je uitkomst dus structureel te hoog uit en lijkt elk idee beter dan het is.
Elke respondent krijgt daarom te horen hoe een schaal in Nederland gebruikt wordt, met er nadrukkelijk bij dat dit geen opdracht is om negatiever te antwoorden. Zonder die toevoeging trek je de meting scheef in plaats van recht.
Hoeveel echte mensen zou je nodig hebben
Wil je een uitkomst hard maken, dan heb je echte mensen nodig. Hoeveel, is een rekensom die niets met dit platform te maken heeft en alles met statistiek.
Kort gezegd: voor een marge van ongeveer vijf procentpunt heb je 385 echte respondenten nodig. Die tabel staat ook in je rapport en in de briefing die je naar een bureau kunt sturen. Zo is de stap naar echt onderzoek een rekensom in plaats van een verkooppraatje.