Wie je vragenlijst invult

Wat een respondent is

Voor elke respondent wordt eerst een profiel gemaakt. Een naam, een leeftijd, een beroep, waar diegene woont, hoe het huishouden eruitziet, en wat diegene van dit soort producten vindt. Pas daarna krijgt hij je vragenlijst voorgelegd, en dat profiel bepaalt hoe hij antwoordt.

• Naam en leeftijd, tussen 16 en 95 jaar.
• Beroep. Bij zakelijk onderzoek een functietitel.
• Bedrijfsgrootte, alleen bij zakelijk onderzoek.
• Woonregio, binnen het gebied dat je opgeeft.
• Geslacht, hoogst afgeronde opleiding en aantal mensen in het huishouden.
• Gezinssituatie en welke media diegene gebruikt.
• Wat diegene van deze productcategorie vindt. Dus van draagzakken, niet van jouw draagzak.
• Hoe diegene in deze categorie koopt en beslist.
• Hoe betrokken diegene is: hoog, gemiddeld, laag of kritisch.
• Een kort verhaaltje in de ik-vorm over zijn leven.

Belangrijk: op het moment dat een respondent gemaakt wordt, kent hij jouw product nog niet. Zou dat wel zo zijn, dan bouw je iemand die er al iets van vindt, en dan meet je achteraf je eigen aanname.

Om dezelfde reden krijgt de AI wel de achtergrondinformatie over je klanten die je in de intake meegeeft, maar niet de uitkomsten van eerder onderzoek die je daar kunt invullen. Iemand die de uitkomst al weet, antwoordt daarnaartoe.

Waarom er ook mensen tussen zitten die het niets vinden

Een groep waarin iedereen enthousiast is, vindt elk idee goed. Daar heb je niets aan, want dan meet je niets. Er moeten dus mensen tussen zitten die je product niet nodig hebben, te duur vinden, of er gewoon niet in geloven.

Dat wordt op twee manieren geregeld, en het verschil daartussen zie je hieronder. Een opdracht is een verzoek aan de AI. Een controle is software die achteraf telt en ingrijpt.

Waarom het ene wel afbreekt en het andere niet: te weinig kritische mensen maakt de hele uitkomst scheef. Een paar respondenten die op elkaar lijken doet dat niet, en een betaald onderzoek daarop laten stoppen kost jou meer dan het oplevert.

Hoe de groep wordt gemaakt

De groep wordt in porties van 10 gemaakt, en die porties draaien deels tegelijk om tijd te besparen.

Elke portie krijgt de eerder gemaakte respondenten te zien, met de opdracht ze niet te herhalen. Porties die op hetzelfde moment draaien zien elkaar natuurlijk niet. Die krijgen daarom elk een eigen hoek van de doelgroep toegewezen: de ene portie maakt uitvoerende beroepen, de volgende leidinggevenden, de volgende mensen zonder betaald werk, enzovoort.

Dat toewijzen is niet altijd zo geweest, en het scheelt veel. Eerst kreeg elke portie de opdracht zelf een hoek te kiezen. Tien porties die elkaar niet zien kiezen dan allemaal dezelfde. Bij een groep van honderd bleven er zo 7 verschillende beroepen over, en kwam één functie 21 keer voor. Met een toegewezen hoek zijn dat er 89. De leeftijden waren in beide gevallen prima verdeeld; het is het beroep dat inklapt.

Om dezelfde reden draaien de porties niet allemaal tegelijk, hoe verleidelijk dat qua snelheid ook is. Er draaien er nooit meer dan de helft tegelijk, zodat de tweede helft ziet wat de eerste heeft gemaakt.

Komt een portie te kort, dan wordt er bijgevraagd. Lukt dat na een paar pogingen niet, dan stopt het onderzoek en krijg je je credits terug. Liever dat dan stilletjes een kleinere groep dan je hebt gekocht.

Je ziet er een paar voordat je begint

Voordat het onderzoek start zie je 5 voorbeeldrespondenten. Genoeg om te beoordelen of dit op je doelgroep lijkt.

Lijkt het er niet op, pas dan eerst je doelgroepomschrijving aan. Dat is een minuut werk. Achteraf ontdekken dat de verkeerde mensen hebben geantwoord kost je het hele onderzoek.

Die voorbeelden worden hergebruikt als eerste portie van de volledige groep, tenminste als ze onderling genoeg verschillen. Zo niet, dan gaan ze eruit.

Hoe een respondent antwoordt

Elke respondent krijgt zijn eigen profiel mee en de opdracht te antwoorden als die persoon. Niet als behulpzame assistent. Er staat letterlijk bij dat twijfel, desinteresse en kritiek gewenst zijn en dat je het product niet goed hoeft te vinden.

Bij gesloten vragen kan de AI er niet omheen. Een schaalvraag moet een getal van 1 tot 5 zijn, een keuzevraag moet een van jouw antwoordopties zijn. Er kan dus geen antwoord bij verzonnen worden. Open antwoorden zijn een paar zinnen spreektaal, zonder opsommingen en zonder marketingtaal.

Er staat ook in hoe een Nederlander een schaal gebruikt. Amerikanen geven sneller de hoogste score; hier is een 4 al een goed oordeel en geeft bijna niemand een 5. Zonder die uitleg valt de uitkomst structureel te positief uit, want deze AI-modellen zijn vooral op Engelstalig materiaal getraind.

Diepte-interviews

Een diepte-interview is een gesprek van 5 beurten. Eén open vraag per keer, voortbouwend op wat er net gezegd is, met doorvragen op twijfel en op wat er juist niet gezegd wordt. De interviewer stuurt niet en praat je niet naar de mond.

Elk gesprek begint met dezelfde vraag: hoe je vandaag met dit onderwerp te maken hebt. Dus een vraag over de situatie, niet over jouw product.

Na afloop vult diezelfde respondent alsnog de gewone vragenlijst in, passend bij wat hij net zei. Een interview levert dus zowel een gespreksverslag als cijfers op.

Als een antwoord onbruikbaar is

Geeft een respondent geen bruikbaar antwoord, dan krijgt hij één nieuwe kans. Lukt het dan nog niet, dan valt hij af en telt hij niet mee. Vallen er meer dan 20% af, dan stopt het onderzoek en krijg je je credits terug.

Hoeveel respondenten er zijn afgevallen staat onderaan elk rapport, ook als het er nul zijn.

Hoeveel respondenten zitten er in welk pakket

De gratis proefrun heeft 5 respondenten en geen diepte-interviews, en is expres te klein voor een betrouwbaarheidsoordeel. Dat is niet verstopt, het is het punt: je ziet het hele proces draaien en tegelijk waarom aantallen uitmaken. Onder 25 respondenten kan geen enkele vraag groen worden.

Waarom er geen pakket van 300 respondenten is: dat past niet binnen de tijd die de server krijgt. Iets aanbieden dat halverwege afbreekt is erger dan het niet aanbieden.

Wat je terugziet in de portal

Bij een onderzoeksbureau krijg je een verantwoording van wie er heeft meegedaan. Die staat hier onder Respondenten: hoeveel kritische mensen er in de groep zaten, hoeveel verschillende leeftijden en beroepen, en de eerste profielen zelf.

Groepen worden nooit hergebruikt. Elk onderzoek krijgt een nieuwe groep, anders zouden dezelfde antwoorden twee keer meetellen.

Wat dit niet is

Dit is geen steekproef. Er is niemand benaderd, niemand geworven en er is niet geloot wie er meedoet. Wat je krijgt is een in elkaar gezette doorsnede.

• De hele groep komt uit één AI-model. Hoeveel de respondenten daardoor op elkaar lijken weten we niet precies, maar het is bijna zeker meer dan bij echte mensen.
• Verhoudingen over de hele groep komen redelijk in de buurt van echt onderzoek. Voorspellingen over één specifiek persoon niet.
• Harde percentages en prijzen zijn niet betrouwbaar. Wat wel bruikbaar is: welk alternatief wint, en welke bezwaren genoemd worden.