Hoe de respondenten worden gebouwd
Een onderzoek op dit platform wordt beantwoord door een groep gegenereerde persona's. Deze pagina beschrijft hoe die groep tot stand komt, wat eraan is afgedwongen en wat een instructie aan het model is. Dat onderscheid is de kern: het is niet hetzelfde, en op de meeste plekken wordt het door elkaar gehaald.
Wat een respondent is
Elke respondent is een profiel met elf velden. Ze worden allemaal gevuld voordat er ook maar één vraag gesteld wordt, en ze gaan allemaal mee in de instructie waarmee die respondent antwoordt.
- Naam en leeftijd. De leeftijd ligt tussen 16 en 95.
- Rol. Bij consumentenonderzoek een beroep, bij zakelijk onderzoek een functietitel.
- Bedrijfsgrootte. Alleen bij zakelijk onderzoek.
- Regio, binnen het gebied dat je in de intake opgeeft.
- Gezinssituatie en mediagebruik.
- Houding tegenover de categorie. Let op: de categorie, niet jouw product.
- Koopgedrag: hoe deze persoon in deze categorie beslist en koopt.
- Betrokkenheid: hoog, midden, laag of kritisch.
- Een levensschets in de ik-vorm, van een paar zinnen.
De persona's kennen je propositie nog niet als ze gebouwd worden. Dat is expres. Bouw je iemand met jouw aanbod in het hoofd, dan bouw je iemand die er al iets van vindt, en dan meet de vragenlijst daarna zijn eigen aanname.
Om dezelfde reden krijgt de persona-architect wél de context die je in stap 3 van de intake meegeeft, maar níet de eerdere onderzoeksuitkomsten die je daar kunt invullen. Een respondent die de uitkomst al kent, antwoordt ernaar.
Hoe een groep wordt opgebouwd
De pool wordt in porties van 10 gegenereerd, en die porties draaien in golven van 20 tegelijk.
Elke portie krijgt alle eerder gegenereerde persona's mee als korte regels, onder de kop dat ze niet gedupliceerd mogen worden. Binnen dezelfde golf kan dat niet, want porties die gelijktijdig draaien zien elkaars uitkomst niet. Daarom krijgt elke portie in een golf te horen hoeveel andere groepen er op dat moment naast draaien en welke van die groepen hij is, met de opdracht bewust een eigen hoek van de doelgroep te kiezen: een andere leeftijdsopbouw, andere rollen, een andere verhouding tussen enthousiast en kritisch.
Dit is de reden dat de generatie niet volledig parallel loopt, terwijl dat sneller zou zijn. Hoe breder de golf, hoe zwakker de bescherming tegen een groep die naar elkaar toe kruipt. De golfbreedte is daarmee een afweging tussen snelheid en spreiding, en niet een technische restwaarde.
Levert een portie te weinig profielen op, dan wordt er bijgevraagd. Lukt dat na een paar pogingen nog niet, dan stopt het onderzoek en krijg je je credits terug. Liever dat dan een pool die stilletjes kleiner is dan wat je hebt gekocht.
Spreiding: wat vaststaat en wat gevraagd wordt
Een groep waarin iedereen enthousiast is, bevestigt elk concept en meet niets. Spreiding is daarom geen decoratie maar de voorwaarde waaronder de uitkomst iets betekent. Er zitten twee soorten mechanismen achter, en het verschil hoort zichtbaar te zijn.
Dat clustering geen harde fout is, is een bewuste keuze. Een paar dubbele combinaties maken de uitkomst niet ongeldig, en een betaalde run daarop laten klappen kost je meer dan het oplevert. Te weinig kritische respondenten is wel een harde fout, want dan meet het onderzoek de verkeerde kant op.
De preview van drie
Voordat het veldwerk begint zie je 3 persona's in de designreview. Genoeg om te beoordelen of de groep op je doelgroep lijkt, en niet zoveel dat de hele opzet weggegeven is aan iemand die nog niets heeft afgerekend.
Lijkt het niet op je doelgroep, scherp dan eerst de doelgroepbeschrijving aan. Dat is goedkoper dan een volledige groep draaien en achteraf constateren dat de verkeerde mensen hebben geantwoord.
Die drie worden hergebruikt als eerste portie van de volledige groep, mits ze onderling genoeg verschillen. Zo niet, dan gaan ze eruit en wordt de groep opnieuw opgebouwd.
Hoe een persona antwoordt
Elke respondent krijgt zijn eigen profiel als instructie mee, met de opdracht te antwoorden als die persoon en niet als assistent. Twijfel, desinteresse en kritiek zijn expliciet gewenst; beleefd-positief zijn is dat niet. De instructie zegt letterlijk dat je het product niet goed hoeft te vinden en dat je de hele schaal moet gebruiken.
Gesloten vragen worden afgedwongen op formaat. Een schaalvraag is een geheel getal van 1 tot 5, een keuzevraag is een van de opgegeven opties. Het model kan daar geen proza van maken en ook geen optie verzinnen die niet in de vragenlijst staat. Open antwoorden zijn een paar zinnen in spreektaal, zonder opsommingen en zonder marketingtaal.
Respondenten draaien waar het kan op volle temperatuur, de instelling die bepaalt hoeveel variatie een model in zijn antwoorden toelaat. Bij de nieuwste modellen kan dat niet meer: die weigeren de instelling. Daar komt de spreiding volledig uit de persona-beschrijving. Bij een smalle doelgroep kunnen antwoorden dan dichter bij elkaar liggen. Zie de pagina over de modellen.
Diepte-interviews
Een diepte-interview is een gesprek van 5 beurten met dezelfde soort persona. Eén open vraag per beurt, voortbouwend op wat er net gezegd is, met doorvragen op aarzeling, tegenstrijdigheid en op wat er níet gezegd wordt. De interviewer stuurt niet, stemt niet in en vat het product niet samen.
Elk interview begint met dezelfde vraag: hoe je vandaag met dit onderwerp te maken hebt in je dagelijks leven of werk. Dat is bewust een vraag over de situatie en niet over het product.
Na het gesprek vult dezelfde persona alsnog de gesloten vragenlijst in, in lijn met wat hij net gezegd heeft. Een interview levert daarmee zowel een transcript als een rij cijfers op, en telt dus mee in de kwantitatieve analyse.
Een interview is elf opeenvolgende aanroepen van het model en daarmee de kwetsbaarste taak in de pipeline. Dat is ook waarom niet elk pakket ze aanbiedt.
Uitval
Een respondent die geen bruikbaar antwoord geeft, krijgt één nieuwe poging. Lukt het dan nog niet, dan telt hij als uitval en wordt hij niet meegenomen in de analyse. Loopt de uitval op boven 20%, dan stopt het onderzoek en krijg je je credits terug.
Op die drempel zit een ondergrens van twee mislukkingen, zodat de gratis proefrun van zes respondenten niet op één toevallige fout klapt. Het aantal uitvallers staat onderaan elk rapport, ook als het er nul zijn.
Hoeveel respondenten per pakket
De proefrun is met 5 respondenten bewust te klein voor een betrouwbaarheidsoordeel, en dat is niet verstopt maar het punt: je ziet de hele machine draaien en tegelijk waarom omvang ertoe doet. Onder 25 respondenten kan geen enkele vraag groen worden.
Waarom er geen optie van 300 respondenten is: die past niet binnen de tijdslimiet van de server. Aanbieden wat structureel halverwege afbreekt is erger dan het niet aanbieden.
Verantwoording per onderzoek
Bij een onderzoeksbureau krijg je een steekproefverantwoording. Hier staat die in de portal, onder Persona's: per onderzoek het aandeel laag betrokken en kritische respondenten, het aantal leeftijdsgroepen en het aantal verschillende rollen, plus de eerste profielen zelf.
Groepen worden nooit hergebruikt tussen onderzoeken. Elke pool wordt opnieuw opgebouwd, want anders zouden dezelfde respondenten twee keer meetellen.
Wat dit niet is
Dit is geen getrokken steekproef uit een populatie. Er is niemand geworven, er is geen weging, en er is geen aselecte selectie. Wat je krijgt is een geconstrueerde doorsnede.
- De hele groep komt uit één model. Hoeveel de respondenten op elkaar lijken is daarmee onbekend en vrijwel zeker meer dan bij echte mensen.
- Verdelingen over de hele groep komen redelijk in de buurt van echt onderzoek. Voorspellingen over één individu doen dat niet.
- Absolute percentages en prijspunten zijn geen harde cijfers. Verschillen tussen alternatieven en de thema's die genoemd worden zijn bruikbaarder dan de niveaus zelf.