Welke onderzoeksmethode wanneer werkt

De vijf onderzoeksdoelen

Je kiest in de intake één doel. Dat doel bepaalt welke vraagvormen de designer kiest, en de vraagvorm bepaalt de verwachte betrouwbaarheid. Daarom staat het verwachte niveau al bij de keuze, en niet pas in het rapport.

Bij elk doel staat ook waar het níet voor is. Die regel is geen slag om de arm maar het bruikbaarste deel van de keuze:

• Concepttest: Hoeveel mensen het daadwerkelijk gaan kopen. Een concepttest rangschikt, hij voorspelt geen volume.
• Messaging-test: Voorspellen wat een advertentie gaat converteren. Daarvoor is een echte A/B-test op je eigen verkeer altijd beter en meestal goedkoper.
• Propositie-validatie: De prijs bepalen, of voorspellen hoe snel je groeit. Dit meet herkenning en urgentie, geen marktomvang.
• Behoefteonderzoek: Een beslissing onderbouwen. Dit levert hypotheses op, geen bewijs. Gebruik de uitkomst als input voor een concepttest, niet als eindpunt.
• Prijsperceptie: Je prijs vaststellen. Neem hier geen prijsbesluit op zonder echte mensen. Gebruik het validatiecentrum of schakel een bureau in.

De vraagvorm bepaalt de betrouwbaarheid, niet de omvang

Elke vraag heeft twee eigenschappen die vaak door elkaar worden gehaald. Het type is de antwoordvorm: een schaal van 1 tot 5, één antwoord kiezen, meerdere antwoorden kiezen, of een open antwoord. De meetvorm is waar de vraag over gáát. Alleen de meetvorm bepaalt het betrouwbaarheidsniveau.

Die laatste twee regels zijn een rem, geen bijwerking. De meetvorm is de enige schakel in het hele oordeel die door een taalmodel gekozen wordt. Drie generaties op hetzelfde design gaven twee keer de ene waarde en één keer de andere, en bij een operationele beslissing is dat het verschil tussen "voldoende richtinggevend" en "valideer gericht". Daarom corrigeert de code de keuze op basis van de vraagtekst, en die correctie verlaagt alleen. Hij tilt nooit iets op.

Hoe het oordeel wordt berekend

Het betrouwbaarheidsoordeel is geen inschatting van een model maar een som. Hij is kort genoeg om te laten zien, en dat is precies het punt.

score = 3 - niveau
      + signalen
      + gewicht van de beslissing

• Niveau: hoog telt 0, midden-hoog 1, midden 2 en laag 3. De vraagvorm bepaalt welk niveau je krijgt.
• Signalen: elk afgegaan signaal telt 1, met een maximum van 2, ook als er meer afgaan.
• Gewicht van de beslissing: verkennend telt 0, operationeel 1 en strategisch 2. Operationeel is een impact onder 25.000 euro, strategisch daarboven of koersbepalend.

Uit die som volgen vier dingen die je vooraf hoort te weten.

• Een strategische beslissing kan nooit groen worden. De laagst mogelijke score is 2. Dat is bewust, en de weg terug is het validatiecentrum, niet een groter pakket.
• Een prijsvraag kan nooit groen worden, ook niet bij een verkennende beslissing zonder enig signaal.
• Onder 25 respondenten wordt niets groen. Niet omdat een kleine groep per se onbetrouwbaar is, maar omdat de controles die onbetrouwbaarheid moeten aantónen zelf minstens 10 respondenten nodig hebben. Deze aftopping verlaagt alleen.
• Een groter pakket kopen verhoogt nooit het niveau van een vraag. Betrouwbaarheid is een eigenschap van de vraagvorm, niet van het aantal respondenten.

De drie signalen

Signalen zijn controles op de data die zijn gemaakt om tegen de eigen uitkomst in te werken. Ze zoeken naar de drie manieren waarop synthetisch onderzoek stilletjes misgaat.

De verdeling in twee helften ligt vast en is niet willekeurig: dezelfde data levert twee keer hetzelfde oordeel op. Dat geldt voor het hele kompas.

Twee vinkjes die het oordeel verlagen

In de intake staan twee vragen die elk een niveau kosten: is je doelgroep niche of moeilijk bereikbaar, en is het onderwerp gevoelig. Beide aangevinkt betekent twee stappen omlaag, dus een vraagvorm die normaal hoog scoort komt uit op midden.

Bij een niche doelgroep vlakken modellen groepen af tot een stereotiep gemiddelde, ook als je ze expliciet bijstuurt. Bij een gevoelig onderwerp komen twee foutbronnen samen: echte mensen antwoorden sociaal wenselijk, en de vertekening van het model verspringt per onderwerp. Beide vinkjes gaan bovendien mee naar de designer, dus ze beïnvloeden ook de vragenlijst en niet alleen de score.

Alle cijfers worden in code berekend

Frequenties, gemiddelden, top-2-box, standaarddeviatie, uitsplitsingen naar segment en de split-half worden allemaal in gewone code uitgerekend over de losse antwoorden. Het taalmodel dat het rapport schrijft krijgt die uitkomsten als invoer en mag ze verwoorden, niet herrekenen, niet anders afronden en niet aanvullen met getallen die er niet stonden.

Dat is de reden dat twee runs op hetzelfde design hetzelfde soort oordeel geven, ook op een ander model. De antwoorden verschillen, de rekenkant niet.

De vragenlijst wordt eerst goedgekeurd

Een onderzoek kan niet starten zonder dat je de vragenlijst expliciet hebt goedgekeurd. Dat is de belangrijkste stap in het hele product: een verkeerd gestelde vraag levert een keurig rapport op over iets anders dan je wilde weten.

Je ziet vooraf de aangescherpte onderzoeksvragen, elke vraag met zijn type en meetvorm, het verwachte betrouwbaarheidsniveau per vraag, de topicgids voor de interviews en de eerste persona's. Alles is aanpasbaar. Opnieuw laten opstellen kan 2 keer, daarna pas je met de hand aan; genereren kost API-tokens maar geen credits.

Wijzig je daarna nog iets in de intake dat de vragenlijst raakt, dan vervalt de goedkeuring en beoordeel je opnieuw. Het gekozen model valt daar bewust buiten: dat bepaalt wie de vragen beantwoordt, niet welke vragen het zijn.

Toetsen bij echte mensen

Het validatiecentrum zit in het pakket Validatie en is de enige weg van een oranje of rood oordeel naar een bevestigd oordeel. Je deelt een korte survey met je eigen netwerk of klanten; die opent zonder login, op de telefoon, één vraag per scherm.

Standaard staan alleen de vragen aan die het kompas op oranje of rood zette. Dat houdt de survey kort, en juist bij die vragen levert een echte respondent de meeste informatie op. Vragen toevoegen mag, maar elke extra vraag kost respons.

De vergelijking rekent een betrouwbaarheidsinterval op de échte antwoorden en kijkt of de synthetische uitkomst daarbinnen valt. De echte data is de maatstaf, niet andersom. Bij kleine aantallen wordt de berekening bewust aan de voorzichtige kant gehouden: een te breed interval is daar het veilige antwoord.

Je eigen eerdere onderzoek ernaast leggen

Heb je eerder écht onderzoek gedaan, dan kun je die uitkomsten in de intake invullen en naast de synthetische uitkomst leggen, zonder één respondent te werven.

Het aantal respondenten van die eerdere meting is verplicht. Zonder dat getal valt er geen betrouwbaarheidsinterval te berekenen en is de vergelijking schijn. Bij gemiddelden krijg je alleen het verschil en geen oordeel, want zonder de spreiding uit het oorspronkelijke onderzoek is er niets om tegen te toetsen.

Eerlijke kanttekening: de koppeling tussen jouw ijkpunt en een vraag uit het design gaat op woordovereenkomst. Formuleringen die inhoudelijk hetzelfde betekenen maar andere woorden gebruiken, worden vaak niet gekoppeld. Gebruik daarom in het ijkpunt zoveel mogelijk de woorden die ook in de vraag staan.

Een tweede mening van een ander model

Dezelfde vragenlijst, dezelfde persona's, een ander model. Dezelfde groep hergebruiken is de hele truc: zou je nieuwe persona's genereren, dan meet je hoeveel persona's onderling verschillen, en dat is veel. Alleen met dezelfde groep zegt een verschil iets over het model.

Je krijgt terug op hoeveel van de gesloten vragen de twee modellen tot dezelfde uitkomst komen, en op welke ze uiteenlopen. Wijkt een vraag af, behandel die dan als open, ongeacht wat het rapport erover zegt.

Eén tweede mening per onderzoek. Blijf je modellen proberen tot er een uitkomst bij zit die bevalt, dan meet je geen modelafhankelijkheid meer maar zoek je bevestiging, en dat is precies wat dit onderdeel hoort tegen te gaan.

Wat je uit een uitkomst niet mag lezen

• Absolute percentages en prijspunten zijn geen harde cijfers. Verschillen tussen alternatieven en de genoemde thema's zijn bruikbaarder dan de niveaus zelf.
• Er bestaat geen gecombineerd aantal respondenten. Synthetische en echte antwoorden worden nooit bij elkaar opgeteld, in geen enkel scherm en in geen enkel rapport. Ze staan naast elkaar, elk met hun eigen aantal.
• Een onderzoeksvraag waar geen enkele vraag aan hangt, krijgt rood. Het antwoord is dan niet onbetrouwbaar maar afwezig.
• Elk rapport houdt zijn methodologiesectie. Die is niet uit te zetten.

Is het oordeel niet groen, dan staat er een kant-en-klare briefing in het rapport die je rechtstreeks naar een onderzoeksbureau kunt sturen: doelgroep, te toetsen hypotheses, aanbevolen methode en aanbevolen steekproefomvang.