Welke vragen werken en welke niet

Waar je onderzoek over gaat

In de intake kies je één doel. Dat bepaalt wat voor vragen er worden gesteld, en het soort vraag bepaalt hoe betrouwbaar het antwoord is. Daarom staat het verwachte niveau al bij je keuze en niet pas in het rapport.

Bij elk doel staat ook waar het niet voor is. Dat is vaak het nuttigste deel:

• Concepttest: Hoeveel mensen het daadwerkelijk gaan kopen. Een concepttest rangschikt, hij voorspelt geen volume.
• Messaging-test: Voorspellen wat een advertentie gaat converteren. Daarvoor is een echte A/B-test op je eigen verkeer altijd beter en meestal goedkoper.
• Propositie-validatie: De prijs bepalen, of voorspellen hoe snel je groeit. Dit meet herkenning en urgentie, geen marktomvang.
• Behoefteonderzoek: Een beslissing onderbouwen. Dit levert hypotheses op, geen bewijs. Gebruik de uitkomst als input voor een concepttest, niet als eindpunt.
• Prijsperceptie: Je prijs vaststellen. Neem hier geen prijsbesluit op zonder echte mensen. Gebruik het validatiecentrum of schakel een bureau in.

Het soort vraag bepaalt de betrouwbaarheid, niet het aantal respondenten

Dit is de belangrijkste zin op deze pagina: meer respondenten kopen maakt een zwakke vraag niet sterker. Waar het wel aan ligt, is wat je vraagt.

De software kijkt daarnaast zelf naar de tekst van je vraag. Staat er een bedrag of een percentage in, dan wordt het niveau verlaagd, ook als de vragenlijst iets anders bedoelde. Die correctie werkt maar één kant op: naar beneden.

Hoe het oordeel wordt uitgerekend

Het oordeel is geen inschatting van de AI maar een optelsom. Hij past in drie regels, en dat is precies de bedoeling.

score = 3 - niveau
      + signalen
      + gewicht van de beslissing

• Niveau: hoog telt 0, midden-hoog 1, midden 2, laag 3. Dat komt uit de tabel hierboven.
• Signalen: elke waarschuwing over de data telt 1 op, met een maximum van 2.
• Gewicht van de beslissing: verkennend telt 0, operationeel 1, strategisch 2. Operationeel is een impact onder 25.000 euro, strategisch daarboven.

Uit die som volgen vier dingen die je vooraf hoort te weten.

• Een strategische beslissing wordt nooit groen. De laagst mogelijke score is 2. Dat is expres. De weg vooruit is toetsen bij echte mensen, niet een groter pakket.
• Een prijsvraag wordt nooit groen, ook niet bij een verkennende beslissing zonder enige waarschuwing.
• Onder 25 respondenten wordt niets groen. Niet omdat een kleine groep per se slecht is, maar omdat de controles die dat moeten aantonen zelf minstens 10 respondenten nodig hebben.
• Een groter pakket kopen verhoogt het niveau van een vraag nooit.

Waar de software op let in jouw data

Na afloop wordt je data gecontroleerd op de manieren waarop AI-onderzoek stilletjes misgaat. Deze controles werken tegen de eigen uitkomst in, en dat is de bedoeling.

De verdeling in twee helften ligt vast en is niet toevallig. Dezelfde data geeft dus twee keer hetzelfde oordeel.

Voor wie de precieze grenzen wil weten: "te weinig verschil" is een standaarddeviatie onder 0,6 op een schaal van 1 tot 5, oftewel bijna alle antwoorden op hetzelfde punt. Die controles gaan pas aan vanaf 10 respondenten, want daaronder zegt spreiding te weinig.

Twee vinkjes die het oordeel verlagen

In de intake staan twee vragen die allebei een niveau kosten: is je doelgroep klein of moeilijk te bereiken, en is het onderwerp gevoelig. Vink je ze allebei aan, dan zakt een vraag die normaal hoog scoort naar midden.

Bij een kleine, specialistische doelgroep maakt AI er een stereotype van, ook als je bijstuurt. Bij een gevoelig onderwerp komen twee problemen samen: mensen antwoorden sociaal wenselijk, en de vertekening van de AI verschilt per onderwerp. Beide vinkjes gaan ook naar de vragenlijst, dus ze veranderen niet alleen de score.

De AI rekent niet

Alle percentages, gemiddelden en uitsplitsingen worden in gewone software berekend over de losse antwoorden. De AI die het rapport schrijft krijgt die uitkomsten aangeleverd en mag ze uitleggen. Niet aanpassen, niet anders afronden, en er geen getallen bij verzinnen.

Elk citaat in je rapport wordt achteraf teruggezocht in de antwoorden. Staat het er niet letterlijk, dan gaat het eruit. Wat er is weggelaten staat onderaan je rapport.

Daarom geven twee onderzoeken op dezelfde vragenlijst hetzelfde soort oordeel, ook op een ander AI-model. De antwoorden verschillen, de rekenkant niet.

Jij keurt de vragenlijst goed

Er start geen onderzoek voordat jij de vragenlijst hebt goedgekeurd. Dit is de belangrijkste stap van het hele product, want een verkeerd gestelde vraag levert een keurig rapport op over iets anders dan je wilde weten.

Je ziet vooraf je aangescherpte onderzoeksvragen, elke vraag met het verwachte niveau erbij, de opzet van de interviews en de eerste respondenten. Alles is aanpasbaar. Opnieuw laten opstellen kan 2 keer; daarna pas je met de hand aan. Dat kost geen credits.

Verander je daarna nog iets in de intake dat de vragenlijst raakt, dan vervalt je goedkeuring en kijk je opnieuw. Zo kan er nooit een vragenlijst draaien die jij niet gezien hebt.

Toetsen bij echte mensen

In het pakket Validatie zit een manier om je uitkomst te toetsen. Je deelt een korte vragenlijst met je eigen klanten of netwerk. Die opent zonder inloggen, op de telefoon, één vraag per scherm.

Standaard staan alleen de vragen aan waar het oordeel oranje of rood was. Dat houdt het kort, en juist daar levert een echt antwoord het meest op. Vragen toevoegen mag, maar hoe langer de lijst, hoe minder mensen hem afmaken.

De echte antwoorden zijn de maatstaf, niet andersom. Er wordt gekeken of de AI-uitkomst binnen de marge van jouw echte antwoorden valt. Bij weinig antwoorden wordt die marge bewust ruim gehouden.

Je eigen eerdere onderzoek ernaast leggen

Heb je eerder echt onderzoek gedaan, dan kun je die uitkomsten in de intake invullen. Ze worden dan naast de AI-uitkomst gelegd, zonder dat je iemand hoeft te benaderen.

Hoeveel mensen er aan die eerdere meting meededen is verplicht. Zonder dat aantal valt er geen marge te berekenen en is de vergelijking schijn.

Eén kanttekening: de koppeling tussen jouw cijfer en een vraag uit de vragenlijst gaat op woordovereenkomst. Gebruik dus zoveel mogelijk dezelfde woorden als in de vraag staan.

Een tweede mening van een ander AI-model

Dezelfde vragenlijst, dezelfde respondenten, een ander model. Diezelfde groep hergebruiken is de hele truc. Zou je een nieuwe groep maken, dan meet je hoeveel groepen onderling verschillen, en dat is veel.

Je krijgt te zien op hoeveel vragen de twee modellen hetzelfde zeggen en waar ze uiteenlopen. Wijkt een vraag af, behandel die dan als onbeslist.

Eén tweede mening per onderzoek. Blijf je modellen proberen tot er een uitkomst bij zit die je bevalt, dan zoek je bevestiging, en dat is precies wat dit onderdeel moet tegengaan.

Wat je er niet uit mag lezen

• Harde percentages en prijzen. Kijk naar welk alternatief wint en welke bezwaren terugkomen, niet naar de exacte getallen.
• Een opgeteld aantal respondenten. AI-antwoorden en echte antwoorden worden nooit bij elkaar opgeteld, nergens.
• Een onderzoeksvraag waar geen enkele vraag bij hoort krijgt rood. Het antwoord is dan niet onbetrouwbaar maar afwezig.
• Elk rapport houdt zijn uitleg over de methode. Die kun je niet uitzetten.

Is het oordeel niet groen, dan zit er een kant-en-klare briefing in je rapport die je zo naar een onderzoeksbureau kunt sturen: welke doelgroep, welke aannames getoetst moeten worden, welke methode en hoeveel mensen daarvoor nodig zijn.