Waarom niet gewoon ChatGPT gebruiken
Je kunt ChatGPT of Claude vragen zich voor te doen als je doelgroep. Dat werkt tot op zekere hoogte en het is gratis. Hier lees je wat er tussen dat en een onderzoek op dit platform zit. Wie daarna besluit het zelf te doen, heeft daar soms gewoon gelijk in.
Wat je krijgt als je het zelf vraagt
Eén model dat één antwoord geeft. Vraag je door, dan bouwt het voort op zijn eigen vorige antwoord. Precies wat je wilt in een gesprek, en precies wat je niet wilt in een onderzoek.
Vraag je om vijftig respondenten, dan schrijft het model die achter elkaar en ziet het zichzelf bezig. De vijfde wordt geschreven met de eerste vier in beeld, de vijftigste met de negenenveertig ervoor. Ze gaan op elkaar lijken, en dat gebeurt op de vervelendste manier: ze klinken gevarieerd en zeggen hetzelfde.
Laat je datzelfde model daarna samenvatten, dan telt het model. AI telt slecht en klinkt daarbij overtuigd. Er komt een percentage uit, het ziet er goed uit, en niets spreekt het tegen.
Vraag je het nog een keer, dan krijg je een ander antwoord en weet je niet welke van de twee klopt. Dat is geen fout van het model. Een chatgesprek is gewoon geen onderzoeksopzet.
Spreiding wordt afgedwongen in plaats van gehoopt
In een chatvenster is "maak ze divers" een verzoek. Het model doet zijn best, jij kunt niet nagaan of het gelukt is, en er gebeurt niets als het misgaat.
Hier wordt de groep in porties gemaakt, waarbij elke portie ziet wie er al zijn en de opdracht krijgt niemand te herhalen. Porties die tegelijk draaien krijgen elk een eigen hoek van de doelgroep. En achteraf wordt geteld: zitten er minder dan 20% kritische of ongeïnteresseerde mensen in, dan stopt het onderzoek en krijg je je geld terug.
Dat laatste is het verschil tussen een verzoek en een eis.
De cijfers komen niet uit de AI
Elk percentage, elk gemiddelde en elke uitsplitsing wordt in gewone software berekend over de losse antwoorden. De AI die je rapport schrijft krijgt die uitkomsten aangeleverd en mag ze uitleggen, niet herrekenen.
Ook elk citaat wordt teruggezocht in de antwoorden. Staat het er niet letterlijk, dan haalt de software het eruit.
Er is een oordeel vóór en na afloop
Vooraf weet je welk niveau bij jouw soort vraag hoort. Kies je een prijsvraag, dan staat er meteen bij dat die zwak scoort en dat een groter pakket daar niets aan verandert.
Achteraf wordt gekeken of je data dat waarmaakt. Er zijn controles die actief zoeken naar wat er stilletjes mis kan gaan: te weinig verschil tussen de antwoorden, een groep die uit elkaar valt, verschillen die te klein zijn om iets op te bouwen, en respondenten die overal hetzelfde invullen.
Een chatvenster geeft je nooit een reden om zijn eigen antwoord niet te geloven. Niet omdat het onbetrouwbaar is, maar omdat het daar niet voor gemaakt is.
De vragenlijst ligt vast voordat er iemand antwoordt
Jij keurt de lijst goed, en daarna krijgt iedereen exact dezelfde vragen met exact dezelfde antwoordopties.
In een gesprek schuift de vraag mee met het gesprek. Dat merk je niet terwijl het gebeurt, en achteraf kun je niet meer nagaan wie welke versie van de vraag kreeg.
Er is een weg naar echte mensen
AI-onderzoek is een begin. Waar het spannend wordt moet je eruit kunnen. Daarom kun je een korte vragenlijst delen met je eigen klanten, met standaard alleen de vragen waar twijfel over was.
En is het oordeel rood, dan zit er een briefing in je rapport die je zo naar een onderzoeksbureau kunt sturen. Een product dat zegt wanneer je het niet moet gebruiken, is bruikbaarder dan een product dat overal ja op zegt.
Je kunt het teruglezen
Elke respondent, elk antwoord, elk gespreksverslag en elke berekening blijft bewaard. Je kunt zien wie wat zei en hoe het oordeel is opgebouwd.
Een chatgesprek kun je ook teruglezen, zolang je het niet sluit. Het verschil is dat je er geen verantwoording uit kunt trekken die je aan iemand anders laat zien.
Naast elkaar
Wanneer je het beter zelf doet
Een chatvenster is sneller en gratis, en voor sommige dingen ook gewoon beter. Gebruik het om je idee scherp te krijgen, om een eerste lijst bezwaren te bedenken, om je vragenlijst te herschrijven of om een lang rapport samen te vatten.
Het gaat mis zodra je de uitkomst als bevinding gaat behandelen. Vijftig verzonnen respondenten die het met elkaar eens zijn voelen als data en zijn het niet. Het gevaar zit niet in het gebruik maar in het vertrouwen.
Wat wij ook niet kunnen
- Bepalen hoe groot je markt is of welk deel je ervan hebt. Daar is een echte steekproef voor nodig.
- Voorspellen wat een advertentie gaat opleveren. Een test op je eigen bezoekers is daarvoor beter en meestal goedkoper.
- Een prijs vaststellen. Prijsvragen zijn hier het zwakst en dat verandert niet met een groter pakket.
- Bewijs leveren. Wat hier uitkomt is richting. Bij een zware beslissing hoort daar toetsing of een bureau achteraan.
- Iets zeggen over één specifiek persoon.
Je vindt op deze site geen nauwkeurigheidspercentage. Andere aanbieders noemen getallen als "80 tot 95 procent nauwkeurig". Wij hebben geen eigen meting die zo'n getal draagt, en suggereren dat we jouw echte resultaten al hebben vergeleken is precies wat we nergens doen. De cijfers die er wel zijn komen uit gepubliceerd onderzoek en staan met bron op de pagina met de onderbouwing.