Welke AI-modellen erachter draaien
Een onderzoek op dit platform gebruikt een taalmodel op vijf plekken. Deze pagina beschrijft welke dat zijn, wat je zelf kunt kiezen, en waar de modelkeuze wel en geen verschil maakt aan wat er uitkomt.
Vijf rollen, één model per onderzoek
Een onderzoek doorloopt vijf stappen waarin een taalmodel iets doet. Ze hebben elk hun eigen instructie en hun eigen taak.
Alle vijf draaien op hetzelfde model, namelijk het model dat bij dat onderzoek hoort. Je kiest er dus één en niet vijf. De rekenkant staat daar volledig los van: de statistiek en het betrouwbaarheidsoordeel worden in code bepaald en zijn modelonafhankelijk.
Wat je kunt kiezen
De keuze staat in de laatste stappen van de intake. Bij elk model staat waar het relatief sterk in is en waar je op moet letten; geen enkel model is overal het beste, en de kanttekening is nooit leeg.
Wat er gebeurt als je niets kiest
Kies je zelf geen model, dan draait je onderzoek op de standaardkeuze. Dat is bewust een van de zwaardere modellen: de rijkdom van de open antwoorden en het vasthouden van een persona over een lange vragenlijst zijn precies waar dit product op verkoopt, en daar is niet op te bezuinigen zonder dat je het in het rapport terugziet.
De gratis proefrun is de uitzondering: die draait altijd op Claude Sonnet 5, ook als je iets anders kiest. Dat wordt aan de serverkant afgedwongen en niet in het scherm, zodat het niet te omzeilen is.
De reden is niet zuinigheid alleen. De proefrun draait de volle pipeline op 5 respondenten plus één interview, en dat model levert nog steeds rijke open antwoorden. Bovendien passen zes persona's in één portie, dus ze zien elkaar wél tijdens het bouwen, en werkt de bescherming tegen een groep die naar elkaar toe kruipt daar op zijn best.
De modelkeuze kost niets extra
Een zwaarder model kiezen verandert de prijs van je onderzoek niet. Er zit geen toeslag op en er staat nergens een prijs per model.
Dat is een keuze en geen vergeetachtigheid. Het kostenverschil tussen modellen is aan onze kant reëel, soms een factor twee, maar zodra je er een prijskaartje aan hangt gaat de klant op kosten sturen in plaats van op wat zijn onderzoek nodig heeft. Het verschil staat daarom in de toelichting bij het model, waar je er iets aan hebt, en niet in de kassa.
Waarom antwoorden meer of minder uiteenlopen
Respondenten draaien waar het kan op volle temperatuur. Dat is de instelling die bepaalt hoeveel variatie een model in zijn antwoorden toelaat. Bij de meeste toepassingen zet je die laag om voorspelbaar te blijven; hier is spreiding juist het doel.
De nieuwste modellen accepteren die instelling niet meer en geven een foutmelding als je hem meestuurt. Daar komt de spreiding volledig uit de persona-beschrijving: uit het feit dat de een 29 is en kritisch en de ander 58 en enthousiast.
Merkbaar gevolg: bij een smalle doelgroep kunnen de antwoorden op zo'n model dichter bij elkaar liggen. Dat blijft niet onopgemerkt. Het signaal dat op te lage spreiding let, gaat daar gewoon van af, en dan staat het in je rapport in plaats van dat het verborgen blijft.
Wat een model niet bepaalt
- Het betrouwbaarheidsoordeel. Dat volgt uit de vraagvorm, de signalen en het gewicht van je beslissing.
- De statistiek. Frequenties, gemiddelden, top-2-box, standaarddeviatie en uitsplitsingen worden in code berekend.
- De signalen. Lage spreiding, instabiliteit en te kleine verschillen worden op de antwoorden gemeten, ongeacht welk model ze gaf.
- De vragenlijst nadat je hem hebt goedgekeurd. Vanaf dat moment ligt hij vast.
Twee modellen op hetzelfde design geven andere antwoorden, maar hetzelfde soort oordeel over dezelfde data. Wil je weten of een conclusie aan het model hangt in plaats van aan de vraag, dan is daar de tweede mening voor: dezelfde vragenlijst en dezelfde persona's, een ander model.
Modellen veranderen, en dat merk je
Aanbieders brengen nieuwe versies uit en trekken oude terug. Een onderzoek van vorig jaar is daarom niet exact te herhalen op hetzelfde model, en dat is een echte beperking van synthetisch onderzoek die nergens in het vakgebied is opgelost.
Wat wél gelijk blijft: de vragenlijst, de opbouw van de groep, de berekeningen en het oordeel. De cijfers uit twee runs zijn vergelijkbaar op alles behalve de antwoorden zelf. Zet je een oud onderzoek naast een nieuw, kijk dan naar de verhouding tussen alternatieven en niet naar de absolute niveaus.
Er staan ook modellen in de catalogus die niet te kiezen zijn. Het zwaarste model is uitgeschakeld omdat het ook het traagste is: bij een grote groep loopt het opbouwen van de persona's tegen de tijdslimiet van de server aan, en dan breekt de run halverwege af met de credits er al af. Beter niet aanbieden dan halverwege afbreken.
Wat er met je gegevens gebeurt
Wie welke gegevens verwerkt staat in de verwerkersovereenkomst, met per dienst het doel en de regio waar dat gebeurt. Eén ding hoort hier ook te staan, want het is de meestgestelde vraag: de antwoorden van échte respondenten uit het validatiecentrum gaan nooit naar een AI-dienst.
Dat is geen instelling die je aan of uit kunt zetten, maar een eigenschap van hoe het gebouwd is. Het synthetische onderzoek en de echte antwoorden zijn twee gescheiden sporen, met eigen tabellen en eigen aantallen, en alleen het eerste spoor raakt een taalmodel.
Van je eigen invoer gaat wél materiaal naar het model: je propositie, je doelgroepbeschrijving, je onderzoeksvragen en de context die je in stap 3 meegeeft. Dat is precies wat het onderzoek scherper maakt. De intake vraagt daarom expliciet om er geen namen, e-mailadressen of andere contactgegevens van personen in te zetten: die zijn niet nodig, en wat je niet aanlevert kan ook niet verwerkt worden.