Welke AI erachter zit
Een onderzoek gebruikt AI op vijf plekken. Hier lees je welke dat zijn, en waar de AI wel en geen verschil maakt aan de uitkomst.
Vijf taken, één model per onderzoek
Je onderzoek doorloopt vijf stappen waarin AI iets doet.
Alle vijf draaien op hetzelfde model, en dat model kiezen wij. De cijfers en het betrouwbaarheidsoordeel staan daar los van: die worden in software berekend en veranderen niet mee.
Welke AI eronder zit
Je onderzoek draait op de Claude-modellen van Anthropic. Welk model precies is onze keuze en niet die van jou: het is een technische afweging die per onderzoek anders kan uitvallen, en er is niets aan te winnen door hem bij jou neer te leggen.
Wat die keuze niet raakt, is wat je uiteindelijk leest. De cijfers worden in software berekend, het betrouwbaarheidsoordeel volgt uit je soort vraag en de controles, en de vragenlijst ligt vast zodra jij hem hebt goedgekeurd. Een ander model geeft andere antwoorden en hetzelfde soort oordeel.
Voor de tweede mening kan er bewust een model van een andere aanbieder tegenover staan. Dat is dan juist het punt: twee modellen van dezelfde makelij delen hun blinde vlekken, twee van verschillende makelij niet.
Waarom antwoorden meer of minder uiteenlopen
Er is een instelling die bepaalt hoeveel variatie een model in zijn antwoorden toelaat. Bij de meeste toepassingen zet je die laag om voorspelbaar te blijven. Hier zetten we hem juist hoog, want verschil is het doel.
De nieuwste modellen accepteren die instelling niet meer. Daar komt alle variatie uit de profielen zelf: uit het feit dat de een 29 is en kritisch en de ander 58 en enthousiast.
Merkbaar gevolg: bij een smalle doelgroep kunnen de antwoorden dan dichter bij elkaar liggen. Dat blijft niet onopgemerkt, want de controle op te weinig verschil gaat er gewoon van af en dan staat het in je rapport.
Waar de AI geen invloed op heeft
- Het betrouwbaarheidsoordeel. Dat volgt uit je soort vraag, de controles en het gewicht van je beslissing.
- De cijfers. Die worden in software berekend.
- De controles op je data. Die meten de antwoorden, ongeacht welk model ze gaf.
- De vragenlijst nadat jij hem hebt goedgekeurd.
Twee modellen op dezelfde vragenlijst geven andere antwoorden maar hetzelfde soort oordeel. Wil je weten of je conclusie aan het model hangt, dan is daar de tweede mening voor.
Modellen veranderen, en dat merk je
Aanbieders brengen nieuwe versies uit en halen oude weg. Een onderzoek van vorig jaar is daarom niet exact te herhalen. Dat is een echte beperking van AI-onderzoek en die is nergens opgelost.
Wat wel gelijk blijft: de vragenlijst, de opbouw van de groep, de berekeningen en het oordeel. Zet je een oud onderzoek naast een nieuw, kijk dan naar de verhouding tussen alternatieven en niet naar de exacte getallen.
Wat er met je gegevens gebeurt
Wie welke gegevens verwerkt staat in de verwerkersovereenkomst. Eén ding hoort hier ook te staan, want het is de meestgestelde vraag: antwoorden van echte mensen die jij hebt uitgenodigd gaan nooit naar een AI-dienst.
Dat is geen instelling die aan of uit kan, maar hoe het gebouwd is. Het AI-onderzoek en de echte antwoorden zijn twee gescheiden sporen, en alleen het eerste raakt een AI-model.
Van jouw eigen invoer gaat wel materiaal naar het model: je aanbod, je doelgroep, je onderzoeksvragen en de achtergrond die je meegeeft. Dat is precies wat je onderzoek beter maakt. Zet er daarom geen gegevens van personen in. Die zijn niet nodig, en wat je niet aanlevert kan ook niet verwerkt worden.
Een deel daarvan houden we tegen. E-mailadressen, Nederlandse telefoonnummers, rekeningnummers en burgerservicenummers worden bij het opslaan geweigerd, met een melding die zegt waar het stond. Namen kunnen we niet herkennen: een naam heeft geen vaste vorm, en een controle die "Jan de Vries" herkent keurt ook je bedrijfsnaam af. Die blijven dus aan jou.