Statistiek valkuil #4: Zuivere steekproef

Er zijn veel argumenten om je beslissingen te laten leiden door data. “Cijfers liegen niet” wordt er vaak geroepen. Op het eerste gezicht is dat helemaal waar. Data is een onpartijdige weergave van de realiteit en een goede toets voor aannames en onderbuikgevoelens. Helaas is het niet altijd even makkelijk om data op de juiste manier te interpreteren. Niet voor niets wordt op Universiteiten in Nederland bijna zonder uitzondering een deel van het curriculum gevuld met statistiek lessen. Wie werkt met data loopt kans om in een van de vele valkuilen te trappen. In deze serie blogs zullen we een aantal veel voorkomende valkuilen uitleggen en geven we je ook concrete tips om ze te omzeilen. In dit vierde en laatste blog van deze serie bespreken we de ‘Zuivere Steekproef’.

De zoektocht naar een zuivere steekproef:

We verzamelen tegenwoordig allemaal zo veel mogelijk data. Data is immers het “nieuwe goud” en moet ons helpen om betere beslissingen te nemen. In de afgelopen blogs hebben we laten zien dat je goed moet opletten hoe je de data analyseert om te voorkomen dat je de verkeerde conclusie trekt. Vandaag leggen we je uit dat ook de manier waarop je de data verzamelt grote invloed kan hebben op het verkrijgen van de juiste resultaten.

In 1948 ging de Amerikaanse presidentsverkiezing tussen de Truman en Dewey. Het was een spannende strijd, maar de krant The Chicago Daily Tribune wist het zeker. Zij hadden een peiling uitgevoerd en de winst zou gaan naar de republikeinse kandidaat Dewey. Zo zeker waren ze van hun zaak dat ze de krant van 6 juni al hadden gedrukt met de kop “Dewey defeats Truman” voordat de officiële uitslag bekend was. De uitslag was echter een overweldigende winst in het voordeel van Truman, die triomfantelijk met de krant in zijn hand poseerde voor de fotografen.

Wat was er mis gegaan?

De krant had de peilingen uitgevoerd door willekeurig telefoonnummers uit te kiezen en te bellen met de vraag op wie de persoon die de telefoon opnam zou stemmen. In 1948 was de huistelefoon echter een luxe artikel en waren het dus vooral de rijkere middenklasse Amerikanen die een telefoonnummer hadden. De steekproef van de krant had daardoor een oververtegenwoordiging van Republikeinen.

Een andere valkuil met het verzamelen van data is de zogeheten “survivorship bias”. In de tweede wereldoorlog deed het Amerikaanse leger onderzoek naar hun gevechtsvliegtuigen. Zij wilden de vliegtuigen verstevigen met extra pantser. Om te bepalen waar ze het extra pantser moesten plaatsen keken zij naar de kogelgaten in vliegtuigen die waren terug gekeerd nadat zij beschoten waren.

Initieel besloten zij om pantser op de romp en vleugel uiteinden te plaatsen. Immers, dat is waar de vliegtuigen het vaakst werden geraakt. Statisticus Abraham Wald adviseerde echter om juist de cockpit en motoren te verstevigen. Waarom? Omdat de vliegtuigen die werden geanalyseerd allemaal zijn terug gevlogen. De vliegtuigen waarvan de cockpit of motoren werden beschoten waren allemaal neergegaan en maakten dus geen onderdeel uit van de set aan vliegtuigen in de analyse.

Het is dus belangrijk om goed stil te staan bij wie of wat je meet bij het verzamelen van data, maar ook hoe je de meting uitvoert kan onbedoelde effecten hebben. Stel bijvoorbeeld je vraagt een groep mensen per enquête welke kleur ze het mooist vinden: rood, groen of geel? De resultaten zijn:

Je kunt dan niet stellen dat hun favoriete kleur groen is, hooguit dat het de voorkeur geniet boven rood en geel. Je hebt hen immers de keuze gegeven tussen die drie opties, maar kleuren als blauw of oranje konden niet als antwoord gegeven worden. Ook factoren als de formulering van de vraag en zelfs de volgorde waarin je ze stelt kunnen de antwoorden beïnvloeden.

Sterker nog, het feit dat je een effect probeert te meten kan invloed hebben op de waarden die je meet. Dat klinkt paradoxaal, maar het is een bekend fenomeen wat ook wel bekend staat als het “Hawthorne Effect”. Hawthorne Works was een fabriek in Illinois in de jaren 20 waar men probeerde de efficiency te verhogen door kleine aanpassingen te maken en vervolgens te onderzoeken wat het effect was op de productiviteit. De meeste aanpassingen leken tijdens het onderzoek zelf een positief effect te hebben, maar deze effecten verdwenen vrijwel direct na het stoppen van het onderzoek. Uit de analyse bleek dat de werknemers harder hun best deden zodra de onderzoekers hen “op de vingers keken”. Een vergelijkbaar effect zien we ook vaak terug in exit polls bij verkiezingen waarbij stemmers tegen de onderzoeker vaak zeggen op de “sociaal wenselijke” partij gestemd te hebben maar in werkelijkheid op een heel andere partij hebben gestemd.

4 Tips voor goede steekproeven

Een goede analyse begint dus bij het verzamelen van goede data. Je zult bij het werken met data vaak het mantra “garbage in is garbage out” horen. We geven je een paar tips om de kwaliteit van je steekproef te verbeteren:

#1 Willekeurige steekproeven

Als je niet alle transacties kunt meten, probeer zo veel mogelijk te werken met willekeurige steekproeven. Hoe willekeuriger hoe beter, dus varieer bijvoorbeeld ook in de momenten waarop je meet.

#2 Quota

Als je van tevoren weet welke factoren (grote) invloed hebben op je proces kun je jouw steekproef voorzien van quota. Is bijvoorbeeld geslacht belangrijk en weet je dat de verdeling man-vrouw in jouw doelgroep 50%-50% is, dan bevraag je 10 mannen en 10 vrouwen (dit heet ook wel “Stratified Sampling”).

#3 Stratified Sampling

Als je genoeg data hebt verzameld kun je ook achteraf alsnog Stratified Sampling toepassen door uit je volledige dataset willekeurig meetpunten te trekken die voldoen aan de gevraagde categorieën en de rest van de data niet mee te nemen in je onderzoek.

#4 Goede steekproef

Het Hawthorne effect treed vooral op als de geobserveerde personen zich bedreigd voelen. Voor een goede steekproef is het in je eigen belang om te zorgen voor een sociaal veilige en open sfeer. Soms is het mogelijk om te meten zonder dat de geobserveerde persoon zich daarvan bewust is, maar let daarbij wel op voor ethische en morele bezwaren.

Geschreven door Lennaert van den Brink
Senior Consultant