Naar inhoud

De significante steekproef en diverse andere misverstanden

Marktonderzoek is veranderd, maar toch hetzelfde gebleven. Het gereedschap waarmee onderzoek wordt uitgevoerd, is nu voor iedereen beschikbaar. Iedereen kan een vragenlijst programmeren in een doe-het-zelf tool en deze laten invullen door online ingekochte respondenten. Vervolgens is het eenvoudig om een aantal automatisch gegenereerde grafieken uit te draaien en het onderzoek is klaar. Maar… als je een hamer koopt, ben je nog geen timmerman.

Marktonderzoek levert marketeers een zeer nuttige spiegel op. Maar ondervraag je de verkeerde of onvoldoende mensen, dan wordt het een lachspiegel die een vervormd beeld geeft. In dit artikel zet ik een aantal aandachtspunten op een rijtje, waarmee je voorkomt dat je straks in zo’n lachspiegel kijkt.

Als je onderzoek gaat doen door middel van het ondervragen van mensen, sta je op een gegeven moment stil bij de vraag welke mensen en hoeveel mensen je wilt ondervragen. Daaraan gekoppeld is de vraag waar je die mensen vindt. Je betreedt het terrein ‘steekproef’, één van de lastigste onderwerpen in marktonderzoek.

De theorie achter steekproeftrekking vertelt ons het volgende:

  • Als je van een bepaalde groep mensen wilt weten hoe ze over iets denken, hoef je niet de hele groep te ondervragen, maar krijg je met het ondervragen van een deel ook een behoorlijk goed beeld;
  • Voorwaarde is wel dat de groep die je onderzoekt voldoende groot is en een goede afspiegeling is van de totale groep waarover je iets wilt weten.

Je moet een aantal keuzes maken om de gewenste steekproef voor een onderzoek te bepalen, onder andere over de gewenste samenstelling van je steekproef en de grootte ervan.

Wat is een ‘goede’ steekproef?

Voor ik verder ga, wil ik eerst een misverstand uit de wereld helpen. Vaak wordt gedacht dat een grote steekproef automatisch een goede, want representatieve steekproef is. Dit is geenszins het geval. Als een steekproef geen goede weergave is van de groep mensen waarover je iets wilt zeggen, maakt het niet uit hoe groot deze is, je zult nooit een goede steekproef hebben. Kijk eens naar de onderstaande voorbeelden en bedenk welke van deze steekproeven de beste is:

  • 20.000 bezoekers van de website van het consumentenprogramma Kassa;
  • 500 mensen die tijdens het winkelen in de Kalverstraat op zaterdagmiddag worden aangesproken;
  • 25 willekeurig gekozen huisvrouwen die telefonisch benaderd worden.

Het antwoord op de vraag wat de beste steekproef is, kan je zo niet geven. Dit wordt namelijk bepaald door de vraag over wie we iets te weten willen komen. Maar laat duidelijk zijn dat de website van Kassa vaak bezocht zal worden door zelfbewuste, kritische consumenten en daarmee vormen ze een afwijkende groep. Tenzij…. de populatie waarover je uitspraken wilt doen, bestaat uit de bezoekers van die website. Hetzelfde geldt voor het winkelend publiek in de Kalverstraat. Wellicht enigszins representatief voor winkelend publiek in Amsterdam, maar niet representatief voor heel Nederland. Stel bijvoorbeeld dat je onderzoek zou doen naar de bekendheid van musea. Ga je uitsluitend in de Kalverstraat interviewen, dan kun je er op wachten dat je de bekendheid van Amsterdamse musea overschat.

Denk dus na over hoe de groep mensen (populatie) waarover je onderzoek gaat, er uit ziet. Dit kun je doen in een paar stappen:

  • Wat zijn relevante kenmerken? Doe je bijvoorbeeld onderzoek over bepaalde politieke issues, dan is de politieke voorkeur een belangrijk kenmerk.
  • Hoe ziet de populatie eruit, kijkend naar die kenmerken? In het voorbeeld zou je kunnen kijken naar de laatste verkiezingsuitslag en die als uitgangspunt nemen voor de gewenste samenstelling van je steekproef.
  • Controleer of je steekproef genoeg lijkt op deze groep mensen. Dit doe je door een aantal vragen stellen over op welke partij men de laatste keer gestemd heeft.

Wazige fotofinish

80 procent is niet 80 procent. Onderzoek onder een steekproef levert per definitie een afwijking op. Zolang je je bewust bent van deze afwijking, je realiseert hoe groot die afwijking kan zijn en je je best doet om die afwijking zo klein mogelijk te houden, hoeft dit geen bezwaar te zijn.

Er zijn twee soorten afwijkingen. Ten eerste is er vertekening. Dit komt bijvoorbeeld omdat je een groep mensen ondervraagt die niet helemaal representatief is voor de populatie. Maar er zijn ook andere oorzaken van vertekening, bijvoorbeeld een sturende vraagstelling. Vertekening is lastig, omdat je nooit weet hoe groot de vertekening is en je er niet voor kunt compenseren. Het enige wat je er aan kunt doen, is er voor zorgen dat mogelijke bronnen van vertekening een zo klein mogelijke invloed hebben.

En dan is er ruis. Door toevallige afwijkingen kan de uitkomst van het onderzoek afwijken van de werkelijkheid. Ruis is minder erg dan vertekening, omdat je gemiddeld genomen wel op de werkelijkheid uitkomt. Ook geldt dat hoe groter de steekproef, hoe minder groot de kans op toevallige afwijkingen en dus hoe minder ruis. We kunnen compenseren voor ruis door marges in acht te nemen. Je kunt ruis zien als een wazige foto. Hoe kleiner de steekproef, hoe groter de ruis en hoe waziger de foto. En hoe groter de steekproef, hoe scherper de foto. Hoe wazig de foto is, kun je berekenen.

Ter illustratie wat cijfers. Stel, je hebt een onderzoek gedaan onder 75 mannen en 75 vrouwen. Er komt uit dat 45 procent van de mannen de voorkeur heeft voor een advertentie met een blauwe achtergrond en 60 procent van de vrouwen de voorkeur voor een advertentie met een groene achtergrond. Mogen we dan concluderen dat vrouwen en mannen een afwijkende voorkeur hebben? Nee. Want wat we in werkelijkheid weten, is dat, met 95 procent betrouwbaarheid, tussen de 33,7 procent en 56,3 procent van de mannen de voorkeur geeft aan blauw en tussen de 48,9 procent en 71,1 procent van de vrouwen een voorkeur heeft voor een groene achtergrond. Omdat deze intervallen elkaar voor een behoorlijk deel overlappen, kunnen we er dus niet helemaal zeker van zijn dat er daadwerkelijk een verschil is, de kans is minder dan 95 procent. Zou je in plaats van 75 mannen en 75 vrouwen 100 mannen en 100 vrouwen ondervraagd hebben, dan overlapt het interval nog steeds een klein beetje, maar de kans dat de voorkeuren in werkelijkheid verschillend zijn, is groter dan 95 procent. En zou je in plaats van 95 procent betrouwbaarheid 90 procent betrouwbaarheid voldoende vinden, dan zou je ook kunnen concluderen dat bij de steekproefgrootte van 75 mannen en vrouwen een afwijkende voorkeur hebben.

Wat ik hierboven omschreven heb, is de uitkomst van een significantietoets. Je kunt er verschillende van vinden op het internet, in de meeste gevallen gratis en eenvoudig te gebruiken.

De boodschap dat een cijfer niet zo nauwkeurig is als je dat je zou willen, is een lastige voor gebruikers van marktonderzoek. Zo heb ik jarenlang een discussie met een opdrachtgever gehad of je op basis van een cijfer uit onderzoek kunt zeggen of een bepaalde website de beste in een sector is. Nee dus, want de finishfoto is zo wazig dat het niet mogelijk is om een winnaar aan te wijzen. De conclusie is dan niet dat een bepaalde website de beste is, maar dat de scores van de websites nagenoeg gelijk zijn.

Relevantie belangrijker dan significantie

In commercieel marktonderzoek wordt vaak met kleinere steekproeven gewerkt. Uit praktische overwegingen, een grotere steekproef is vaak niet realiseerbaar of simpelweg te duur. Vaak wordt een totale steekproef van n=150 als voldoende beschouwd, terwijl de minimale n voor subgroepen op 75 wordt gesteld. Op zich niet erg, maar het betekent wel dat je volgens de regels van de statistiek weinig significante verschillen zult vinden. Staar je dus niet blind op significantietoetsen, die gaan je weinig leren. Belangrijker is de vraag of een verschil relevant is. Vind je een logisch patroon over meerdere vragen? Voor deze vragen zijn geen harde criteria en daarmee wordt de interpretatie van kwantitatief onderzoek kwalitatiever van aard. Je moet er als onderzoeker iets van vinden. Dit is moeilijker dan simpelweg een harde toets op de cijfers loslaten en vergt enige ervaring en ook overtuigingskracht van de kwantitatieve onderzoeker.

Zes vragen die je helpen om de juiste keuzes te maken

Vooraf nadenken helpt om te voorkomen dat je achteraf moet concluderen dat je onderzoek niet optimaal is, omdat er iets mis is met de steekproef. De onderstaande vragen beantwoorden, helpt je om vooraf alles op rijtje te hebben:

  1. Hoe ziet de populatie eruit, ofwel de groep mensen waarop ik iets wil kunnen zeggen?
  2. Op welke belangrijke kenmerken wil ik dat de steekproef representatief is?
  3. Welke vragen – selectievragen dan wel quota en controlevragen – moet ik stellen om vast te stellen wat de kwaliteit van mijn steekproef is?
  4. Hoe vind ik de juiste mensen?
  5. Hoe nauwkeurig en betrouwbaar wil ik dat de resultaten zijn?
  6. Hoe kan ik ervoor zorgen dat ze bereid zijn om mee te doen aan mijn onderzoek?

Deze vragen en hun consequenties behandelen we in de rapport ‘Steekproeven: de basis’, die je gratis kunt downloaden in de sectie ‘Whitepapers’ op CustomerTalk. Wil je meer leren over de basisbeginselen van kwantitatief onderzoek? In de workshop 'Wat is de vraag?' komt naast het onderwerp steekproef het veldwerk en de rapportage aan de orde.

De auteur is marktonderzoeksspecialist. Met zijn bedrijf http://www.inzichtimpact.nl/ helpt hij opdrachtgevers met het effectief en efficiënt inzetten van marktonderzoek. Hij is coauteur van het standaardwerk 'Wat is de vraag?', een boek over hoe je marktonderzoek zo opzet dat het precies antwoord geeft op de juiste onderzoeksvragen. Hij is tevens als kerndocent verbonden aan Beeckestijn Business School.

Bron: CustomerTalk
0
Logo CustomerTalk

Cookie-instellingen

CustomerTalk maakt gebruik van cookies voor een optimale gebruikerservaring.

Graag vragen wij je toestemming voor het plaatsen van deze cookies.

Accepteren Meer informatie