Het is een feit, en een feit dat al lang bekend is, dat verschillende online panels verschillende resultaten opleveren. Niet per se resultaten die genoeg verschillen om de insights te veranderen die je uit de resultaten zou trekken, maar genoeg om bijvoorbeeld je trackingtrends te verstoren. En misschien wel genoeg om je gemoedsrust te verstoren.
Om te begrijpen waarom dit zo is, moeten we in traditionele termen denken over steekproeven. Steekproeven, als ze willekeurig getrokken worden, vertegenwoordigen het kader waaruit ze getrokken worden. In traditionele methoden waren het kader en de populatie synoniem. Iedereen had een gelijke kans om geselecteerd te worden. Er werd slechts een deel niet gedekt, sommige mensen hadden geen telefoon, sommige adressen konden of wilden niet benaderd worden, maar dit was marginaal. De kaders voor zowel telefonisch als face-to-face onderzoek waren universeel, vastgesteld en onafhankelijk van de marktonderzoekindustrie.
Dit is nooit het geval geweest voor online. We kunnen niet universeel zijn omdat er niet één plek op het internet is waar iedereen naartoe gaat, noch één opslagplaats van persoonlijke contactgegevens van alle internetgebruikers is, en (natuurlijk) het sturen van spamberichten naar willekeurige mobiele telefoonnummers verkeerd zou zijn.
Dus vertrouwen we op ‘online access panels’ en ‘exchanges’. Wat stellen deze ‘frames’ dan voor? Niets meer dan de bronnen waaruit ze worden gerekruteerd. Elke data provider heeft zijn eigen angstvallig bewaakte reeks bronnen die ze gebruiken om te rekruteren en het is dit verschil plus wat je ‘huiseffecten’ zou kunnen noemen, afhankelijk van hoe het panel onderhouden wordt, dat ervoor zorgt dat elk panel verschillende resultaten oplevert.
Nu zorgt elke bron per definitie voor bias, omdat iedereen die uit die bron komt dat ene ding gemeen heeft. Het is dan ook logisch dat de minste bias wordt verkregen door het aantal bronnen waaruit gerekruteerd wordt te maximaliseren. Zo min mogelijk vooringenomenheid, gekoppeld aan de juiste toepassing van quotacontrole, zorgt voor maximale representativiteit. En dat is waarom multi source recruitment per definitie voor de beste, meest representatieve en accurate insights zorgt.
Dit is niet anders dan hoe steekproefpunten zouden zijn geselecteerd voor face-to-face interviews. Om het in de woorden van een leerboek over steekproeftrekking te zeggen: wat multi-sourcing bij online steekproeftrekking oplevert, is een vermindering van de clustering.
Nu hebben we het hier niet over één of twee bronnen die gemengd worden, maar over honderden, zo niet duizenden. De manier waarop online advertenties worden gekocht en verkocht betekent dat geen enkele panelaanbieder echt kan weten hoeveel bronnen zijn gebruikt voor werving. Dit is een goede zaak.
Natuurlijk, hoewel representativiteit voor veel onderzoekers erg belangrijk is, is betrouwbaarheid vaak belangrijker. Betrouwbaarheid betekent dat je keer op keer hetzelfde resultaat krijgt, wanneer hetzelfde resultaat is wat je verwacht. In het geval van een tracker is betrouwbaarheid bijna altijd vele malen belangrijker dan validiteit (d.w.z. de waarheid, die voortkomt uit representativiteit). Het is van vitaal belang dat elke verandering in de gegevens het gevolg is van veranderingen in de markt en niet van veranderingen in de steekproeven.
Dit betekent dat het monitoren en onderhouden van de bronnen die het panel voeden heel belangrijk wordt, en alleen het panelbedrijf is in staat om dit te doen. De eenvoudigste manier om dit te doen is ervoor te zorgen dat elke bron een zeer klein percentage van het panel vormt. Als je dat doet, kan elke verandering in de sourcing nooit een echte impact hebben op het panel zelf.
Om goede zakelijke redenen is dit niet altijd mogelijk. Sommige wervingsbronnen kunnen relatief groot zijn. In dat geval is het belangrijk dat de bron relatief neutraal is in zijn meningen, dat wil zeggen dat zijn antwoorden naar het gemiddelde moeten neigen. Nogmaals, als dat het geval is, dan heeft het wegvallen van die bron geen invloed op de gegevens van het panel als geheel en mogelijk alleen op de haalbaarheid.
Hetzelfde geldt voor grote kansen die zich voordoen als mogelijkheden om de totale omvang van het panel te vergroten. Hoe groter de kans, hoe zorgvuldiger de bron moet worden onderzocht op zijn plaats in het geheel van alle bronnen. De bron moet worden beoordeeld op zijn totale vertekeningspotentieel.
Natuurlijk, hoe groter de bron, hoe kleiner de kans op extreme vertekening door clustereffecten, omdat de bron waarschijnlijk algemener van aard is.
In het verlengde hiervan gelden dezelfde problemen bij sourcing ook voor individuele panels zelf, wanneer het panelbedrijf meerdere panels van een bepaald merk beheert, misschien als gevolg van consolidatie- of fusieactiviteiten.
Een bedrijf als Dynata doet dan veel moeite om inzicht te krijgen in zijn panels en wervingsbronnen. Het groepeert ze in kanalen van vergelijkbare bronnen en panels en controleert deze kanalen op enquêteniveau. Dit is een pragmatische oplossing die zorgt voor consistentie van gegevens op enquêteniveau en tegelijkertijd flexibiliteit biedt op bronniveau voor geplande of ongeplande veranderingen.
Je zou dan kunnen denken dat de slimme aanpak voor het samenstellen van panels is om alleen te werken met grote wervingsbronnen die het dichtst bij het gemiddelde zitten wat betreft de antwoorden die ze teruggeven. Maar dit zou betekenen dat niet wordt voldaan aan de laatste behoefte van onderzoekers.
Dit is de behoefte om toegang te krijgen tot zeer niche doelgroepen, die het moeilijkst te vinden zijn.
Het is per definitie moeilijk om deze mensen in algemene bronnen te vinden. De slimme manier om deze mensen te vinden is om plaatsen te vinden waar ze samenkomen op het internet, en ze daar te benaderen. Het is echter mogelijk dat deze mensen, die hun “niche-zijn” gemeen hebben, ook bevooroordeeld zijn in termen van hoe ze algemene vragen beantwoorden. En zo komen we weer terug bij hetzelfde probleem waarmee we begonnen; hoe om te gaan met bevooroordeelde bronnen.
De oplossing hangt af van de aard van de niche die ze bezetten en hoe gewild het is voor onderzoek. Als er veel vraag naar is, dan kan het zinvol zijn om een apart panel van zulke mensen samen te stellen en ze alleen te gebruiken als ze het doel van het onderzoek zijn. Als je een publiek als het zijne uit het algemene panel haalt, levert dat geen problemen op voor de geldigheid van het totale panel – het maakt tenslotte geen verschil als de hooiberg waar je naar kijkt geen naalden bevat!
Maar als er niet genoeg vraag naar is om een gespecialiseerd panel op te zetten – in gedachten houdend dat een ongebruikt panel de neiging heeft om weg te smelten – dan moeten ze in het algemene panel zitten, in potentieel grote aantallen.
Dit probleem kan worden opgelost door het laatste wapen in het arsenaal van het panelbedrijf, het gebruik van bronnen niet voor werving in een panel, maar als een ad-hoc partner waarvan het volume kan worden opgevoerd en verlaagd, direct in enquêtes afhankelijk van de vraag.
Uit dit alles moet duidelijk zijn dat multi-sourcing door panelbedrijven de oplossing is voor de praktische behoefte van onderzoekers aan steekproeven en dat een coherente aanpak van het beheer van meerdere bronnen de belangrijkste rol van het panelbedrijf vandaag de dag is.
Stefan Boom
Managing Director, Benelux & Nordics
Dynata