Nemrégiben egy meeting-en érdekes, velős kérdést szegeztek nekem: „Hogyan győződsz meg egy online működő panel hatékonyságáról?”
A válasz egyszerű. Sehogy.
Nem lehetek biztos abban, hogy a minta, amit használok, jó minőségű. Nincs olyan statisztikai adat vagy szoftver, ami képes lenne neked megmondani, hogy a paneled megbízható-e vagy sem.
Internetes panelekkel kutatást végezni olyan, mint nyaralás előtt bebiztosítani a házadat. Számos lépést kell tenned, hogy betörésmentessé tedd a házad, de a tény az, ha a betörő nagyon akarja, akkor minden elővigyázatosságod ellenére ki leszel fosztva. A rendőrök a megmondhatói: a ház bebiztosításának célja nem az, hogy lehetetlenné tegye a betörést, hanem hogy alaposan megnehezítse azt, ami így talán nem történik meg.
A minőségellenőrzés az interneten hasonlóképpen működik. Talán nem tudom 100%-ra biztosítani a panel minőségét, de rengeteg lépés van, amit ha megteszek, nagyon valószínű, hogy jó adatokat fogok kapni.
- Nézz utána, milyen minőségi ellenőrző munka folyt a különböző paneleken. A saját cégem a 12 legjelentősebb panelről szerzett információkat a válaszadóktól. Találtunk olyan panelt, mely átlagosan havonta mindössze két kutatásban való részvételre invitálja tagjait, míg egy másik havonta átlagosan 57 kutatásra! Kutasd az ehhez hasonló információkat, tanulj belőle. A jelentés összeállítása után 2 jelentős panel marad, melyet nem veszek figyelembe semmilyen körülmények között, és a többi, melyeknek figyelmet szentelek.
- Beszélj az iparág más képviselőivel. Érdekes látni, hány kutatót ismerek, akikkel különböző panelek miatt személyesen szerződtem, az ő tapasztalataik segítenek abban, mely panelt használjam és melyiket kerüljem el.
- Ha használod az adott panelt, ragaszkodj a teljes és átlátható statisztikákhoz. Hány meghívót küldtek ki, és azokra hányan válaszoltak? Hány válaszolóról van adat arra vonatkozóan, hogy gyanúsan gyorsan adott válaszokat és túlságosan egyértelműen? (Ha túl sokan vannak, felmerül a válaszoló valódiságának kérdése, ha pedig túl kevesen, akkor azt jelentheti, hogy kevés embert érdekel az adott probléma.)
- Ha a minta demográfiai mutatóira nézel, vegyél figyelembe minden szempontot, ne csupán a kitöltést. Vedd számításba az embereket, akik megszakítják az interjú középső szakaszát, ugyanúgy azokat is, akik nem alkalmasak a kutatásban való részvételre. Talán nemek szempontjából tökéletes eloszlást fogsz tapasztalni a teljes mintában, ha azonban az előfordulás 30%, a kísérletek aránya pedig 70/30 női-férfi megoszlásban, akkor torzulást észlelhetsz.
- Értékeld az érvényességet, és ne csak demográfiai szempontból. Számos más ismert faktor áll rendelkezésre az USA népességéről, melyek segíthetnek meghatározni azt, hogy a kutatásod reprezentatív-e. Például egy vallásról szóló tanulmány esetén ismert az amerikaiak aránya arról, mely felekezetekhez tartoznak. Ha tudjuk, hogy a templomba járó amerikaiak 5%-a luteránus, míg a mi kutatásunk szerint a luteránusok aránya 20%, akkor potenciális problémával állunk szemben. Megpróbálhatod felmérni azon válaszadók arányát, akik republikánusok, kutyájuk van, haszongépjárművet vezetnek, aztán összevetheted az adatokat az ismert népességi mutatókkal.
- Vedd figyelembe, kivel működsz együtt. Hogyan reagálnak a kérdéseidre, aggodalmaidra? Folyamatosan magyarázatot kérnek tőled, hogy elkerüljék a rendellenességeket, és folyton elnézést kérnek a paneljeik miatt?
- Folytass mélyreható beszélgetést a panelek menedzsereivel. Meg fogsz lepődni, mennyit tanulhatsz így a panelekről. Kérdezz a tipikus válaszadói rátákról és a válaszadás folyamatának hosszúságáról. A kapott válaszokat vesd össze saját tapasztalataiddal.
- Értékeld, hogy a különböző panelek mire koncentrálnak, ha önmagukat kell bemutatni. Például egy adott panel komoly hangsúlyt fektet rá, hogy ugyanazok a válaszadók újból ne töltsék ki a kérdőívet. Gondolkodj ezen egy pillanatig. Van két panelünk, mindkettőnek milliós tagsága. Ezek közül a tagok közül tegyük fel, hogy 500 válaszadód van mindegyik panelből. Ha csak nem extrém módon alacsony a véletlenszerűség (például gördeszkás nagymamákra vadászol) mik az esélyei, hogy szembesülsz pont ugyanazzal az 500 emberrel, akiket az 1 millióból választottál ki 2 különböző panelhez? Vagy éppen ezért kell ezt a panelt választanom? Úgy tűnik számomra, hogy erőfeszítéseik a panelek minőségének fenntartására rossz irányt vesznek.
- Legyél tisztában mindazokkal az elvárásokkal, amelyeket a használt panelekkel szemben támasztasz. Például, nem célszerű kérdőívet használni, ha a cég portált alkalmaz (a portál az a terep, ahol a cég néhány megelőző kérdést tesz fel abból a célból, hogy felmérje a jellemzőket más tanulmányok számára). Azt sem szeretném, ha más kérdőívek kérdései befolyásolnák a saját mintámat. Nem fogok elfogadni olyan céget sem, amely más cégek paneljét használja fel tanulmányomhoz az előzetes jóváhagyásom nélkül.
- Ha kiadod a munkát alvállalkozásban egy cégnek, mely kiválasztja, melyik panelt használja, légy tudatában annak, mit választott, és miért azt. Az ügyfelek egyszerűen átnéznek olyan dolgokon, mint a terepmunka, és a kérdőívekre, jelentésekre koncentrálnak. Azonban megfelelő terep-előkészítés nélkül minden dizájn és jelentés jelentéktelenné válik (vagy ami rosszabb, hamis adatokat eredményez).
- Mindenekelőtt: légy kételkedő! Fogadd el, hogy minden projekted során rengeteg selejt keletkezik egészen addig, amíg meg nem tapasztalod, hogyan kell az adatok valósághűségét megállapítani. Úgy vélem, egy panel sem „hibátlan, amíg az ellenkezője be nem bizonyosodik”, szerintem minden panel „hibás, amíg az ellenkezője be nem bizonyosodik”- minden projekt esetében. Folyamatosan ellenőrizd az adatok helyességét, így sokkal nagyobb az esélyed, hogy amit találsz, valóban megbízható.
Ez csupán néhány ötlet volt az online használható panelekről. Ugyanannyit érnek, mint ha megállsz újságolvasás közben, betörés elleni riasztót szereltetsz fel, kivilágítod a házadat, és megkéred a szomszédokat, hogy figyeljenek, míg távol vagy: mindezek nem garantálják a sikert, de sokkal nagyobb valószínűséget adnak annak.
