Piackutatás blog

 

 

Terry: Abszolúte felismerjük őket, hiszen amikor egy online populációt veszünk figyelembe, a toborzási módszerből származó hibák jelen vannak egészen a technológiai és hasonló kérdésekig visszamenőleg. Próbáljuk kitanítani ügyfeleinket a mintapopulációban előforduló hibákkal kapcsolatban. Az emberek insightokat tanulmányoznak, és sokszor az online reprezentativitás nem kivitelezhető, de jó, előrejelzés értékű mintát kaphatunk, ami jellemzi egy érintett szektor legfontosabb gondolatait. Így sok célmintavételezést végzünk, és igyekszünk biztosítani, hogy olyan témákat érintsünk, amiket az ügyfeleink elvárnak.

 

Tim: Beleszólhatok? Szerintem elég nagy a veszélye annak, ha egyértelműen kijelentjük, hogy ‘az online mintavételezésnek vannak bizonyos hátulütői, és csak erre vagy arra jók ebből kifolyólag’. Ne értsenek félre – én vagyok az első, aki azt mondja, hogy az online mintavételezésnek sok a hátulütője. De tudod mit? A telefonos mintavételezésnek is sok a hátulütője, és a személyesnek is. A tény az, hogy minden egyes módszernek megvan a maga hibája. Véleményem szerint, amiben az online nagyon erős, az annak a fókusza, miszerint nagyon pontosnak kell lenni abban, amit teszünk, így gyakran olyan pontossá, ha nem pontosabbá válik, mint más módszerek. Gyakran az a feltételezés, hogy más módszerek jók, az online meg nem. Ez egyszerűen nem így van.

 

Jeffrey: Éppen most fejeztünk be egy véletlenszerű digitális hívásos (RDD) terepmunkát, aztán a végén, ha megnézed, nincsen senki az országban, aki 24 év alatt lenne. Ha a legtisztább, valószínűségi mintavételezést akarjuk az interneten, akkor olyasmit kell csinálni, mint a lakcím-alapú mintavételezés, melyben számítógéppel nem rendelkező embereket azonosítunk be, majd adunk nekik egy gépet. Ez nyilvánvalóan nagyon költséges módszer. Ezek nem olyan problémák, melyek egy bizonyos módozathoz kapcsolódnak, hanem összetettebb kérdések, melyek az adatgyűjtés minden módozatát érintik.

 

Tim: A másik gyakori vitatéma az, hogy a statisztikai mintavételezés teóriája nagyon durván véve egy végtelen populációból történő véletlenszerű mintavételezésre alapul. Amikor gazdasági témákat kutatunk, soha nem egy végtelen világot vizsgálunk, és nagyon ritkán vizsgáljuk az egész univerzumot. De ha szigorúan véve akarjuk egyértelműen meghatározni mi is az univerzum, akkor legalább megértjük, milyen ellentmondásokkal van dolgunk – mert, hogy mindig vannak ellentmondások, amikor kutatást végzünk. Ekkor legalább biztosak lehetünk az eredmények megbecsülhetőségében, amennyire csak lehet. És ez igaz bárkire, akivel csak kutatásokat végzünk.

 

 

Adrian: Az internet irányelvek esetében szükséges az aktualizálás. Legutóbb 2006-ban írták meg őket. A következő hat hónapban egy újabb konzultációs fázison haladunk majd keresztül, amikor újraírjuk az internet irányelveket az átvizsgált működési kódok alapján.

 

 

Adrian: Elég nagy szünet ez. És nagyon nagy szükség van a revízióra. Ezért ez a prioritás 2010-re nézve. Nem fogjuk elkapkodni, a téma komplexitása miatt. Sok a kényes pont, ami azt jelenti, hogy egy hosszabb konzultációs perióduson kell keresztül mennünk. A kérdésre, hogy ez mit jelent a sztenderdek szempontjából: a megfelelő eszköz a megfelelő munkára. Hisszük, hogy az online módszer, akár kvóta szerinti, akár reprezentatív mintavételezéssel, alkalmas lehet a feladatra. A sztenderdek témája, valójában a kutatási gyakorlatról szól, és még ha a DIY kutatások világában is élünk, akkor is elegendő érdeklődést szentelnek a megfelelő kérdések feltevésével – hogy kivel is beszélünk -, a megfelelő felmérési eszközzel és hasonló témákkal kapcsolatban. Az online módszerek gyakorlatilag bárki számára lehetővé tették a felmérések készítését bármivel kapcsolatban. Így szükséges, hogy ne veszítsük szem elől a minőséget, aminek megtartásáért olyan keményen küzdöttünk.

 

Terry: Amit eddig tapasztaltunk, az értékcsökkenése minden érvényes eszköznek, amit eddig leteszteltek vagy normalizáltak, vagy ami mögött bármilyen igazán jó kutatási ötlet, tervezés van. Szerintem néhányan ezt átvitték a mintavételezésre is, mert az emberek azokkal a rosszul megírt, vagy egyórás, hihetetlenül unalmas felmérésekkel keresik meg a mintakölcsönzőket, egyik összehasonlító táblázatot akarják a másik után, ami aztán lerontja a mintavételezési részt is. E sztenderdek érintetlenségének biztosítása, hogy az emberek meg is értsék, hogyan építsék fel kutatási módszerüket, nagy hatással van arra, amit a másik oldalon kapunk.

 

Jeffrey: Nem tételezhetjük fel, hogy a felmérések minőségének csak egy szempontja van. Az emberek az access panelekkel kapcsolatban hibaszázalékokkal számoltak akkor is, ha nem kellett volna, mert könnyű volt azokkal számolni, és valahogy elfelejtették, hogy nem volt rájuk szükség, így végül túlságosan is rákoncentráltak erre. Hogy fejlesszük a kutatás minőségét, akár offline, akár online, mindent figyelembe kell venni: lefedettség, nem a válaszadásból eredő hibák, rávezető kérdések, ‘kielégítőség’.

 

Tim: Nagyon jó pont ez. Az történt, hogy az online gyorsabbá tette a kutatást, de ami gyorsabb lett, az adatgyűjtés. A gondolkodási idő az elején és a végén, elvileg egyáltalán nem kellett volna, hogy változzon, de valahogy minden begyorsult egyidejűleg. Szerintem a legnagyobb hatás a felmérések különbségében, ha a módszert nézzük, abban nyilvánul meg, amit én tervezési hatásnak nevezek. Ültem a szobában az ügyféllel, és azt mondták, ‘Azok az adatok mások, mint amaz az adatok, mert az online volt, amaz pedig offline.’ Nonszensz – azért más, mert az egy buta kérdés volt, amaz pedig egy jó kérdés.

 

Adrian: Igazad van, az elvárás a határidők csökkentésének irányába azt jelentette, hogy minden összébb ment, kisebb lett, ami nem volt túl okos dolog. Mindez nettó eredménye egy kevésbé erős kutatási iparág.

 

Research: Tim, milyen sűrűn találod magad a YouGov online módszereinek megvédésén a szkeptikusokkal szemben?

 

Tim: Elég gyakran, ez igaz. Gyakran meglepődünk – emlékeztetnünk kell magunkat: ‘Istenem, az emberek még mindig nem értik.’ Amikor ‘megbecsülhető eredményekről’ beszélünk, akkor léteznek körülöttünk megbecsülhető eredmények, amiket általános választásoknak hívnak, és időről időre megmutatjuk, hogy amit csinálunk megbecsülhető a vizsgált populációra nézve. Ennél tisztábban nem megfogalmazható, és néha ellustultunk, ill. feledékenyek lettünk, hogy van még dolgunk a fennmaradó emberekkel kapcsolatosan. Körülbelül minden ajánlatban, amit ügyfeleinknek adunk, egyértelmű okfejtés található a reprezentativitásról.

 

Adrian: Gondolom ez szokatlan felfogás manapság. A gazdasági jellegű kutatásokban a tudományos oldalt egyre inkább semmibe veszik. Online és kész. Miért online? Nincs vita.

 

Jeffrey: Igazad van. Senki sem vitatja, honnan származik a minta, hogyan állították elő. Ezt csak úgy elfogadják. Tehát, ha megnézik, és elgondolkodnak azon ‘Hogyan is csinálták ezt?’, fogalmuk sincs. Nem is beszélnek egyáltalán róla.

 

Adrian: Az ügyfeleknek több kérdést kellene feltenniük, és még akkor is meg kell válaszolnunk a kérdéseket, ha nem is teszik fel azokat.