Esetleg javaslom megkérdezni a hazai panelszolgáltatókat :) és akkor tudnátok, hogy például az NRC Netpanel rendszerében már több mint 7 éve működik "optimus" típusú, sőt fejlettebb minőségi válaszadókat garantáló szoftveres ellenőrzés. Egyébként az ilyen digitális ujjlenyomat ellenőrzés csak az egyik fontos eleme az ellenőrzési rendszernek és érdemes a szoftveres ellenőrzés mellett adategyeztető kérdéseket is használni a válaszadók ellenőrzésére. Amúgy a többszöri kitöltés, a gyorskitöltés, a „nem a regisztrált tag válaszolt” típusú csalások kiszűrése a legkönnyebb, éppen ezért nem is értem, hogy ezt miért nem tudták (akarták) a nemzetközi panelszolgáltatók egy része, már évekkel ezeket az ellenőrzéseket bevezetni.

Azt tudni kell, hogy az etikátlan válaszadók, válaszadói „farmok” azért létezhetnek mert a nem piackutató cégek által ellenőrzött válaszadói access panelek esetében a paneltulajdonosok úgy döntöttek, hogy minden egyes válaszadó, válaszaiért fizetnek, vagy olyan előnyökhöz juttatják a válaszadókat, amelyek miatt érdemes a kutatásban csaló módon részt venni. Ez a fajta motivációs gyakorlat vezetett oda, hogy most már évek óta egyre nagyobb bizalmi válságba kerülnek a piackutató cégek, hiszen ők rendelik meg az „etikátlan válaszadókat” ezektől a panelektől. Az ellenőrzés kikerült a kutató cégek köréből és ez már rövidtávon megölheti a piackutatási szakmát, egy olyanfajta bizalmi válsághoz vezethet, amelyből nem biztos, hogy élve kerülünk ki.

Sajnos a hazai szintéren is megjelentek a „csaló panelek”, akik szintén pénzt kínálnak a válaszokért és olyan olcsó válaszadókat adnak, amelyeknek még a hazai kutató cégek, megrendelők sem tudnak ellenálli és simán megveszik a két-háromszáz forintos embereket, akik jó esetben tényleges válaszadók, rossz esetben robotok vagy éppen már találkoztunk olyannal is, hogy egy nagy távol keleti ország IP címei mögött ülő random kattintgatók. És a durva ebben az, hogy nem veszi észre a szakma a nagy árversenyben, hogy ha nem áll ki a minőségi kutatás, akkor saját maga alatt vágja fát.

És persze lehet azt mondani nekem, mint a paneltulajdonosnak, hogy: „savanyú a szőlő és csak fáj, hogy nem tudom drágán eladni a saját panelem szolgáltatásait. És ez csak siránkozás. ”, de az igazság az, hogy drágán eddig sem tudtam eladni a válaszadókat, de olyan áron igen, amely mellett lehetett minőséget garantálni, panelt építeni, olyan ellenőrzési rendszereket fejleszteni, amelyek költségesek ugyan, de garantálják azt, hogy a válaszadók valósak és valós válaszokat adnak. Azt gondolom, hogy a minőség iránti elkötelezettségemet még a szakmán belül sem kérdőjelezi meg senki, aki ismer, hiszen többször bizonyítottuk már, legutóbb a múltkori választásnál (onlime.blog.hu/2010/04/13/mukodik_avagy_valasztasi_elorejelzesunk), hogy lehet megbízható és hiteles online kutatásokat csinálni. Mivel szeretnék 10 év múlva is piackutatóként dolgozni, ezért azt gondolom, hogy nem csak a saját cégét kell építenie mindenkinek, hanem a közös piacunkat is. Ezt a piacot összefogással nemcsak megvédeni tudjuk a kóklerek ellen, de növelni is azzal, ha az egész szakma, a szakmai szervezetekben lévő cégek a minőségi piackutatás mögé állnak nemcsak szavakkal, hanem tettekkel is, mint történt ez a kvalitatív minőségbiztosítási és ellenőrzési rendszer kidolgozásánál (www.pixer.hu).

Egy biztos. Lehet minőségi online piackutatást csinálni hazánkban, sőt még inkább, mint nyugaton, hiszen itt több online panel is van (GFK, Ipsos, Kutatócentrum, NRC NetPanel), amelyet kutató cégek menedzselnek, és akik nem pénzt adnak a válaszokért, nem pontgyűjtési módszerekkel növelik a válaszadási hajlandóságot. Az utóbbi két cég, pedig hazai kutató cégeknek is nyújt adatfelvételi szolgáltatást, tehát a Megbízók nemcsak az említett négy cégen keresztül juthatnak minőségi adatfelvételhez, hanem a többi kutató cégeken keresztül is, akik szintén megbízható panelt használnak adatfelvételre.

A kutató cégeknek és az ügyfeleknek is szigorú követelményeket kell számon kérnie az online panelt menedzselő cégektől a panelépítési, menedzselési módszerekkel és a minőségbiztosítással kapcsolatban is. Egy jó kis vezérfonal lehet erre az ESOMAR nemzetközi piackutatási szervezet által kiadott kérdéssora, amelyet NRC-s válaszokkal itt lehet elérni: www.nrc.hu/hirek?news_id=517&page=details

A véleményem pedig az, hogy azokat a paneleket messze el kellene kerülni a megbízóknak, ahol pontgyűjtéssel, fizetéssel vagy egyéb olyan előnyökkel jár egy kérdőív kitöltőse, amely miatt érdemes csalnia a válaszadóknak.

Néhány észrevétel a fentiekkel kapcsolatban:
HA KI TUDJUK SZŰRNI A CSALÓKAT, akkor szerintem jobb az a minta, ami egy pontgyűjtős panelből származik, mint egy sorsolásos panelből származó. Az emberek sokkal szélesebb köre hajlandó biztos, kis összegű juttatásért (=pontért) kutatási panelbe regisztrálni és kérdőivet kitölteni, mint bizonytalan nyereményért. Persze nem akarunk reprezentatív kutatást, nem erről van szó, mégis a józan eszem azt mondja, hogy jobb abból a panelből származó minta, amelyik az emberek 40%-ból merít és 50%-os a válaszolási hajlandóság, mint egy olyan panelből származó, amelyikbe elméleti szinten is csak az emberek 10%-a regisztrálna, és a válaszolási hajlandóság is csak 20-30%. Kiváncsi lennék, hogy az ügyfelek hogyan gondolkodnak erről.

A csalókat márpedig ki tudjuk szűrni. Nem mondom, hogy 100%-át, de 99.9%-át, akarat és pénz kérdése. Ha valaki 3 teljesen különbőző profillal regisztrál, egyel otthonról, egyel a szomszédból és egyel a kávézóból, és minden egyes kérdőiv kitőltésénél becsületesen végigjárja ezt a három helyszint, akkor is ott lesz egy szoftver, ami ki fogja szűrni, mert a második kérdőiv közepén elmegy a kedve az egésztől és fél perc alatt fogja végigkattintani a kérdőivet. A robotokról azért nem beszélek, mert azokat kisebb kihivás kiszűrni mint a csalafinta embereket. Szerencsénkre a világ hackerei nagyobb üzletet látnak bankkártya adatok lopásában, mint kérdőivek kitöltéséért kapott pontokban.

Azzal egyetértek, hogy Magyarországon az alacsony árszint miatt a sorsolás tűnik a szerencsésebb útnak. Kétségtelenül kevesebb csalót vonz, így olcsóbban meg lehet oldani a panel minőségének fenntartását.

Az általános minőségi aggályokkal kapcsolatban pedig úgy gondolom, az ügyfelek el tudják dönteni, mi jó nekik és mi nem. Ha használhatatlan eredményeket kapnak, akkor a második kutatást már nem fogják megrendelni. Szerencsére nem ez a helyzet. Az pedig hogy néha hangot adnak aggályaiknak és minőséggel kapcsolatos elvárásaiknak, nem jelenti azt, hogy az online kutatások alapjaiban rosszak lennének.

@Kerekes Géza: Szia! Muszáj válaszolnom :)

1. Azzal egyetértek, hogy ki lehet szűrni a csaló válaszadókat. Igaz ehhez nem elég csak szoftveres megoldásokat kidolgozni, ehhez manuális adattisztításra és egyéb összehasonlító megoldásokra is szükség van. Ahogy az NRC csinálja :)

2. Talán az is igaz, hogy az emberek szélesebb köre hajlandó pénzért válaszokat adni, azonban ezek az emberek egy része csaló válaszadó, vagy robotok (a robotok kiszűrése nem is olyan egyszerű, ahogy te azt állítod), vagy egy kattintgató farm tagja, míg a másik része órabérét ad válaszokat, tehát egy erősen profitorientált, attitűdben eltérő panelt építhetsz ezzel az ösztönző megoldással. Tehát bár a paneledben több embered lesz, azonban a panelminőséged kritikán aluli lesz egy idő után. Én pedig a minőségi panelépítésről beszélek.

3. A reprezentatív kutatás nem panelméret, hanem panelösszetétel és végső soron panelminőség kérdése. Tehát lehet reprezentatív kutatás online csinálni csak nem mindegyik célcsoportra. Sajnos a nemzetköz porondon, de néha a hazain is tapasztalható az, hogy a panelcégek egy része azt hiszi, hogy a reprezentativitás kérdése csak és kizárólag a „nem”, a kor, az iskolai végzettség, település típus stb. változók megfelelő súlyozásán nyugszik (bár néha nem is súlyoznak csak vesznek 1000 választ). Ez pedig egy nagy tévedés és ezért is jelennek még néha olyan online kutatási eredmények, amelyekért, mint szakember én szégyellem magam mások hozzá nem értése miatt. A reprezentatív kutatáshoz minőségi panel szükséges. Ahhoz, hogy reprezentatív online kutatást készíts fontos tudnod, hogy milyen ún. puha, attitűdváltozók mentén kell még reprezentatívvá tenned a mintádat. És sajnos, ha valaki sűrű fillérekért kap válaszadókat, kattintgatókat, akkor garantálom neked, hogy nem tudsz megfelelő minőségű panelt építeni ezért minden más szempontból is kétségessé válik a kutatásod minősége.

4. Formál logikai szempontból teljesen igazad van abban, hogy „jobb abból a panelből származó minta, amelyik az emberek 40%-ból merít és 50%-os a válaszolási hajlandóság, mint egy olyan panelből származó, amelyikbe elméleti szinten is csak az emberek 10%-a regisztrálna, és a válaszolási hajlandóság is csak 20-30%”. A számok azonban nekem nem stimmelnek. Tudsz valami forrást adni arról, hogy ezek a számok, hogy 40%-ból merít és 50%-os a válaszadási hajlandóság, illetve, hogy 10%-ból merít és 20-30% a válaszadási hajlandóság honnan származnak? Vajon mit szólna az ügyfeled ahhoz, hogy a te általad említett 40% merítés belső megoszlásának egy része kattintgató farmokban dolgozó emberek, egy másik része csak a pénzért megfizetett profi válaszadók? Vajon jobb-e az, ha rutinos válaszadók uralják a paneled és rutinosan válaszolgatnak és pénzt keresnek vele, mintha egy folyamatosan változó összetételű, de „ilyen” attitűdben nem torz panelt menedzselsz? Mivel még fiatal vagy a szakmában ezért lehet, hogy nem tudod, hogy milyen szakmai károkat, hitelességi és megbízhatósági válságot okoztak, okoznak a hagyományos fókuszcsoportos kutatásokban a „profi válaszadók”. Hasonló levelek születtek a fókuszcsoportos válaszadók ellen, mint amit a cikk szerzője itt megírt. Ez pedig nagyon veszélyes a szakma számára. És sajnos tudjuk azt is, hogy az ügyfeleknek mi a véleménye a nemzetközi panelek minőségéről. Ott van a cikkben. „A kutatások legnagyobb megrendelői (pl. a P&G, Microsoft, GeneralMills, stb.) nem tűrik tovább a jelenlegi állapotokat” – és ezek a jelenlegi állapotok pont azért következtek be, mert mind a piackutatók, mind a megrendelők becsukták a szemüket és elfogadták a profi válaszadókat nevelő panelek által nyújtott olcsó szolgáltatást. Ha nem a csaló válaszadók kiszűrésére, hanem a megelőzésre, a nem fizetésért dolgozó válaszadók összegyűjtésére, menedzselésére, tehát a panelminőség biztosításán fáradoztak volna a piackutató cégek, akkor most nem lenne ez a probléma. Igaz kényelmesebb, egyszerűbb pénzt adni, de ezzel nemcsak magunkat csapjuk be, de az ügyfeleket is és az ilyen sok kis apró átverés vezet majd a piackutatás nagyobb válságához, esetleg ebben a formában való megszűnéséhez.

5. Mivel mindenki csak a maga paneljének adatait ismeri biztosan, ezért én most csak a NRC NetPaneljéről tudok nyilatkozni. Az NRC nem fizet a kérdőívek kitöltéséért, hanem sorsolás és egyéb más – válaszadókat gyakori válaszadásra nem motiváló- eszközökkel menedzseli paneljét. A NetPanel access panelben jelenleg több mint 137 000 aktív – hangsúlyozom AKTÍV – tag van. Az aktív tagok minden hazai internetezői szegmenst megfelelő arányban képviselik és nem csak demográfiai értelemben, hanem attitűdben, médiahasználatban, vásárlási szokásokban, gazdaság megítélésében stb. Tehát nem tudom, hogy mi alapján számoltad azt, hogy a sorsolásos - vagy nevezzük egyszerűbben - a „nem profi válaszadókat” nevelő panelek csak a lakosság 10%-ból merítenek? Ebben a kontextusban ezt a számot én nem tudom értelmezni, hiszen a panelminőség kérdése, vagy a gyökerekhez visszatérve a minta minőségének, reprezentativitásának a kérdése nem ettől függ. Ha te a mintádat 40%-ból veszed, de ez a 40% torz 40%, hiszen csak pénzért válaszolnak (és most persze sarkítok, mint ahogy te is azt tetted), akkor nem jobb, hanem sokkal rosszabb lesz a mintád, hiszen a válaszok nem adnak valós képet a megismerni kívánt témáról. Próbáltam egyszerűsíteni a kérdést és remélem érthető, hogy mi a problémám az érveddel.

6. Az átlagos kitöltési arány egy jobb mutató szám, mert mérhető és értelmezhető is. Azt tudni kell, hogy a hagyományos személyes, telefonos válaszadási arány is 50% körül vagy az alatt van. Egy 2007-es Ringier-es összehasonlító kutatás szerint a telefonos válaszadási arány 29%, az online 44%, míg a személyes 49% volt. Ebben a kontextusban, ha elfogadjuk az általad említett 50%-os válaszadási arány, akkor az érzékelhető, hogy a fizetett válaszadók sem töltik ki jobb arányban a kérdőívet, azonban a kérdőívkitöltés minősége jobban megkérdőjelezhető a már fentebb vázolt problémák miatt. Igaz ez magyar példa és nem kizárt, hogy 5-10 év múlva annyira leesik a válaszadási arány hazánkban is, hogy kénytelenek leszünk mi is fizetni minden válaszért. Az NRC Netpanel tagságának a válaszadási aránya kérdőív hossztól, kutatási témától, nyaralási szezontól függően 30¬-50% között ingadozik és ezzel elégedettek vagyunk, hiszen minőségi, többszörösen ellenőrzött válaszadók adnak hiteles képet egy-egy témáról.

7. Ne ez ilyen kis övön aluli, csúnya dolog: ”Azzal egyetértek, hogy Magyarországon az alacsony árszint miatt a sorsolás tűnik a szerencsésebb útnak. Kétségtelenül kevesebb csalót vonz, így olcsóbban meg lehet oldani a panel minőségének fenntartását.” – Ezzel azt akarod üzenni, hogy a hazai panelt építő cégek nem minőségi, hanem költség oldal miatt választották az ajándékozást? Ejnye-bejnye. Ezt gondold át. Azért mert most pont egy olyan cégnél dolgozol, ahol pénzt adnak a válaszokért nem biztos, hogy szakmailag az a jó megoldás. És csak magunk között mondva: olcsóbb minden válaszért pénzt fizetni, mint sorsolásra épülő panelt építeni. Egy pénzre alapuló panelnél sokkal könnyebb benntartani a válaszadókat. Egy sorsolásos panelnél nagy a lemorzsolódás ezért is kell folyamatosan új tagokat rekrutálni. A fizetésért dolgozó válaszadóknál sokkal könnyebb a költségtervezés is. Ha van megbízás, akkor fizetünk, ha nincs megbízás, akkor nem fizetünk. Ezzel szemben a sorsolás esetében mindig kell sorsolni, akkor is ha nincs megbízás. És még egy gondolat. Nem hiszem, hogy a nemzetközi panelt fenntartó cégek annyira hülyék lennének, hogy inkább egy drágább, sok macerával járó, hitelességi, bizalmi válságokat okozó megoldást választanának a sorsolással szemben, ha a sorsolás olcsóbb lenne. Erről mit gondolsz? Tényleg megéri bizalmi, hitelességi válságba sodorni egy drágább megoldással a szakmát? Tehát bár értem a hitelességrombolási szándékod ezzel a mondattal, de elfogadni sajnos nem tudom, mert nem igaz, amit írsz. A lényeg, amiért az NRC ezt a drágább és sokkal munkásabb panelfenntartási megoldást választotta az, amit te is írsz, hogy „kevesebb csalót vonz”. Vagyis pontosabban nem vonz csalókat, mert nincs tervezhető haszon egy ilyen panelben való részvételért. És az igazság az, hogy a piackutatási szakma hitele, a bizalom az ügyfelek részéről csak akkor őrizhető meg hosszú távon, ha nem magyarázkodni kell a szakmának, ha nem a csaló, etikátlan, csak pénzért válaszadók kiszűrésén dolgozunk, hanem azon, hogy „minőségi” válaszadókat adjunk a piacnak. Ez pedig ugyan drágább megoldás, de hosszú távon kifizetődőbb lenne a szakmának. Sajnos te is most egy (az én véleményem szerint) olyan rossz álláspontot védsz, ahol nem a te vagy én igazságom a fontos, hanem az, hogy az ügyfelek mit gondolnak majd. És egyenlőre azt amit gondolnak az neked és nekem sem egy győztes, sokkal inkább egy vesztes pozíciót jelent. Nem kiszűrni kellene az etikátlan, csaló, robot válaszadókat, hanem azt az okot megszüntetni, ami miatt (a pénz) létrejöhetett ez a helyzet.

Az én elvem az, hogy ne neveljük profi válaszadókat, mert azzal az egész kutatás hitelességét veszélyeztetjük már rövidtávon is. Mindemellett fontos az ellenőrzés kérdése, fontos, hogy olyan panelt építsünk, amely mindenféle célcsoportba tartozó és attitűddel rendelkező válaszadókat tartalmaz. Fontos, hogy alkalmazzuk a minőséget javító szoftveres megoldásokat és még fontosabb, hogy tudjon a kutatási szakma egy egységes képet nyújtani a minőségi kérdésekben. És ez nagyon leegyszerűsítve azt jelenti, hogy egy panelbe bele kell, hogy férjenek az ajándékért, pusztán a kíváncsiságért, véleményformálás lehetőségéért vagy éppen a fizetésért válaszadók is, (ők erősen korlátozott interjúszámmal) hogy ne csak demográfiai, hanem attitűdbeli kérdésékben is jól reprezentálja egy online access panel az adott társadalmat.

Hát én így gondolom :)

@Klenovszki: Szia János! Örülök, hogy válaszoltál :)

Sok témát érintettél, megpróbálok azokra reagálni, amiket én is említettem a megjegyzéseimben.

2. Természetesen ha csalók kerülnek a panelbe, az rossz, én arra az esetre utaltam, ha ki tudjuk szűrni a csalókat, ezt próbáltam hangsúlyozni.

4. a számokkal szemléltetni akartam, hogy mire gondolok, panelenként és országonként különböző lehet, de az valószínűleg igaz mindenhol, hogy az emberek szélesebb rétege hajlandó garantált kis összegért elmondani a véleményét, mint bizonytalan nagyobb nyereményért

7. "Ezzel azt akarod üzenni, hogy a hazai panelt építő cégek nem minőségi, hanem költség oldal miatt választották az ajándékozást? Ejnye-bejnye." Nem, ezzel azt akarom mondani, hogy a fizetős panelek sokkal inkább ki vannak téve a csalók támadásainak, ezért egy ilyen panel minőségének a biztosítása többszörösébe kerül, mint egy sorsolásos panel esetében. Magyarországon a kis piac és az alacsony piackutatási árak miatt jelenleg nem tudom elképzelni, hogy külön "panel minőség" osztályokat tudjanak fenntartani a kutatócégek csak azzal a kizárólagos a céllal, hogy többen napi 8 órában elemezzék és próbálják kiszűrni a csaló válaszadókat. Ez sorsolásos panelnél nem is szükséges.

"Azért mert most pont egy olyan cégnél dolgozol, ahol pénzt adnak a válaszokért nem biztos, hogy szakmailag az a jó megoldás."

A véleményem nem változik azzal, hogy éppen melyik cégben dolgozom (egyébként a jelenlegi cégemnél is vannak országok, ahol sorsolásos, és vannak ahol pontgyűjtéses rendszert használunk). Ezt a kérdést már megvitattuk annak idején az előző cégemben is a kollégákkal, és ugyanez volt a véleményem függetlenül attól, hogy az a panel "sorsolásos" volt. Természtesen nem érveltem és most sem érvelek amellett, hogy "pontgyűjtős" panelt kell építeni, csak próbáltam rávilágítani a pontgyűjtős panelek egy előnyére a sorsolásos panelekkel szemben.

"Tehát bár értem a hitelességrombolási szándékod ezzel a mondattal, de elfogadni sajnos nem tudom, mert nem igaz, amit írsz." Eleve meglepett, hogy a véleményemet támadásként értékelted, hitelességrombolási szándékomat viszont tényleg nem értem: miért állna ez szándékomban?

Amit írtam, azzal két célom volt: rávílágítani a pontgyűjtős panelek egy előnyére (a hátrányait már sokszok hallottuk), és próbáltam leírni azt a véleményemet, hogy ugyan az ügyfelek bizonytalanok, a csalók kiszűrése nem egy lehetetlen küldetés és ezzel az online kutatócégek nagy része sikeresen meg is birkózik.

Ezt írtam két év online kutatási háttérrel a hátam mögött, senki ne tulajdonitson nagyobb jelentőséget a véleményemnek. :)