Úgy tűnik, mintha az iparág már örök idők óta vitatná az online kutatások minőségének témáját. Robert Bain azt boncolgatja, hova vezetett ez a vita, és hova kellene vezetnie a jövőben. (Research-live)
Az iparágban dolgozók közül sokan fognak megkönnyebbülni, hogy az eszmecsere az online kutatásokból származó adatok minőségéről úgy tűnik, vezethet valahová. A minták minősége elég zavaros téma az online kutatások megszületése óta, de az elmúlt években a tettek és szavak záporát tapasztalhattuk. Egy 12 hónapos időszak alatt a duplikációk és a téves, hamis válaszok kiszűrésére alkalmas szoftvert mind az Mo’web, a Peanut Labs, a MarketTools, a Western Wats, a Greenfield, a Globalpark és az Mktg is bevezette.
Ezek az eszközök azokat a válaszadókat veszik célba, akik egynél többször fordulnak elő a panelben vagy mintában, illetve akik hamisan nyilatkoznak kilétük felől. A MarketTools, a TrueSample megoldás kifejlesztője szerint, szoros kapcsolat van azok között, akik hazudnak kilétüket illetően, és akik magában a felmérésben hazudnak. A cég állítása szerint, a rossz válaszadások eltávolításának elmulasztása a panelekből akár hatszorosára növelheti annak esélyét, hogy rossz üzleti döntéseket hozzanak meg.
De mások arra figyelmeztetnek, hogy a dolog nem ilyen egyszerű. Egy cikkben a Research-live.com oldalon Patrick Comer, az OTX online kutatója szerint az ilyen, adatminőséget megcélzó, technológia alapú erőfeszítések alig valamivel többet jelentenek, mint sokkal komolyabb problémákat elfedő máz.
Az egyik személy, aki minden oldalról megvizsgálta a témát, az Kim Dedeker – az ügyféloldalról, mint a P&G fogyasztói kutatásainak vezetője; az ügynökségek oldaláról, mint a Kantar Americas elnökének szerepét betöltve; és szövetségi oldalról, mint a Hirdetési Kutatások Alapítványának iparági kezdeményezéseinek résztvevője.
Elmondta a Research-nek, hogy az iparágnak gyorsabban kell a hatékony megoldások irányába mozdulnia. “Az ügyfelek között az egyik nagy párbeszéd a fejlődés előmozdításáról, annak lehetőségeiről szól,” mondta. “Véleményem szerint már közel vagyunk ahhoz a ponthoz, hogy átlássuk az egész helyzetet, és rájöjjünk mi a gond az online-nal, hogyan állapítsuk meg a prioritásokat ezen gondok megoldására, és aztán remélhetőleg együttesen egyenesbe hozzunk néhány iparági megoldást… Tényleg szükség van iparági szintű megoldásokra, nem pedig egyéni beszállítók megoldásaira, mert… az olyan nagy cégeknek, mint a P&G nincs kapacitása egy vagy két beszállító szintjén, hanem beszállítók egész portfóliójára van szükségük, így szükségessé válik a megközelítés következetessége.”
Az egyik ok talán, amiért az online minőség kérdésével nem foglalkoztak olyan gyorsan, mint ahogy kellett volna, az, hogy a vita nem mindig volt éppen egészséges, hanem ahogy Dedeker jellemzi, inkább “kődobálás, ujjal mutogatás”. „Komolyan hiszem, hogy az elmúlt két év nagy részében elbeszéltünk egymás mellett. Az ügyfelek az egyenlet egyik oldalára fókuszálnak, a beszállítók a másikra, az iparág résztvevői pedig komolyan próbálták eljátszani a közvetítő szerepét… de valamennyire mindegyik oldal védekezőn viselkedik, megőrizendő a világot úgy, ahogy eddig ismertük – a kutatásokhoz való hozzáállásunkat, az ügyfelek projektekhez való hozzáállását, stb.”
Joel Rubinson, az ARF kutatási vezérigazgatója azt nyilatkozta a Research-nek, hogy a vitát sokszor jellemezte bizonytalanság és zavartság. Úgy jellemzi a professzionális válaszadókról való beszédet, mint “egy hatalmas visszhangzó termet”, ahol az ötlet minden bizonyíték híján vert gyökeret, csak azért, mert mindenki ugyanarról beszélt. Ahogy Rubinson rámutat, a ‘professzionális’ kifejezés általában pozitív, nem pedig pejoratív.
Mítoszok ledöntése
A professzionális válaszadók valódi hatásának meghatározása volt az egyik célja az múlt évben, az ARF által piacra dobott kutatás-a-kutatásban kezdeményezésnek. A júniusban közölt eredmények ellentétben állnak néhány, az online minőség kapcsán bevett bölcsességgel. Rubinson szerint: “A professzionális válaszadók elmélete mögött meghúzódó ötlet az, hogy az online kutatások az USA-ban egy nagyon kis csoportnyi embertől származnak, akik a pénz és a jutalom miatt vannak benne, és akik rájöttek arra, hogyan játszhatják ki a rendszert, és hogy ez a kis csoport mindenkinek a paneljában szerepelt. Kiderült, hogy egyáltalán nem ez a helyzet.”
Az ARF tanulmány, melyben 17 panelszolgáltató vett részt, azt fedte fel, hogy az email címek mindössze 16%-a szerepelt egynél több panelben, és azok, akik a legtöbb felmérésben vettek részt, adták a legátgondoltabb és legmegbízhatóbb válaszokat. Mások eltérő számokkal álltak elő, máshogyan tálalva azokat, ami ijesztő képet fest a duplikációk problémájáról, de Rubinson szerint ez a háttérbe szorul. Leírta a profilt, ami a tanulmányból jött létre: “A legtöbb ember egy panelen szerepel. Néhányan elég rendszeresen vesznek részt felmérésekben, és általában véve jó szándékkal teszik ezt. Így, ha a professzionális szó ezekre az emberekre utal, akkor ez valójában nagyon jó dolgot jelent. Remélhetőleg az iparág ezt nem találja nagyon félrevezetőnek, mert ugye a professzionális általában ezt jelenti.”
De a duplikációk problémájának szentelt figyelemmel ellentétben, Rubinson szerint nem ez volt a legnagyobb dolog, amit az ARF kutatói meghatároztak. “Szerintem a legfontosabb dolog, amiről a vevőknek és a beszállítóknak jelenleg beszélniük kellene az, hogy a panelek nem felcserélhetőek,” mondja. “A vevőknek párbeszédeket kell kezdeniük a beszállítókkal az általuk használt minták forrásairól, és ez pont nem az, amiről jelenleg beszélnek. A beszállítók operációs embereinek pedig meg kell oldaniuk, hogyan rendezzék mintáikat az adott tanulmányokhoz, és ne csak a minta elérhetőségére ill. produktivitására alapozzanak, hanem az adatok következetességére is. Néhány beszállító jól használja ezeket a szabályokat. De biztos vagyok benne, hogy néhányan viszont nem.”
Az Mktg adatgyűjtéssel foglalkozó cég most adott közre eredményeket egy 18 hónapos, adat-következetességet vizsgáló tanulmányból, és hozott létre egy ennek mérésére és behatárolására alkalmas terméket, az idők során sztenderd kérdőívekre adott átlagválaszok alapján. Az Mktg elnöke, Steve Gittelman szerint valójában nem az a fontos, amik a válaszok voltak, hanem a “válaszok normától való eltérésének mértéke”.
Rubinson szerint már látni a “fényt az online adtaminőség alagútjának végén”, és az ARF most olyan, az egész iparágat lefedő megoldásokon dolgozik, amilyeneket Kim Dedeker és a hozzá hasonlóak várnak el. Tisztában léve azzal, hogy fogy az emberek türelme, az alapítvány kitűzött magának egy 90 napos határidőt, hogy kiadják gyakorlati ajánlásaikat.
A nagyobb kép
Dedeker azt reméli, hogy a minta minőség kérdésének megoldásával az iparág a nagyobb kérdésekre tud majd koncentrálni, mint amilyen a felmérések tervezése. “A rossz minőség talán legnagyobb oka a kérdőívek hosszúsága,” mondja. “Néhány ügyfelünknek, akikkel együtt dolgozunk, olyan kérdőíveik vannak, amik két órát, talán többet is vesznek igénybe a megválaszoláshoz. Ez kicsit olyan, mint a ki mint vet, úgy arat elmélet – rendbe szedhetjük a tudományt, de ha nem szedjük rendbe a tervezést, dizájnt… akkor valójában nem nyertünk meg semmilyen harcot.”
Amy Millard, a MarketTools elnökhelyettese szerint, bár az ügyfelek értékelik, hogy megvan a duplikációk kezelésének technológiája, készen állnak, hogy újabb kihívásokra térjenek át. “Ha három évvel ezelőtt beszélgettél a többiekkel egy konferencián, azt gondolták, hogy a (mintaminőség) problémája megoldódik mostanra,” mondta. “Tehát amit akkor hallok, amikor az ügyfelekkel beszélek, az a frusztráció, hogy még mindig erről van szó. Valójában a vezető kutatók a piackutatás új módjait fejlesztik ki – színre lépett a Twitter, egyre több a magától létrejövő közösség, rengeteg igazán érdekes dolog történik online, és frusztrációjuk oka, hogy még mindig a minták minőségéről beszélünk.”
Az online kutatások egyre érettebbé válnak, és egyre több cég aknázza ki lehetőségeit, nemcsak a gyorsabb, olcsóbb felmérések, hanem a fejlesztések és interaktivitás terén is. A londoni székhelyű Verve Partners, aki tavaly indultak útjukra, arra specializálódtak, hogy márka szerinti online közösségeket hozzanak létre ügyfeleik számára. Andrew Cooper alapítótag, aki korábban a Research Now panel cégnek dolgozott, visszhangozza Patrick Comer (OTX) vélekedését, aki a rossz válaszadókat “Prométeuszi misztikumnak” nevezi.
Kutatási minőség
Cooper elmondta a Research-nek: “Számomra nem a válaszadók minősége a nagy kérdés a válaszok minőségét illetően, hanem az eléjük tett felmérések minősége. Sok kutató hiszi azt, hogy az egyszerűsítés, vagy a kutatásokat megfelelően elvégző emberek hiánya a panelek, vagy az emberek hibája, kérdése. Pedig nem. Ez egy kommunikációs kérdés.”
Mindazonáltal egy másik faktor, ami befolyásolja hogyan tekintenek az emberek a kutatások minőségére, az a recesszió hatása, szimultán nyomást gyakorolva a kutatás-szolgáltatókra egyfelől alacsonyabb költségeket, másfelől nagyobb biztonságot várva el. Cooper úgy hiszi, hogy paradoxonszerűen, de a recesszió komolysága segíthet megelőzni a minőség romlását a költségek csökkentésével, mivel az ügyfelek kutatási részlegeinek nehéz választásokkal kell szembenézniük. “Szerintem eljött a megfelelő idő, hogy a kutatók a megfelelő tárgyalásokba kezdjenek az ügyfelekkel - jól akarjuk csinálni, vagy sehogy? És ha jól akarjuk csinálni, akkor teremtsenek rá több forrást, de ha nem hisznek benne, akkor inkább ne csináljuk, és ne vesztegessük egymás idejét.”
Ahogy az iparág egyre szélesebb képet kap a minőséget illetően, kezd úgy tűnni, hogy a minták letisztázása volt a könnyebb feladat. A dolgok egyre nehezebbé válnak, ahogyan a kérdés összetettebbé válik, ahogyan az online technológiák állandó védekezés helyett egyre inkább megmutathatják mire is képesek, de ezzel együtt a dolgok egyre érdekesebbé is válnak.
