A minőség mindig is nagyon foglalkoztatta a kutatások vásárlóit és eladóit, még akkor is, ha időnként kevesebbet gondolkodnak, mint amennyit beszélnek róla. A növekvő nyomás, hogy többet nyújtsanak kevesebbért, csak nehezebbé tette a dolgokat. De honnan tudhatjuk, hogy a kutatások valójában kiállják-e a próbát? Ezzel a kérdéssel kellett megbirkózniuk az IJMR Forum résztvevőinek Londonban, és kiderült, hogy ez bonyolultabb, mint azt gondolnánk.
Denise Lievesley, aki a londoni King’s Collage társadalom- és államtudományi iskola vezetője, megvizsgálta, hogyan is ítélik meg a statisztikusok az adatminőséget, és arra buzdította a közszféra résztvevőit, hogy szélesítsék ki látókörüket. “Legfőképp, amikor statisztikus közönséghez szólnak, a minőséget egészen szűk értelemben veszik, csak az érvényesség és a megbízhatóság számít… Szerintem a minőségnek sokféle más dimenziója is van,” mondta.
Ezek egyike a használhatóság – hogy az információt használhatóvá tegye valamire. Ez annyit tesz, hogy az adatoknak nem csak megbízhatónak kell lenniük, mondta, hanem “meg is kell bíznunk bennük”.
Lievesley véleményét visszhangozta Michael Scholar, az Egyesült Királyság Statisztikai Hivatalának elnöke, aki arra mutatott rá, hogy bár az angol hivatalos statisztikák jól teljesítenek a közvélemény-felmérések terén, tanulmányok (a hivatal 2008-as felállítása előttről) azt mutatták, hogy az angol közönség mutatja a legkevesebb bizalmat a hivatalos statisztikák irányába az összes OECD (Organisation for Economic Cooperation and Development / Gazdasági Együttműködés és Fejlesztés Szervezete) ország közül. Ez szerinte azt a tényt mutatja, hogy a statisztikák értéke azon múlik, hogyan is használják fel azokat. “A hivatalos statisztikák értéke attól a témától függ, amit feltárnak, ill. amihez hozzájárulnak,” mondta Scholar. “Azokról a statisztikákról, amiket nem jól adnak elő, nem úgy, ahogyan azt az emberek elvárják, nem mondható el, hogy igazából beteljesítették feladatukat”.
Richard Bartholomew, az Oktatási Főosztály gyermek és család osztályának vezető kutatója, a közszféra kutatóinak nyilvánvaló konzervativizmusának védelmére kelt, elmagyarázva, miért is bizonyulnak kevésbé hajlandóknak a kereskedelmi területeken dolgozó társaiknál, legalábbis abban a tekintetben, hogy elmozduljanak az olyan dolgoktól, mint a véletlenszerű mintavételezés, és a “végső riport megszállottsága”. De a költségcsökkentés növekvő nyomása, valamint a privát szektorban egyre inkább teret nyerő más módszerek miatt Bartholomew elismerte, hogy néha úgy érzi magát, mintha “Ő lenne Knut Király”.
Ben Page, az Ipsos Mori vezérigazgatója szintén kiállt a kutatás “alapvető fontosságú készségei” mellett, és elpanaszolta, amit leromlásuk során lát. “Annak alapjait figyelembe véve, amit csinálunk - ami ugyebár az, hogy viszonylag kevés számú emberrel beszélgetünk, és ez alapján próbáljuk megérteni, amit a nagyobb számú emberek tenni fognak – van annak rizikója, hogy az egész teóriát alátámasztó tényleges tudás pont eltéveszti, megváltoztatja mindazt, amit csinálunk,” mondta. “Meg kell vizsgálnunk a szaktudást, készségeket, és eldöntenünk, hogy elvesztésük számít-e.”
Reg Baker, az USA béli Market Strategies International ügynökség elnöke és üzemeltetési vezérigazgatója, aki egy AAPOR (American Association for Public Opinion Research – Amerikai Közvélemény-kutató Szövetség) munkát is vezetett az online panelminőség feltárására, óvatosságra intette a gyakorló piackutatókat annak tekintetében, ahogyan a panelkutatásokat használják – és ahogyan eladják azokat. Az AAPOR jelentése, melyet az év korábbi időszakában adtak ki, arra figyelmeztetett, hogy a paneleket nem szabadna a népesség megbecslésére felhasználni, és az állítólagos ‘reprezentativitás’ ellen szól. A legnagyobb probléma, mondta Baker, nem is maguk a panelek hátulütői, hanem a tény, hogy “kitettük őket oda, eladtuk ügyfeleinknek valami olyanként, amik valójában nem is”. A ‘hiba’ piackutatási meghatározását, javaslata szerint meg kellene változtatni: “Munka, ami azt hivatott állítani, amit valójában nem is.”
Válaszolva egy kérdésre azzal kapcsolatban, hogy az online kutatások vajon “megölték-e a minőséget”, Baker azt mondta, “A helyes válasz az lenne, hogy nem, az ügyfelek tették” – egy megjegyzés, amit később ijedtében úgy minősített, hogy félreérthető. “Nem kis mértékben függ a minőség a felhasználó megítélésétől,” mondta.
Az adatintegritásról és reprezentativitásról szóló vitákkal egy időben, a Verve-nek dolgozó Jeannine Arthur és Mike Hall is hozzátették a magukét a minőséghez munkájuk által, mely online közösségeket használ kutatásra. Mikor kétségek merültek fel az ösztönzők hatásával kapcsolatban a kutatások minőségére nézve (ami aztán kifejezetten ellentmondásosnak bizonyult olyan közösségek esetében, ahol a kutatás marketingtevékenységgel együtt folyik), Arthur azzal érvelt, hogy ez sokkal kevésbé számít, mint a hagyományos piackutatás azon tendenciája, miszerint az eredményeket nem juttatja vissza a válaszadóknak – vagy nem is kezdenek semmi hasznosat a kapott információkkal. “Egyetértek vele, hogy tisztelettel kell lennünk az emberek ideje iránt, de leginkább a kvantitatív kutatások esetében érzem nagyon úgy, hogy sokkal inkább meg kellene köszönni az embereknek a részvételüket, és megmutatni nekik, hogy odafigyelnek rájuk, és változást hoz az, amit csinálnak.”
Néhányan a szakmán belül egyértelműen attól tartanak, hogy a tudományos szigor eltűnőben van – nem csak azért, mert az ügyfelek gyorsan és olcsón szeretnének kutatásokat, hanem azért, mert egyre nagyobb a hangsúly azon, hogy hozzáférhetők legyenek az ügyfelek számára, akiknek talán nincsen idejük, vagy szándékuk a részletekkel bajlódni. A másik oldalon viszont mindenki egyetért azzal, hogy a kutatások hasztalanok, értéktelenek, ha nem lehet lekommunikálni és hasznosítani azokat.
Mindez szemben áll azzal, hogy a vásárlók egyre többet követelnek kevesebbért. Mint ahogyan azt Ben Page megfogalmazza, valamit valamiért, “és sok ember nem is fogja észrevenni, ha kaptak valamit”.
