Mikor tekinthető reprezentatívnak egy kutatás?

A belső kérdőíves kutatások a vezetői döntéshozatal fontos információforrásai, ezért nem mindegy, mennyire adnak megbízható alapot a szervezeti döntésekhez. Reprezentatívnak akkor tekinthető egy kutatás, ha a mintája a fontos jellemzők mentén jól leképezi a teljes vizsgált csoportot. Ilyenkor az eredmények nemcsak a válaszadókra, hanem megfelelő korlátok mellett az egész célcsoportra is vonatkoztathatók. A reprezentativitás ugyanakkor nem "fekete-fehér" kérdés. Nem arról van szó, hogy egy minta egyszerűen vagy reprezentatív, vagy nem. A reprezentativitás mindig viszonylagos. Ezért önmagában sem a magas válaszadási arány, sem az, hogy a minta egy-egy változó mentén — például életkor szerint — jól illeszkedik a teljes sokasághoz, nem elegendő.

A valódi kérdés az, hogy a válaszadók a fontos szempontok mentén mennyire tükrözik a teljes szervezetet. Ebben a cikkben egy tipikus vállalati helyzetből indulunk ki. A teljes sokaság 150 fő. A kérdőívet minden érintett megkapta. Végül azonban csak a megkeresettek 67%-a válaszolt. Ez kedvező kiindulópont, de önmagában még nem garantálja, hogy az eredmények pontosan leképezik a teljes szervezetet. Ilyen esetben ugyanis nem a mintavétel a fő kérdés. A kulcskérdés a nemválaszolás. Vagyis az, hogy kik válaszoltak, kik maradtak ki, és ez mennyiben befolyásolja az eredmények értelmezését. A következőkben ezt a helyzetet vizsgáljuk meg részletesebben.

Miért nem elég a magas válaszadási arány?

A 67%-os válaszadási arány önmagában nem bizonyít semmit, ettől még a kutatás lehet torz. Nem csak az számít, hogy hányan válaszoltak. Az is számít, hogy kik válaszoltak. Ha a kimaradó 33% véletlenszerűen hiányzik, akkor a válaszadók eredményei közelebb lehetnek a teljes szervezethez. Ha viszont bizonyos csoportok kisebb arányban válaszoltak, akkor az eredmények torzulhatnak.

Például gond lehet, ha a nem válaszolók között felülreprezentáltak:

• a fizikai dolgozók,
• az új belépők,
• egy adott telephely munkatársai,
• a műszakos kollégák,
• vagy a túlterhelt csapatok.

Ilyenkor az eredmény könnyen túl pozitív vagy féloldalas képet adhat.

Hogyan vizsgálható meg, hogy egy kutatás reprezentatív vagy sem?

A reprezentativitás megítélése csak összehasonlítás alapján lehetséges. A beérkezett válaszok önmagukban, pusztán a kérdőív vagy a kutatási terv ismeretében nem minősíthetők reprezentatívnak. Ehhez szükség van a teljes célcsoport néhány meghatározó jellemzőjének ismeretére is. A lényegi kérdés tehát az, hogy a válaszadói kör összetétele mennyire felel meg a teljes sokaság összetételének. Enélkül nem ítélhető meg kellő biztonsággal, hogy az eredmények milyen mértékben általánosíthatók a teljes szervezetre.

Milyen változókat érdemes összehasonlítani? A válaszadók és a teljes állomány összehasonlításához olyan adatok kellenek, amelyek a teljes szervezetről is rendelkezésre állnak. Ilyenek lehetnek például: részleg, telephely, munkakörtípus, vezetői státusz, szenioritás, nem, korcsoport.

Nem kell mindent beemelni. De azokat a bontásokat mindenképp érdemes megnézni, amelyek a kutatás témája szempontjából fontosak lehetnek. Ha motivációt vagy elégedettséget mérsz, akkor különösen sokat számíthat, hogy a válaszadók között megfelelő arányban vannak-e jelen az egyes részlegek, vezetők és nem vezetők, irodai és fizikai munkakörök. Érdemes néhány alapvető kérdést végiggondolni. Ezek segítenek megítélni, hogy a válaszadói kör mennyire tükrözi a teljes szervezetet:

1. Vannak olyan csoportok, amelyek egyáltalán nem jelentek meg a válaszadók között?
   Ha igen, akkor az adott csoportra az eredmények nem értelmezhetők megbízhatóan.
2. Vannak alul- vagy felülreprezentált csoportok a válaszadók között?
   Érdemes megnézni, hogy egyes részlegek, telephelyek, munkakörtípusok vagy vezetői szintek aránya eltér-e a teljes sokaság ismert arányaitól.
3. A válaszadói kör mennyire tükrözi a teljes szervezet összetételét a releváns jellemzők mentén?
   Nem minden ismérv egyformán fontos. Azokat kell kiemelten vizsgálni, amelyek a kutatás témája szempontjából valóban lényegesek.
4. A kimaradó csoportok véleménye várhatóan eltérhet-e a válaszadókétól?
   Ha igen, akkor a nemválaszolás érdemben torzíthatja az eredményeket. Azt kell mérlegelni, hogy az azonosított torzulások üzleti szempontból mennyire jelentősek.
5. Szükséges-e az eredmények súlyozása?
   Ha a válaszadói kör összetétele eltér a teljes sokaságtól, akkor indokolt lehet a súlyozás, vagy legalább az eredmények korlátainak egyértelmű jelzése.

Hogyan lehet a reprezentativitást az SPSS-ben megvizsgálni?

A reprezentativitás SPSS-ben nem egyetlen mutatóval vagy automatikus eredménnyel állapítható meg. A vizsgálat lényege az, hogy a válaszadók összetételét össze kell hasonlítani a teljes célcsoport ismert jellemzőivel. Így láthatóvá válik, hogy a minta mennyire tükrözi a teljes sokaságot, és vannak-e olyan csoportok, amelyek hiányoznak, alulreprezentáltak vagy felülreprezentáltak az adatokban.

1. Kiugró értékek kezelése

A torzítást nem csak a nemválaszolás okozhatja. Okozhatják szélsőséges értékek is. Ez főleg akkor fontos, ha skálás válaszokkal dolgozol, például elégedettségi vagy motivációs indexekkel.

SPSS-ben a kiugró értékeket megnézheted például így:

• Graphs → Boxplot
• vagy Analyze → Descriptive Statistics → Explore

Például a Boxplot segíthet azonosítani azokat a szélsőséges értékeket, amelyek aránytalanul befolyásolhatják az összképet, és ezáltal torzíthatják az átlagokra vagy a szóródásra épülő következtetéseket.

2. Leíró statisztikák és eloszlásvizsgálat

Ezt követően lépésként nézd meg a fontos változók alapeloszlását. SPSS-ben ezt itt találod: Analyze → Descriptive Statistics → Frequencies és / vagy Descriptives. Ez segít áttekinteni: a kategóriák gyakoriságát, az arányokat, az átlagokat, és a szórást. Ez még nem bizonyít reprezentativitást, de gyorsan megmutatja, ha valami nagyon elcsúszott. Például ha egy részleg alig jelenik meg a válaszokban, vagy egy változó eloszlása gyanúsan szélsőséges.

3. Reprezentativitás ellenőrzése

A következő lépés az, hogy összehasonlítod a válaszadók összetételét a teljes állomány ismert adataival. Ezt legegyszerűbben úgy tudod megtenni, ha van egy változód, amely jelzi, hogy az adott dolgozó válaszolt-e. Például: 1 → válaszolt a kérdésre, 0 → nem válaszolt a kérdésre. Ezután SPSS-ben kereszttáblákat készíthetsz. Itt azt vizsgálod, hogy bizonyos csoportok nagyobb vagy kisebb arányban kerültek-e be a válaszadók közé. Analyze → Descriptive Statistics → Crosstabs. Például nézd meg ezeket:

• részleg × válaszolt
• telephely × válaszolt
• vezetői státusz × válaszolt
• munkakörtípus × válaszolt

Mit tehetsz, ha torz a válaszadói kör?

Ha azt látod, hogy a válaszadók összetétele eltér a teljes sokaságtól, akkor nem kell rögtön kidobni az egész kutatást. Két fontos lehetőséged van:

1. Korrektül leírod a korlátot

Ez az első és legfontosabb lépés. Ha például a fizikai dolgozók kisebb arányban válaszoltak, akkor ezt nyíltan jelezni kell. Ettől a kutatás nem lesz rossz. Inkább hitelesebb lesz. Például így: „A kérdőívet a teljes állomány megkapta, de a válaszadási arány a fizikai munkakörökben alacsonyabb volt, ezért az eredmények az egész szervezetre csak óvatosan általánosíthatók.” Itt fontos megjegyezni, hogy nem minden eltérés számít ugyanannyit. Lehet, hogy a válaszadók életkor szerint kicsit eltérnek a teljes állománytól, de ez nem igazán befolyásolja a vizsgált témát. És lehet, hogy egy másik változó, például a munkakörtípus vagy a telephely, erősen összefügg azzal, amit mérni akarsz. Ilyenkor már kisebb eltérés is komolyabb problémát jelenthet. Vagyis nem elég csak azt nézni, hol van eltérés. Azt is mérlegelni kell, hogy az adott eltérés mennyire fontos a kutatási kérdés szempontjából.

2. Súlyozással javítasz az illeszkedésen

Ha rendelkezésre állnak megbízható háttéradatok a teljes szervezetről, akkor a reprezentativitás javítására súlyozást is alkalmazhatsz.

SPSS-ben ezt itt találod: Data → Weight Cases

A súlyozás lényege, hogy az alulreprezentált csoportok nagyobb, a felülreprezentált csoportok kisebb súlyt kapnak az elemzésben. Például ha a teljes szervezet 35%-a termelési dolgozó, de a válaszadók között csak 20% ilyen, akkor az ő válaszaik nagyobb súllyal számíthatnak bele az eredménybe. A súlyozás javíthat az eredményeken. De nem csodaszer, nem javít ki mindent. Ezt nagyon fontos külön kimondani. A súlyozás csak azokon a változókon tud korrigálni, amelyeket ismersz, és amelyekre van jó háttéradatod. Ha tudod a részleg, telephely és vezetői státusz szerinti megoszlást, akkor ezek mentén lehet közelíteni a valósághoz. De ha a nem válaszolók azért hiányoznak, mert kevésbé elkötelezettek, bizalmatlanabbak vagy jobban túlterheltek, és erről nincs háttérinformációd, akkor ezt a súlyozás nem fogja teljesen megoldani. Ezért soha nem lehetünk 100%-ig biztosak abban, hogy a válaszadói kör tökéletesen tükrözi a valóságot. A torzítás lehetőségét mindig komolyan kell venni.

Mit írj a riportba?

Egy jó céges kutatás nem csak eredményeket közöl. Azt is megmutatja, mennyire stabil az alapja. Ez nem gyengíti a kutatást. Ettől lesz szakmailag védhető. Érdemes röviden leírni:

• kik tartoztak a célcsoportba,
• hányan kapták meg a kérdőívet,
• hányan válaszoltak,
• mekkora volt a válaszadási arány,
• mely csoportok válaszoltak kisebb vagy nagyobb arányban,
• milyen SPSS-eljárásokkal ellenőriztétek a torzítást,
• történt-e súlyozás,
• és milyen korlátai maradtak az eredményeknek.

Mikor mondhatod, hogy az eredmény jó közelítést ad?

Akkor, ha a válaszadók a legfontosabb ismérvek mentén nem térnek el lényegesen a teljes szervezettől. Ez nem azt jelenti, hogy minden aránynak tökéletesen egyeznie kell. Inkább azt, hogy a fő csoportok megfelelően jelen vannak, és nincs olyan torzulás, amely érdemben félreviheti az értelmezést. Ilyenkor korrektebb azt mondani, hogy a kutatás jó közelítéssel tükrözi a teljes sokaságot. Ez pontosabb állítás, mint egyszerűen kijelenteni, hogy „a kutatás reprezentatív”.

Összességében tehát, ha a teljes sokaságot kérdezted meg, de csak 66% válaszolt, akkor a kutatás minőségének kulcsa nem a mintavétel, hanem a nemválaszolás elemzése. A fő kérdés nem az, hogy magas-e a 66%. Hanem az, hogy a válaszadók mennyire hasonlítanak a teljes szervezetre, és ez mennyire befolyásolja az eredmények értelmezését.

A legjobb gyakorlat ezért ez:

• hasonlítsd össze a válaszadókat a teljes állománnyal,
• nézd meg a fontos csoportok arányait,
• ellenőrizd a torzulást SPSS-ben,
• szükség esetén használj súlyozást,
• és a korlátokat mindig dokumentáld.

Így lesz a céges kutatásod nem csak látványos, hanem valóban használható is.

Olvass tovább, ez is érdekelhet: A 13 leggyakoribb hiba a kérdőív készítése során