Reportovanie súhlasu posudzovateľov a spoľahlivosti posudzovateľov

Autorka

PhDr. et Mgr. Lucia Kočišová, PhD. Ústav experimentálnej psychológie, Centrum spoločenských a psychologických vied SAV, Bratislava, Slovensko

Palčivá otázka

Do akej miery sú výskumníci pohodlní a používajú napr. štatistické indexy bez podrobnejšieho vhľadu len na základe všeobecných informácií? Príkladom je napr. používanie koeficientu kappa, na ktorý vplýva prevalencia znakov a v istých situáciách ho skresľuje. Pritom existujú už iné indexy, ktoré tieto problémy prekonávajú.

Abstrakt

V psychodiagnostickej praxi ale aj v mnohých iných oblastiach sa stretneme s použitím ďalšieho posudzovateľa pre potvrdenie validity a spoľahlivosti našich záverov. Ide o súhlas posudzovateľov (inter-rater agreement), ktorý predstavuje zhodu v ich hodnotení a ak je zhoda dosiahnutá, hodnotitelia sú zameniteľní (Tinsley, Weiss, 1975) a spoľahlivosť posudzovateľov (inter-rater reliability) v zmysle konzistencie hodnotenia (LeBreton, Senter, 2008). Oba koncepty sa okrem definovania líšia aj v zodpovedaní rôznych výskumných otázok a spôsobu štatistickej analýzy.

Cieľom príspevku je zodpovedať otázky, ktoré súvisia s praktickou potrebou reportovania súhlasu posudzovateľov a spoľahlivosti posudzovateľov. Predstavené budú možnosti výpočtu, možnosti pre výber vhodného indexu, koeficientu či testu, konvenčné hodnoty očakávaných mier súhlasu a spoľahlivosti posudzovateľov a faktory, ktoré vplývajú na mieru súhlasu posudzovateľov a spoľahlivosť posudzovateľov. Zhrnuté teoretické poznatky budú sprevádzané výskumnými príkladmi.