Fleissen kappa

${\displaystyle i=1,2,\ldots ,N}$ baloratutako banako edo elementuak dira. ${\displaystyle j=1,2,\ldots ,k}$ baloratu beharreko alderdiak edo aldagaiak dira. n epaile edo balorazio metodo kopurua da. ${\displaystyle n_{ij}}$ i-garren elementua j-garren balorazio edo kategoriarako jasotako boto edo neurketa kopurua da.

Definitu behar dira ${\displaystyle p_{j}}$, j-garren kategoriara bildutako elementuen proportzioa,

${\displaystyle p_{j}={\frac {1}{Nn}}\sum _{i=1}^{N}n_{ij}}$,

eta ${\displaystyle P_{i}}$ adierazpena, i-garren elementurako balorazio metodoek edo epaileek zenbateraino datozen bat ematen duena:

(3)

${\displaystyle P_{i}={\frac {1}{n(n-1)}}\sum _{j=1}^{k}n_{ij}(n_{ij}-1)}$

${\displaystyle ={\frac {1}{n(n-1)}}\sum _{j=1}^{k}(n_{ij}^{2}-n_{ij})}$

${\displaystyle ={\frac {1}{n(n-1)}}[(\sum _{j=1}^{k}n_{ij}^{2})-(n)]}$

Azken adierazpen honen garapena egiteko, identitate hau erabili da: ${\displaystyle 1={\frac {1}{n}}\sum _{j=1}^{k}n_{ij}}$.

Aurreko bi adierazpenek ematen dituzten balioetan oinarrituz, hauek kalkulatu behar dira:

(4)

${\displaystyle {\bar {P}}={\frac {1}{N}}\sum _{i=1}^{N}P_{i}}$

${\displaystyle ={\frac {1}{Nn(n-1)}}(\sum _{i=1}^{N}\sum _{j=1}^{k}n_{ij}^{2}-Nn)}$

(5)

${\displaystyle {\bar {P_{e}}}=\sum _{j=1}^{k}p_{j}^{2}}$

10 hautagai baloratu behar dituzte 14 epailek, 1etik 5erako eskala batean. Emaitzak ondoko taulan azaltzen dira.

Adibideko datuak eta kalkuluak

	1	2	3	4	5	${\displaystyle P_{i}\,}$
1	0	0	0	0	14	1.000
2	0	2	6	4	2	0.253
3	0	0	3	5	6	0.308
4	0	3	9	2	0	0.440
5	2	2	8	1	1	0.330
6	7	7	0	0	0	0.462
7	3	2	6	3	0	0.242
8	2	5	3	2	2	0.176
9	6	5	2	1	0	0.286
10	0	2	2	3	7	0.286
Guztira	20	28	39	21	32
${\displaystyle p_{j}\,}$	0.143	0.200	0.279	0.150	0.229

Adibidez, bigarren zutaberako,

${\displaystyle p_{1}={\frac {0+0+0+0+2+7+3+2+6+0}{140}}=0.143}$

Eta bigarren errenkadarako,

${\displaystyle P_{2}={\frac {1}{14(14-1)}}\left(0^{2}+2^{2}+6^{2}+4^{2}+2^{2}-14\right)=0.253}$

Taulan bertan azaltzen diren balio hauetan oinarrituz:

${\displaystyle {\bar {P}}={\frac {1.000+0.253+\cdots +0.286+0.286}{10}}=0.378}$

${\displaystyle {\bar {P}}_{e}=0.143^{2}+0.200^{2}+0.279^{2}+0.150^{2}+0.229^{2}=0.210}$

Eta azkenik, hau izango da Fleiss-en kappa:

${\displaystyle \kappa ={\frac {0.378-0.211}{1-0.211}}=0.211}$

Kategoria eta banako kopuruak kapparen emaitzan eragin nabarmena izan dezaketen arren (esaterako, kategoria kopuru txiki batek kapparen balioa igotzeko joera du), jarraian Fleissen kapparen emaitzaren interpretaziorako gida bat ematen da, oso subjektiboa dena:

${\displaystyle \kappa }$	Interpretazioa
< 0	Adostasun eza
0.0 – 0.20	Adostasun oso txikia
0.21 – 0.40	Adostasun txikia
0.41 – 0.60	Adostasun ertaina
0.61 – 0.80	Adostasun handia
0.81 – 1.00	Ia erabateko adostasuna