Download - Agricultura de Precisção
-
1
AGRICULTURA DE PRECISO
PS-GRADUAO
AGRONOMIA CINCIA DO SOLO
Avaliao de classificadores
Car los Alberto Alves Varel la
Introduo
A aval iao de classif icadores pode ser feita a part ir de uma amostra
de referncia. Segundo CONGALTON (1991) a part ir dessa amostra de
referncia possvel construir a matr iz de erros ou de confuso da
classif icao.
Construo da matriz de erros
A matr iz de erros quadrada e de dimenso igual ao nmero de
classes aval iadas. Os resultados da classif icao so colocados nas
colunas da matr iz, sendo que nas l inhas correspondentes a diagonal
pr incipal coloca-se o nmero de observaes classif icadas corretamente e
nas demais l inhas o nmero de observaes omit idas de cada classe.
Dividindo-se o total de observaes omit idas da classe pelo total de
observaes da classe, ou seja, pelo total da coluna, tem-se o erro de
omisso da classe. O total de observaes omit idas dividido pelo total de
observaes da amostra de referncia o erro global.
Na l inha, a soma dos valores fora da diagonal pr incipal dividido pelo
total da l inha o erro de comisso ou incluso da classe (Quadro 2). O
erro de omisso (EO) est relacionado com a 'exat ido do produtor ' (1-EO) ,
pois o produtor do classif icador tem interesse em conhecer como ocorreu o
acerto da classif icao dos objetos. O erro de comisso (EC) est
relacionado com a 'exat ido do usur io' (1-EC) , pois, a conf iabi l idade que
o usur io tem quanto aos resultados da classif icao.
-
2
Quadro 2. Exemplo de uma matriz de erros Amostra de referncia Classe
A B C D
Total includo
Total linha ( )ix
Erro de comisso (%)
A 65 4 22 24 50 115 43
B 6 81 5 8 19 100 19
C 0 11 85 19 30 115 26
D 4 7 3 90 14 104 13
Total omitido 10 22 30 51 113 434
Total coluna ( )ix 75 103 115 141 Erro de omisso (%) 13 21 26 36
Erro Global (%) 26,04
Adaptado de KHOURY JR. (2004).
Coeficiente Kappa
Uma maneira s imples de avaliar um classif icador por meio do erro
global. Entretanto, este erro independente dos erros de omisso e
comisso, que so importantes na aval iao de classif icadores. Cohen
(1960), c itado por ROSENFIELD e FITZPATRICK-LINS (1986), desenvolveu
um coef iciente de concordncia denominado Kappa. CONGALTON e MEAD
(1983) af irmam que a estat st ica kappa pode ser ut i l izada na aval iao de
classif icadores, pois, os dados da matr iz de erros so discretos e com
distr ibuio mult inormal. De acordo com os autores, esta estat st ica uma
medida do acerto real menos o acerto por acaso, e kappa pode ser
est imado pela equao:
c
co
P1
PPK
=
em que,
K = est imat iva do coef iciente Kappa;
Po = proporo de observaes corretamente classif icadas;
Pc = proporo esperada de acerto por acaso.
-
3
Segundo HUDSON e RAMM (1987), o coef iciente kappa pode ser
est imada a part ir dos totais marginais da matr iz de erros, pela seguinte
equao:
=
= =
= c
1iii
2
c
1i
c
1iiiii
xxn
xxxnK
em que,
iix = valor na l inha i e coluna i da matr iz de erros;
ix = total da l inha i;
ix = total da coluna i;
n = total de observaes;
c = nmero total de classes.
Kappa igual a zero signif ica que o acerto obt ido pelo c lassif icador
igual ao acerto por acaso. Valores posit ivos de kappa ocorrem quando o
acerto for maior que o acaso, enquanto os negativos ocorrem quando o
acerto pior do que uma classif icao por acaso. O maior valor de kappa
(+1,00) ocorre, quando existe uma classif icao perfeita (Cohen, 1960
citado ROSENFIELD e FITZPATRICK-LINS, 1986).
Comparao entre classificadores
Conforme proposto por CONGALTON & MEAD (1983), a comparao
entre classif icadores pode ser feita pelo teste Z. O teste Z compara
coef icientes kappa de dois classif icadores e dado pela equao:
21
21
KKZ
+
= (6)
em que:
Z = valor Z calculado;
1K = coef iciente Kappa do classif icador 1;
2K = coef iciente Kappa do classif icador 2;
1 = var incia de Kappa do classif icador 1;
2 = var incia de Kappa do classif icador 2.
-
4
Segundo Bishop et al. (1975), c itados por HUDSON e RAMM (1987) a
var incia de Kappa pode ser est imada por:
( )( )
( )( )( )
( ) ( )( )
+
+
=
42
224
21
32
32112
2
11
1
41
1
212
1
1
n
1)K(
em que, =
=c
1i
ii1 xn
1;
=
=c
1iii22
xxn
1; ( )
=
+=c
1iiiii23
xxxn
1; e
( )2c
1jjjij
c
1i34
xxxn
1 =
=
+= .
Se o valor Z calculado para o teste for maior que o valor Z tabelado,
diz-se que o resultado foi signif icat ivo e rejeita-se a hiptese nula
(Ho :K1=K2) , concluindo-se que os dois c lassif icadores so estat ist icamente
diferentes. O valor Z tabelado ao nvel de 5% de probabil idade igual a
1,96.
REFERNCIAS BIBLIOGRFICAS
CONGALTON, R.G. & MEAD R.A. A quantitative method to test for consistency and correctness in photointerpretation. Photogrammetric Engineering and Remote Sensing, v.49, n.1, p.69-74, 1983.
CONGALTON, R.G. A review of assessing the accuracy of classifications of remotely sensed data. Remote sensing of environment, n. 37 p. 35-46, 1991.
HUDSON, W.D.; RAMM, C.W. Correct formulation of the kappa coefficient of agreement. Photogrammetric Engineering & Remote Sensing, v.53 n.4 p.421-422, 1987.
KHOURY JR. J.K. Desenvolvimento e avaliao de um sistema de viso artificial para classificao de madeira serrada de eucalipto. Tese de Doutorado. Viosa, UFV, 2004.
ROSENFIELD, G.H.; FITZPATRICK-LINS, K. A coefficient of agreement as a measure of thematic classification accuracy. Photogrammetric Engineering & Remote Sensing, v.52 n.2 p.223-227, 1986.