1

AGRICULTURA DE PRECISO

PS-GRADUAO

AGRONOMIA CINCIA DO SOLO

Avaliao de classificadores

Car los Alberto Alves Varel la

Introduo

A aval iao de classif icadores pode ser feita a part ir de uma amostra

de referncia. Segundo CONGALTON (1991) a part ir dessa amostra de

referncia possvel construir a matr iz de erros ou de confuso da

classif icao.

Construo da matriz de erros

A matr iz de erros quadrada e de dimenso igual ao nmero de

classes aval iadas. Os resultados da classif icao so colocados nas

colunas da matr iz, sendo que nas l inhas correspondentes a diagonal

pr incipal coloca-se o nmero de observaes classif icadas corretamente e

nas demais l inhas o nmero de observaes omit idas de cada classe.

Dividindo-se o total de observaes omit idas da classe pelo total de

observaes da classe, ou seja, pelo total da coluna, tem-se o erro de

omisso da classe. O total de observaes omit idas dividido pelo total de

observaes da amostra de referncia o erro global.

Na l inha, a soma dos valores fora da diagonal pr incipal dividido pelo

total da l inha o erro de comisso ou incluso da classe (Quadro 2). O

erro de omisso (EO) est relacionado com a 'exat ido do produtor ' (1-EO) ,

pois o produtor do classif icador tem interesse em conhecer como ocorreu o

acerto da classif icao dos objetos. O erro de comisso (EC) est

relacionado com a 'exat ido do usur io' (1-EC) , pois, a conf iabi l idade que

o usur io tem quanto aos resultados da classif icao.

2

Quadro 2. Exemplo de uma matriz de erros Amostra de referncia Classe

A B C D

Total includo

Total linha ( )ix

Erro de comisso (%)

A 65 4 22 24 50 115 43

B 6 81 5 8 19 100 19

C 0 11 85 19 30 115 26

D 4 7 3 90 14 104 13

Total omitido 10 22 30 51 113 434

Total coluna ( )ix 75 103 115 141 Erro de omisso (%) 13 21 26 36

Erro Global (%) 26,04

Adaptado de KHOURY JR. (2004).

Coeficiente Kappa

Uma maneira s imples de avaliar um classif icador por meio do erro

global. Entretanto, este erro independente dos erros de omisso e

comisso, que so importantes na aval iao de classif icadores. Cohen

(1960), c itado por ROSENFIELD e FITZPATRICK-LINS (1986), desenvolveu

um coef iciente de concordncia denominado Kappa. CONGALTON e MEAD

(1983) af irmam que a estat st ica kappa pode ser ut i l izada na aval iao de

classif icadores, pois, os dados da matr iz de erros so discretos e com

distr ibuio mult inormal. De acordo com os autores, esta estat st ica uma

medida do acerto real menos o acerto por acaso, e kappa pode ser

est imado pela equao:

c

co

P1

PPK

=

em que,

K = est imat iva do coef iciente Kappa;

Po = proporo de observaes corretamente classif icadas;

Pc = proporo esperada de acerto por acaso.

3

Segundo HUDSON e RAMM (1987), o coef iciente kappa pode ser

est imada a part ir dos totais marginais da matr iz de erros, pela seguinte

equao:

=

= =

= c

1iii

2

c

1i

c

1iiiii

xxn

xxxnK

em que,

iix = valor na l inha i e coluna i da matr iz de erros;

ix = total da l inha i;

ix = total da coluna i;

n = total de observaes;

c = nmero total de classes.

Kappa igual a zero signif ica que o acerto obt ido pelo c lassif icador

igual ao acerto por acaso. Valores posit ivos de kappa ocorrem quando o

acerto for maior que o acaso, enquanto os negativos ocorrem quando o

acerto pior do que uma classif icao por acaso. O maior valor de kappa

(+1,00) ocorre, quando existe uma classif icao perfeita (Cohen, 1960

citado ROSENFIELD e FITZPATRICK-LINS, 1986).

Comparao entre classificadores

Conforme proposto por CONGALTON & MEAD (1983), a comparao

entre classif icadores pode ser feita pelo teste Z. O teste Z compara

coef icientes kappa de dois classif icadores e dado pela equao:

21

21

KKZ

+

= (6)

em que:

Z = valor Z calculado;

1K = coef iciente Kappa do classif icador 1;

2K = coef iciente Kappa do classif icador 2;

1 = var incia de Kappa do classif icador 1;

2 = var incia de Kappa do classif icador 2.

4

Segundo Bishop et al. (1975), c itados por HUDSON e RAMM (1987) a

var incia de Kappa pode ser est imada por:

( )( )

( )( )( )

( ) ( )( )

+

+

=

42

224

21

32

32112

2

11

1

41

1

212

1

1

n

1)K(

em que, =

=c

1i

ii1 xn

1;

=

=c

1iii22

xxn

1; ( )

=

+=c

1iiiii23

xxxn

1; e

( )2c

1jjjij

c

1i34

xxxn

1 =

=

+= .

Se o valor Z calculado para o teste for maior que o valor Z tabelado,

diz-se que o resultado foi signif icat ivo e rejeita-se a hiptese nula

(Ho :K1=K2) , concluindo-se que os dois c lassif icadores so estat ist icamente

diferentes. O valor Z tabelado ao nvel de 5% de probabil idade igual a

1,96.

REFERNCIAS BIBLIOGRFICAS

CONGALTON, R.G. & MEAD R.A. A quantitative method to test for consistency and correctness in photointerpretation. Photogrammetric Engineering and Remote Sensing, v.49, n.1, p.69-74, 1983.

CONGALTON, R.G. A review of assessing the accuracy of classifications of remotely sensed data. Remote sensing of environment, n. 37 p. 35-46, 1991.

HUDSON, W.D.; RAMM, C.W. Correct formulation of the kappa coefficient of agreement. Photogrammetric Engineering & Remote Sensing, v.53 n.4 p.421-422, 1987.

KHOURY JR. J.K. Desenvolvimento e avaliao de um sistema de viso artificial para classificao de madeira serrada de eucalipto. Tese de Doutorado. Viosa, UFV, 2004.

ROSENFIELD, G.H.; FITZPATRICK-LINS, K. A coefficient of agreement as a measure of thematic classification accuracy. Photogrammetric Engineering & Remote Sensing, v.52 n.2 p.223-227, 1986.