coeficiente de afinidade em classificaÇÃo …coeficiente de afinidade em classificaÇÃo com dados...
TRANSCRIPT
LEAD
COEFICIENTE DE AFINIDADE EM COEFICIENTE DE AFINIDADE EM CLASSIFICAÇÃO COM DADOS CLASSIFICAÇÃO COM DADOS
OMISSOSOMISSOSUma Aplicação a Dados Reais
Ana Lorga da SilvaAna Lorga da Silva1,2,31,2,3, Helena Bacelar, Helena Bacelar--NicolauNicolau2,32,3 e e GilbertGilbert SaportaSaporta44
1Universidade Lusófona de Humanidades e Tecnologias,Departamento de Economia e Gestão
2Universidade de Lisboa, FPCE, Laboratório de Estatística e Análise de Dados3Centro de Estatística e Aplicações da Universidade de Lisboa
Linha de Investigação de Análise de Dados Multivariados4Departamento de Estatística, CNAM, Paris
2
LEAD COEFICIENTE DE AFINIDADCOEFICIENTE DE AFINIDADEE EM CLASSIFICAÇÃO EM CLASSIFICAÇÃO COM DADOS OMISSOSCOM DADOS OMISSOS
Uma Aplicação a Dados Reais
Estrutura do TrabalhoEstrutura do Trabalho::
Análise Classificatória Hierárquica AscendenteAnálise Classificatória Hierárquica AscendenteDados OmissosDados Omissos
Dados SimuladosDados SimuladosDados ReaisDados Reais
3
LEAD COEFICIENTE DE AFINIDADE EM CLASSIFICAÇÃO COEFICIENTE DE AFINIDADE EM CLASSIFICAÇÃO COM DADOS OMISSOSCOM DADOS OMISSOS
Uma Aplicação a Dados Reais
CLASSIFICAÇÃO HIÉRARQUICA CLASSIFICAÇÃO HIÉRARQUICA ASCENDENTEASCENDENTE
4
LEAD COEFICIENTE DE AFINIDADE EM COEFICIENTE DE AFINIDADE EM CLASSIFICAÇÃO COM DADOS OMISSOSCLASSIFICAÇÃO COM DADOS OMISSOS
Uma Aplicação a Dados Reais
MMMÉÉÉTTTOOODDDOOOSSS CCCLLLÁÁÁSSSSSSIIICCCOOOSSS AL / AMP Coeficiente de Afinidade Básico SL / UIM CL / USM AL / AMP Coeficiente de Bravais-Pearson SL / UIM CL / USM
5
LEAD COEFICIENTE DE AFINIDADE EM COEFICIENTE DE AFINIDADE EM CLASSIFICAÇÃO COM DADOS OMISSOSCLASSIFICAÇÃO COM DADOS OMISSOS
Uma Aplicação a Dados Reais
MMMÉÉÉTTTOOODDDOOOSSS PPPRRROOOBBBAAABBBIIILLLÍÍÍSSSTTTIIICCCOOOSSS
SL Coeficiente de Afinidade Centrado e Reduzido pelo método WW AVL AVB
6
LEAD COEFICIENTE DE AFINIDADE EM CLASSIFICAÇÃO COEFICIENTE DE AFINIDADE EM CLASSIFICAÇÃO COM DADOS OMISSOSCOM DADOS OMISSOS
Uma Aplicação a Dados Reais
DADOS OMISSOS DADOS OMISSOS
7
LEAD
COEFICIENTE DE AFINIDADE EM CLASSIFICAÇÃO COEFICIENTE DE AFINIDADE EM CLASSIFICAÇÃO COM DADOS OMISSOSCOM DADOS OMISSOS
Uma Aplicação a Dados Reais
Tipo de Dados OmissosTipo de Dados Omissos::MAR :
[ ]ijMM =
( ) ( )Pr , Probs mis obsob M X X ob M X=
é um indicador dos dados omissos,
=omisso é se,0
observado é se,1
ij
ijij x
xM
8
LEADCOEFICIENTE DE AFINIDADE EM COEFICIENTE DE AFINIDADE EM
CLASSIFICAÇÃO COM DADOS OMISSOSCLASSIFICAÇÃO COM DADOS OMISSOSUma Aplicação a Dados Reais
Padrões de Dados OmissosPadrões de Dados OmissosMONÓTONOS: NÃO MONÓTONOS:
- dado observado
- dado omisso
9
LEAD COEFICIENTE DE AFINIDADE EM CLASSIFICAÇÃO COEFICIENTE DE AFINIDADE EM CLASSIFICAÇÃO COM DADOS OMISSOSCOM DADOS OMISSOS
Uma Aplicação a Dados Reais
Métodos de ImputaçãoMétodos de Imputação::
“Implícita”:“Implícita”:
ListwiseListwise
PairwisePairwise
“Explícita”“Explícita”::
EMEM
OLSOLS
NIPALSNIPALS
IMIM
PLS2PLS2
10
LEAD COEFICIENTE DE AFINIDADE EM COEFICIENTE DE AFINIDADE EM CLASSIFICAÇÃO COM DADOS OMISSOSCLASSIFICAÇÃO COM DADOS OMISSOS
Uma Aplicação a Dados Reais
IIMMPPUUTTAAÇÇÃÃOO MMÚÚLLTTIIPPLLAA Imputações
m = 1 , 2, 3 a11 a12 a13 a21 a22 a23 a31 a32 a33 a41 a42 a43 a51 a52 a53 a61 a62 a63
a11 a21 a31 a41 a51 a61
a12 a22 a32 a42 a52 a62
a13 a23 a33 a43 a53 a63
11
LEAD
COEFICIENTE DE AFINIDADE EM CLASSIFICAÇÃO COEFICIENTE DE AFINIDADE EM CLASSIFICAÇÃO COM DADOS OMISSOSCOM DADOS OMISSOS
Uma Aplicação a Dados Reais
IM VM IM VM
IM CONSENSO IM CONSENSO
1
1
22
33
44
55
X S
X S
X S
X S
X S
sS U Dendrograma
mSSm
kk
= ∑
=1
12
LEAD COEFICIENTE DE AFINIDADE EM CLASSIFICAÇÃO COEFICIENTE DE AFINIDADE EM CLASSIFICAÇÃO COM DADOS OMISSOSCOM DADOS OMISSOS
Uma Aplicação a Dados Reais
I.I. Dados Originalmente CompletosDados Originalmente CompletosII.II. Dados IncompletosDados IncompletosIII.III. Dados “completos” por Métodos de ImputaçãoDados “completos” por Métodos de Imputação
Coeficiente de Spearman (1%) // Comparar Ultramétricas
I. com II.I. com II.
CompararComparar
I. com III.I. com III.
13
LEAD COEFICIENTE DE AFINIDADE EM COEFICIENTE DE AFINIDADE EM CLASSIFICAÇÃO COM DADOS OMISSOSCLASSIFICAÇÃO COM DADOS OMISSOS
Uma Aplicação a Dados Reais
Dados SimuladosDados SimuladosDados completos com distribuição Multinormal
1000 indivíduos, 5 variáveis
Estruturas:
10%, 15%, 20% (sobre o total) de Dados Omissos em duas
Variáveis
Dados Omissos, segundo a condição MAR
14
LEADLEAD
Coeficiente de Afinidade sr =1
0102030405060708090
100
10% AL 15% AL 20% AL 10% SL 15% SL20% SL 10% CL15% CL20% CL
Listwise Pairwise EM OLS NIPALS IMvm IMcons PLS2
COEFICIENTE DE AFINIDADE EM COEFICIENTE DE AFINIDADE EM CLASSIFICAÇÃO COM DADOS OMISSOSCLASSIFICAÇÃO COM DADOS OMISSOS
Uma Aplicação a Dados Reais
15
LEAD COEFICIENTE DE AFINIDADE EM COEFICIENTE DE AFINIDADE EM CLASSIFICAÇÃO COM DADOS OMISSOSCLASSIFICAÇÃO COM DADOS OMISSOS
Uma Aplicação a Dados Reais
LEAD
Coeficiente de Correlação de Pearson sr =1
0102030405060708090
100
10% AL 15% AL 20% AL 10% SL 15% SL 20% SL 10% CL 15% CL 20% CL
Listwise Pairwise EM OLS NIPALS IMSvm IMcons PLS2
16
LEAD COEFICIENTE DE AFINIDADE EM COEFICIENTE DE AFINIDADE EM CLASSIFICAÇÃO COM DADOS OMISSOSCLASSIFICAÇÃO COM DADOS OMISSOS
Uma Aplicação a Dados Reais
LEAD
Coeficiente de Afinidade Centrado e Reduzido pelo Método WW sr =1
0102030405060708090
100
10%AVL
15%AVL
20%AVL
10%SL
15%SL
20%SL
10%AVB
15%AVB
20%AVB
Listwise EM OLS NIPALS IMvm IMcons PLS2
17
LEAD COEFICIENTE DE AFINIDADE EM COEFICIENTE DE AFINIDADE EM CLASSIFICAÇÃO COM DADOS OMISSOSCLASSIFICAÇÃO COM DADOS OMISSOS
Uma Aplicação a Dados Reais
Dados ReaisDados ReaisDados completos com distribuição Multinormal
181 indivíduos, 5 variáveis
Estruturas:Estruturas:
10%, 15%, 20% (sobre o total) de Dados Omissos em duas Variáveis
Dados Omissos, segundo a condição MAR
- B-P Mét. Clássicos
- C. A. cr WW Mét. Prob.
- C. A. Mét. Clássicos
x3,x4,x5,x1,x2 x3,x4,x5,x1,x2
18
LEAD COEFICIENTE DE AFINIDADE EM COEFICIENTE DE AFINIDADE EM CLASSIFICAÇÃO COM DADOS OMISSOSCLASSIFICAÇÃO COM DADOS OMISSOS
Uma Aplicação a Dados Reais
Utilizam-se dados de um estudo efectuado com adolescentes Portugueses (Geada(1998)). Esse estudo pretende avaliar o efeito do clima familiar no desenvolvimento da personalidade e nos comportamentos “desviantes”, utilizando-o como prevenção do uso de drogas.
“Some longitudinal studies on deviant behaviours have shown that there is a logical continuity between instances of this type of in childhood, adolescence and adulthood” (Geada(1998))
A classificação hierárquica ascendente é uma metodologia que pode complementar o estudo efectuado.
19
LEAD COEFICIENTE DE AFINIDADE EM COEFICIENTE DE AFINIDADE EM CLASSIFICAÇÃO COM DADOS OMISSOSCLASSIFICAÇÃO COM DADOS OMISSOS
Uma Aplicação a Dados Reais
LEAD
Variáveis:- Transgressividade- Delinquencia- Autoconceito- Aptidão para gerir o Stress - Clima Familiar
GRUPOS (2):
{transgressividade, delinquência} /
{autoconceito, aptidão para gerir o stress, clima familiar}
20
LEAD COEFICIENTE DE AFINIDADE EM COEFICIENTE DE AFINIDADE EM CLASSIFICAÇÃO COM DADOS OMISSOSCLASSIFICAÇÃO COM DADOS OMISSOS
Uma Aplicação a Dados Reais
LEAD
MÉTODOS CLÁSSICOSMÉTODOS CLÁSSICOS
Coeficiente de
Afinidade
Coeficiente de
Pearson
MD métodos AL SL CL AL SL CL listwise sr =1 sr =1 sr =1 sr > 'sr sr > 'sr sr > 'sr
pairwise sr =1 sr =1 sr =1 sr > 'sr sr < 'sr sr > 'sr
EM sr =1 sr =1 sr =1 sr > 'sr sr > 'sr sr > 'sr
10% OLS sr =1 sr =1 sr =1 sr > 'sr sr > 'sr sr > 'sr
IMcons sr =1 sr =1 sr =1 sr > 'sr sr > 'sr sr > 'sr
IMvm sr =1 sr =1 sr =1 sr > 'sr sr > 'sr sr > 'sr
PLS2 sr =1 sr =1 sr =1 sr > 'sr sr > 'sr sr > 'sr
21
LEAD COEFICIENTE DE AFINIDADE EM COEFICIENTE DE AFINIDADE EM CLASSIFICAÇÃO COM DADOS OMISSOSCLASSIFICAÇÃO COM DADOS OMISSOS
Uma Aplicação a Dados Reais
LEAD
Coeficiente
de Afinidade
Coeficiente de
Pearson
MD métodos AL SL CL AL SL CL listwise
sr =1 sr =1 sr =1 sr > 'sr sr > 'sr sr > 'sr pairwise
sr =1 sr =1 sr =1 sr > 'sr sr > 'sr sr > 'sr EM
sr > 'sr sr > 'sr sr =1 sr > 'sr sr > 'sr sr > 'sr
15% OLS sr > 'sr sr > 'sr sr =1 sr > 'sr sr > 'sr sr > 'sr
IMcons sr =1 sr =1 sr =1 sr > 'sr sr > 'sr sr > 'sr
IMvm sr =1 sr =1 sr =1 sr > 'sr sr > 'sr sr > 'sr
PLS2 sr =1 sr =1 sr =1 sr > 'sr sr > 'sr sr > 'sr
22
LEAD COEFICIENTE DE AFINIDADE EM COEFICIENTE DE AFINIDADE EM CLASSIFICAÇÃO COM DADOS OMISSOSCLASSIFICAÇÃO COM DADOS OMISSOS
Uma Aplicação a Dados Reais
LEAD
Coeficiente
de Afinidade
Coeficiente de
Pearson
MD métodos AL SL CL AL SL CL listwise
sr =1 sr =1 sr =1 sr > 'sr sr > 'sr sr > 'sr pairwise
sr =1 sr =1 sr =1 sr > 'sr sr > 'sr sr > 'sr EM
sr > 'sr sr > 'sr sr > 'sr sr > 'sr sr > 'sr sr > 'sr20% OLS
sr > 'sr sr > 'sr sr =1 sr > 'sr sr > 'sr sr > 'sr IMcons
sr =1 sr > 'sr sr =1 sr > 'sr sr > 'sr sr > 'sr IMvm
sr =1 sr =1 sr =1 sr > 'sr sr > 'sr sr > 'sr PLS2
sr =1 sr =1 sr =1 sr > 'sr sr > 'sr sr > 'sr
23
LEAD COEFICIENTE DE AFINIDADE EM COEFICIENTE DE AFINIDADE EM CLASSIFICAÇÃO COM DADOS OMISSOSCLASSIFICAÇÃO COM DADOS OMISSOS
Uma Aplicação a Dados Reais
MÉTODOS PROBABILÍSTICOSMÉTODOS PROBABILÍSTICOS C. A. C.R.
WW
MD métodos AVL SL AVB listwise
sr < 'sr sr =1 sr < 'sr
EM sr < 'sr sr =1 sr < 'sr
OLS sr < 'sr sr =1 sr < 'sr
10% NIPALSsr < 'sr sr =1 sr < 'sr
IMcons sr > 'sr sr =1 sr > 'sr
IMvm sr > 'sr sr =1 sr > 'sr
PLS2 sr < 'sr sr =1 sr < 'sr
listwise sr < 'sr sr =1 sr < 'sr listwise
sr =1 sr =1 sr =1
EM sr < 'sr sr =1 sr < 'sr EM
sr < 'sr sr < 'sr sr < 'sr OLS
sr < 'sr sr =1 sr < 'sr OLS sr < 'sr sr < 'sr sr < 'sr
15% NIPALSsr < 'sr sr =1 sr < 'sr 20% NIPALS
sr < 'sr sr < 'sr sr < 'sr IMcons
sr > 'sr sr =1 sr > 'sr IMcons sr > 'sr sr =1 sr > 'sr
IMvm sr > 'sr sr =1 sr > 'sr IMvm
sr > 'sr sr =1 sr > 'sr PLS2
sr < 'sr sr =1 sr < 'sr PLS2 sr =1 sr =1 sr =1
24
LEAD COEFICIENTE DE AFINIDADE EM COEFICIENTE DE AFINIDADE EM CLASSIFICAÇÃO COM DADOS OMISSOSCLASSIFICAÇÃO COM DADOS OMISSOS
Uma Aplicação a Dados Reais
CONCLUSÕES:CONCLUSÕES:O O Coeficiente de Afinidade BásicoCoeficiente de Afinidade Básico revelarevela--se mais robusto que o coeficiente de se mais robusto que o coeficiente de PearsonPearsonO ACHA, O ACHA, SLSL é muito estável em relação ao é muito estável em relação ao CAcrCAcr, pelo método , pelo método WWWWO O métodométodo de IM de IM vmvm / / consensoconsenso pareceparece ser ser globalmenteglobalmente o o melhormelhor métodométodo de de imputaçãoimputaçãoOs resultados obtidos com os dados reais Os resultados obtidos com os dados reais não contrariam os “não contrariam os “resultados esperados”.resultados esperados”.