análise de modelos de regressão linear
DESCRIPTION
Análise de modelos de regressão linearTRANSCRIPT
ANÁLISE DE MODELOS
DE REGRESSÃO LINEAR
COM APLICAÇÕES
UNIVERSIDADE ESTADUAL DE CAMPINAS
ReitorJOSÉ TADEU JORGE
Coordenador Geral da UniversidadeFERNANDO FERREIRA COSTA
Conselho EditorialPresidente
PAULO FRANCHETTI
ALCIR PÉCORA – ARLEY RAMOS MORENO
EDUARDO DELGADO ASSAD – JOSÉ A. R. GONTIJO
JOSÉ ROBERTO ZAN – MARCELO KNOBEL
SEDI HIRANO – YARO BURIAN JUNIOR
ANÁLISE DE MODELOS
DE REGRESSÃO LINEARCOM APLICAÇÕES
Clarice Azevedo De Luna Freire
Departamento de Estatística (UFPR)
Eugênia M. Reginato Charnet
Departamento de Estatística (UNICAMP)
Heloísa Bonvino
Departamento de Estatística (UNICAMP)
Reinaldo CharnetDepartamento de Estatística (UNICAMP)
2a EDIÇÃO
Índices para catálogo sistemático:
1. Análise de regressão 519.5362. Estatística matemática 519.532
Copyright © by Reinaldo Charnet et al.Copyright © 2008 by Editora da UNICAMP
1a edição, 1999
Nenhuma parte desta publicação pode ser gravada, armazenada em sistema eletrônico, fotocopiada,reproduzida por meios mecânicos ou outros quaisquer sem autorização prévia do editor.
Análise de modelos de regressão linear: com aplicações / ReinaldoCharnet et al. – 2a ed. – Campinas, SP: Editora da UNICAMP, 2008.
1. Análise de regressão. 2. Estatística matemática. I. Charnet, Rei-naldo. II. Título.
CDD 519.536519.532
An13
ISBN 978-85-268-0780-8
Editora da UNICAMP
Rua Caio Graco Prado, 50 – Campus UNICAMP
Caixa Postal 6074 – Barão GeraldoCEP 13083-892 – Campinas – SP – Brasil
Tel./Fax: (19) 3521-7718/7728www.editora.unicamp.br – [email protected]
FICHA CATALOGRÁFICA ELABORADA PELO
S I S T E M A DE B I B L I O T E C A S D A U N I C A M P
DIRETORIA DE TRATAMENTO DA INFORMAÇÃO
Sumario
Introducao 1
1 O Modelo de Regressao Linear Simples 5
1.1 Introducao . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
1.2 Uma variavel auxiliar . . . . . . . . . . . . . . . . . . . . . . . . . . 9
1.3 O modelo de regressao linear simples − MRLS . . . . . . . . . . . . 11
1.4 O MRLS em forma matricial . . . . . . . . . . . . . . . . . . . . . . 16
1.5 Analise de dados . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
1.6 Exercıcios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
2 Ajuste de Reta por Quadrados Mınimos 27
2.1 A formula da reta . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
2.2 O metodo de quadrados mınimos . . . . . . . . . . . . . . . . . . . 28
2.3 Resultados uteis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
2.4 Propriedades do ajuste de quadrados mınimos . . . . . . . . . . . . 40
2.5 Pontos influentes . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
2.6 Exercıcios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
i
ii SUMARIO
3 Estimacao do MRLS 51
3.1 Estimadores de quadrados mınimos para o MRLS . . . . . . . . . . 52
3.2 Qual a escolha: modelo simples ou MRLS? . . . . . . . . . . . . . . 58
3.3 Analise de dados . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62
3.4 Exercıcios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65
4 Amostra Bivariada e o MRLS 69
4.1 Coeficiente de correlacao . . . . . . . . . . . . . . . . . . . . . . . . 70
4.2 Amostra de normal bivariada . . . . . . . . . . . . . . . . . . . . . 75
4.3 Estimacao no modelo normal bivariado . . . . . . . . . . . . . . . . 77
4.4 Exercıcios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82
5 Adequacao e Predicao sob o MRLS 87
5.1 Coeficiente de determinacao − R2 . . . . . . . . . . . . . . . . . . . 88
5.2 Teste da falta de ajuste do MRLS . . . . . . . . . . . . . . . . . . . 90
5.3 Intervalos de confianca . . . . . . . . . . . . . . . . . . . . . . . . . 99
5.4 Intervalos de predicao . . . . . . . . . . . . . . . . . . . . . . . . . . 103
5.5 Analise de dados . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105
5.6 Exercıcios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 108
6 Analise de Resıduos 115
6.1 Propriedade dos resıduos . . . . . . . . . . . . . . . . . . . . . . . . 116
6.2 Analise grafica dos resıduos . . . . . . . . . . . . . . . . . . . . . . 123
6.3 Algumas transformacoes usuais . . . . . . . . . . . . . . . . . . . . 132
SUMARIO iii
6.4 Analise de dados . . . . . . . . . . . . . . . . . . . . . . . . . . . . 136
6.5 Exercıcios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 142
7 Comparando Dois Modelos (MRLS) 147
7.1 Formulacao de dois MRLS’s . . . . . . . . . . . . . . . . . . . . . . 148
7.2 Testes para comparacao de dois MRLS’s . . . . . . . . . . . . . . . 150
7.3 Analise de dados . . . . . . . . . . . . . . . . . . . . . . . . . . . . 152
7.4 Exercıcios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 163
8 O Modelo de Regressao Linear Multipla 169
8.1 Introducao . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 170
8.2 MRLM em forma matricial . . . . . . . . . . . . . . . . . . . . . . . 172
8.3 O metodo de quadrados mınimos geral . . . . . . . . . . . . . . . . 175
8.4 Estimadores de quadrados mınimos . . . . . . . . . . . . . . . . . . 177
8.5 Qual a escolha: modelo simples ou MRLM? . . . . . . . . . . . . . 182
8.6 Testes para os parametros: escolha entre modelos . . . . . . . . . . 185
8.7 Falta de ajuste do MRLM . . . . . . . . . . . . . . . . . . . . . . . 193
8.8 Exercıcios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 195
9 Correlacoes Multiplas e Parciais 201
9.1 Distribuicao normal multivariada . . . . . . . . . . . . . . . . . . . 202
9.2 O coeficiente de determinacao e o MRLM . . . . . . . . . . . . . . . 207
9.3 Coeficientes de correlacao parciais e o MRLM . . . . . . . . . . . . 219
9.4 Exercıcios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 229
iv SUMARIO
10 Variaveis Fictıcias e Analise de Covariancia 235
10.1 Variaveis fictıcias . . . . . . . . . . . . . . . . . . . . . . . . . . . . 236
10.2 Analise de covariancia . . . . . . . . . . . . . . . . . . . . . . . . . 248
10.3 Exercıcios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 253
11 Selecao de Variaveis Regressoras 259
11.1 Introducao . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 260
11.2 Todas as regressoes possıveis . . . . . . . . . . . . . . . . . . . . . . 260
11.3 Metodo “passo atras” (backward) . . . . . . . . . . . . . . . . . . . 264
11.4 Metodo “passo a frente”(forward) . . . . . . . . . . . . . . . . . . 267
11.5 Metodo “passo a passo” (stepwise) . . . . . . . . . . . . . . . . . . 270
11.6 Exercıcios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 272
12 Analise de Resıduos e Regressao Ponderada 275
12.1 Resıduos do ajuste de MRLM . . . . . . . . . . . . . . . . . . . . . 276
12.2 Estatısticas de diagnosticos . . . . . . . . . . . . . . . . . . . . . . 281
12.3 Graficos de resıduos . . . . . . . . . . . . . . . . . . . . . . . . . . . 284
12.4 Regressao ponderada . . . . . . . . . . . . . . . . . . . . . . . . . . 293
12.5 Analise de dados . . . . . . . . . . . . . . . . . . . . . . . . . . . . 296
Apendices 303
A Estimadores de Maxima Verossimilhanca 305
B Algebra Linear 307
SUMARIO v
C Distribuicao Normal 317
D Conjunto de Dados de Meninas Dancarinas 325
E Tabelas 331
E.1 Tabela de Distribuicao Normal(0 ; 1) . . . . . . . . . . . . . . . . . 332
E.2 Tabela de Distribuicao t de Student . . . . . . . . . . . . . . . . . . 334
E.3 Tabela de Distribuicao Qui-quadrado . . . . . . . . . . . . . . . . . 336
E.4 Tabela de Distribuicao F . . . . . . . . . . . . . . . . . . . . . . . . 338
Respostas de Exercıcios Selecionados 345
Referencias Bibliograficas 349
Indice Remissivo 351
Sobre os Autores 355
Introducao
Nas ultimas decadas tem crescido consideravelmente o interesse pela Estatısticanas mais diversas areas de conhecimento. E inegavel a importancia da metodologiaestatıstica como ferramenta imprescindıvel a analise e confirmacao de hipoteses.
No entanto, se por um lado percebemos esse crescente interesse pelos metodosestatısticos, o mesmo nao ocorre com a producao de livros-texto, que nesta areatem sido bastante modesta. A falta de material didatico voltado para as aplicacoesde metodologias dificulta a aprendizagem daqueles interessados na sua utilizacao.
Este fato foi a grande motivacao para a producao deste texto, que tem porobjetivo apresentar a parte da Estatıstica que trata de modelos de regressao, resul-tando em um material que facilite a aprendizagem e principalmente as aplicacoesdos modelos de regressao.
O publico a que se destina esta obra e bastante diversificado. Os topicos saoaqui abordados de forma que o leitor com alguma familiaridade com estimacaoe testes de hipoteses − geralmente abordados em cursos introdutorios de Es-tatıstica − esta suficientemente preparado para entender os conceitos e aplicacoesaqui desenvolvidas, sem maiores dificuldades.
A intencao e de que este livro possa ser utilizado como texto basico paradisciplinas de regressao, tanto para alunos de graduacao em estatıstica como paraalunos de diferentes areas para os quais usualmente sao oferecidas.
Os capıtulos estao organizados de forma que seja possıvel aborda-los em umadisciplina de 60 horas.
O modelo de regressao linear simples e o metodo de quadrados mınimossao definidos, respectivamente, nos Capıtulos 1 e 2 e a estimacao de parametrosdos modelos e discutida no Capıtulo 3. Nestes capıtulos sao tambem destacadosalguns topicos bastante importantes como a discussao sobre pontos influentes − no
1
2 INTRODUCAO
Capıtulo 2 − assunto este retomado nos Capıtulos 6 e 12, quando sao discutidasalgumas estatısticas utilizadas no diagnostico desses pontos influentes bem comoa forma de sua utilizacao.
Ainda no Capıtulo 3, a questao da escolha entre o modelo simples e o modelode regressao linear simples e cuidadosamente discutida, visando a compreensao doleitor para a importancia da aplicacao dos metodos de regressao.
No Capıtulo 4 revisitamos o modelo Normal Bivariado e sua estimacao e noCapıtulo 5 trabalhamos com adequacao dos modelos de regressao linear simples.Destacamos no Capıtulo 6 a importancia da analise dos resıduos na verificacaodas suposicoes dos modelos, apresentando propriedades e analises graficas dessesresıduos. Esta discussao e retomada no Capıtulo 12, considerando os modelos deregressao multipla. No Capıtulo 7 analisamos o problema do ajuste de modelospara dados que constituem grupos distintos de observacoes, estudo que preparapara a utilizacao de modelos de regressao linear multipla. Os Capıtulos 9 a 13tratam dos modelos de regressao multipla. No Capıtulo 8 esses modelos sao in-troduzidos tambem na forma matricial e no Capıtulo 9 sao discutidas correlacoesmultiplas e parciais.
As chamadas variaveis fictıcias sao abordadas no Capıtulo 10 e as questoesrelacionadas com a selecao de variaveis regressoras sao tratadas no Capıtulo 11,onde apresentamos os metodos usuais utilizados para esse fim. Finalmente, noCapıtulo 12 discutimos a regressao ponderada.
Em todos os capıtulos a enfase e dada as aplicacoes. Esta enfase em parteresulta da experiencia didatica dos autores ao longo de varios anos ministrandocursos seja para alunos do curso de graduacao em Estatıstica seja para alunos deoutras areas. Sempre que possıvel, um conjunto de dados reais e analisado parailustrar conceitos e a metodologia discutida. Alem disso, no final de cada capıtulosao propostos exercıcios envolvendo os topicos apresentados que servem de estımuloao aluno para a aplicacao e fixacao de todo o material exposto.
Os Apendices incluıdos no final do livro completam o material necessario paraa compreensao de alguns topicos. No Apendice A, por exemplo, os estimadoresde maxima verossimilhanca sao revistos e o Apendice B apresenta uma revisaode algebra linear, necessaria para o tratamento dos modelos na forma matricial.A distribuicao normal e suas propriedades sao revistas no Apendice C. Um dosconjuntos de dados extensivamente trabalhado em varios capıtulos esta descritono Apendice D. Finalmente o Apendice E contem as tabelas das distribuicoesutilizadas ao longo do texto.
INTRODUCAO 3
Com este trabalho esperamos contribuir para o aprendizado de todos aquelesque, no decorrer de suas carreiras, necessitam utilizar os metodos de analise deregressao para o estudo de fenomenos ligados a sua area de conhecimento.
O texto produzido foi enriquecido devido a inclusao de alguns conjuntos dedados reais. Trata-se de simplificacoes de conjuntos oriundos de pesquisas em areasdiversas.
Agradecemos a Profa. Dra. Maria da Consolacao Tavares, FEF−Unicamp,pelo “conjunto de dados de dancarinas”, que utilizamos em varios capıtulos. Esteconjunto e parte da pesquisa “Determinacao da variacao de rotacao externa dosquadris e da angulacao dos pes em criancas dancarinas”, a ser publicada.
Agradecemos a pesquisadora da Embrapa, Aline de Holanda Maia, por in-formacoes sobre varias pesquisas. O “conjunto de dados de girassois” e parteintegrante da pesquisa “Estimativa de perda, comportamento e efeito no meioambiente da aplicacao aerea de herbicidas em arroz irrigado”, projeto de numero11.0.94.224 da Embrapa Meio Ambiente, do pesquisador Aldemir Chaim.
Agradecemos a Profa. Suely Ruiz Giolo, DE−UFPR, pelo “conjunto de dados
de tomografia”, parte do Relatorio de Analise Estatıstica de numero 49/97, doLaboratorio de Estatıstica−UFPR.
Agradecemos ao Prof. Dr. Jonathan Biele, DE−UFPR, pela contribuicaona elaboracao deste livro-texto, com muitas sugestoes sobre a teoria e desenvolvi-mento de programacao em S-Plus para a construcao de varias ilustracoes graficase elaboracao de tabelas de distribuicoes de probabilidades.
Finalmente, agradecemos a Jose Emılio Maiorino do IMECC pelas sugestoese dedicado trabalho na elaboracao da parte grafica deste livro.
Capıtulo 1
O Modelo de Regressao LinearSimples
Este capıtulo enfoca um modelo estatıstico que descreve a relacao mais simplesentre duas variaveis − uma linha reta. Trata-se do modelo estatıstico de regressaolinear simples.
Secao 1.1 Conduzimos, inicialmente, uma breve revisao em probabilidade e in-ferencia estatıstica, sob o modelo normal.
Secao 1.2 Abordamos a transicao do estudo de uma variavel aleatoria, usandoapenas o seu proprio modelo de probabilidade para a analise, com o apoiode uma outra variavel denominada auxiliar. Quais as vantagens?
Secao 1.3 Apresentamos, formalmente, o modelo estatıstico de regressao linearsimples. Uma simulacao e desenvolvida para deixar bem claras as suposicoesdo modelo.
Secao 1.4 Expressamos o modelo de regressao linear simples amostral comnotacao matricial.
Secao 1.5 Analisamos um conjunto de dados de medidas de angulos de rotacaodos pes de meninas dancarinas.
Secao 1.6 Apresentamos exercıcios sobre os topicos abordados.
5
6 CAPITULO 1. O MODELO DE REGRESSAO LINEAR SIMPLES
1.1 Introducao
Iniciamos com o estudo de uma variavel aleatoria normal. Aproveitamos pararevisar alguns aspectos da distribuicao de probabilidade normal que sera muitoutilizada. Faremos em seguida a transicao para um estudo com o apoio de umaoutra variavel denominada auxiliar.
Seja Y uma variavel aleatoria de interesse. Podemos usar a esperanca de Y,µ, e a variancia de Y, σ2
y, para descrever de maneira resumida a sua natureza.A esperanca e uma medida de tendencia central e a variancia e uma medida dadispersao em torno da esperanca. Podemos expressar a variavel Y como uma soma:µ + ε, onde ε e uma variavel aleatoria com esperanca igual a zero e variancia iguala variancia de Y, σ2
y. Assim, ε representa os inumeros fatores que, conjuntamente,fazem as observacoes de Y oscilarem em torno de µ. Este modo de expressao deY sera chamado de modelo simples.
Modelo simples
Y = µ + ε
µ : constante
E[ε] = 0
Var[ε] = σ2y
No caso particular de Y ter distribuicao normal, a esperanca e a variancia saoos unicos parametros necessarios para a definicao completa do modelo de probabi-lidade. Usaremos a notacao N(µ ; σ2
y) para a distribuicao normal, com esperancaigual a µ e variancia igual a σ2
y . Neste caso temos o modelo simples com a suposicaode distribuicao normal para a variavel aleatoria ε, destacado a seguir.
1.1. INTRODUCAO 7
Modelo simples normal
Y = µ + ε
µ: constante
ε ∼ N(0 ; σ2y)
Uma propriedade do modelo normal e que, se expressamos um evento emfuncao da esperanca e da variancia, a probabilidade deste evento independe dosvalores especıficos da esperanca e da variancia. Por exemplo:
Prob {µ − σy < Y < µ + σy} = 0, 68 e
Prob {µ − 2σy < Y < µ + 2σy} = 0, 95.
Dada uma amostra aleatoria de observacoes de Y, y1, ..., yn, estimadoresnao viciados de µ e σ2
y, ou seja, as esperancas desses estimadores sao iguais aosparametros a serem estimados, sao definidos, respectivamente, por
y =1
n
n∑
i=1
yi (1.1)
e
S2 =1
n − 1
n∑
i=1
(yi − y)2. (1.2)
Se essa amostra aleatoria e de modelo N(µ ; σ2y), temos
y ∼ N
(µ ;
σ2y
n
)e
n − 1
σ2y
S2 ∼ χ2(n−1),
sendo que χ2(n−1) representa a distribuicao Qui-Quadrado com (n − 1) graus de
liberdade e, com base nessas distribuicoes, obtemos intervalos de confianca para µe σ2
y, respectivamente,
[y − t( α
2,n−1)S/
√n ; y + t( α
2,n−1)S/
√n]
(1.3)
e
8 CAPITULO 1. O MODELO DE REGRESSAO LINEAR SIMPLES
(n − 1)S2
χ2( α2
,n−1)
;(n − 1)S2
χ2(1−α
2,n−1)
, (1.4)
onde t(α,n−1) e o quantil (1 − α) de distribuicao t de Student com n graus deliberdade (α < 0, 5) e χ2
(α,n−1) e o quantil (1 − α) de distribuicao χ2 com n grausde liberdade.
Exemplo 1.1
O peso de meninas de 7 a 11 anos de uma certa comunidade e a variavelaleatoria de interesse. Suponha que esta variavel seja normal commedia 35 kg e variancia 100 kg2. Assim, num sorteio, onde cada me-nina tenha a mesma chance de ser escolhida, com probabilidade 0,68,observamos um peso na faixa [25 ; 45]. Por outro angulo, podemos di-zer que aproximadamente 68% das meninas tem pesos neste intervalo.A Figura 1.1 ilustra este modelo de probabilidade.
10 20 30 40 50 60
Figura 1.1: Peso de meninas − a probalilidade de uma menina pesarde 25 kg a 45 kg.
1.2. UMA VARIAVEL AUXILIAR 9
1.2 Uma variavel auxiliar
Consideremos, agora, a existencia de uma outra variavel, X, com alguma relacaocom a variavel Y, o que sugere uma maneira alternativa de estudar Y, tendo comobase informacoes sobre X. Agora, as quantidades que descrevem Y sao esperan-cas e variancias condicionadas a valores especıficos de X, denotadas por E[Y|x] eVar[Y|x], onde “x”e um valor particular de X. Dada uma forte associacao entre Xe Y, talvez os valores de E[Y|x] sigam um padrao e os valores de Var[Y|x] sejammenores do que Var[Y]. Se isso ocorre, a variavel X e denominada variavel auxiliar.
A Figura 1.2 apresenta amostras de pares de valores de variaveis X e Y, paratres configuracoes. Na situacao a nao ha relacao entre as variaveis. Nas situacoesb e c nota-se relacao entre as variaveis, sendo mais acentuada em c. Observe quenas situacoes b e c podemos destacar pequenos intervalos disjuntos no eixo de X,tal que os correspondentes valores de Y sejam observados em intervalos tambemdisjuntos, em menor dispersao.
Figura 1.2: Amostras de (X,Y) (a) Y nao relacionado a X, (b) e (c) Y relacionadoa X.
10 CAPITULO 1. O MODELO DE REGRESSAO LINEAR SIMPLES
Exemplo 1.2
No Exemplo 1.1 supomos que o peso de meninas, de 7 a 11 anos, de umacerta comunidade e normal com esperanca 35 kg e variancia 100 kg2.Vamos usar o fato de que a altura e altamente relacionada ao peso. As-sim, o peso de meninas de determinada altura esta mais concentrado emuma faixa especıfica. Vamos supor que o peso, vinculado a altura, sejanormal com esperanca dependendo do valor da altura e com variancia36 kg2. Por exemplo, esperancas 30 kg, 36 kg e 40 kg, correspondentesas alturas 1,35 m, 1,40 m e 1,50 m. Temos os seguintes resultados:
Altura (m) faixa de pesos (kg) faixa de pesos (kg)com probabilidade 0,68 com probabilidade 0,95
1,35 [24 ; 36] [18 ; 42]1,40 [30 ; 42] [24 ; 48]1,50 [34 ; 46] [28 ; 52]
Comparando os intervalos de probabilidade 0,68 com os valores apre-sentados no Exemplo 1.1, vemos que agora ha mais precisao: intervalosespecıficos e mais concentrados. A Figura 1.3 ilustra estes modelos deprobabilidade.
10 20 30 40 50 60
Figura 1.3: Distribuicao do peso de meninas − a densidade mais dis-persa e a densidade de pesos em geral; a densidade mais concentradae a densidade de pesos de meninas com 1,35 m de altura.