ce225 - modelos lineares generalizadostaconeli/ce22519/aula2.pdf ·...

CE225 - Modelos Lineares Generalizados

Cesar Augusto Taconeli

05 de agosto, 2019

Cesar Augusto Taconeli CE225 - Modelos Lineares Generalizados 05 de agosto, 2019 1 / 31

Aula 2 - Uma breve revisão sobre modelos lineares

Aula 2 - Uma breve revisão sobre modeloslineares



Modelos lineares

Modelos de regressão são utilizados para modelar a relação entre umavariável aleatória y e um conjunto de variáveis explicativas x1, x2, ..., xp.

As variáveis explicativas são incorporadas ao modelo juntamente comum conjunto de parâmetros desconhecidos, que são estimados combase nos dados disponíveis.

Uma classe de modelos de regressão são os modelos lineares, quepodem ser expresso na seguinte forma geral:

y = β0 + β1x1 + β2x2 + ...+ βpxp + ε, (1)

em que β0, β1, β2, ..., βp são os parâmetros do modelo e ε é o erro ,aleatório e não observável, ao qual assumimos E [ε] = 0 e Var [ε] = σ2.



Modelos lineares

Vamos denotar o modelo linear por:

y = f (β; x) + ε = x ′β + ε, (2)

em que x = (1, x1, ..., xp)′ é o vetor de variáveis explicativas eβ = (β0, β1, ..., βp)′ é o vetor de parâmetros.

Importante notar que o termo linear se refere à forma como osparâmetros (e não as variáveis explicativas) são inseridos no modelo.

Assim, um modelo é linear se cada derivada parcial do tipo

∂f (β; x)∂βj

(3)

não depender de βj , j = 0, 1, 2, ..., p.Cesar Augusto Taconeli CE225 - Modelos Lineares Generalizados 05 de agosto, 2019 4 / 31


Modelos lineares

Os seguintes preditores definem modelos lineares:

f (β; x) = β0 + β1x1 + β2x2; (4)

f (β; x) = β0 + β1x + β2x2 + β3x3; (5)

f (β; x) = β0 + β1 ln x1 + β2

( 1x2

); (6)

f (β; x) = β0 + β1x1 + β2x2 + β3x1x2. (7)



Modelos lineares

Os seguintes preditores definem modelos não lineares:

f (β; x) = β0 + β1 exp{β2x1}; (8)

f (β; x) = β01 + exp{β1x} ; (9)

f (β; x) = β0 + β1x1 + sin (β2 + β3x2) . (10)



Representação matricial de modelos linearesConsidere um conjunto de n observações do tipo (y1, x1), (y2, x2), . . . ,(yn, xn), x′i = (1, xi1, xi2, ..., x ′ip).

A representação matricial de um modelo linear fica dada por:

y = Xβ + ε, ε ∼ Nn(0, σ2In), (11)

em que Nn representa a distribuição Normal n−variada, In a matrizidentidade n × n e

y =

y1y2...

yn

;X =

1 x11 x12 . . . x1p1 x21 x22 . . . x2p...

...... . . . ...

1 xn1 xn2 . . . xnp

; β =

β0β1...βp

; ε =

ε1ε2...εn

. (12)



Representação matricial de modelos lineares

Uma representação alternativa de modelos lineares pode ser feita emduas etapas.

Considere µ1, µ2, ..., µn, em que E (yi |x i ) = µi , i = 1, 2, ..., n. Então:

yi |xi ∼ N(µi , σ2);

µi = x ′iβ = β0 + β1xi1 + ...+ βpxip.(13)

Esta representação é mais flexível e será adotada ao longo da disciplina.



Ajuste do modelo linear pelo método de mínimosquadrados

O ajuste de um modelo linear via mínimos quadrados baseia-se nadeterminação de β = (β0, β1, ..., βp) que minimizam a soma dequadrados dos erros:

SQE (β) = ‖(y − µ)‖ =∑

i(yi − µi )2 =

n∑i=1

yi −∑

jβjxij

2

. (14)

Por se tratar de uma soma de quadrados, a minimização de SQE (β)fica determinada pela solução do seguinte conjunto de equações deestimação:

∂SQE (β)∂βj

= 0, j = 0, 1, 2, ..., p. (15)



Ajuste do modelo linear pelo método de mínimosquadrados

Uma vez que as equações de estimação são lineares com relação aosparâmetros, é possível obter os estimadores de mínimos quadrados demaneira analítica (sem recorrer a métodos numéricos).

Após alguma algebra matricial, o estimador de mínimos quadrados deβ, denotado por β, fica dado por:

β = (X ′X)−1X ′y . (16)



Propriedades dos estimadores de mínimos quadradosem modelos lineares

E(β)

= β ;

var(β) = σ2(X ′X)−1;

Na classe de estimadores lineares não viciados, β tem variância mínima(eficiência);

Se assumirmos erros com distribuição Normal, então β temdistribuição Normal:

β ∼ Np+1(β, σ2 (X ′X)−1)

, (17)

tal que:

βj ∼ N(βj , σ

2(x ′jx j

)−1). (18)



Propriedades dos estimadores de mínimos quadradosem modelos lineares

Dada uma combinação linear dos parâmetros:

c ′β = c0β0 + c1β1 + ...+ cpβp, (19)

em que c ′ = (c0, c1, ..., cp) é um vetor de constantes, então o estimador demínimos quadrados para c ′β é c ′β, com:

E (c ′β) = c ′β; Var(c ′β) = c ′(X ′X)−1cσ2 (20)

e, sob a suposição de normalidade,

c ′β ∼ N(c ′β, c ′(X ′X)−1cσ2). (21)



Resultados adicionais sobre a estimação pormínimos quadrados

A matriz H = X(X ′X)−1X ′ é o projetor ortogonal de y no espaçocoluna de X , sendo chamada “matriz chapéu” (hat matrix)

Pelo teorema de Pitágoras:

‖Y‖2 =∥∥∥Y∥∥∥2

+ ‖ε‖2 , (22)

ou seja, o vetor de observações pode ser decomposto na soma de doisvetores ortogonais: o vetor Y do vetor estimação e o vetor ε do espaçoresíduo.



Resultados adicionais sobre a estimação pormínimos quadrados

Figura 1: Projeção ortogonal de Y no espaço coluna de X



Resultados adicionais sobre os estimadores demínimos quadrados em modelos lineares

Novamente sob a suposição de normalidade dos erros, os estimadoresde mínimos quadrados são equivalentes aos de máxima verossimilhança;

Se a matriz do modelo (X) não tem posto completo, então (X ′X)−1

também não tem;

Consequentemente, o sistema de equações de estimação admiteinfinitas soluções, não existindo estimador de mínimos quadrados (β).

A solução nesse caso é considerar uma matriz inversa generalizada para(X ′X)−1, o que implica no uso de restrições para os parâmetros.



Inferência estatística em modelos lineares

A inferência estatística em modelos lineares tem como principaisobjetivos estimar e testar hipóteses sobre os parâmetros, bem comoobter predições.

Inicialmente, vamos tratar da inferência para um particular parâmetroβj do modelo.

Testes de hipóteses e intervalos de confiança para os parâmetros domodelo podem ser obtidos a partir do seguinte resultado:

βj − βj√var(βj)

∼ tn−p−1, (23)

para j = 0, 1, 2, ..., p, em que tν representa a distribuição t−Student com νgraus de liberdade.




Assim, um intervalo de confiança 100(1− α)% para βj fica dado por:

βj ± tn−p−1;α/2

√var(βj) = βj ± tn−p−1;α/2

√σ2(x ′j xj )−1, (24)

em que σ2 =∑

i (yi−yi )2

n−p−1 .

De maneira similar o teste de H0 : βj = βj0 versus H1 : βj 6= βj0, sendoβj0 um valor postulado para βj , baseia-se na estatística:

t = βj − βj0√σ2(x ′j xj )−1

, (25)

rejeitando-se H0, ao nível de significância α, se |t| > tn−p−1;1−α/2.




Vamos considerar agora o teste da hipótese de nulidade conjunta dosparâmetros do modelo:

H0 : β1 = β2 = ... = βp = 0. (26)

Esse teste baseia-se na partição da variabilidade total dos dados,conforme pode ser apresentado num quadro de análise de variância.




Tabela 1: Análise de variância

Fonte Soma de Quadrados gl Quadrado médio FRegressão SQT - SQRes p SQReg

pQMRegQMRes

Resíduos∑

i (yi − yi )2 n-p-1 SQResn−p−1

Total∑

i (yi − y)2 n-1

Sob a hipótese nula, a estatística F tem distribuição F-Snedecor comparâmetros p e n − p − 1.

Para um nível de significância α, H0 deve ser rejeitada seF > Fp,n−p−1;1−α/2.




Outra possibilidade é o teste da nulidade conjunta de um subconjuntode parâmetros:

H0 : β1 = β2 = ... = βq = 0, 1 ≤ q ≤ p. (27)

O teste de H0 baseia-se nos resultados dos ajustes “completo” (comp+1 parâmetros) e “reduzido” (com q+1 parâmetros):

Modelo reduzido: yi = β0 + β1xi1 + β2xi2 + ...+ βqxiq

Modelo completo: yi = β0 + β1xi1 + β2xi2 + ...+ βpxip(28)




Sejam SQReg0 e SQReg1 as somas de quadrados de regressão dosmodelos reduzido e completo, respectivamente.

Sob a hipótese nula (de nulidade conjunta do subconjunto deparâmetros), a estatística F:

F = (SQReg1 − SQReg0)/qSQReg1/(n − p − 1) (29)

tem distribuição F-Snedecor com q e n − p − 1 graus de liberdade,fundamentando o teste da hipótese.




Intervalos de confiança e testes de hipóteses para uma combinaçãolinear c ′β = c0β0 + c1β1 + ...+ cpβp podem ser feitos com base nadistribuição tn−p−1. Começando pelo IC 100(1− α)%:

c ′β ± tn−p−1;1−α/2

√c ′(X ′X)−1cσ2, (30)

e, para o teste bilateral de H0 : c ′β = 0, a hipótese é rejeitada se

t = c ′β√c ′(X ′X)−1cσ2

> tn−p−1;1−α/2, (31)

para um nível de significância α.



Diagnóstico do ajuste

O diagnóstico do ajuste de um modelo de regressão é uma etapafundamental da análise, tendo como objetivos:

Avaliar se o modelo proposto, de maneira geral, se ajusta bem aos dados;

Checar se as pressuposições do modelo são atendidas;

Identificar quais as causas de possível falta de ajuste e medidascorretivas apropriadas;

Identificar outliers e pontos influentes. Estudar o impacto desses pontosno ajuste do modelo.



Diagnóstico do ajuste

Dentre as principais ferramentas para diagnóstico do ajuste,destacam-se:

Métodos gráficos;

Medidas de qualidade de ajuste;

Testes de hipóteses;

Medidas de qualidade preditiva.



Diagnóstico do ajuste - Análise de resíduos

ResíduoMedida da diferença entre valores observados de uma variável e oscorrespondentes valores ajustados por um modelo.

Resíduo ordinário:

ri = yi − yi , (32)

sendo yi o valor ajustado pelo modelo para a i-ésima observação,i = 1, 2, ..., n.

Nota: Os resíduos ordinários não têm variância constante, comprometendosua utlização no diagnóstico do ajuste. Versões padronizadas sãorecomendadas.



Diagnóstico do ajuste - Análise de resíduos

Resíduo padronizado:

ri = yi − yiσ√1− hi

, i = 1, 2, ..., n, (33)

sendo hi o i-ésimo elemento da diagonal de H = X(X ′X)−1X ′.

Resíduo studentizado:

ri = yi − yiσ(−i)

√1− hi

, i = 1, 2, ..., n, (34)

em que σ(−i) é a estimativa de σ obtida sem considerar a i-ésimaobservação (leave one out).



Diagnóstico do ajuste - Alguns gráficos para análisede resíduos

Gráfico quantil-quantil normal: permite avaliar a pressuposição denormalidade, avaliar a forma da distribuição em caso de nãonormalidade, identificar outliers;

Resíduos vs valores ajustados: investigar padrões não aleatórios,variância não homogênea, presença de outliers e potenciais pontosinfluentes;

Resíduos vs ordem de coleta (no tempo, no espaço,. . . ): avaliarpossível dependência relacionada à ordem de coleta;

Resíduos versus variáveis explicativas: detectar possível falta deajuste em relação às variáveis explicativas inseridas no modelo;

Resíduos versus variáveis não incluídas no modelo: verificar se hávariáveis não incluídas no ajuste que deveriam ser consideradas. . .



Medidas de influência

ObjetivoMedir o impacto de cada observação no ajuste global (ou em componentes)do modelo.

Leverage hi : Medida de distância da i-ésima observação, no espaçodas variáveis explicativas, ao centróide das demais observações;

Distância de Cook: Medida de diferença das estimativas dosparâmetros do modelo ao considerar e ao desconsiderar uma particularobservação no ajuste;



Medidas de influência

DFFITS: Medida de diferença dos valores ajustados para umaparticular observação ao considerar e ao desconsiderar essa observaçãono ajuste;

DFBETAS: Medida de diferença das estimativas dos parâmetros domodelo (avaliados um a um) ao considerar e ao desconsiderar umaparticular observação no ajuste;

COVRATIO: Medida de alteração na precisão das estimativas dosparâmetros do modelo ao considerar e ao desconsiderar uma particularobservação no ajuste.

Nota: Observe que as medidas de influência usam a estratégia leave oneout. Para a análise, pode-se construir gráficos dos valores de uma particularmedida vs o índice da observação.



Recursos computacionais

O pacote car disponibiliza diversas funções para diagnóstico do ajuste,com diferentes gráficos para resíduos e medidas de influência;

Os pacotes effects e lsmeans dispõem recursos para explorar os efeitosdas variáveis usadas no ajuste do modelo e produção de inferências;

Usaremos pacotes adicionais, nas aulas práticas, para seleção decovariáveis e teste da qualidade do ajuste, dentre outros.



Sessão R

Vamos trabalhar com três exemplos, com scripts disponíveis na páginada disciplina:

1 Análise da viscosidade de um polímero segundo a temperatura e a taxade alimentação do catalisador em uma reação química;

2 Vendas de um produto sob quatro diferentes tipos de embalagens;3 Total em vendas de representantes de uma marca de cosméticos

segundo a idade, tempo de escolaridade, anos de experiência etamanho da população atendida.


ce225 - modelos lineares generalizadostaconeli/ce22519/aula2.pdf ·...

Documents