regressão - aula 02/04

Análise deRegressão:Estimação,testes e

propriedades

Rodrigo deSá

Precisão epropriedades

Coe�cientededeterminação

ModeloNormal

Teste dehipótese

Análise de Regressão:Estimação, testes e propriedades

Rodrigo de Sá

Fundação de Economia e Estatística, 2011


propriedades

Rodrigo deSá



ModeloNormal

Teste dehipótese

Livro texto

Damodar GujaratiEconometria Básica3ª ed. 2005.


propriedades

Rodrigo deSá



ModeloNormal

Teste dehipótese

Precisão

Sabemos que os nossos estimadores de MQO irão mudarconforme a amostra.

Por isso, precisamos de uma medida de PRECISÃO dessesestimadores.

A medida de precisão utilizada é o ERRO-PADRÃO.


propriedades

Rodrigo deSá



ModeloNormal

Teste dehipótese

Erros-padrão dos estimadores de MQO

Fórmulas explícitas dos erros-padrão dos estimadores

se(β1

)=

σ√∑x2i

se(β0

)= σ

√ ∑X 2

i

n∑

x2i

Estimador da variância dos resíduos

σ2 =

∑ui

n − 2


propriedades

Rodrigo deSá



ModeloNormal

Teste dehipótese

Propriedades dos erros-padrão

O erro-padrão do β1 é diretamente proporcional a σ einversamente proporcional a

∑x2i.

Quanto maior a variabilidade da variável explicativa Xi

maior será a precisão do nosso estimador!Precisamos que a nossa amostra �seja tão variada quantopossível�.

O erro-padrão do β0 é diretamente proporcional a σ e∑X 2

ie inversamente proporcional a

∑x2ie a n.

Se o coe�ciente angular é superestimado o intercepto serásubestimado.


propriedades

Rodrigo deSá



ModeloNormal

Teste dehipótese

Melhor estimador linear não viesado (MELNV)

Dadas as suposições do modelo clássico de regressãolinear, dizemos que os estimadores de MQO β0 e β1 sãoMELNV, isto é:

São lineares;São não viesados, ou seja, sua média ou valor esperado é

igual ao valor verdadeiro, E(βi

)= βi ;

Eles apresentam a menor variância dentro da classe detodos os estimadores lineares não viesados.


propriedades

Rodrigo deSá



ModeloNormal

Teste dehipótese


Figura: Comparação das distribuições de um estimador de MQO e deoutro estimador


propriedades

Rodrigo deSá



ModeloNormal

Teste dehipótese


Figura: Distribuição de três estimadores


propriedades

Rodrigo deSá



ModeloNormal

Teste dehipótese

O coe�ciente de determinação (r 2)

Até aqui nos ocupamos de estimar os coe�cientes deregressão, seus erros-padrão e algumas das suaspropriedades.

Mas também temos que analisar o GRAU DE AJUSTE aum conjunto de dados da reta de regressão ajustada(estimada).

Os Yi observados não �cam todos sobre a reta deregressão; temos erros positivos e negativos.

O que esperamos é que esses resíduos sejam tão pequenosquanto possíveis.

O COEFICIENTE DE DETERMINAÇÃO r2 (duasvariáveis) ou R2 (regressão múltipla) é uma medidasintética que diz quão bem a reta de regressão da amostrase ajusta aos dados.


propriedades

Rodrigo deSá



ModeloNormal

Teste dehipótese

Visualização do r2

Figura: Representação das variações de Y e X


propriedades

Rodrigo deSá



ModeloNormal

Teste dehipótese

Derivação do r2

Yi = Yi + ui

yi = yi + ui

y2i = y2i + u2i + 2yi ui∑i

y2i =∑i

y2i +∑i

u2i + 2∑i

yi ui∑i

y2i =∑i

y2i +∑i

u2i

SQT = SQE + SQR

r2 =SQE

SQT


propriedades

Rodrigo deSá



ModeloNormal

Teste dehipótese

Componentes da variação do Yi

Figura: Divisão da variação do Yi em dois componentes


propriedades

Rodrigo deSá



ModeloNormal

Teste dehipótese

Derivação do r2

r2 =SQE

SQT

r2 =

∑(Yi − Y

)2∑(

Yi − Y)2

r2 = β21

(∑x2i∑y2i

)


propriedades

Rodrigo deSá



ModeloNormal

Teste dehipótese

Propriedades do r2

É uma quantidade não negativa.

0 ≥ r2 ≥ 1.

r2 = 1 signi�ca um ajuste perfeito, isto é, Yi = Yi paratodo i .

r2 = 0 signi�ca não há nenhuma relação entre a variávelindependente e a variável explicativa.

β1 = 0 =⇒ Yi = β0 = Y .A melhor previsão para qualquer valor de Y ésimplesmente sua média (incondicional).A reta de regressão será horizontal ao eixo X .


propriedades

Rodrigo deSá



ModeloNormal

Teste dehipótese

Coe�ciente de correlação (r)

Figura: Padrões do correlação


propriedades

Rodrigo deSá



ModeloNormal

Teste dehipótese

Propriedades do r

Pode ser positivo ou negativo, com o sinal dependendo dacovariância.

−1 ≥ r ≥ 1.

É simétrico por natureza: rXY = rYX .

É independente da origem e da escala.

Se X e Y são ESTATISTICAMENTE INDEPENDENTES,o coe�ciente de correlação entre eles é igual a zero(r = 0)...

...Mas r = 0 não implica que duas variáveis sejamindependentes.

É uma MEDIDA DE ASSOCIAÇÃO LINEAR ouDEPENDÊNCIA LINEAR apenas. (SeY = X 2 =⇒ rYX = 0)

Não implica qualquer relação de causa e efeito.


propriedades

Rodrigo deSá



ModeloNormal

Teste dehipótese

Modelo clássico de regressão linear (MCRL)

Vimos anteriormente que, dadas as 10 hipóteses clássicasdo modelo de regressão linear, os estimadores de MQO sãoMELNV, isto é, são não viesados e têm variância mínima.

Quais eram as hipóteses sobre os resíduos?

Dentre essas hipóteses, as relativas ao resíduos eram:expectativa zero; não correlacionados; variância constante.

Não havia nenhuma hipótese sobre a distribuição dosresíduos.

Hipóteses corroboravam a estimação de ponto.


propriedades

Rodrigo deSá



ModeloNormal

Teste dehipótese

Modelo clássico de regressão linear normal (MCRLN)

Porém, podemos estar interessados em um intervalo paraas estimativas dos βi .

Intervalos para o estimador possibilitam testes dehipóteses.

Precisamos especi�car a distribuição de probabilidade dasperturbações ui .


propriedades

Rodrigo deSá



ModeloNormal

Teste dehipótese

A hipótese da normalidade

A REGRESSÃO LINEAR NORMAL CLÁSSICA supõe quecada ui se distribua NORMALMENTE, com

média E (ui ) = 0variância E

(u2i)= σ2

covariância: E (ui , uj) = 0, i 6= j .

De maneira concisa, ui ∼ N(0, σ2

).

OBS.: Como para quaisquer duas variáveis distribuídasnormalmente covariância igual a zero implicaindependência, então ui ∼ NID

(0, σ2

).


propriedades

Rodrigo deSá



ModeloNormal

Teste dehipótese

Por que a hipótese da normalidade?

Uma das possíveis explicações dos resíduos ui é que elesrepresentam a in�uência combinada (na variável dependente) deum grande número de variáveis independentes que não sãoexplicitamente introduzidas no modelo de regressão.

Esperamos que a in�uência dessas variáveis seja pequena e�aleatória�.Pelo TEOREMA DO LIMITE CENTRAL, com algumasrestrições, a soma de variáveis aleatórias se distribuinormalmente.

A hipótese da normalidade dos resíduos �facilita os cálculos�,pois a soma de variáveis distribuídas normalmente temdistribuição normal.

A distribuição normal é uma distribuição simples, com apenasdois parâmetros (média e variância), e amplamente estudada.

O estimador de MQO sob normalidade coincide com oestimador de MÁXIMA VEROSSIMILHANÇA.


propriedades

Rodrigo deSá



ModeloNormal

Teste dehipótese

Propriedades dos estimadores de MQO sobnormalidade

Com a hipótese da normalidade, os estimadores de MQO(β0, β1, σ

2

)apresentam as seguintes propriedades estatísticas:

São não viesados. (*)

Tem variância mínima. (*)

estimadores não viesados com variância mínima são ditosestimadores e�cientes.

Consistência, isto é, conforme o tamanho da amostraaumenta inde�nidamente, os estimadores convergem paraseus verdadeiros valores na população. (propriedadeassintótica)


propriedades

Rodrigo deSá



ModeloNormal

Teste dehipótese


Figura: Consistência: distribuição do estimador conforme o tamanhoda amostra aumenta


propriedades

Rodrigo deSá



ModeloNormal

Teste dehipótese


β0 se distribui NORMALMENTE com

média E(β0

)= β0

variância σ2β0

=∑

X2

i

n∑

x2i

σ2

concisamente β0 ∼ N(β0, σ

2

β0

).

β1 se distribui NORMALMENTE com

média E(β1

)= β1

variância σ2β1

= 1∑x2

i

σ2

concisamente β1 ∼ N(β1, σ

2

β1

).


propriedades

Rodrigo deSá



ModeloNormal

Teste dehipótese


(n − 2) σ2/σ2 é distribuída como χ2 (qui-quadrado) comn − 2 graus de liberdade.(β0, β1

)se distribuem independentemente de σ2.

β0 e β1 têm variância mínima em toda a classe deestimadores não-viesados, sejam lineares ou não.

São os MELHORES ESTIMADORES NÃO-VIESADOS(MENV).


propriedades

Rodrigo deSá



ModeloNormal

Teste dehipótese

Teste de hipótese

Teste de hipótese

Cuidado para não testar hipóteses demais; quanto mais vocêtorturar os dados, maior a probabilidade de que eles confessem,mas uma con�ssão arrancada à força pode não ser admissívelno tribunal da opinião cientí�ca. (STIGLER, 1987).


propriedades

Rodrigo deSá



ModeloNormal

Teste dehipótese

Estimativa de intervalo

Figura: Exemplo consumo x renda


propriedades

Rodrigo deSá



ModeloNormal

Teste dehipótese


A projeção marginal a consumir estimada, β1, é 0.5091.Quão con�ável é esta estimação?

Podemos construir um intervalo ao redor do estimador deponto de modo que este intervalo tenha, por exemplo, 95%de incluir o verdadeiro valor do parâmetro.

Tentamos descobrir dois números positivos δ e α de modoque a probabilidade do intervalo aleatório(β1 − δ, β1 + δ

)conter o verdadeiro β1 é de 1− α.


propriedades

Rodrigo deSá



ModeloNormal

Teste dehipótese


P(β1 − δ ≤ β1 ≤ β1 + δ

)= 1− α

O intervalo, se existir, é chamado INTERVALO DECONFIANÇA.

1− α é o COEFICIENTE DE CONFIANÇA.

0 ≤ α ≤ 1 é o NÍVEL DE SIGNIFICÂNCIA.

Também é a probabilidade de cometer o ERRO TIPO 1,isto é, rejeitar uma hipótese verdadeira.

β1 − δ é o LIMITE DE CONFIANÇA INFERIOR e β1 + δ éo LIMITE DE CONFIANÇA INFERIOR.


propriedades

Rodrigo deSá



ModeloNormal

Teste dehipótese

Intervalo de con�ança para β1

A variável aleatória

t =β1 − β1ep(β1

)t =

(β1 − β1

)√∑x2i

σ

segue a distribuição t com n − 2 graus de liberdade.

Intervalo de con�ança de β1

A probabilidade de β1 estar entre

β1 − tα/2ep(β1

)≤ β1 ≤ β1 + tα/2ep

(β1

)é de 100 (1− α)%. tα/2 é chamado VALOR CRÍTICO.


propriedades

Rodrigo deSá



ModeloNormal

Teste dehipótese

Distribuição t

Figura: Distribuição t


propriedades

Rodrigo deSá



ModeloNormal

Teste dehipótese

Exemplo consumo X renda

β1 = 0.5091, ep(β1

)= 0.0357 e gl = 8

tα/2 = 2.306

0.5091± 2.306 (0.0357)

0.5091± 0.0823

(0.4268, 0.5914)


propriedades

Rodrigo deSá



ModeloNormal

Teste dehipótese

Teste de hipótese e intervalo de con�ança

Figura: Intervalo de con�ança

REGRA DE DECISÃO: Construa um intervalo de 100 (1− α)%para β1. Se β1, segundo H0, se encontrar dentro deste intervalode con�ança, não rejeite H0; mas se β1 se encontrar fora deste

intervalo rejeite H0.


propriedades

Rodrigo deSá



ModeloNormal

Teste dehipótese

Teste de hipótese e teste de signi�cância

Podemos contruir um intervalo de con�ança ao redor dovalor que queremos testar e ver se os dados con�rmam ounão essa hipótese.

A região de aceitação é o intervalo

β∗1 − tα/2ep(β1

)≤ β1 ≤ β∗1 + tα/2ep

(β1

)O teste, então, é

t =β1 − β∗1ep(β1

)


propriedades

Rodrigo deSá



ModeloNormal

Teste dehipótese

Teste de hipótese e teste de signi�cância

Figura: Intervalo de con�ança para β∗1= 0.3

regressão - aula 02/04

Documents