exemplo chamadas telefônicas - ime-uspgiapaula/slides_exemplo_chamadas.pdf · ajuste mínimos...

Exemplo Chamadas Telefônicas

Gilberto A. Paula

Departamento de EstatísticaIME-USP, Brasil

giapaula@ime.usp.br

2o Semestre 2016

G. A. Paula (IME-USP) Chamadas Telefônicas 2o Semestre 2016 1 / 25

Chamadas Telefônicas

Sumário

1 Chamadas Telefônicas

2 Análise de Dados Preliminar

3 Ajuste Mínimos Quadrados

4 Diagnóstico Modelo Ajustado

5 Ajuste Crítério Robusto

6 Conclusões

7 Referências

G. A. Paula (IME-USP) Chamadas Telefônicas 2o Semestre 2016 2 / 25

Chamadas Telefônicas

Chamadas Telefônicas

Descrição dos Dados

Para motivar a comparação do procedimento de estimação demínimos quadrados com o procedimento de estimação robustaproposto por Huber vamos considerar o conjunto de dados disponívelno software R sobre

G. A. Paula (IME-USP) Chamadas Telefônicas 2o Semestre 2016 3 / 25

Chamadas Telefônicas

Chamadas Telefônicas

Descrição dos Dados

Para motivar a comparação do procedimento de estimação demínimos quadrados com o procedimento de estimação robustaproposto por Huber vamos considerar o conjunto de dados disponívelno software R sobre

chamadas telefônicas (em milhões) na Bélgica no período de1950 a 1973.

G. A. Paula (IME-USP) Chamadas Telefônicas 2o Semestre 2016 3 / 25

Chamadas Telefônicas

Chamadas Telefônicas

Descrição dos Dados

Para motivar a comparação do procedimento de estimação demínimos quadrados com o procedimento de estimação robustaproposto por Huber vamos considerar o conjunto de dados disponívelno software R sobre

chamadas telefônicas (em milhões) na Bélgica no período de1950 a 1973.

Esses dados são discutidos, por exemplo, em Venables e Ripley(2003, Capítulo 8).

G. A. Paula (IME-USP) Chamadas Telefônicas 2o Semestre 2016 3 / 25

Análise de Dados Preliminar

Sumário

1 Chamadas Telefônicas

2 Análise de Dados Preliminar

3 Ajuste Mínimos Quadrados

4 Diagnóstico Modelo Ajustado

5 Ajuste Crítério Robusto

6 Conclusões

7 Referências

G. A. Paula (IME-USP) Chamadas Telefônicas 2o Semestre 2016 4 / 25

Análise de Dados Preliminar

Medidas Resumo

Descrição

Medida Chamadasn 24Média 50,00D.Padrão 65,53CV 131%

Mínimo 4,401o Quartil 7,90Mediana 15,503o Quartil 62,00Máximo 232,00

G. A. Paula (IME-USP) Chamadas Telefônicas 2o Semestre 2016 5 / 25

Análise de Dados Preliminar

Dispersão Chamdas versus Ano

50 55 60 65 70

050

100

150

200

Ano

Cha

mad

as

G. A. Paula (IME-USP) Chamadas Telefônicas 2o Semestre 2016 6 / 25

Análise de Dados Preliminar

Boxplot Chamadas

050

100

150

200

Cha

mad

as

050

100

150

200

Cha

mad

as

G. A. Paula (IME-USP) Chamadas Telefônicas 2o Semestre 2016 7 / 25

Ajuste Mínimos Quadrados

Sumário

1 Chamadas Telefônicas

2 Análise de Dados Preliminar

3 Ajuste Mínimos Quadrados

4 Diagnóstico Modelo Ajustado

5 Ajuste Crítério Robusto

6 Conclusões

7 Referências

G. A. Paula (IME-USP) Chamadas Telefônicas 2o Semestre 2016 8 / 25

Ajuste Mínimos Quadrados

Modelo Linear Normal

Descrição

Nota-se um aumento do número de chamadas telefônicas com o ano,havendo forte destaque para 6 anos consecutivos (64 a 69) em que onúmero de chamadas é bastante acentuado. Vamos considerar parailustração o seguinte modelo linear:

G. A. Paula (IME-USP) Chamadas Telefônicas 2o Semestre 2016 9 / 25

Ajuste Mínimos Quadrados

Modelo Linear Normal

Descrição

Nota-se um aumento do número de chamadas telefônicas com o ano,havendo forte destaque para 6 anos consecutivos (64 a 69) em que onúmero de chamadas é bastante acentuado. Vamos considerar parailustração o seguinte modelo linear:

yi = β1 + β2 × anoi + ǫi ,

G. A. Paula (IME-USP) Chamadas Telefônicas 2o Semestre 2016 9 / 25

Ajuste Mínimos Quadrados

Modelo Linear Normal

Descrição

Nota-se um aumento do número de chamadas telefônicas com o ano,havendo forte destaque para 6 anos consecutivos (64 a 69) em que onúmero de chamadas é bastante acentuado. Vamos considerar parailustração o seguinte modelo linear:

yi = β1 + β2 × anoi + ǫi ,

para i = 1, . . . , 24, em que yi denota o número de chamadas

telefônicas no i-ésimo ano com ǫiiid∼ N(0, σ2).

G. A. Paula (IME-USP) Chamadas Telefônicas 2o Semestre 2016 9 / 25

Ajuste Mínimos Quadrados

Estimativas

Descrição

As estimativas dos parâmetros são dadas abaixo.

G. A. Paula (IME-USP) Chamadas Telefônicas 2o Semestre 2016 10 / 25

Ajuste Mínimos Quadrados

Estimativas

Descrição

As estimativas dos parâmetros são dadas abaixo.

Efeito Estimativa Erro padrão valor-t valor-PConstante -260,059 102,607 -2,53 0,02Ano 5,041 1,658 3,04 0,00R2 0,30R2-ajustado 0,26s 56,22F 9,25 (1 e 22 g.l.) 0,00

G. A. Paula (IME-USP) Chamadas Telefônicas 2o Semestre 2016 10 / 25

Ajuste Mínimos Quadrados

Estimativas

Descrição

As estimativas dos parâmetros são dadas abaixo.

Efeito Estimativa Erro padrão valor-t valor-PConstante -260,059 102,607 -2,53 0,02Ano 5,041 1,658 3,04 0,00R2 0,30R2-ajustado 0,26s 56,22F 9,25 (1 e 22 g.l.) 0,00

Todas os parâmetros são marginalmente significativos.

G. A. Paula (IME-USP) Chamadas Telefônicas 2o Semestre 2016 10 / 25

Ajuste Mínimos Quadrados

Ajuste Mínimos Quadrados

50 55 60 65 70

050

100

150

200

Ano

Cha

mda

s

G. A. Paula (IME-USP) Chamadas Telefônicas 2o Semestre 2016 11 / 25

Diagnóstico Modelo Ajustado

Sumário

1 Chamadas Telefônicas

2 Análise de Dados Preliminar

3 Ajuste Mínimos Quadrados

4 Diagnóstico Modelo Ajustado

5 Ajuste Crítério Robusto

6 Conclusões

7 Referências

G. A. Paula (IME-USP) Chamadas Telefônicas 2o Semestre 2016 12 / 25

Diagnóstico Modelo Ajustado

Diagnóstico Modelo Ajustado

50 55 60 65 70

0.00

0.05

0.10

0.15

0.20

0.25

Ano

Dis

tânc

ia d

e C

ook

G. A. Paula (IME-USP) Chamadas Telefônicas 2o Semestre 2016 13 / 25

Diagnóstico Modelo Ajustado

Resíduos Modelo Ajustado

−2 −1 0 1 2

−3−2

−10

12

3

Percentil da N(0,1)

Res

iduo

Stu

dent

izad

o

G. A. Paula (IME-USP) Chamadas Telefônicas 2o Semestre 2016 14 / 25

Ajuste Crítério Robusto

Sumário

1 Chamadas Telefônicas

2 Análise de Dados Preliminar

3 Ajuste Mínimos Quadrados

4 Diagnóstico Modelo Ajustado

5 Ajuste Crítério Robusto

6 Conclusões

7 Referências

G. A. Paula (IME-USP) Chamadas Telefônicas 2o Semestre 2016 15 / 25

Ajuste Crítério Robusto

Modelo Linear Normal

Descrição

A fim de reduzir a influência das observações discrepantes seráaplicado o critério de Huber para ajustar o seguinte modelo linear:

G. A. Paula (IME-USP) Chamadas Telefônicas 2o Semestre 2016 16 / 25

Ajuste Crítério Robusto

Modelo Linear Normal

Descrição

A fim de reduzir a influência das observações discrepantes seráaplicado o critério de Huber para ajustar o seguinte modelo linear:

yi = β1 + β2 × anoi + ǫi ,

G. A. Paula (IME-USP) Chamadas Telefônicas 2o Semestre 2016 16 / 25

Ajuste Crítério Robusto

Modelo Linear Normal

Descrição

A fim de reduzir a influência das observações discrepantes seráaplicado o critério de Huber para ajustar o seguinte modelo linear:

yi = β1 + β2 × anoi + ǫi ,

para i = 1, . . . , 24, em que yi denota o número de chamdas no i-ésimo

ano com ǫiiid∼ N(0, σ2).

G. A. Paula (IME-USP) Chamadas Telefônicas 2o Semestre 2016 16 / 25

Ajuste Crítério Robusto

Modelo Linear Normal

Critério de Huber

O critério de Huber consiste em minimizar a função

G. A. Paula (IME-USP) Chamadas Telefônicas 2o Semestre 2016 17 / 25

Ajuste Crítério Robusto

Modelo Linear Normal

Critério de Huber

O critério de Huber consiste em minimizar a função

Sρ(β) =n

∑

i=1

ρ(zi),

G. A. Paula (IME-USP) Chamadas Telefônicas 2o Semestre 2016 17 / 25

Ajuste Crítério Robusto

Modelo Linear Normal

Critério de Huber

O critério de Huber consiste em minimizar a função

Sρ(β) =n

∑

i=1

ρ(zi),

em que zi =ǫis com

G. A. Paula (IME-USP) Chamadas Telefônicas 2o Semestre 2016 17 / 25

Ajuste Crítério Robusto

Modelo Linear Normal

Critério de Huber

O critério de Huber consiste em minimizar a função

Sρ(β) =n

∑

i=1

ρ(zi),

em que zi =ǫis com

ρ(z) ={

z2

2 se |z| ≤ cc{|z| − c

2} se |z| > c.

G. A. Paula (IME-USP) Chamadas Telefônicas 2o Semestre 2016 17 / 25

Ajuste Crítério Robusto

Estimativas

Descrição

As estimativas dos parâmetros pelo critério de Huber com c=1,345são dadas abaixo.

G. A. Paula (IME-USP) Chamadas Telefônicas 2o Semestre 2016 18 / 25

Ajuste Crítério Robusto

Estimativas

Descrição

As estimativas dos parâmetros pelo critério de Huber com c=1,345são dadas abaixo.

Efeito Estimativa Erro padrão valor-z valor-PConstante -102,622 26,608 -3,86 0,00Ano 2,041 0,430 4,75 0,00s 9,032

G. A. Paula (IME-USP) Chamadas Telefônicas 2o Semestre 2016 18 / 25

Ajuste Crítério Robusto

Estimativas

Descrição

As estimativas dos parâmetros pelo critério de Huber com c=1,345são dadas abaixo.

Efeito Estimativa Erro padrão valor-z valor-PConstante -102,622 26,608 -3,86 0,00Ano 2,041 0,430 4,75 0,00s 9,032

Todas os parâmetros são altamente significativos.

G. A. Paula (IME-USP) Chamadas Telefônicas 2o Semestre 2016 18 / 25

Ajuste Crítério Robusto

Peso versus Chamadas

0 50 100 150 200

0.2

0.4

0.6

0.8

1.0

Chamadas

Peso

G. A. Paula (IME-USP) Chamadas Telefônicas 2o Semestre 2016 19 / 25

Ajuste Crítério Robusto

Peso versus Ano

50 55 60 65 70

0.2

0.4

0.6

0.8

1.0

Ano

Peso

G. A. Paula (IME-USP) Chamadas Telefônicas 2o Semestre 2016 20 / 25

Ajuste Crítério Robusto

Comparação Métodos de Estimação

50 55 60 65 70

050

100

150

200

Ano

Cha

mad

as

M.Q.

Ruber

G. A. Paula (IME-USP) Chamadas Telefônicas 2o Semestre 2016 21 / 25

Conclusões

Sumário

1 Chamadas Telefônicas

2 Análise de Dados Preliminar

3 Ajuste Mínimos Quadrados

4 Diagnóstico Modelo Ajustado

5 Ajuste Crítério Robusto

6 Conclusões

7 Referências

G. A. Paula (IME-USP) Chamadas Telefônicas 2o Semestre 2016 22 / 25

Conclusões

Conclusões

Considerações Finais

G. A. Paula (IME-USP) Chamadas Telefônicas 2o Semestre 2016 23 / 25

Conclusões

Conclusões

Considerações Finais

Neste conjunto de dados há 6 observações discrepantes com altainfluência nas estimativas do intercepto e inclinação da retaajustada pelo método de mínimos quadrados.

G. A. Paula (IME-USP) Chamadas Telefônicas 2o Semestre 2016 23 / 25

Conclusões

Conclusões

Considerações Finais

Neste conjunto de dados há 6 observações discrepantes com altainfluência nas estimativas do intercepto e inclinação da retaajustada pelo método de mínimos quadrados.

O procedimento de estimação usando o critério de de Huberreduz consideravelmente a influência desses anos que recebemos menores pesos no processo de estimação.

G. A. Paula (IME-USP) Chamadas Telefônicas 2o Semestre 2016 23 / 25

Conclusões

Conclusões

Considerações Finais

Neste conjunto de dados há 6 observações discrepantes com altainfluência nas estimativas do intercepto e inclinação da retaajustada pelo método de mínimos quadrados.

O procedimento de estimação usando o critério de de Huberreduz consideravelmente a influência desses anos que recebemos menores pesos no processo de estimação.

Os últimos três anos também têm uma redução dos pesos noprocesso de estimação.

G. A. Paula (IME-USP) Chamadas Telefônicas 2o Semestre 2016 23 / 25

Referências

Sumário

1 Chamadas Telefônicas

2 Análise de Dados Preliminar

3 Ajuste Mínimos Quadrados

4 Diagnóstico Modelo Ajustado

5 Ajuste Crítério Robusto

6 Conclusões

7 Referências

G. A. Paula (IME-USP) Chamadas Telefônicas 2o Semestre 2016 24 / 25

Referências

Referências

Referência

G. A. Paula (IME-USP) Chamadas Telefônicas 2o Semestre 2016 25 / 25

Referências

Referências

Referência

Venables, W. N. e Ripley, B. D. (2003). Modern Applied Statisticswith S-Plus, Fourth Edition. New York: Springer.

G. A. Paula (IME-USP) Chamadas Telefônicas 2o Semestre 2016 25 / 25