introdução aos métodos numéricosotton/graduacao/introducaonumericos/ajuste_de_curvas_2... · É...

Introdução aos Métodos Numéricos

Instituto de Computação UFFDepartamento de Ciência da Computação

Otton Teixeira da Silveira Filho

Conteúdo temático

● Ajuste de Curvas

Conteúdo específico

● Exemplos

● Avaliação do ajuste

Ajuste de curvas

Ajuste de curvas, como já apresentamos, permite que avaliemos se um modelo dado de comportamento para um conjunto de dados é representativo, ou seja, se temos em algum grau se o modelo é bom ou se o conjunto de dados tem algo com o modelo sugerido.

Ajuste de curvas

Aqui veremos exemplos onde:

● claramente temos um bom modelo e dados representativos

● a criação do modelo é difícil e temos dúvidas quanto a representatividade

Ambas as situações são comuns em ajuste de curvas

Ajuste de Curvas – Outro exemplo

Na tabela ao lado temos o resultado

de uma experiência de decaimento

radioativo. Determine a meia vida τ

usando o modelo dado abaixo.

t N(t)

0,3 9,55

0,8 8,38

1,1 7,71

1,5 6,89

1,8 6,35

N (t)=N0 e−t / τ

Outro exemplo

Neste caso específico o modelo é bem fundamentado cientificamente, valendo mesmo para quantidades da ordem de microgramas de material radioativo

Outro exemplo

Como resolver este problema?

A primeira vista não temos como utilizar o desenvolvimento que fizemos de ajustes polinomiais

Outro exemplo

Como resolver este problema?

A primeira vista não temos como utilizar o desenvolvimento que fizemos de ajustes polinomiais

No entanto, basta pensarmos um pouco e reduzimos nosso problema a um ajuste polinomial

Outro exemplo

Achemos o logaritmo do modelo

onde

ln N (t)=ln (N 0 e−t / τ )=ln N 0−

tτ=b0+b1 x

bo=ln N 0 ;b1=−1τ ; x≡t

Outro exemplo

Com isto o nosso problema pode ser representado como um ajuste linear, desde que transformemos os valores convenientemente.

Outro exemplo

Com isto o nosso problema pode ser representado como um ajuste linear, desde que transformemos os valores convenientemente.

Achemos o logaritmo dos valores da tabela que nos dá a quantidade de material radioativo

Outro exemplo

Tabela modificada

para nossas finalidades.

t N(t) ln N(t)

0,3 9,55 2,256541

0,8 8,38 2,125847

1,1 7,71 2,045181

1,5 6,89 1,930071

1,8 6,35 1,848454

Outro exemplo

Tabela dos valores necessários aos cálculos

x y xy x2

0,3 2,256541 0,676962 0,09

0,8 2,125847 1,700677 0,64

1,1 2,045181 2,249699 1,21

1,5 1,930071 2,895106 2,25

1,8 1,848454 3,327217 3,24

Σ 5,5 10,206094 10,849662 7,43

Outro exemplo

E nosso sistema será

( 5 5,55,5 7,43 ) (b0

b1)= (10,206094

10,849662 ) .;m21=−5,5 /5=−1,1

Outro exemplo

E nosso sistema será

( 5 5,55,5 7,43 ) (b0

b1)= (10,206094

10,849662 ) .;m21=−5,5 /5=−1,1

(5 5,50 1,38 ) (b0

b1)=( 10,206094

−0,377041 ) .;b1=−0,377041 /1,38=−0,273218

Outro exemplo

E nosso sistema será

b1 está relacionado com a meia vida por

logo

( 5 5,55,5 7,43 ) (b0

b1)= (10,206094

10,849662 ) .;m21=−5,5 /5=−1,1

(5 5,50 1,38 ) (b0

b1)=( 10,206094

−0,377041 ) .;b1=−0,377041 /1,38=−0,273218

b1=−1τ

Outro exemplo

E nosso sistema será

b1 está relacionado com a meia vida por

logo

( 5 5,55,5 7,43 ) (b0

b1)= (10,206094

10,849662 ) .;m21=−5,5 /5=−1,1

(5 5,50 1,38 ) (b0

b1)=( 10,206094

−0,377041 ) .;b1=−0,377041 /1,38=−0,273218

b1=−1τ

τ=−1b1

=1

0,273218=3,660080

Ajuste de Curvas

O procedimento que fizemos neste exemplo, ou seja, transformar o problema em outro equivalente (achar o logaritmo do modelo para transformá-lo num ajuste polinomial) pode, com os devidos cuidados, ser um recurso para auxiliar trabalhos em ajuste de curvas.

Ajuste de Curvas – Outro exemplo

Voltando ao sistema

podemos calcular a condição da matriz e encontraremos aproximadamente 24,2296

O número de condição é relativamente grande e esta é uma característica dos sistemas oriundos de ajuste de curvas

( 5 5,55,5 7,43 ) (b0

b1)= (10,206094

10,849662 )

Ajuste de curvas – Mais um exemplo

É dada a tabela da porcentagem

da população urbana no Brasil

no censo de várias décadas.

Avalie a porcentagem de

população urbana brasileira

em 2020 e 2040.

T PU(%)

1950 36,2

1960 45,5

1970 56,8

1980 68,8

1990 77,1

2000 81,2

2010 84,3

Mais um exemplo

Observe que aqui estamos fazendo uma extrapolação

Mais um exemplo

Observe que aqui estamos fazendo uma extrapolação

Em geral extrapolações são “perigosas“...

Mais um exemplo

Porque avaliações como esta são importantes?

Mais um exemplo

Porque avaliações como esta são importantes?

Organização de projetos a longo prazo

Mais um exemplo

Qual é o modelo que descreve evolução de população urbana?

Mais um exemplo

Existem modelos de crescimento populacional mas não existe modelos de crescimento de população urbana

Basta lembrar:

● as cidades européias como Paris, Lisboa, Londres tiveram sua população brutalmente reduzidas pela peste negra na idade média

● As migrações para grandes centros vindo de regiões menos favorecidas

● Esgotamento dos recursos urbanos de cidades

Mais um exemplo

Há uma quantidade tão gigantesca de fatores.

Como, então, fazer previsões para permitir planejamento urbano?

Mais um exemplo

Se as cidades bem administradas fazem isto, como fazem?

Mais um exemplo

Comecemos pelo básico...

Mais um exemplo

Qual é o modelo que descreve evolução de população urbana?

Mais um exemplo

Qual é o modelo que descreve evolução de população urbana?

Nenhum...

O que podemos fazer?

Mais um exemplo

Qual é o modelo que descreve evolução de população urbana?

Nenhum...

O que podemos fazer?

Afirmarmos que não sabemos.

Mais um exemplo

Como “mentir“ menos?

Mais um exemplo

Como “mentir“ menos?

Tomarmos como princípio o mínimo de informação a supor

Mais um exemplo

Como “mentir“ menos?

Tomarmos como princípio o mínimo de informação a supor

No caso suporemos o modelo mais simples que nos passa alguma informação:

Mais um exemplo

Como “mentir“ menos?

Tomarmos como princípio o mínimo de informação a supor

No caso suporemos o modelo mais simples que nos passa alguma informação:

Suporemos um comportamento linear, ou seja,

p1(x)=b0+b1 x

Mais um exemplo

Supondo o modelo linear, supomos o modelo mais simples possível pois só temos dois parâmetros

Isto não é verdadeiro mas é o possível

Mais um exemplo

Mas com estes dados os números

ficarão bem grandes e chatos

no processo de cálculo...

Façamos um reescalamento...

T PU(%)

1950 36,2

1960 45,5

1970 56,8

1980 68,8

1990 77,1

2000 81,2

2010 84,3

Mais um exemplo

Não é o melhor, claro, mas façamos

assim. O sistema terá a forma

T PU(%)

50 36,2

60 45,5

70 56,8

80 68,8

90 77,1

100 81,2

110 84,3( Σ' 1 Σ

' x i

Σ' x i Σ

' x i2 ) (b0

b1)=( Σ

' y i

Σ' xi yi

)

Mais um exemplo

Tabela e sistema

x y xy x2

50 36,2 1810 2500

60 45,5 2730 3600

70 56,8 3976 4900

80 68,8 5504 6400

90 77,1 6939 8100

100 81,2 8120 10000

110 84,3 9273 12100

Σ 560 449,9 38352 47600

( 7 560560 47600 ) (b0

b1)=( 449,9

38352 )

( Σ' 1 Σ

' x i

Σ' x i Σ

' x i2 ) (b0

b1)=( Σ' y i

Σ' xi yi

)

Mais um exemplo

Resolvendo o sistema

( 7 560560 47600 ) (b0

b1)=( 449,9

38352 ) .;m21=−560 /7=−80

Mais um exemplo

Resolvendo o sistema

( 7 560560 47600 ) (b0

b1)=( 449,9

38352 ) .;m21=−560 /7=−80

(7 5600 2800 ) (b0

b1)=( 449,9

2360 ) .;b1=2360 /2800=59 /70

Mais um exemplo

Resolvendo o sistema

( 7 560560 47600 ) (b0

b1)=( 449,9

38352 ) .;m21=−560 /7=−80

(7 5600 2800 ) (b0

b1)=( 449,9

2360 ) .;b1=2360 /2800=59 /70

7b0+560b1=449,9⇒b0=17 (449,9−560×

5970 )=−3,157142

Mais um exemplo

Resolvendo o sistema

( 7 560560 47600 ) (b0

b1)=( 449,9

38352 ) .;m21=−560 /7=−80

(7 5600 2800 ) (b0

b1)=( 449,9

2360 ) .;b1=2360 /2800=59 /70

7b0+560b1=449,9⇒b0=17 (449,9−560×

5970 )=−3,157142

p1(x)=−3,157142+5970

x

Mais um exemplo

Com o escalamento que fizemos

2020 corresponde a 120

Isto é apavorante! Quase 98% da população estaríam nas cidades!

p1(120)=−3,157142+5970

×120=97,985697≈97,985

Mais um exemplo

Com o escalamento que fizemos

2040 corresponde a 140

Isto é estúpido!!! A população urbana não pode exceder o total da população!

p1(140)=−3,157142+5970

×140=114,842858≈114,842

Ajuste de curvas

Estes resultados mostram três aspectos:

● A modelagem que fizemos é apenas uma modelagem

Ajuste de curvas

Estes resultados mostram três aspectos:

● A modelagem que fizemos é apenas uma modelagem

● A segunda tentativa de previsão é tola: é por demais ingênuo acreditar que uma modelagem tão simples dê algum resultado num período de tempo tão grande

Ajuste de curvas

Estes resultados mostram três aspectos:

● A modelagem que fizemos é apenas uma modelagem

● A segunda tentativa de previsão é tola: é por demais ingênuo acreditar que uma modelagem tão simples dê algum resultado num período de tempo tão grande

● Os dados tem um limite claro, 100%, que foi desconsiderado no modelo

Ajuste de curvas

Dados que envolvem porcentagem são de difícil modelagem por este tipo de abordagem

Ajuste de curvas

No entanto, muitas vezes o chamado ajuste linear (ou regressão linear) é usado para prever:

● Produção agrícola

● Estimativas de investimentos financeiros

● demanda de emprego

● contaminação por poluentes, etc.

É o que temos... e podemos errar feio...

Ajuste de curvas

O ajuste linear é usado para estes problemas e muitos mais.

Ajuste de curvas

O ajuste linear é usado para estes problemas e muitos mais.

A única forma de sermos menos enganados pelos dados é criticá-los

Ajuste de curvas

Focando nossa atenção para o sistema

e determinando o número de condição da matriz encontramos o valor 118336

A matriz é muito malcondicionada

( 7 560560 47600 ) (b0

b1)=( 449,9

38352 )

Ajuste de curvas

Sob o ponto de vista numérico

● Ajuste de curvas por mínimos quadrados é um problema malcondicionado, ou seja,

pequenas mudanças nos dados pode levar em ajustes bem diferentes

Ajuste de curvas

Sob o ponto de vista numérico

● Ajuste de curvas por mínimos quadrados é um problema malcondicionado, ou seja,

pequenas mudanças nos dados pode levar em ajustes bem diferentes

seja por erros na coleta de dados ou manipulação dos mesmos

Ajuste de curvas

O mesmo pode ser feito com estatísticas...

Ajuste de curvas

"Os números não mentem, mas os mentirosos fabricam números."

Itamar Franco

Ajuste de curvas

Mas qual a segurança que tenho que os resultados tem alguma validade?

Ajuste de curvas

Mas qual a segurança que tenho que os resultados tem alguma validade?

Certamente que o critério estético (“está bonitinho“) ou o julgamento tendencioso (“parece razoável“) não são bons pontos de partida

Ajuste de curvas

Mas qual a segurança que tenho que os resultados tem alguma validade?

Certamente que o critério estético (“está bonitinho“) ou o julgamento tendencioso (“parece razoável“) não são bons pontos de partida

Observe os próximos exemplos...

O quarteto de Anscombe

O quarteto de Anscombe

O quarteto de Anscombe

Em todos estes casos:

● O ajuste linear é o mesmo

● A média de x é 9

● A variância de x é 11

● A média de y é sempre próxima de 7,50

● A variância y é sempre próxima de 4,125

Ajuste de curvas

Como avaliar o resultado de um ajuste de curvas?

Tal avaliação não é simples e envolve análise estatística

Ajuste de curvas

Como avaliar o resultado de um ajuste de curvas?

Tal avaliação não é simples e envolve análise estatística

Veremos algumas formas simples, que não são em si sempre testemunhos confiáveis, de analisar a qualidade dos resultados

Coeficiente de determinação

Sejam

os pontos ajustados e G(x) a função ajustada. O resíduo de cada ponto é dado por

(x0, y0) ,(x1, y1),( x2, y2) ,(x3, y3) ,⋯,(xn , y n)

r i=G(x i)− y i

Coeficiente de determinação

Sejam

os pontos ajustados e G(x) a função ajustada. O resíduo de cada ponto é dado por

Definamos a soma do quadrado dos resíduos como

(x0, y0) ,(x1, y1),( x2, y2) ,(x3, y3) ,⋯,(xn , y n)

r i=G(x i)− y i

SSres=∑i=0

n

r i2

Coeficiente de determinação

Seja ainda

a média dos valores de yi

Definamos a soma total como

y=1n∑i=0

n

y i

SStotal=∑i=0

n

( y i− y )2

Coeficiente de determinação

Daí obtemos

que é o coeficiente de determinação.

● Este valor é sempre positivo nos ajustes lineares e quanto mais próximo de 1 melhor.

R2=1−SSres

SStot

Resíduo do ajuste

Sejam

os pontos ajustados e G(x) a função ajustada. O resíduo de cada ponto é dado por

Definamos a norma do resíduo como

(x0, y0) ,(x1, y1),( x2, y2) ,(x3, y3) ,⋯,(xn , y n)

r i=G(x i)− y i

Ns=‖SR‖; SR=(r0,r1,r2,⋯, rn)

Resíduo do ajuste

Quanto menor a norma dos resíduos, melhor o resultado

Ajuste de curvas

No entanto, tais parâmetros só tem sentido de qualidade do ajuste se análises estatísticas da massa de dados são feitas adicionalmente.

Ajuste de curvas

Analisemos os dados de dois problemas trabalhados

Ajuste de curvas

População urbana

Usaremos a tabela da qual

sabemos a função ajustada

T PU(%)

50 36,2

60 45,5

70 56,8

80 68,8

90 77,1

100 81,2

110 84,3p1(x)=−3,157142+

5970

x

Ajuste de curvas

A média podemos tirar da

tabela

x y xy x2

50 36,2 1810 2500

60 45,5 2730 3600

70 56,8 3976 4900

80 68,8 5504 6400

90 77,1 6939 8100

100 81,2 8120 10000

110 84,3 9273 12100

Σ 560 449,9 38352 47600y=

449,97

=64,2714

Ajuste de curvas

Resíduos e soma dos quadrados dos resíduos e total

T PU(%) p1(T) r

ir

i

2 PUi – PU

med[PU

i – PU

med]2

50 36,2 38,9857 2,7856 7,7601 -28,0714 788,003497

60 45,5 47,4143 1,9143 3,6646 -18,7714 352,36545

70 56,8 55,8429 -0,9570 0,9160 -7,4714 55,82181

80 68,8 64,2714 -4,5285 20.5075 4,5286 20,50817

90 77,1 72,7000 -4,3999 19,3596 12,8286 164,57297

100 81,2 81,1286 -0,0713 0,0050 16,9286 286,57749

110 84,3 89,5571 5,2571 27,6380 20,0286 401,14481

79,8511 2068,99428

Ajuste de curvas

O coeficiente de determinação será

e o critério diria que o ajuste é dos bons...

R2=1−

SSres

SStot

=1−79,8511

2068,99428=0,96140

Ajuste de curvas

O coeficiente de determinação será

e o critério diria que o ajuste é dos bons...

Mas a massa de dados é estatisticamente relevante?

R2=1−

SSres

SStot

=1−79,8511

2068,99428=0,96140

Ajuste de curvas

Norma do resíduo

Olhando a tabela que calculamos, pela norma do máximo a norma do resíduo é 5,2571

Pela norma euclidiana 8,9359

Não dá muita diferença e parece que o ajuste não é bom...

Ajuste de curvas

Pelos resultados obtidos pelo coeficiente de determinação e pela norma do resíduo, não podemos afirmar grande coisa sobre a qualidade do ajuste para a população urbana.

● Conservativamente, não podemos levar muito a sério o ajuste

Ajuste de curvas

Todo critério de avaliação de ajuste deverá ser criticado dentro do contexto da massa de dados e da hipótese de comportamento, o que não estamos fazendo aqui.

Ajuste de curvas

Decaimento radioativo

Para a análise dos dados

necessitaremos calcular N0

t N(t)

0,3 9,55

0,8 8,38

1,1 7,71

1,5 6,89

1,8 6,35

N (t)=N0 e−t / τ

(5 5,50 1,38 ) (b0

b1)=( 10,206094

−0,377041 ) .;b1=−0,377041 /1,38=−0,273218

5b0+5,5 b1=10,206094 ⇒b0−15

[10,206094−5,5×(−0,273218)]=2,3417586

Ajuste de curvas

Sabendo que

teremos

e a função ajustada será

calculemos os resíduos

N (t)=10,399509 e−t /3,660080

b1=−1τ e b0=ln N 0

τ=3,660080 ; N0=10,399509

Ajuste de curvas

Resíduos

t N(t) N(t)ajustado

ri

ri

2

0,3 9,55 9,58110 0,03110 9,6720x10-4

0,8 8,38 8,35770 -0.02230 4,9729x10-4

1,1 7,71 7,69998 -0,01002 1,0040x10-4

1,5 6,89 6,90283 0,01283 1,6460x10-4

1,8 6,35 6,35960 0.0096 9,2159x10-5

0,0018

Ajuste de curvas

Norma do resíduo

Olhando a tabela que calculamos, pela norma do máximo a norma do resíduo é 0,03110

Pela norma euclidiana 0,0018

Não dá muita diferença e parece que o ajuste é bom...

Ajuste de curvas

Coeficiente de determinação

t N(t) N(t)ajustado

ri

r2i

N(t)- Nmed

[N(t)- Nmed

]2

0,3 9,55 9,58110 0,03110 9,6720x10-4 1,774 3,147076

0,8 8,38 8,35770 -0.02230 4,9729x10-4 0,604 0,364816

1,1 7,71 7,69998 -0,01002 1,0040x10-4 0,066 0,004356

1,5 6,89 6,90283 0,01283 1,6460x10-4 -0,886 0,784996

1,8 6,35 6,35960 0.0096 9,2159x10-5 -1.426 2,033476

38,88 0,0018 6,33472

Ajuste de curvas

O coeficiente de determinação será

e o critério diz que o ajuste é dos bons...

R2=1−

SS res

SStot

=1−0,0018

6,33472=0,99971

Ajuste de curvas

Observe que os resultados dos dois critérios dão resultados consistentes

Ajuste de curvas

● Com a finalidade de facilitar os cálculos neste curso introdutório, usaremos na lista de exercícios e na prova apenas o critério da norma dos resíduos, tendo consciência de suas deficiências

● Usaremos a norma do máximo por simplicidade de sua determinação em cálculos manuais