método dos mínimos quadrados - instituto de...

Método dos Mínimos Quadrados

com ênfase em variâncias e com recursos matriciais

(13/2/2014)

Otaviano Helene Curso de extensão universitária, IFUSP, fevereiro/2014

Baseado no livro Método dos Mínimos Quadrados com Formalismo Matricial, LF Editorial, 2ª. edição, 2013

http://livrommq.blogspot.com.br/

Problema sem solução

m0 60 kg m0+f0 65 kg f0 4 kg

m=60 m+f=65 SISTEMA INCONSISTENTE f=4

Quanto pesam criança e mãe?

2 Método dos Mínimos Quadrados, IFUSP,

fevereiro/2014

I – Solução do MMQ

• Procurar valores de m e f que minimizem

222 )4()65()60(),( ffmmfmQ


fevereiro/2014

Valores de Q para diferentes valores de m e f

222 )4()65()60(),( ffmmfmQ


fevereiro/2014

Mãe, m (kg)

Filho,

f (kg)

58 59 60 61 62

3,5 16,5 7,5 2,5 1,5 4,5

4,0 13,0 5,0 1,0 1,0 5,0

4,5 10,5 3,5 0,5 1,5 6,5

5,0 9,0 3,0 1,0 3,0 9,0

5,5 8,5 3,5 2,5 5,5 12,5

Outro exemplo medidas de um quadrado

• Lado do quadrado: l=10 cm

• Área do quadrado: a=120 cm2

• Perímetro: p=35 cm

Evidentemente, inconsistentes

2222 )354()120()10()( llllQ


fevereiro/2014

O “melhor” valor para l é 10,9 cm

0100200300400500600700800900

1000

9 10 11 12 13

l (cm)

Q(l)


fevereiro/2014

Solução analítica

• Quando os dados dependem linearmente dos parâmetros a serem ajustados, há uma solução analítica para os valores que minimizam Q. Exemplo

• m 60

• m+f 65

• f 4

222 )4()65()60(),( ffmmfmQ


fevereiro/2014

222 )4()65()60(),( ffmmfmQ

0

0

~,~

~,~

fm

fm

f

Q

m

Q

0)4~

(2)65~(2

0)65~~(2)60~(2

ffm

fmm

Os valores ajustados têm um til


fevereiro/2014

692~125

~~2

fm

fm

69

125~

~

21

12

f

m

Escrevendo na forma de matrizes

3,4

3,60

69

125

21

12~

~ 1

f

m

9

A menos de arredondamento, são os mesmo valores obtidos numericamente acima

Método dos Mínimos Quadrados, IFUSP, fevereiro/2014

• Vamos nos restringir ao caso linear.

• O caso não linear é uma aproximação, e algumas propriedades ótimas do MMQ não são válidas. Deixaremos isso para o fim.


fevereiro/2014

Sobre o MMQ

• 1) O MMQ é mais geral do que se pensa. Ele não serve apenas para “ajustar funções”, os dados não precisam obedecer a distribuições normais e pode haver dependência entre eles. (A Wikipédia em português está errada!)

• 2) O MMQ tem limitações que nem sempre são consideradas (p. ex., nos casos em que há erro na “variável dependente” ou a relação entre dados e parâmetros não é linear).


fevereiro/2014

II – O desvio padrão e alguns exemplos de ajustes de parâmetros

• Há caso em que alguns dados são mais precisos do que outros.

• Exemplos: como combinar medidas com instrumentos diferentes (paquímetro e régua); medidas de uma mesma grandeza com técnicas diferentes (aceleração da gravidade por queda livre ou por oscilação de pêndulos); medidas feitas por pessoas com habilidades diferentes (estudantes e pesquisadores experientes) ...


fevereiro/2014

Aprendendo o que fazer com medidas equivalentes

• x1, x2 e x3 três medidas equivalentes (mesmos procedimentos, equipamentos, experimentadores, condições externas ...). O melhor resultado (veremos em breve o que “melhor” quer dizer) é uma média simples:

3

321 xxxx


fevereiro/2014

• Suponha, agora, que x2 e x3 tenham sido combinados,

14

2

323,2

xxx

e não saibamos mais seus valores, apenas o valor médio x2,3. Como combiná-lo com x1? Como x2,3 foi calculado usando dois dados, é razoável que ele tenha peso 2. Portanto, a média deve ser

xxxxxx

x33

23213,21

3,2;1


O peso deve refletir a precisão de um dado. Esse dado pode ser o resultado de várias medições, uma média, o resultado

de um ajuste ...

• O peso é proporcional ao inverso da variância: 1/σ2.

• σ2 é a variância e σ é o desvio padrão.

• σ é uma medida de quanto um valor flutua em torno do valor verdadeiro da grandeza medida.

• Exemplo: σrégua≈0,3 mm; σpaquímetro≈0,05 mm


fevereiro/2014

Como saber o valor de σ?

• O fabricante de um equipamento pode informar

• Fazendo várias medidas de uma mesma grandeza

• Estudando as propriedades físicas do processo

• Conhecimento anterior

• σ é o d.p.; σ2 é a variância


fevereiro/2014

Estimando o d.p. I - Muitas vezes, precisamos estimar o d.p. a partir de medidas independentes de uma mesma grandeza, p. ex., x1, x2, x3 ... xn. Neste caso, o desvio padrão de cada dado é estimado por

17

n

ii xx

n 1

22

1

1


II – O desvio padrão da média de n dados independentes é

III – Eventos contáveis, como o número de decaimentos de uma fonte radioativa (distribuição de Poisson). Se N eventos forem observados, σ2≈N.

IV – Por experimentos anteriores, conhecemos muito bem o d.p.

18

nmédia2


No que segue:

• Vamos nos restringir ao caso em que os parâmetros a serem ajustados dependem linearmente do dados.

• Vamos supor conhecidos os desvios padrões.

• Abrir mão dessas limitações têm consequências que veremos mais adiante.


fevereiro/2014

Dois exemplos

• 1 – Consumo de combustível: gc e ge (litros/km)

20

distância percorrida (km)

consumo (l)

cidade estrada 100 200 28 300 100 43 400 0 49


a equação do MMQ

21

22

2

)49400()43100300(

)28200100(),(

cec

ecec

ggg

ggggQ

Derivando em relação a gc e ge, igualando a zero

99~500~500

353~500~2600

ec

ec

gg

gg

Solução:

kmlg

kmlg

e

c

/ 077,0~

/ 12,0~


• 2 – Ajuste dos parâmetros da função y=a·x2+b·x3 aos dados abaixo

22

x y -1 3,9 0 -1,6 1 1,4 3 -15

232),( iii bxaxybaQ


• Derivando em relação a a e b ...

23

iiiiii

iiiiii

yxxxbxxa

yxxxbxxa

33323

23222

~~

~~

4,1~

6,2~

b

a

Solução



fevereiro/2014

• Essa forma estranha de escrever é pelo seguinte

25

A função é y=a·x2+b·x3

iiiiii

iiiiii

yxxxbxxa

yxxxbxxa

33323

23222

~~

~~

iiiiii

iiiiii

yxxxbxxa

yxxxbxxa

33323

23222

~~

~~


Isso facilita as coisas

y=a0 f+b0 g+c0 h+..., f, g, h... são valores conhecidos e a0, b0, c0 ... parâmetros a serem ajustados.

26

n

i i

iiii chbgafycbaQ

12

2...

,...),,(

c

b

a

hhghf

hgggf

hfgff

yh

yg

yf

i

i

i

ii

i

ii

i

ii

i

i

i

ii

i

ii

i

ii

i

i

i

ii

i

ii

i

ii

~

~

~

2

2

22

22

2

2

222

2

2

2

2


• Suponha que o tempo verdadeiro a ser medido seja de 2s

• Suponha que haja um medidor de tempo não tendencioso que meça os valores abaixo com as probabilidades indicadas:


27

Pequena digressão sobre tendenciosidade Primeiro exemplo

resultado probabilidade 1,8 s 25% 2,0 s 50% 2,2 s 25%

• Um dado obtido pode ser 1,8s, 2,0s ou 2,2s. • Ex. de alguns dados possíveis: 1,8, 2,2, 2,2, 2,0. A

média – que será adotada como resultado, pois o experimentador não sabe que as probabilidades são aquelas – será (1,8+2,2+2,2+2,0)/4=20,5s. Fazer isso garante a não tendenciosidade das medidas de tempo.

• Não tendenciosidade significa que se essa medida for repetida indefinidamente, a média será 1,8×0,25+2,0×0,50+2,2×0,25=2,0, que é o valor verdadeiro.

• Conclusão: o tempo é medido de forma não tendenciosa


28

• Mas...

Suponha que alguém meça a aceleração da gravidade por queda livre, de um altura de 20m e, para simplificar, suponha que o valor verdadeiro seja g=10m/s2, a velocidade inicial seja nula e a posição inicial, idem. Ou seja,


29

2

2 2ou

2

1

t

sgtgs

• Suponha, agora, que aquele mesmo processo seja usado para medir o tempo:

• Os resultados de g serão estes, com as probabilidade indicadas:


30

resultado probabilidade g (m/s2)

1,8 s 25% 12,35

2,0 s 50% 10,00

2,2s 25% 8,26

• Essa é uma medida tendenciosa de g, pois 12,35×0,25+10,00×0,50+8,26×0,25=10,15m/s2. Origem da tendenciosidade: relação não linear entre o dado e o parâmetro

• Dez medidas não tendenciosas das massas do líquido no recipiente e do recipiente vazio.

• As diferenças são os dados correspondentes ao líquido apenas


31

Dados (g) Dados (g) Diferenças (g)

2,56 1,41 1,15

1,22 2,96 -1,74

3,51 1,91 1,60

3,9 1,74 2,16

4,09 1,84 2,25

2,38 1,84 0,54

2,27 0,67 1,60

3,78 2,25 1,53

2,58 3,05 -0,47

3,99 0,76 3,23

• Segundo exemplo – medida da massa de um liquido em um recipiente

• Se as medidas de massa são não tendenciosas, então as diferenças também não o são.

• A média das diferenças também não é tendenciosa. Essa média é 1,19 g.

• Entretanto, se os dados “não físicos” (massas negativas) forem descartados, a média, que será 1,76 g, será tendenciosa. A tendenciosidade surge por causa de um procedimento inadequado do experimentador: os valores negativos são não físicos, mas estatisticamente necessários!


32

III – Variâncias • Função densidade de probabilidade (fdp)

33

0

0,025

0,05

0,075

0,1

0 5 10 15 20

x - variável Fun

ção

den

sid

ade

de

pro

bab

ilid

ade

intervalo)( dxxfP


34

dxxfxxxxx )()()( 20

20

2

dxxfxxx )(0

sendo

A variância mede a dispersão da grandeza e pode ter significado físico ou informação

estatisticamente relevante

Muitas vezes, a fdp é conhecida. Ex: Maxwell; lorentziana; uniforme...


• Ex. Sabemos que a fdp é gaussiana, ou lorentziana etc., mas não conhecemos algum parâmetros

• Gaussiana: Conhecemos σ e desconhecemos x0.

35

Outras vezes conhecemos a forma e algum parâmetro da fdp e desconhecemos outro(s)

220 2/)(

)(xx

eAxf


• Podemos conhecer (ou estimar muito bem) a variância a partir de experimentos anteriores e, no experimento em questão, só precisamos estimar x0


fevereiro/2014

Covariâncias

37

2121022011

02201121

),(

),cov(

dxdxxxfxxxx

xxxxxx

x1

x2

f(x1,x2)


Representando variâncias e covariâncias

38

2

21

2

2

221

121

2

1

)cov()cov(

)cov()cov(

)cov()cov(

nnn

n

n

yyyy

yyyy

yyyy

YV


Propagação de variâncias – uma função de uma variável

• z é uma função que depende de y, z(y). Se expandirmos z até primeira ordem em torno de y0

39

)()()( 00

0

yydy

dzyzyz

y

)()()()( 0000

0

yzyydy

dzyzyzz

y

então


pois <y>=y0

• A variância de z pode ser calculada assim:


fevereiro/2014

Propagação de matrizes de covariância

• Repetindo o procedimento com mais funções e mais variáveis

z1(y1,y2,...yn), z2(y1,y2,...yn), ... zm(y1,y2,...yn),

são m funções de n variáveis:


fevereiro/2014

42

tDVDV YZ

n

mmm

n

n

y

z

y

z

y

z

y

z

y

z

y

z

y

z

y

z

y

z

00201

0

2

02

2

01

2

0

1

02

1

01

1

D


Exemplo 1

• Lados de um retângulo: y1=105 (4), y2=48 (3)

43

90

016V

• Variância do perímetro, z=2(y1+y2)

2221 yzyzD


fazendo as contas ..

44

)100(2

2

90

01622zV

o desvio padrão do perímetro é

10100z

Perímetro é 306 (10) ou 306±10


Exemplo 2 • Variância da área z=y1×y2. Neste caso não

linear, a variância é aproximada

45

105481221 yyyzyzD

área = 5040 (368)

)136089(105

48

90

01610548zV


Exemplo 3

• Perímetro e área, z1=2(y1+y2), z2=y1·y2. Variância e covariância

46

10548

22

2212

2111

yzyz

yzyzD

1360893426

3426100

1052

482

90

016

10548

22V


• As variâncias do perímetro e da área aparecem na diagonal e a covariância entre ambas, fora da diagonal

47

Perímetro = 306±10 Área = 5040±368 Covariância = 3426


Exemplo 4

48

Ajuste dos parâmetros de uma reta y=a+bx (mais adiante, veremos como estimar a matriz de covariância dos parâmetros ajustados).

x y

-2 2,9

-1 0,2

0 0,6

1 -0,7

2 -3,6


0,20 0

0 0,10

49

Matriz de covariância dos parâmetros ajustados

Variâncias em interpolações yint=aaj+bajx

)10,020,0(1

10,00

020,01)( 22 x

xxy


50

Incertezas nas interpolações e extrapolações


• Covariâncias entre valores interpolados ou extrapolados:

51

t

b

a

b

a

yyx

x

x

x

ba 1

1

10,00

020,0

1

1V

2

2

10,020,010,020,0

10,020,010,020,0

bba

baayy

xxx

xxxba

V

Valores interpolados ou extrapolados são cavariantes; são correlacionados uns com os outros. Isso é importante.


52

Exemplo da relevância da correlação entre valores interpolados: cálculo da incerteza de Δy=ya-yb

]10,02)(10,0[

1

1

10,020,010,020,0

10,020,010,020,011)(

22

2

22

baba

bba

baay

xxxx

xxx

xxx

Se xa=xb, evidentemente a incerteza em Δy será nula, como esperado.


Fontes de covariância

• Cálculos a partir de valores ajustados

• Medidas com um mesmo equipamento (a incerteza do equipamento afetará todos os dados igualmente), Ex: régua, aceleradores

Não confundir covariância com erro sistemático

Método dos Mínimos Quadrados, IFUSP,

fevereiro/2014 53

IV a – Equações do MMQ com matrizes

• As equações do MMQ escritas de forma matricial são mais simples do que na forma tradicional. Como isso só ficará totalmente claro daqui a pouco, peço alguma paciência.


fevereiro/2014

Peso mãe e criança

m0 60 kg m0+f0 65 kg f0 4 kg

m=60

m+f=65 SISTEMA INCONSISTENTE, POIS HÁ ERROS

f=4

55


m0, f0 valores verdadeiros (e desconhecidos) das massas

e1 etc. erros de medida. Essas equações podem ser escritas como

56

30

200

10

4

65

60

efkg

efmkg

emkg

3

2

1

0

0

10

11

01

4

65

60

e

e

e

f

m


• Atenção: erro= diferença entre valor verdadeiro e valor experimental.

• Não confundir erro com desvio padrão

• Erro é desconhecido (desvio padrão é conhecido)


fevereiro/2014

Parâmetros de uma reta

x1 y1

x2 y2

x3 y3

58

xbay 00

33003

22002

11001

exbay

exbay

exbay

3

2

1

0

0

3

2

1

3

2

1

1

1

1

e

e

e

b

a

x

x

x

y

y

y


59

y a x a x a x e

y a x a x a x e

y a x a x a x e

m m

m m

n n n m nm n

1 01 11 02 12 0 1 1

2 01 21 02 22 0 2 2

01 1 02 2 0

...

...

...

nmnmnn

m

m

n e

e

e

a

a

a

xxx

xxx

xxx

y

y

y

2

1

0

02

01

21

22221

11211

2

1

Notem: as equações são lineares nos parâmetros (m0, f0, a0, b0).

Caso geral,


60

nmnmnn

m

m

n e

e

e

a

a

a

xxx

xxx

xxx

y

y

y

2

1

0

02

01

21

22221

11211

2

1

eAXY 0


Escr

eve

nd

o o

pro

ble

ma

61

eAXY 0

O que precisamos minimizar:

V é a matriz de covariância dos dados Quando não há covariância entre os dados, essa expressão se reduz à

n

i i

iiii chbgafycbaQ

12

2...

,...),,(


A)X(YVA)X(YAt 1)(Q

• Derivando Q(A) em relação a cada um dos parâmetros e igualando a zero obtemos o valor ajustado,

62

YVXX)V(XA1t11t~

Estimativa dos parâmetros pelo MMQ

Vamos chamar o valor ajustado de Ã. Ele é dado por


, ...m , ja

Q

j

21 , 0

Exemplo 1: pesos, mãe e filho

• Vamos supor que todos os desvios padrões sejam iguais a 1 (V=matriz identidade de ordem n=3) e não haja covariância entre os dados

63

3

2

1

0

0

10

11

01

4

65

60

e

e

e

f

m


64

10

11

01

X

YVXX)V(XA1t11t~

3

2

1

0

0

10

11

01

4

65

60

e

e

e

f

m

3,4

3,60~A

Evidentemente, o mesmo resultado que havíamos

obtido usando o procedimento tradicional


4

65

60

Y

100

010

001

V

y1=a0+box1+e1

y2=a0+box2+e2

y3=a0+box3+e3

y4=a0+box4+e4

y5=a0+box5+e5

65

Exemplo 2: parâmetros de uma reta

x y

-2 1,8

-1 0,4

0 -4,2

2 -7,5

5 -10,8

y=a0+box


51

21

01

11

21

X

8,10

5,7

2,4

4,0

8,1

Y

10000

01000

00100

00010

00001

V

66

YVXX)V(XA1t11t~


85,1

57,2Ã

a) y1 e y2 com mesmos desvios padrões σ:

• y1= yo+ e1

• y2= yo+ e2


67

Exemplo 3: média de dois dados

1

1X

YVXX)V(XA1t11t~

2

2

0

0V

2

1

y

yY oy0A

eAXY 0

2

~ 21 yyy

b) y1 e y2 com desvios padrões diferentes:

• y1= yo+ e1

• y2= yo+ e2


68

1

1X

YVXX)V(XA1t11t~

2

1

y

yY oy0A

eAXY 0

22

21

222

211

11

~ yyy

69

IV b – Variâncias e covariâncias dos parâmetros ajustados

YVXX)V(XA1t11t~

Como Ã depende de Y, sua matriz de covariância depende da matriz de

covariância de Y. Vamos calcular isso por propagação.


• Portanto,

70

YVXX)V(XA1t11t~

1t11t

AVXX)V(XD

n

mmm

n

n

y

A

y

A

y

A

y

A

y

A

y

A

y

A

y

A

y

A

21

2

2

2

1

2

1

2

1

1

1

~

11t

AAAX)V(XDVDV

t~~~


71

11t

AX)V(XV~

YVXX)V(XA1t11t~



72

tDVDV YZ

11t

AX)V(XV~

YVXX)V(XA1t11t~

eAXY 0

Quatro equações básicas

Exemplo 1: pesos, mãe e filho

Vamos supor que todos os desvios padrões sejam iguais a 1 e não haja covariância entre os dados

73

3

2

1

0

0

10

11

01

4

65

60

e

e

e

f

m

1

V

100

010

001

10

11

01

X


74

11t

AX)V(XV~

67,033,0

33,067,0~A

V3,4

3,60~A

m 60,3±0,8 kg f 4,3±0,8 kg Covariância (m,f)= - 0,33


Exemplo 2: Consumo de combustível: gc e ge (litros/km)

75

distância percorrida (km)

consumo (l)

cidade estrada 100 200 28 300 100 43 400 0 49


Vamos supor que V seja

uma matriz identidade,

76

ee

c

g

g

0400

100300

200100

49

43

28

1

V

100

010

001

YVXX)V(XA1t11t~

4~ 10

248,0048,0

048,0048,0

077,0

12,0~

AV

A

11t

AX)V(XV~


Consumo em quilômetros/litro?

yc=1/gc=8,27km/l , ye=1/ge=13,0km/l

77

ty DVDV

2

2

10

01

e

c

e

e

c

e

e

c

c

c

g

g

g

y

g

y

g

y

g

y

D

0.703 0.055-

0.055- 0.022yV

yc=(8,27±0,15) km/l ye=(13,0±0,15) km/l


Vale a pena insistir: resumo

Em nenhum momento foi feita qualquer hipótese quanto a forma da função densidade de probabilidade

dos dados. 78

YVXX)V(XA1t11t~ 11t

AX)V(XV~

eAXY 0

Relação linear entre dados e parâmetros

A matriz de covariância dos dados deve ser conhecida (os erros são desconhecidos)


V – Teste de qui-quadrado (χ2)

• O teste de qui-quadrado é muito utilizado em ciências experimentais. Mas ele nada tem a ver com o Método dos Mínimos Quadrados.

• Para que o teste de χ2 seja utilizado (na forma que segue) é necessário que os dados obedeçam distribuições gaussianas (o que o MMQ não exige) e que conheçamos seus desvios padrões.

• Risco de confusão do teste com o MMQ.


fevereiro/2014

Definição 1 – Comparação com valor verdadeiro

80

n

i y

ii

i

yy

12

2

02

onde yi representa os dados experimentais, y0i os valores que se pretende testar, σyi os desvios padrões dos dados e não haja covariâncias entre diferentes dados.

No que segue vamos supor que os dados experimentais obedeçam a f.d.p.s gaussianas, centradas nos valores verdadeiros


Valor esperado: <χ2>=n e seu desvio

padrão é igual a

81

y. de variânciaa

e medida grandeza da dadeiro valor vero realmente

for se a ligua é de esperado valor o fato, De

. de ordem da é Portanto,

. de ordem da é de absoluto valor O

2

02

12

2

02

0

i

i

i

y

i

n

i y

ii

yii

yn

nyy

yy


Exemplo 1

Algumas meias-vidas e valores previstos por uma teoria (ou hipótese, ou modelo...) aparecem abaixo. Vamos testar a teoria

82

Valor experimental

Previsto pela teoria

(yi-y0i)2/σi

2

222±18 235 0,5

211±17 233 1,7

837±47 780 1,4

123±12 108 1,6

182±12 170 1,0

χ2=6,2. Como o valor esperado é 5, desvio padrão 3,2, os valores previstos pela teoria não discordam dos experimentos. Não devemos rejeitar a hipótese que a teoria esteja correta


Exemplo 2 – Teste de um produto Outra teoria/modelo/hipótese –

83

“Peso” esperado “peso” medido

(d.p.) diferença/dp Res.

quad.

100 g 98,2 (1,0) g 1,8 3,2

200 g 197,7 (1,5) g 1,6 2,6

500 g 497,0 (2,0) g 1,7 3

1,00 kg 0,980 (0,012) kg 1,7 2,7

2,00 kg 1,980 (0,012) kg 1,7 2,8

3,00 kg 2,975 (0,015) kg 2,1 4,3


• Χ2=18,6 . Valor esperado: 6,0; σχ2=3,6.

• O que concluir? O produto está falsificado?

• P(Χ2>18,6)=0,5%.

84

0

0,02

0,04

0,06

0,08

0,1

0,12

0,14

0,16

0 5 10 15 20

Função densidade de probabilidade de qui-quadrado com 6 graus de liberdade

P


Definição 2 – Comparação com valores ajustados

85

n

i y

ii

i

yy

12

22

~

n

i y

ii

i

parâmetrosyyparâmetrosQ

12

2)(

)(


86

Valor esperado: <χ2>=n-m, m parâmetros.

Desvio padrão igual a

Exemplo: ajuste de parâmetros de uma reta y(x)


n

i i

ii xbay

12

2

2

~~


fevereiro/2014

Exemplo com os ajustes acima

Dados experimentais: n=11; Parâmetros (y é uma parábola): m=3. Portanto, <χ2>=n-m=8 com desvio padrão

Se tudo estiver bem, esperamos que o qui-quadrado observado não seja muito diferente de 8, sendo a diferença não muito maior do que 4.

90


4)(2 mn

91

qui-quadrado

observado

P(χ2>valor

observado)

6,6 – próximo ao

esperado

58%

0,7 – muito menor

que o esperado

99,95%

130 – muito maior

que o esperado

zero


92

Diagnósticos 58% - Não podemos rejeitar a hipótese que tudo esteja em ordem 99,95% - Desvios padrões dos dados superestimados ou há covariâncias entre os dados não consideradas 0% - Os desvios padrões dos dados estão errados (subestimados ou há covariâncias); ou a função modelo está errada; ou houve problemas durante os experimentos.


Definição geral incluindo covariâncias

• Não confundir com a Q do MMQ

• Teste de qui-quadrado: dados precisam ser gaussianos


93

)AX(YV)AX(Yt ~~ 12

VI – Estimando as variâncias um breve capítulo

1) Se os dados são independentes, todos têm o mesmo desvio padrão e xi, i=1, 2, ...n, são n dados correspondentes a medidas de uma mesma grandeza,

94

n

ii xx

n 1

22

1

1

é uma estimativa não tendenciosa da variância de cada dado. Lembrete:

nmédia


2) Muitas vezes conhecemos a variância de um conjunto de dados a partir de experiências anteriores, ou de informações do fabricante de um equipamento.

3) Há casos nos quais o desvio padrão pode ser estimado com base em razões físicas ou estatísticas. Por exemplo, eventos que obedecem a uma distribuição de Poisson com média a têm desvio padrão,

95

aMétodo dos Mínimos Quadrados, IFUSP,

fevereiro/2014

4) Como <χ2>=n-m, se todos os dados de um experimento têm o mesmo desvio padrão e são estatisticamente independentes, a variância de cada dado por ser estimada por

96

mn

observado2

2

onde o valor de qui-quadrado é o resultado observado correspondente ao ajuste de m parâmetros e considerando σ=1. (O item (1) acima é um caso particular deste.)


5) Se houver dois conjuntos de dados de medidas de duas grandezas diferentes, digamos n dados x1, x2, ... xn e m dados y1, y2, ... ym, com desvios padrões iguais e σx e σy forem estimativas desses desvios padrões, então

97

é uma estimativa (melhor) da variância dos dados.


2

)1()1( 22

2

mn

mn yx

VII – Algumas propriedades do MMQ e o TCL

(a) Não tendenciosidade

• O que se espera em ciências experimentais é que se y é uma medida de uma grandeza (um dado, uma média, o resultado de um ajuste...), seu valor esperado seja igual ao valor verdadeiro da grandeza,

98

0yy


• O MMQ é não tendencioso quando os dados também são não tendenciosos

Se yi representa os dados e <yi>=y0i, como yi=y0i+ei , onde ei é o erro, então <ei>=0.

Vamos ver como fica o valor esperado de parâmetros ajustados pelo MMQ:

99

YVXX)V(XA1t11t~


O valor esperado de Ã é

100

eAXY 0

YVXX)V(XA1t11t~

Como os dados se relacionam com os parâmetros na forma

00 AXeAXY

então


portanto,

101

01t11t

1t11t

AXVXX)V(X

YVXX)V(XA~

0AA~

Conclusão: se os dados não são tendenciosos, os parâmetros ajustados pelo MMQ também

não serão tendenciosos


(b) Mínima variância

• Entre todas as estimativas de parâmetros que dependem linearmente dos dados e que não sejam tendenciosas, o MMQ fornece aquelas com menor variância

• Exemplo: dois dados com mesmo desvio padrão σ e não covariantes. O resultado do MMQ é

102

2

21 xxx 2/22

x


Outra estimativa geral, linear nos dados e não tendenciosa:

103

21 )1( xaaxx

Qual valor de a leva à menor variância dessa estimativa?

x a a2 2 2 21( ( ) )


• Derivando em relação à a e igualando a zero, obtemos:

104

2

21 xxx


que é o resultado do MMQ:

(c) O Teorema Central do Limite

• Exemplo: médias de dados uniformemente distribuídos entre zero e um.

Um só dado

105

0

2

4

6

8

10

a


• Média de dois, quatro e oito dados

106

0

2

4

6

8

10

12

b

0

5

10

15

20

d

0

5

10

15

c


• O TCL garante que

107

xx x xn n

n

1 12

2 22 2

12

22 21 1 1

tende uma gaussiana com desvio padrão igual a 1, quaisquer que sejam as f.d.p.s dos dados


O TCL no contexto do MMQ

Ã é uma média dos vários dados experimentais yi, com pesos inversamente às respectivas

variâncias

108

YVXX)V(XA1t11t~


Exemplo

y=a+bx, onde os diferentes valores yi obedecem a diferentes f.d.p.s

109

x y d.p. Tipo

-3 5,0 1,0 gaussiana

-2 3,5 0,3 uniforme

-1 2,3 0,7 tipo qui2

0 1,1 1,0 gaussiana

1 -0,6 0,5 binomial

2 -0,2 0,4 duas uniformes

3 -2,8 0,5 binomial


Parâmetros a e b ajustados: 1,20(18); -1,14(9) devem obedecer a uma f,d,p, gaussiana ou bem perto disso,

Seria exatamente gaussiana se a quantidade de dados fosse infinita


fevereiro/2014

Ilustração com muitas simulações Valores ajustados de a e b


fevereiro/2014

• Medida de uma grandeza altera valores de outras

• Vínculos entre parâmetros

• Funções não lineares nos parâmetros

• Incertezas nas variáveis dependentes


112

VIII – Outros desenvolvimentos

• Exemplo: a e b foram medidos, obtendo-se os valores 10,0 e 20,0, com matriz de covariância


113

a) Medida de uma grandeza altera outras

108

810V

Uma medida independente de b forneceu o valor 25,0 com variância igual a 10. Vamos ao MMQ.

• Evidentemente, valor adotado para b foi alterado; seu d. p., idem.

• Menos evidente: o valor adotado para a é alterado e seu d.p., idem.


114

1000

0108

0810

V

25

20

10

Y

3

2

1

0

0

10

10

01

25

20

10

e

e

e

b

a

5,22

0,12 YVX'X)V(X'Ã

111

0,50,4

0,48,6V

b) Vínculos entre parâmetros

• Exemplo: mede-se os três ângulos internos de um triângulo, digamos, 1, 2, e 3, sendo os resultados y1,σ1; y2, σ2; y3, σ3. Mas queremos impor a condição .

• Um procedimento geral é ajustar valores para os parâmetros, 1, 2 e 3, impondo o vínculo.


fevereiro/2014

o180~~~

321

• Uma forma geral de escrever vínculo lineares:


116

g a rij j

j

m

i

1

onde aj são os parâmetros a serem ajustados e gij e ri são valores conhecidos. No caso do triangulo só há um vínculo (r=180o) e todos os gs são iguais a 1.

A equações de vínculo podem ser escritas como


117

GA R

Solução do MMQ:

~~A V X V Y BC RA

t 1 1

V H BC BA~

1 1 t

B H G1 t C GH G

1 tH X V X

t 1

Exemplo

Ângulos de um triângulo: 48o, 41o, 94º (soma=183o) todos com σ=1 e não covariantes. G=[1 1 1] e R=[180].


118

1 0 0

0 1 0

0 0 1

V

94

41

48

Y

Resultado: Valores ajustados: 47o, 40o, 93o , cuja soma é 180o: obedece ao vínculo. As variâncias diminuem


119

1 0 0

0 1 0

0 0 1

V

0,67 0,33- 0,33-

0,33- 0,67 0,33-

0,33- 0,33- 0,67

V

Vela a pena impor vínculos? Depende. P. ex., se o que queremos é apenas um dos ângulos, sim.

c)Funções não lineares nos parâmetros

• O MMQ é não tendencioso no caso linear. Mas quando os dados não dependem linearmente dos parâmetros, tudo muda,

• Exemplo: Ajustar λ da expressão

y(t)=100·exp(-λ·t) considerando os dados (t, y):

(1, 55) e (3; -10), ambos com desvio padrão igual a 10.

Resultado do ajuste: ã=0,82

Método dos Mínimos Quadrados, IFUSP,

fevereiro/2014 120

Problema: o valor estimado é superestimado. Por simulação, foi possível estimar a superestimação em 4,2%.

Corrigindo a superestimação, o valor a se adotar é 0,79


121

d) Erros em várias variáveis

• Exemplo: Ajuste dos parâmetros da função y=a+bx, com incertezas em x e y,

• a) Ajusta-se os parâmetros considerando apenas as incertezas em y

• b) “Propaga-se” as incertezas de x para y, considerando-se dy/dx=bajustado


122

2222)( xajustadoyynovo b

c) Faz-se novamente o ajuste com os novos d.p.s.

• Perigo: se as incertezas de x não forem muito menores do que a dispersão dos valores xi, o ajuste é tendencioso


123

Exemplo com uma simulação:

Y=2+2·x, com distribuições normais para y e x, com desvios padrões iguais a 1

O valor ajustado de b flutua em torno de 1,7

Portanto, há uma tendência para subestimar b


124

Breve resumo

• O MMQ deve ser usado: – Sempre que as incertezas dos dados sejam

conhecidas (ou todas sejam iguais)

–Há uma relação linear entre os dados e os parâmetros a serem ajustados


125


126

• O ajuste é não tendencioso • Os dados não precisam obedecer a nenhum

f.d.p. particular • Se há uma quantidade grande de dados, as

f.d.p.s dos parâmetros ajustados tende a uma gaussiana

• Não precisa haver uma relação funcional do tipo y=y(x)

• As covariâncias são tão importantes quanto as variâncias

• Cuidados ou limitações

– Repetindo: atenção às covariâncias

– Caso não linear: problema

– Idem, quando há erros nos termos que multiplicam os parâmetros a serem ajustados


127

método dos mínimos quadrados - instituto de...

Documents