disciplina regressão parte 6-2015

Prof. Dr. Glauco de Souza Rolim,

UNESP-Jaboticabal

([email protected])

Minicurso no XVII Congresso

Brasileiro de Agrometeorologia-

Guarapari, ES 1

Modelagem Estatística de Fenômenos Agrícolas: Ajuste e Avaliação de Modelos Lineares e Não-Lineares

Prof. Dr. Glauco de Souza Rolim

Programa de Pós graduação em Produção Vegetal

Segundo semestre de 2015

Universidade Estadual Paulista, Júlio de Mesquita Filho,

UNESP-Jaboticabal [email protected]

Jaboticabal

Parte 6

Regressão Não-Linear Múltipla (RNLM)

Jaboticabal

mesma coisa que RNLS só que com 2 ou mais variáveis independentes

Para modelos extremamente complexos (o que não é o caso para Agronomia): (número de parâmetros+número de variáveis+restrições) É recomendado usar macros (ver na internet)

Ou ainda é recomendado usar outro programa

mostrar exemplo na planilha ...

Como exemplo Iniciar com valores Da média e dp das Distribuições univariadas e Usar também diferentes pesos


UNESP-Jaboticabal

([email protected])



Guarapari, ES 2

Regressão Não-Linear Múltipla (RNLM)

Jaboticabal

Modelo Binormal ( ou normal bivariado)

𝑦(𝑥1) =1

𝜎1 2𝜋× 𝑒𝑥𝑝 −

1

2

𝑥1 − 𝜇1𝜎1

2

X 𝑦(𝑥2) =1

𝜎2 2𝜋× 𝑒𝑥𝑝 −

1

2

𝑥2 − 𝜇2𝜎2

2

𝑦(𝑥1, 𝑥2) =1

2𝜋𝜎1𝜎2× 𝑒𝑥𝑝 −

1

2

𝑥1 − 𝜇1𝜎1

2

+𝑥2 − 𝜇2𝜎2

2

X1 X2

𝑌 =Á𝑅𝐸𝐴

𝐷𝑃 2𝜋𝑒−12𝑥−𝑀É𝐷𝐼𝐴

𝐷𝑃

2

Bases Matemáticas

Modelos Compartimentalizados


UNESP-Jaboticabal

([email protected])



Guarapari, ES 3

Conceitos

Básicos

Y-

Áre

a F

olia

r (c

m2

)

X-Água disponível (mm) (chuva ou ARM)

Y = a . bX

Exemplo:

Notação de Forrester

Entrada/Saída (Variável de

estado)

Fluxo de Matéria

ou Energia

Fluxo de

Informação

Função e/ou

Taxa

Transformação e/ou

Armazenamento

Notação

Parâmetro ou

Variável auxiliar

H2O

Área

Foliar

= a . bX

Conceitos

Básicos Notação de Forrester

Exemplo: se quiséssemos modelar a aplicação de H2O

o crescimento da área foliar e produção?

Dentre todas as

possibilidades:

H2O

Produção

(kg/ha)

Área Foliar

(m2)


estado)

Fluxo de Matéria

ou Energia

Fluxo de

Informação

Função e/ou

Taxa


Armazenamento

Notação

Parâmetro ou

Variável auxiliar

Obs: Pode haver ganho de informação, técnica !!


UNESP-Jaboticabal

([email protected])



Guarapari, ES 4

Conceitos

Básicos Notação de Forrester

Exemplo: se quiséssemos modelar a aplicação de H2O

o crescimento da área foliar e produção?

H2O

Produção

(kg/ha)

Biomassa

da

Planta

tx. absorção Dentre todas as

possibilidades:

Regressão múltipla:

Produção= F(biomassa da planta, AF)

Modelo Mecanístico !!!


estado)

Fluxo de Matéria

ou Energia

Fluxo de

Informação

Função e/ou

Taxa


Armazenamento

Notação

Parâmetro ou

Variável auxiliar

Notação de Forrester geral para modelagem de

produtividade de cultivos


estado)

Fluxo de Matéria

ou Energia

Fluxo de

Informação

Função e/ou

Taxa


Armazenamento

Notação

Parâmetro ou

Variável auxiliar

Produtividade

Potencial (kg/ha)

Produtividade

Atingível (kg/ha)

Produtividade

Real (kg/ha)

Radiação Solar,

Temperatura,

Tipo de cultivo

e/ou variedade

Água, tipo de solo

Elevada/baixa (temperatura, UR, vento),

Severidade de doenças, pragas,

sistema de irrigação com ineficiência


UNESP-Jaboticabal

([email protected])



Guarapari, ES 5

Modelagem feita em cana-de-açúcar

Modelo APSIM (Keating et al. 1999) Entrada/Saída (Variável de

estado)

Fluxo de Matéria

ou Energia

Fluxo de

Informação

Função e/ou

Taxa


Armazenamento

Diagrama de Forrester

Parâmetro ou

Variável auxiliar



estado)

Fluxo de Matéria

ou Energia

Fluxo de

Informação

Função e/ou

Taxa


Armazenamento

Diagrama de Forrester

Parâmetro ou

Variável auxiliar

Modelo QCANE (Liu e Kingston, 1995)


UNESP-Jaboticabal

([email protected])



Guarapari, ES 6


Modelo proposto por O´Leary, 2000

Runoff

Chuva

BHídrico

Drenagem

Evaporação

Transpiração

Notação de Forrester CERES-Wheat (Godwin & Vlek, 1985)

N aplicado N Disp

Am

ôn

ia

Nitra

to

Amônio

Trocável

Perdas

Denitrificação

Perdas

LIXIVIAÇÃO

Perdas

Amônio

volátil

M.O

Estável

M.O

Fresca

[C orgânico]

Imobilização SW

ST

[propr. superf.]

Des. Cultura

Vernalização

Resp. Fotoper.

Índice Térmico

[fotoperíodo

temperatura.]

[Inf. genéticas] Estádio de

crescimento Partição

Folhas

Ramos

Raízes

Gemas

Frutos Cre

scim

en

to

[Radiação]

Produção

Ab

so

rçã

o N

Status

Interface

Solo-Planta

Temp. Solo

[albedo]

N

Planta

Raízes

P. Aérea

Perda N

Raízes

Status N

Planta


UNESP-Jaboticabal

([email protected])



Guarapari, ES 7

Bases Matemáticas Podemos pensar de como o fenômeno (processo) funciona

de forma similar à um circuito elétrico:

Se os fenômenos funcionam de forma sequencial: A X B

A B

Se os fenômenos funcionam de forma paralela: A + B

A

B

p.e. absorção de água

Pelas raízes e

Condução pelo

Xilema

p.e. transpiração nas folhas

Estômatos e cutícula

Notação de Forrester

...

...

...

...

A resistência (ou taxa) = fenômeno

Bases Matemáticas Por Exemplo

A

B

C

Equação:

A x (B+C)

A B

C (A x B) + C


UNESP-Jaboticabal

([email protected])



Guarapari, ES 8

Bases Matemáticas Modelo de Evapotranspiração de referência por Camargo (1971)

𝐸𝑇𝑃 = 0,01 ×𝑄𝑜

2,45× 𝑇 × 𝑁𝐷

Irradiância no topo da atmosfera Temperatura do ar

N° de dias

Qo

T

(mm período-1)

H2O

Bases Matemáticas

)()275(*)(

1)(

*2 dao eeU

TsGRn

s

sET

Modelo de Evapotranspiração de referência por Penman-Montheith (Smith 1991)

Termo

Radioativo

Fluxo de calor sensível

(T)

Fluxo de calor latente

(lE) (Lei de Dalton)

Termo Aerodinâmico


UNESP-Jaboticabal

([email protected])



Guarapari, ES 9

Bases Matemáticas Modelo de Retenção de água no solo Van Genuchten (1980)

𝜃 𝜑 = 𝜃𝑟 +𝜃𝑠 − 𝜃𝑟

1 + 𝛼 𝜓 𝑛 1−1 𝑛

R água residual

S água na Saturação

R água na Saturação

Função de entrada de ar em função da distribuição de poros (n) H2O

Avaliações do ajuste

Jaboticabal

é necessário ir além do R2, p ...!

....é o suficiente ??

temos que avaliar o modelo em termos de ACURÁCIA

Escolhemos nossos modelos, calibramos os coeficientes, verificamos as pressuposições, verificamos os valores p, e... o R2... É o suficiente ?


UNESP-Jaboticabal

([email protected])



Guarapari, ES 10


Jaboticabal

Deve ser feito no 1° Período: calibração (ajuste de curvas), parametrização 2° Período: o modelo já está calibrado e vamos aplicá-lo com dados novos (independentes) teste do modelo A avaliação é feita em termos: Estatísticos: relacionados a acurácia (precisão e tendência) para determinação da qualidade (estatística) do ajuste e Considerações qualitativas: que envolveram a escolha do modelo relacionado a aspectos teóricos, simplicidade do modelo, ... ... “Parcimônia” (termo estatístico) (navalha de Occan – a explicação mais simples (não simplista!) é a melhor)


Jaboticabal

“Quadro de Teste/Validação/Avaliação” ou melhor “Quadro de performance” (do modelo)

XOBS

YOBS

É fortemente desejável Que seja sempre linear (se não for, significa que o

modelo escolhido não foi o melhor, ou Ainda é necessário aplicar modelos

hierarquizados)

Calibração, Ajuste do modelo YOBS

YEST

Teste do modelo

YEST


UNESP-Jaboticabal

([email protected])



Guarapari, ES 11


Jaboticabal

Certa confusão no entendimento dos termos acurácia, precisão e tendência, então... indo na origem:

Precisão: “Expressa o grau de consistência da grandeza estimada com sua média” ou, simplificando: a dispersão do valor estimado (em relação à sua média). (Yest-Ymédio (estimado))

= Repetitibilidade, Dispersão

Acurácia: “O grau de proximidade de uma estimativa com seu valor verdadeiro”, é um termo que representa a qualidade geral (Final) do ajuste (Yobs-Yest)

e outros Monico et al. 2009, Mikhail e Ackerman (1976), Wolf e Ghilani (1997) , Gemael (1994), Tommaselli et al. (1989), Merchant (1982), Kobayashi e Salam (2000), Willmott et al (1985), ..., ...

= Exatidão, Veracidade

Tendência: “Expressa o grau de desvio entre o valor médio estimado e os valores reais” ( Acurácia). (Yobs-Ymédio(estimado)) = Desvio médio,

Viés

Relacionado aos erros sistemático + aleatório

Relacionado ao erro aleatório

Relacionado ao erro sistemático Pode ser facilmente ser corrigido

Segundo Gauss:


Jaboticabal

Acurácia Tendência = Precisão +

Segundo Gauss:

Mean Square Error Erro quadrático médio

MSE

Variância de Y

2Y

Coef. angular (Y=a+b.X)

b

N

YestYobsMBE

N

i ii

1= +

Segundo Willmott (85): Root Mean Square Error Raiz de erro quadrático médio

RMSE

RMSE sistemático

RMSEs

RMSE não-sistemático

RMSEu

= +


UNESP-Jaboticabal

([email protected])



Guarapari, ES 12


Jaboticabal


Jaboticabal

Distribuição

Normal (média do ajuste)

Y estimado médio

Yobsi

Yesti

Xobsi

= Y

Nomenclatura


UNESP-Jaboticabal

([email protected])



Guarapari, ES 13


Jaboticabal

Ymédio

Yobsi

Yesti

Tendênciai

Acuráciai

Precisãoi

Acuráciai = Tendênciai + Precisãoi

A forma de como é calculado os valores médios de acurácia, tendência e precisão dá origem as diversas estatísticas que iremos abordar depois ...

“Real”


Jaboticabal

Ymédio

Yobsi

Yesti

Tendênciai

Acuráciai

Precisãoi

Acuráciai = Tendênciai + Precisãoi

Cuidado! É diferente do que normalmente se vê na internet ....

Neste caso Acurácia = Tendência !! o que não é o caso: Acurácia é a medida geral da qualidade do ajuste!!


UNESP-Jaboticabal

([email protected])



Guarapari, ES 14


Jaboticabal

Yobsi

Acuráciai (A)= Tendênciai (T) + Precisãoi (P)

Modelo 1

Modelo 2

Modelo 3

T2 e T3 T1

P1

P2

P3

A1 A3 A2

Acurácia (A): Modelo 1> Modelo 2> Modelo 3

Comparando 3 modelos: Qual modelo com maior qualidade de ajuste? o que nos responde é... a acurácia: ...1 depois 2 e 3

Tendência (T): Modelo 1 < Modelos 2 e 3 (=s) Precisão (P): Modelo 2> Modelo 3 > Modelo 1

(menor dp!)


Jaboticabal

Acurado! (alta precisão e baixa tendência)

Não acurado! (apesar da

alta precisão, Tem grande tendência)

Não acurado! (baixa precisão e

Tendência Indeterminada,

(nula?))

É tradicional explicar por meio de um alvo, no centro temos Yobs (valor verdadeiro que quero atingir...)


UNESP-Jaboticabal

([email protected])



Guarapari, ES 15


Jaboticabal

Rötter et al., 2011 (Nature)

Acurado, preciso Tendência () Acurado Acurado Tendência () Preciso Acurado, preciso

Simulação de produtividade de trigo

Yobs

melhorando a precisão (entre Yest e Yobs)

Dim

inui

ndo

a T

end

ênc

ia

(ent

re Y

obs

e Y

médio

)


Jaboticabal

Resumindo...


UNESP-Jaboticabal

([email protected])



Guarapari, ES 16

Yobs

melhorando a precisão (p.e. aumentando o valor de R2, ...)

Dim

inui

ndo

a te

ndênc

ia

(p. e

. dim

inui

ndo

o err

o si

stem

átic

o E

s, ..

.)


Jaboticabal

Podemos pensar similarmente com índices estatísticos...

Desvio, Tendência

Precisão

d alto R2 alto Es baixo

d baixo R2 alto Es alto

d alto R2 baixo Es baixo

YOBS

YEST

(Gráfico de Performance!)


Jaboticabal

Medidas de Tendência,

Desvio (médio) Viés

Utilizam Yobservado e Ymédio

Y = Y estimado médio

Estimative Mean Error (EME) Erro médio da estimativa

N

YYobsEME

N

i i

1

Systematic Error (Es) Systematic Root Mean Squared Error (RMSEs)

N

YYobsEs

N

i i

1

2

Systematic Mean Squared Error (MSEs)

N

YYobsMSEs

N

i i

1

2

N

YYobsRMSEs

N

i Cesti 1

2

Yest-C =a+b.Yobs

Erro médio quadrático sistemático

Erro sistemático

Raiz do erro médio quadrático sistemático


UNESP-Jaboticabal

([email protected])



Guarapari, ES 17


Jaboticabal

Medidas de Precisão Utilizam: Yestimado e Ymédio

(no numerador)

N

i i

N

i i

YYobs

YYest

SQT

SQRR

1

2

1

2

2

2

11

22

11

2

1 11

N

i i

N

i i

N

i i

N

i i

N

i

N

i ii

N

i ii

YobsYobsNXobsXobsN

YobsXobsYobsXobsNr

Coeficiente de correlação (r)

Coeficiente de determinação (R2)

Erro Aleatório (Ea) Unsystematic Root Mean Squared error (RMSEu)

No excel: “=correl(A,B)”

N

YYestEa

N

i i

1

2

N

YYestRMSEu

N

i Cesti 1

2

Yest-C =a+b.Yobs

Raiz do erro médio quadrático não-sistemático


Medidas de Acurácia

Mean Squared Error (MSE)

Utilizam: Yobs, Yest (no numerador)

N

YestYobsMSE

N

i ii

1

2

Root Mean Squared Error (RMSE)

N

YestYobsMSERMSE

N

i ii

1

2

Bias, Mean Bias Error ou Mean Error

N

YestYobsMEMBEBias

N

i ii

1

Relative Root Mean Squared Error (RRMSE)

Y

N

YestYobs

Y

RMSERRMSE

N

i ii

1

2

Erro ou Erro médio

Erro quadrático médio

Raiz do erro quadrático médio

Raiz do erro quadrático médio relativo


UNESP-Jaboticabal

([email protected])



Guarapari, ES 18




Mean Absolute Error (MAE) N

YestYobsMAE

N

i ii

1

Relative Mean Absolute Error (RMAE) N

Yobs

YestYobs

RMAE

N

ii

ii

1

Mean Percentage Error (MPE) N

Yobs

YobsYest

MPE

N

ii

ii

1

100

Erro absoluto médio

Erro absoluto médio relativo

Erro porcentual médio




Mean Absolute Percentage Error (MAPE) N

Yobs

YobsYest

MAPE

N

ii

ii

1100

Agreement index (Willmott) (d)

N

i ii

N

i ii

YYobsYYest

YestYobsd

1

2

1

2

1

Standart Error of Estimative (SEE)

1

1

2

N

YestYobsSEE

N

i ii

Modeling Efficiency (EF)

2

1

1

2

1

N

i

N

i

YYobs

YestYobsEF

Erro porcentual absoluto médio

Índice de concordância de Wilmott (d)

Erro padrão da estimativa

Eficiência da modelagem


UNESP-Jaboticabal

([email protected])



Guarapari, ES 19


Jaboticabal

drc (Camargo e Sentelhas, 1997)

Tabela de interpretação do índice c de Camargo e Sentelhas (1997)

Coeficiente de confiança (c)

Estatística que mistura Precisão e Acurácia


Jaboticabal

Quais estatísticas utilizar ?

pelo menos uma para cada tipo de erro: Tendência, Precisão e Acurácia Estatísticas mais sensíveis a determinadas faixas de valores e a outliers, ... evitar estatísticas que falam a mesma coisa... tradição em determinadas áreas de pesquisa facilidade de comunicação (unidades) .....


UNESP-Jaboticabal

([email protected])



Guarapari, ES 20


Jaboticabal

0,2

0,3

0,4

0,5

0,6

0,7

0,8

0,9

1

0 5

10 15 20 25 30 35 40 45 50 55 60 65 70 75 80 85 90 95

Co

efi

cie

nte

de

De

term

inaç

ão (

R2)

Desvio Máximo (yobs-yest) (%)

VLR. Máximo

VLR. Mínimo

Média

Cada ponto em X com 100 amostras


Jaboticabal

0,65

0,7

0,75

0,8

0,85

0,9

0,95

1

0 5

10 15 20 25 30 35 40 45 50 55 60 65 70 75 80 85 90 95

Co

efi

cie

nte

de

Co

nco

rdân

cia

(d)

Desvio Máximo (%)

VLR. Máximo

VLR. Mínimo

Média



UNESP-Jaboticabal

([email protected])



Guarapari, ES 21


Jaboticabal

0

5

10

15

20

25

30

0 5

10 15 20 25 30 35 40 45 50 55 60 65 70 75 80 85 90 95

Ro

ot

Me

an S

qu

are

err

or

(RM

SE)

Desvio Máximo (%)

VLR. Máximo

VLR. Mínimo

Média



Jaboticabal

0

10

20

30

40

50

60

0 5

10 15 20 25 30 35 40 45 50 55 60 65 70 75 80 85 90 95

Me

an A

bso

lute

Pe

rce

nta

ge e

rro

r (M

AP

E)

Desvio Máximo (%)

VLR. Máximo

VLR. Mínimo

Média



UNESP-Jaboticabal

([email protected])



Guarapari, ES 22


Jaboticabal

Estatísticas com sensibilidade a outliers tem parâmetros elevados ao quadrado (com ou sem raiz) A tendência assintótica de variação é decorrente de expoente (2), se tiver raiz ou sem expoente se torna linear. A tendência assintótica faz com que a estatística se torne mais sensível a determinadas faixas de valores Estatísticas com unidades iguais (=) aos dados facilitam interpretações

Faixa de Sensibilidade Tendência Faixa de Sensibilidade Tendência

Unidade Sinal valores a outliers de variação Unidade Sinal valores a outliers de variação

Tendência Acurácia

EME = +/- - a + - linear Bias=MBE=ME = +/- - a + - linear

MSEs s/u + 0 a + assintótica MSE s/u + 0 a + assintótica

Es = + 0 a + linear RMSE = + 0 a + linear

RMSEs = + 0 a + linear RRMSE s/u + 0 a + linear

MAE = + 0 a + - linear

Precisão RMAE = + 0 a + - linear

r s/u +/- -1 a +1 linear MPE % + 0 a % - linear

R2 s/u + 0 a +1 assintótica MAPE % + 0 a % - linear

R2ajustado s/u + 0 a +1 assintótica d s/u + 0 a +1 assintótica

Ea = + 0 a + linear SEE = + 0 a % linear

RMSEu = + 0 a + linear EF s/u + 0 a +1 - assintótica


Jaboticabal

Não se torne refém de suas próprias idéias


UNESP-Jaboticabal

([email protected])



Guarapari, ES 23

disciplina regressão parte 6-2015

Data & Analytics