introdução à análise de dados agronômicos e uso do software...

20

Click here to load reader

Upload: hoangtram

Post on 02-Dec-2018

212 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: Introdução à análise de dados agronômicos e uso do software Rarsilva.weebly.com/uploads/2/1/0/0/21008856/parte3_slides.pdf · Regressão linear Regressão ... A correlação

Introdução àanálise dedados

agronômicose uso dosoftware R

Anderson RSilva

Regressãolinear

Regressãolinearpolinomial

ANOVA daregressão

R2

Regressão emdadosexperimentais

Correlação

Teste dacorrelação

Correlaçãoem dadosexperimentais

Introdução à análise de dados agronômicos e uso do software R

Anderson R Silva

Programa de Pós-Graduação em Estatística e Experimentação AgronômicaESALQ/USP

25 a 30 de novembro de 2013

Page 2: Introdução à análise de dados agronômicos e uso do software Rarsilva.weebly.com/uploads/2/1/0/0/21008856/parte3_slides.pdf · Regressão linear Regressão ... A correlação

Introdução àanálise dedados

agronômicose uso dosoftware R

Anderson RSilva

Regressãolinear

Regressãolinearpolinomial

ANOVA daregressão

R2

Regressão emdadosexperimentais

Correlação

Teste dacorrelação

Correlaçãoem dadosexperimentais

Parte 3 - Conteúdo

1 Regressão linearRegressão linear polinomialANOVA da regressãoR2

Regressão em dados experimentais

2 CorrelaçãoTeste da correlaçãoCorrelação em dados experimentais

Page 3: Introdução à análise de dados agronômicos e uso do software Rarsilva.weebly.com/uploads/2/1/0/0/21008856/parte3_slides.pdf · Regressão linear Regressão ... A correlação

Introdução àanálise dedados

agronômicose uso dosoftware R

Anderson RSilva

Regressãolinear

Regressãolinearpolinomial

ANOVA daregressão

R2

Regressão emdadosexperimentais

Correlação

Teste dacorrelação

Correlaçãoem dadosexperimentais

Regressão linear

Permite estudar como uma (simples) ou mais (múltipla) variáveis explanatóriasexercem, ou parecem exercer, in�uência sobre uma variável resposta. Esse estudo éfeito a partir de estimativas dos parâmetros que compoem o modelo de regressão.Por exemplo:

• Regressão linear simples de Y em X :Y = β0 + β1X + ε

• Regressão linear múltipla de Y em X1,X2, ...,Xk :Y = β0 + β1X1 + β2X2 + ...+ βkXk + ε

em que os β's são os parâmetros à serem estimados1.

1O método de estimação aqui utilizado é, em geral, o método dos mínimos quadrados

Page 4: Introdução à análise de dados agronômicos e uso do software Rarsilva.weebly.com/uploads/2/1/0/0/21008856/parte3_slides.pdf · Regressão linear Regressão ... A correlação

Introdução àanálise dedados

agronômicose uso dosoftware R

Anderson RSilva

Regressãolinear

Regressãolinearpolinomial

ANOVA daregressão

R2

Regressão emdadosexperimentais

Correlação

Teste dacorrelação

Correlaçãoem dadosexperimentais

Regressão linear polinomial

Considere a regressão de Y em X , com base em n pares de observações (Yi ,Xi )(i = 1, 2, ..., n). O modelo de regressão polinomial de grau k é expresso por:

Yi = β0 + β1Xi + β2X2i + ...+ βkX

ki + εi

Esse tipo de análise de regressão é estudado utilizando a técnica de polinômios

ortogonais, especialmente interessante devido à independência dos termos daequação de regressão ajustada.

Page 5: Introdução à análise de dados agronômicos e uso do software Rarsilva.weebly.com/uploads/2/1/0/0/21008856/parte3_slides.pdf · Regressão linear Regressão ... A correlação

Introdução àanálise dedados

agronômicose uso dosoftware R

Anderson RSilva

Regressãolinear

Regressãolinearpolinomial

ANOVA daregressão

R2

Regressão emdadosexperimentais

Correlação

Teste dacorrelação

Correlaçãoem dadosexperimentais

Regressão linear polinomial

Assim, a equação polinomial anterior pode ser representada em termos dospolinômios ortogonais (P1,P2, ...,Pk) da seguinte forma:

Yi = Y + B1M1P1i + B2M2P2i + ...+ BkMkPki + εi

em que:P1,P2, ...,Pk são os polinômios ortogonais

M1,M2, ...,Mk são constantes de arredondamento tabeladas2

Bj =∑n

i=1 cjiYi

rKj, para j = 1, 2, ..., k

cji e Kj são também tabelados; r é o número de observações para cada nível de X .

2Consulte Pimentel-Gomes, 2009, cap.12

Page 6: Introdução à análise de dados agronômicos e uso do software Rarsilva.weebly.com/uploads/2/1/0/0/21008856/parte3_slides.pdf · Regressão linear Regressão ... A correlação

Introdução àanálise dedados

agronômicose uso dosoftware R

Anderson RSilva

Regressãolinear

Regressãolinearpolinomial

ANOVA daregressão

R2

Regressão emdadosexperimentais

Correlação

Teste dacorrelação

Correlaçãoem dadosexperimentais

Regressão linear polinomial

Sendo os níveis de X equidistantes, os três primeiros polinômios são dados por:

P1i = xiP2i = x2i −

n2−112

P3i = x3i −xi (3n

2−7)20

em que xi = (Xi − X )/q, sendo q a distancia entre dois níveis consecutivos de X .

Page 7: Introdução à análise de dados agronômicos e uso do software Rarsilva.weebly.com/uploads/2/1/0/0/21008856/parte3_slides.pdf · Regressão linear Regressão ... A correlação

Introdução àanálise dedados

agronômicose uso dosoftware R

Anderson RSilva

Regressãolinear

Regressãolinearpolinomial

ANOVA daregressão

R2

Regressão emdadosexperimentais

Correlação

Teste dacorrelação

Correlaçãoem dadosexperimentais

Exemplo 1

Os resultados apresentados a seguir referem-se a dados de rotação do motor, emRPM, e ao consumo horário de combustível, em litros, de um trator em sistema deplantio direto.

RPM (X) Consumo de combustível (Y)

1600 5,581800 7,712000 9,242200 9,732400 10,94

Fonte: adaptado de Cecon et al., 2012.

Page 8: Introdução à análise de dados agronômicos e uso do software Rarsilva.weebly.com/uploads/2/1/0/0/21008856/parte3_slides.pdf · Regressão linear Regressão ... A correlação

Introdução àanálise dedados

agronômicose uso dosoftware R

Anderson RSilva

Regressãolinear

Regressãolinearpolinomial

ANOVA daregressão

R2

Regressão emdadosexperimentais

Correlação

Teste dacorrelação

Correlaçãoem dadosexperimentais

ANOVA da regressão

Se n níveis distintos de X estão sendo utilizados, pode-se construir um modelopolinomial de, no máximo, grau n − 1, embora sejam de maior interesse os modelosde até 3o grau.E tem-se que:

SQ(total) = SQ(linear) + SQ(quad .) + SQ(cubico) + SQ(desvios)

sendo que:

SQ(linear) =(∑n

i=1 c1iYi)2

rK1= B2

1 rK1

SQ(quad .) =(∑n

i=1 c2iYi)2

rK2= B2

2 rK2

SQ(cubico) =(∑n

i=1 c3iYi)2

rK3= B2

3 rK3

SQ(desvios) = SQ(total)− SQ(linear)− SQ(quad .)− SQ(cubico)

Page 9: Introdução à análise de dados agronômicos e uso do software Rarsilva.weebly.com/uploads/2/1/0/0/21008856/parte3_slides.pdf · Regressão linear Regressão ... A correlação

Introdução àanálise dedados

agronômicose uso dosoftware R

Anderson RSilva

Regressãolinear

Regressãolinearpolinomial

ANOVA daregressão

R2

Regressão emdadosexperimentais

Correlação

Teste dacorrelação

Correlaçãoem dadosexperimentais

ANOVA da regressão

O esquema de ANOVA para uma regressão polinomial de 3o grau é:

FV GL SQ QM F

Efeito linear 1 SQ(linear) SQ(linear) QM(linear)QM(desvios)

Efeito quad. 1 SQ(quad.) SQ(quad.) QM(quad .)QM(desvios)

Efeito cúbico 1 SQ(cubico) SQ(cubico) QM(cubico)QM(desvios)

Desvios de regressão n − 3− 1 SQ(desvios) SQ(desvios)n−3−1

Total n − 1 SQ(total)

Page 10: Introdução à análise de dados agronômicos e uso do software Rarsilva.weebly.com/uploads/2/1/0/0/21008856/parte3_slides.pdf · Regressão linear Regressão ... A correlação

Introdução àanálise dedados

agronômicose uso dosoftware R

Anderson RSilva

Regressãolinear

Regressãolinearpolinomial

ANOVA daregressão

R2

Regressão emdadosexperimentais

Correlação

Teste dacorrelação

Correlaçãoem dadosexperimentais

R2

O coe�ciente de determinação (grau de ajuste) do modelo ajustado é dado por:

R2 =SQ(modelo)

SQ(total)∈ [0, 1]

Page 11: Introdução à análise de dados agronômicos e uso do software Rarsilva.weebly.com/uploads/2/1/0/0/21008856/parte3_slides.pdf · Regressão linear Regressão ... A correlação

Introdução àanálise dedados

agronômicose uso dosoftware R

Anderson RSilva

Regressãolinear

Regressãolinearpolinomial

ANOVA daregressão

R2

Regressão emdadosexperimentais

Correlação

Teste dacorrelação

Correlaçãoem dadosexperimentais

Regressão em dados experimentais

• Na experimentação agrícola é comum a comparação de tratamentosquantitativos (doses de um fertilizante, concentrações de uma substância etc.).

• Nesses casos não é adequada a comparação de médias.

• A análise de regressão deve ser aplicada visando determinar uma relaçãofuncional entre a resposta e os níveis do tratamento e, com isso, pesquisar (porexemplo) pontos críticos (resposta máxima, mínima ou ponto de in�exão).

Page 12: Introdução à análise de dados agronômicos e uso do software Rarsilva.weebly.com/uploads/2/1/0/0/21008856/parte3_slides.pdf · Regressão linear Regressão ... A correlação

Introdução àanálise dedados

agronômicose uso dosoftware R

Anderson RSilva

Regressãolinear

Regressãolinearpolinomial

ANOVA daregressão

R2

Regressão emdadosexperimentais

Correlação

Teste dacorrelação

Correlaçãoem dadosexperimentais

Regressão em dados experimentaisO efeito do tratamento quantitativo pode ser, então, desdobrado em efeito linear,quadrático, ... grau k, cada um associado a 1 grau de liberdade.A ANOVA de regressão polinomial para um experimento em DIC (por exemplo),�ca da forma:

FV GL SQ QM F

Trat. k = I − 1 SQ(Trat.)Linear 1 SQ(linear)Quad. 1 SQ(quad.)Cúbico 1 SQ(cubico)...Grau k 1 SQ(grau k)

Resíduo n − k − 1 SQ(Res.)

Total n − 1

Obs.: Todas as fontes de variação podem ser testadas com o QM(Res).

Page 13: Introdução à análise de dados agronômicos e uso do software Rarsilva.weebly.com/uploads/2/1/0/0/21008856/parte3_slides.pdf · Regressão linear Regressão ... A correlação

Introdução àanálise dedados

agronômicose uso dosoftware R

Anderson RSilva

Regressãolinear

Regressãolinearpolinomial

ANOVA daregressão

R2

Regressão emdadosexperimentais

Correlação

Teste dacorrelação

Correlaçãoem dadosexperimentais

O teste da falta de ajuste

A regressão de dados com experimentais permite testar a falta de ajuste de cadaum dos modelos polinomiais ajustados. Por questões de interpretação prática,desdobra-se o efeito de tratamento até, no máximo, o efeito cúbico e o restante étratado como falta de ajuste do modelo em consideração (linear, quadrático oucúbico).

Page 14: Introdução à análise de dados agronômicos e uso do software Rarsilva.weebly.com/uploads/2/1/0/0/21008856/parte3_slides.pdf · Regressão linear Regressão ... A correlação

Introdução àanálise dedados

agronômicose uso dosoftware R

Anderson RSilva

Regressãolinear

Regressãolinearpolinomial

ANOVA daregressão

R2

Regressão emdadosexperimentais

Correlação

Teste dacorrelação

Correlaçãoem dadosexperimentais

Exemplo 2No trabalho �Efeito de doses de gesso na cultura do feijoeiro (Phaseolus vulgarisL.)�, Ragazzi (1979) utilizou um experimento inteiramente casualizado com quatrorepetições para estudar o efeito de 7 doses de gesso: 0, 50, 100, 150, 200, 250 e300 kg/ha sobre diversas características do feijoeiro. Para a característica peso de1000 sementes, obteve os seguintes resultados:

Dose de gesso Peso de 1000 sementes

0 134,8 139,7 147,6 132,350 161,7 157,7 150,3 144,7100 160,7 172,7 163,4 161,3150 169,8 168,2 160,7 161,0200 165,7 160,0 158,2 151,0250 171,8 157,3 150,4 160,4300 154,5 160,4 148,8 154,0

Fonte: Ragazzi, 1979

Page 15: Introdução à análise de dados agronômicos e uso do software Rarsilva.weebly.com/uploads/2/1/0/0/21008856/parte3_slides.pdf · Regressão linear Regressão ... A correlação

Introdução àanálise dedados

agronômicose uso dosoftware R

Anderson RSilva

Regressãolinear

Regressãolinearpolinomial

ANOVA daregressão

R2

Regressão emdadosexperimentais

Correlação

Teste dacorrelação

Correlaçãoem dadosexperimentais

Exemplo 3

O grau de impureza (%) de um determinado produto químico é suposta ser afetadapela pressão. Em um ensaio em blocos casualizados três repetições foram utilizadaspara cada um dos níveis de pressão aplicados. A temperatura foi utilizada como umfator de controle local. Os dados referentes são apresentados a seguir:

Pressão (psi)Temperatura (oF) 25 30 35 40 45

100 5 4 6 3 5125 3 1 4 2 3150 1 1 3 1 2

Fonte: Abebe, 20??

Page 16: Introdução à análise de dados agronômicos e uso do software Rarsilva.weebly.com/uploads/2/1/0/0/21008856/parte3_slides.pdf · Regressão linear Regressão ... A correlação

Introdução àanálise dedados

agronômicose uso dosoftware R

Anderson RSilva

Regressãolinear

Regressãolinearpolinomial

ANOVA daregressão

R2

Regressão emdadosexperimentais

Correlação

Teste dacorrelação

Correlaçãoem dadosexperimentais

R2

O coe�ciente de determinação no caso de dados experimentais é determinado daseguinte forma:

R2 =SQ(modelo)

SQ(Trat.)∈ [0, 1]

Page 17: Introdução à análise de dados agronômicos e uso do software Rarsilva.weebly.com/uploads/2/1/0/0/21008856/parte3_slides.pdf · Regressão linear Regressão ... A correlação

Introdução àanálise dedados

agronômicose uso dosoftware R

Anderson RSilva

Regressãolinear

Regressãolinearpolinomial

ANOVA daregressão

R2

Regressão emdadosexperimentais

Correlação

Teste dacorrelação

Correlaçãoem dadosexperimentais

Correlação

A correlação é uma medida do grau de associação linear entre duas variáveis X e Y .Na análise de correlação não há diferenciação da variáveis, isto é, ambas sãotratadas como dependentes ou resposta.Dados n pares de valores (xi , yi ), o coe�ciente de correlação de Pearson3 é dado por:

r =

∑ni=1 xiyi − nx y∑ni=1 x

2i − nx2

No R, use a função: cor(x, y).

3Esse coe�ciente é indicado para variáveis normais ou, no mínimo, contínuas.

Para variáveis discretas ou categóricas são indicadas as correlações não paramétricas de Spearman

ou de Kendall.

Page 18: Introdução à análise de dados agronômicos e uso do software Rarsilva.weebly.com/uploads/2/1/0/0/21008856/parte3_slides.pdf · Regressão linear Regressão ... A correlação

Introdução àanálise dedados

agronômicose uso dosoftware R

Anderson RSilva

Regressãolinear

Regressãolinearpolinomial

ANOVA daregressão

R2

Regressão emdadosexperimentais

Correlação

Teste dacorrelação

Correlaçãoem dadosexperimentais

Teste da correlação

O valor da correlação amostral pode ser testado usando a estatística t-Student:

t =r√n − 2√1− r2

∼ t(n − 2)

cujas hipóteses associadas são:

H0 : ρ = 0

H1 : ρ 6= 0

No R, use a função: cor.test(x, y).

Page 19: Introdução à análise de dados agronômicos e uso do software Rarsilva.weebly.com/uploads/2/1/0/0/21008856/parte3_slides.pdf · Regressão linear Regressão ... A correlação

Introdução àanálise dedados

agronômicose uso dosoftware R

Anderson RSilva

Regressãolinear

Regressãolinearpolinomial

ANOVA daregressão

R2

Regressão emdadosexperimentais

Correlação

Teste dacorrelação

Correlaçãoem dadosexperimentais

Exercício

Considere os dados do exemplo 1, sobre consumo de combustível de um tratoragrícola.Pode-se a�rmar que a verdadeira correlação (ρ) entre essas variáveis é não nula?

Page 20: Introdução à análise de dados agronômicos e uso do software Rarsilva.weebly.com/uploads/2/1/0/0/21008856/parte3_slides.pdf · Regressão linear Regressão ... A correlação

Introdução àanálise dedados

agronômicose uso dosoftware R

Anderson RSilva

Regressãolinear

Regressãolinearpolinomial

ANOVA daregressão

R2

Regressão emdadosexperimentais

Correlação

Teste dacorrelação

Correlaçãoem dadosexperimentais

Correlação em dados experimentais

Ver script �cor_experimental.r�