tÉcnicas de anÁlise de dados ptr5802 técnicas de análise de dados aplicadas à engenharia de...

TÉCNICAS DE ANÁLISE DE DADOS

PTR5802Técnicas de Análise de Dados Aplicadas à

Engenharia de Transportes

2o. PERÍODO DE 2009

RESPONSÁVEIS: Prof. José Alberto Quintanilha Prof. Hugo Pietrantonio


• INTRODUÇÃO• REVISÃO

– VARIÁVEIS ALEATÓRIAS– DISTRIBUIÇÕES DE PROBABILIDADE

USUAIS– ESTIMAÇÃO E TESTES DE HIPÓTESES– AMOSTRAGEM– CORRELAÇÃO– REGRESSÃO BIVARIADA


• INTRODUÇÃO– Objetivos da disciplina– Programa da disciplina– Listas– Provas– Software– Bibliografia

• Artigos• seminários

– Avaliação

TÉCNICAS DE ANÁLISE DE DADOS - revisão

• TIPOS DE VARIÁVEIS– QUALITATIVAS

• ORDINAIS• NOMINAIS

– QUANTITATIVAS• DISCRETAS• CONTÍNUAS

III – Tipos de variáveis geradoras de dados (Clóvis de Araújo Peres/SINAPE2006)

Categóricas Numéricas

Nominal

(classificação)

Ordinal

(classificação)Discreta

(contagem)

Contínua

(mensuração)

sexo, raça, região, grupo

sangüíneo

pressão sangüínea

(baixa, normal,

alta)

Número de acidentes, número de

filhos

Peso, altura,

pressão sangüínea

VARIÁVEISQUALITATI-

VAS

QUANTITATI-

VAS

Nominal

(s/ordem)

Ordinal

(c/ordem)Discreta

(contagem)

Contínua

(mensuração)

Sexo

sim/não

Tem/não tem

Grau instrução

Opinião pública

Pequeno/ médio/gran

de

# de acidentes,

fluxo veicular,

# de defeitos

por unidade

Peso, altura, preço


• VARIÁVEIS ALEATÓRIAS

– INDEPENDENTES x MUTUAMENTE EXCLUSIVAS


• DISTRIBUIÇÕES DE PROBABILIDADE USUAIS– Normal– Binomial– Poisson– Exponencial

– CONJUNTAS– CONDICIONAIS

Conceitos:

• Espaço Amostral: Conjunto de todos os resultados, inteiros não-negativos, possíveis do experimento;

• Variável Aleatória: É uma função avaliada numericamente e definida no espaço amostral;

• Histograma: É um dos tipos de gráficos mais utilizados para representar as frequências de uma variável aleatória;

Conceitos:

• Distribuições de Probabilidade: Modelo Estatístico da ocorrência de valores (aleatórios) de um certo evento;

- Discretas: A Função Distribuição Cumulativa Discreta é obtida pelas variáveis aleatórias discretas, que são aquelas que assumem um conjunto de valores finito ou infinito contável;

- Contínuas: A Função Distribuição Cumulativa Contínua é obtida pelas variáveis aleatórias contínuas, que são aquelas que assumem uma série contínua de valores;

Principais Distribuições Aplicadas aos Transportes

DistribuiçõesDiscretas

DistribuiçõesContínuas

Principais DistribuiçõesAplicadas aosTransportes

Poisson G eométrica

ErlangExponencial

Normal

Gama

Beta


• Binomial• Binomial negativa• Geométrica• Hipergeométrica

• Normal


• DISTRIBUIÇÃO BINOMIAL Definição

Considere p a probabilidade de um evento ocorrer em uma tentativa única (probabilidade de sucesso) e q = 1-p a de que o evento não ocorra em qualquer tentativa única (probabilidade insucesso), então a probabilidade do evento acontecer exatamente x vezes, em n tentativas (x sucessos e n-x insucessos) é definida por:

xnxqpxn

P(x)

DISTRIBUIÇÃO BINOMIAL NEGATIVA

• Para apresentar a distribuição binomial negativa, faremos uma análise do que foi apresentado na distribuição binomial.

– O ponto de partida é o processo de Bernoulli, definido como o experimento aleatório cujo espaço amostral tem apenas dois possíveis resultados mutuamente excludentes denominados sucesso e falha, sendo a probabilidade de sucesso.

– Se o processo Bernoulli for repetido n vezes, considerando que as experiências são independentes, então a variável aleatória X que define o número de sucessos do experimento terá distribuição binomial. Observe que, na distribuição binomial, o número de experimentos n é definido antecipadamente.

• Em vez de repetir o experimento um número determinado de vezes, pode-se estabelecer que o experimento seja repetido até conseguir o primeiro resultado sucesso. Nesse caso, a variável aleatória X que define o número de experimentos necessários até conseguir o primeiro resultado sucesso tem uma distribuição geométrica.

• Ampliando as premissas da distribuição geométrica, em vez de repetir o experimento até conseguir o primeiro resultado sucesso, a distribuição binomial negativa, conhecida também como Distribuição de Pascal, permite determinar a probabilidade de que será necessário realizar exatamente n experimentos para obter x resultados de sucesso com probabilidade .

DISTRIBUIÇÃO HIPERGEOMÉTRICA

• A distribuição hipergeométrica não é derivada da distribuição binomial, pois os experimentos são dependentes.

• Numa população composta de N objetos que podem ser classificados em duas categorias, C1 e C2, de forma que na população há N1 em C1 e N2 em C2, desejamos retirar uma amostra sem reposição de n objetos dessa população, selecionando x objetos de C1 e (n-x) objetos de C2.


• Normal padrão:

xi - média dos x’s

zi = -------------------------------

desvio padrão dos x’s

Onde xi~N(média, d.p.) e zi ~N(0,1)


• Poisson

• Exponencial

• Gama

• Erlang


Distribuições Discretas

• Distribuição de Poisson:

Probabilidade:

Aplicação: Esta distribuição é frequentemente usada para análise do número de chegadas de clientes num tempo fixado, demanda de um determinado produto etc.

n Pn = e - n = 0, 1, 2 ... > 0 n ! E(X) = e Var X =


Distribuição de Poisson:

Núm

ero

de D

ias

Obs

erva

dos

Nú m ero d e Návios

10

20

30

40

50

60

70

80

1 32 4 5 6 7 8 9 100

Observada

Fonte: Novaes (1975)


Distribuição de Poisson:

Núm

ero

de D

ias

Obs

erva

dos

Nú m ero d e Návios

10

20

30

40

50

60

70

80

1 32 4 5 6 7 8 9 100

Observada

Teórica(Poisson)



Distribuições Contínuas

• Distribuição Exponencial:

Função Densidade de Probabilidade:

Aplicação: Esta distribuição é usada para análide do tempo entre a chegada de clientes, o tempo de duração de conversas telefônicas e o tempo de vida de componentes eletrônicos.

f (x) = e - x com x 0 e > 0 E(X) = 1 / e Var X = 1 / 2


Distribuição Exponencial

472

261194

115 9549 41 17 17 14 19

Freq

üênc

ia (n

o d

e N

avio

sO

bser

vado

s)

0

1 0 0

2 0 0

3 0 0

4 0 0

5 0 0

Q uan tidade d e Carga p or Navio (ton )1 00 0 2 0 0 0 3 0 0 0 5 00 04 0 0 0



Distribuição Exponencial

472

261194

115 9549 41 17 17 14 19

Freq

üênc

ia (n

o d

e N

avio

sO

bser

vado

s)

0

10 0

20 0

30 0

40 0

50 0

Q u an tid ade d e Carg a por Navio (ton )1 0 0 0 2 0 0 0 3 0 0 0 5 0 0 04 0 0 0


Teórica (Exponencial)


Distribuições Contínuas

• Distribuição Gama:


Aplicação: Esta distribuição é útil como uma representção matemática de fenômenos físicos ou para análide do tempo total para servir n clientes (independentes), lembrando que para o tempo de serviço para um cliente individualmente seja uma distribuição exponencial.

r x r-1 e - x f(x) = com x > 0, r > 0 e > 0 (r) E(X) = r / e Var X = r / 2


Distribuições Gama

f(x)

0

0 ,4

0 ,8

1 ,2

1 ,6

2 ,0

x2 4 6 108

012

r

18,37,5 3,75

21

F onte : Mo ntg om ery (2 0 03 )

F unçõe s d ens id ade d e p ro bab ilid ade G am a p ara valo res se lec io nado s


• Distribuição Erlang:


Aplicação: A análise de chegadas por esta distribuição, engloba o tempo de atendimento e tempo em fila, Morse (1967). Para r = 1 tem-se uma dist. Exp. E o processo de chegada é Poissoniano.

Para r , chega-se a situação determinística.

r x r-1 e - x f(x) = com x > 0, r = 1, 2, 3 ... (r - 1) ! E(X) = r / e Var X = r / 2


Distribuições de Erlang

f(x

)

0

0,4

0,8

1,2

1,6

2,0

x2 4 6 108

012

r

155 2

11

Fonte: Montgomery (2003)

Funções densidade de probabilidade de Erlang para valores selecionados


• Probabilidade condicional:

P(X e wi)p(X|wi) = --------------------

P(wi)


• ESTIMAÇÃO E TESTES DE HIPÓTESES

– Estimadores pontuais e por intervalos

– Comparação entre médias• Pareado• Independentes


• Estimadores pontuais e por intervalos


• Estimação da média

Objetivo

Estimar a média µ de uma variável aleatória X, que representa uma característica de interesse de uma população, a partir de uma amostra.


• Vamos observar n elementos, extraídos ao acaso da população;

• Para cada elemento selecionado, observamos o valor da variável X de interesse.

• Obtemos, então, uma amostra aleatória de tamanho n de X, que representamos por X1, X2, ..., Xn.


• Um estimador pontual µ para é dado por:

X1 + X2+ ...+ Xn n

Xbarra = -------------------------- = ∑ Xi

n i=1


• TEOREMA CENTRAL DO LIMITESeja X uma v. a. que tem média µ e variância

σ2. Para amostras X1, X2, ..., Xn, retiradas ao acaso e com reposição de X, a distribuição de probabilidade da média amostral aproxima-se, para n grande, de uma distribuição normal, com média µ e variância σ2 / n , ou seja,Xbarra ~ N(µ; σ2 / n )


• Comentário:

Se a distribuição de X é normal, então Xbarra

tem distribuição normal .

O desvio padrão √(σ2 / n) = (σ /√ n) é denominado erro padrão da média.


• Um estimador intervalar ou intervalo deconfiança para µ tem a forma:

[Xbarra – є; Xbarra + є]

sendo є o erro amostral (margem de erro) calculado a partir da distribuição de probabilidade de Xbarra.


• Seja P(є) = γ, a probabilidade do intervalo:[µ – є; µ + є]

conter a média amostral Xbarra numa distância de, no máximo є, da média populacional µ (desconhecida), ou seja,

γ=P(| Xbarra - µ |<ou= є)=P(µ – є< Xbarra<µ + є)


γ=P(| Xbarra - µ |<ou= є)=P(µ – є< Xbarra<µ + є) =

P[– є/(σ /√ n) < (Xbarra-µ)/(σ /√ n) < є/(σ /√ n)] =

P[– є/(σ /√ n) < Z < є/(σ /√ n)] sendo Z ~ N(0,1)


Fazendo z= є/(σ /√ n):γ =P(-z< Z<z), γ é o coeficiente de

confiança.


• O intervalo de confiança para a estimativa intervalar da média µ, com coeficiente de confiança γ, é dado por:

[Xbarra – z(σ /√ n); Xbarra + z(σ /√ n)].


• Estimação para a proporção populacional p Estimar uma proporção p (desconhecida)

de elementos em uma população, apresentando certa característica de interesse, a partir da informação fornecida por uma amostra.


• A partir de n elementos, extraídos ao acaso e com reposição da população, verificamos, para cada elemento selecionado, a presença (sucesso) ou não (fracasso) da característica de interesse.


• Um estimador pontual p, também denominado proporção amostral para é dado por:

Pchapéu= X/n

X = no. de elementos na amostra que apresentam a característica;

n = o tamanho da amostra coletada.


• A estimativa intervalar corresponde a umintervalo determinado da seguinte maneira:

[Pchapéu – є; Pchapéu

+ є]

sendo є o erro amostral ou margem de erro.


Neste caso:

P(є)= γ =P (| Pchapéu - P |<ou= є é o coeficiente de

confiança.

Como X ~ b(n,p) temos que, para n grande, a variável aleatóriaX-np Z = ----------√ np(1-p)

tem distribuição N(0,1) e,

Є = z[√p(1-p)/n] e n= (z/ є)2[p(1-p)]


• Comparação entre médias• 1. Se um conjunto de medidas(amostra) faz parte de uma

população. • 1.1 Desvio padrão da população conhecido(teste –z)• 1.2 Desvio padrão da população desconhecido(teste-t) 2. Se duas amostras são iguais (teste –t)• 2.1 Comparação entre itens pareados • 2.2 Amostras independentes• Para os casos acima: H0: <m1> =<m2>• H1: <m1> <m2>• Veremos depois como podemos verificar se uma média é

maior do que a outra. Estes testes são chamados de testes direcionais ou testes uni-caudais.


Método 1 Usando o limite de confiabilidade Passo zero: Enunciar as hipóteses:

H0: m1= mH1 ( alternativa: ) m1 m

Primeiro passo: Identificar o tipo de teste• Desvio padrão conhecido : teste z • Igualdade de médias: teste não direcional

Segundo passo estimar o erro aceitável do tipo I ( alfa) ou nível de significância. É usual escolher alfa=0,05.Se possível determinar beta( probabilidade de erro do tipo 2) e

Terceiro passo: coletar os dados ( n observações)


Método 1 Usando o limite de confiabilidade Quarto Passo . Calcular o erro padrão (Serro) ATENÇÃO! USAR O DESVIO PADRÃO DA POPULAÇÃO:

Quinto passo. Calcular os limites de confiabilidade para a média, usando o valor de z ( z crítico) obtido a partir do valor de alfa escolhido : inv.normp(alfa/2) do excel.M+= <m1> + z * Serro e M- = <m1>- z* Serro

Sexto passo. Verificar se a média desejada está dentro dos limites calculados. Se estiver, aceita-se (não podemos rejeitar H0) H0 m1 =mSe não estiver, rejeitamos H0 e aceitamos H1 m1 m

Sétimo passo: fazer recomendações...( rejeitar lote, fazer mais medidas, aceitar lote, trocar fornecedor, trocar equipamento....)

s =erron

Exemplo:O diâmetro de uma peça após a nitretação deve ser de 0,2540 cm com desvio padrão de 0,0001cm. Verifica-se que a média dos diâmetros de uma amostra com 10 itens é 0,2545 cm. A amostra atende a especificação? 0 Passo zero: H0: m1= m 0,2545 = 0,2540

H1 ( alternativa: ) 0,2545 0,2540

1. Primeiro passo: Identificar o tipo de teste

a. Desvio padrão conhecido : teste z

b. Igualdade de médias: teste não direcional

2. Segundo passo estimar o erro aceitável do tipo I ( alfa) ou nível de significância. alfa=0,05.

3. Terceiro passo: dados (10 observações com m1= 0,2545 cm)

Exemplo cont.

4. Quarto Passo . :

5. Quinto passo Calcular os limites de confiabilidade para a média, z= 1,96

M+= 0,2545 + 1,96 x Serro e M- = 0,2545- 1,96x Serro

0s limites são : 0,254438 cm e 0,254562 cm.

6. Sexto passo A média desejada (0,2540 cm) não está dentro dos limites. Rejeitamos H0 e aceitamos H1 m1 m

7. Sétimo passo: fazer recomendações...( rejeitar lote)

s = = 3,16228 10erro-5

n

0 000110

,


Método 2: usando o valor de z Até o quarto passo os métodos são idênticos.Quinto passo Calcular o valor de z (z calculado)Sexto passo Verificar se o valor de z calculado é maior, em

módulo, do que o valor de z crítico obtido de inv.normp(alfa). Se for maior, significa que as diferenças são muito grandes e rejeita-se H0 m1 =m e aceitamos H1 m1 mSe for menor, significa que as diferenças são pequenas e devemos aceitar H0 (Não foi possível rejeitar H0)

Sétimo passo: fazer recomendações...( rejeitar lote, fazer mais medidas, aceitar lote, trocar fornecedor, trocar equipamento....)

TÉCNICAS DE ANÁLISE DE DADOS - revisão Erros na conclusão

TIPO I: Rejeitamos a hipótese nula sendo ela verdadeira ()

é chamado de nível de significância do teste.

TIPO II : Não rejeitamos a hipótese nula sendo ela falsa ( )

Poder : 1-


• AMOSTRAGEM

– Obter parte das informações e efetuar inferências

– “processo pelo qual inferências são feitas examinando-se apenas uma parte do todo”

– vantagens: custo, rapidez, exatidão, amplitude de informações


• AMOSTRAGEM: principais fases

– Objetivo do levantamento

– população alvo e população a ser amostrada

– determinação da precisão desejada


• AMOSTRAGEM: terminologia

– Unidade amostral (ou elementar)

– Universo ou população

– Variável aleatória

– Amostra


• Levantamentos censitários são levantamentos cujo resultado (o censo) visa conhecer a totalidade da(s) característica(s) individuais de cada população.

• Já os levantamentos amostrais tem como resultado, amostras, definidas como “subconjunto de uma população, por meio do qual se estabelecem ou estima as propriedades e características dessa população” (Bolfarine e Bussab, 2005). É o processo pelo qual inferências são feitas examinando-se apenas uma parte do todo. Tem como algumas vantagens, um menor custo, uma maior rapidez, permite o levantamento de uma amplitude maior de informações com uma exatidão pré-estabelecida.


• Sucintamente, as principais fases de um levantamento

amostral são:

– a definição do objetivo do levantamento;– a definição da população alvo a ser estudada e da

população efetivamente a ser amostrada;– a determinação da exatidão desejada (ou possível).


• AMOSTRAGEM: técnicas

– casual simples (com e sem reposição)– sistemática– aleatória estratificada– por conglomerados


• AMOSTRAGEM: Plano amostral– dimensionamento da amostra:

a partir de z= є/(σ /√ n), temos: є= zσ /√ n.

O tamanho n da amostra pode então ser determinado por:

n = (z/e)2σ2

AMOSTRAGEM

• Esquemas de amostragem espacialCASUALSIMPLES

SISTEMÁTICAESTRATIFICADA

ALEATÓRIAESTRATIFICADA

SISTEMÁTICACONGLOMERADOS

ALEATÓRIA


• PLANEJAMENTO DE EXPERIMENTOS

– observação = previsível + aleatória

– aleatória obedece algum modelo de probabilidade

– ferramenta: análise de variância



– “identificar fatores, controláveis, que expliquem o fenômeno ou alterem a característica de interesse”

– “identificar estruturas nos dados, permite conhecer melhor o fenômeno”



– fator versus variável

– níveis do fator (tratamento)

– unidade experimental

– fator fixo versus fator aleatório



– experimentos com um fator fixo e k níveis: yij = μ + Ti + eij

μ: média geral de todas as observaçõesTi: efeito do i-ésimo nível do fator T (cte.)

eij: erro casual não observável

– Hipótese H0: T1 = ..... = Tk = 0



• F.V. gl SQ QM F0

• entre k-1 SQE QME QME/QMR

• dentro n-k SQR QMR• Total n-1 SQT



– Decisão:

rejeita-se H0 se F0 > Fk-1, n-k, α



– experimentos mais complexos (múltiplos fatores, fatores cruzados e hierárquicos, blocos)

– comparações múltiplas


• FONTES:– www-gen.fmrp.usp.br/rgm5837/2006/

Bio_Aula_04_Distr_de_Probabilidade10112006.ppt – www.ime.usp.br/~sandoval/mae5755/Estimacao_da_%20Proporcao.pdf – www.ime.usp.br/~sandoval/mae5755/Inferencia%20estatistica.pdf – http://www.ime.usp.br/~sandoval/mae5755/Estimacao_da_%20media.pdf– Curso de Análise Estatística - SINAPE 2006 - Prof. Dr. Clóvis de Araújo

Peres – [email protected]– http://pcc5746.pcc.usp.br/Textos_Tecnicos/PCC%205746%20-%20Amostragem%20e

stat%C3%ADstica.PDF– http://www.materiais.ufsc.br/Disciplinas/metodosestatisticospg/2003/aulaz.ppt– Edições anteriores da disciplina: material do docente e de alunos.– Material sobre correlação e regressão:

www.ime.usp.br/~clelia/MAE116_Biologia/Aula_DescritivaIII.ppt

mailto:[email protected]

http://pcc5746.pcc.usp.br/Textos_Tecnicos/PCC%205746%20-%20Amostragem%20estat%C3%ADstica.PDF

http://pcc5746.pcc.usp.br/Textos_Tecnicos/PCC%205746%20-%20Amostragem%20estat%C3%ADstica.PDF

tÉcnicas de anÁlise de dados ptr5802 técnicas de análise de dados aplicadas à engenharia de...

Documents