tÉcnicas de anÁlise de dados

TÉCNICAS DE ANÁLISE DE DADOS

PTR5802

Técnicas de Análise de Dados Aplicadas à Engenharia de Transportes

2o. PERÍODO DE 2009

RESPONSÁVEIS:

Prof. José Alberto Quintanilha

Prof. Hugo Pietrantonio


• INTRODUÇÃO• REVISÃO

– VARIÁVEIS ALEATÓRIAS– DISTRIBUIÇÕES DE PROBABILIDADE

USUAIS– ESTIMAÇÃO E TESTES DE HIPÓTESES– AMOSTRAGEM– CORRELAÇÃO– REGRESSÃO BIVARIADA


• INTRODUÇÃO– Objetivos da disciplina– Programa da disciplina– Listas– Provas– Software– Bibliografia

• Artigos• seminários

– Avaliação

TÉCNICAS DE ANÁLISE DE DADOS - revisão

• TIPOS DE VARIÁVEIS– QUALITATIVAS

• ORDINAIS• NOMINAIS

– QUANTITATIVAS• DISCRETAS• CONTÍNUAS

III – Tipos de variáveis geradoras de dados (Clóvis de Araújo Peres/SINAPE2006)

Categóricas Numéricas

Nominal

(classificação)

Ordinal

(classificação)

Discreta

(contagem)

Contínua

(mensuração)

sexo, raça, região, grupo

sangüíneo

pressão sangüínea

(baixa, normal,

alta)

Número de acidentes, número de

filhos

Peso, altura,

pressão sangüínea

VARIÁVEISQUALITATI-

VAS

QUANTITATI-

VAS

Nominal

(s/ordem)

Ordinal

(c/ordem)

Discreta

(contagem)

Contínua

(mensuração)

Sexo

sim/não

Tem/não tem

Grau instrução

Opinião pública

Pequeno/ médio/gran

de

# de acidentes,

fluxo veicular,

# de defeitos

por unidade

Peso, altura, preço


• VARIÁVEIS ALEATÓRIAS

– INDEPENDENTES x MUTUAMENTE EXCLUSIVAS


• DISTRIBUIÇÕES DE PROBABILIDADE USUAIS– Normal– Binomial– Poisson– Exponencial

– CONJUNTAS– CONDICIONAIS

Conceitos:

• Espaço Amostral: Conjunto de todos os resultados, inteiros não-negativos, possíveis do experimento;

• Variável Aleatória: É uma função avaliada numericamente e definida no espaço amostral;

• Histograma: É um dos tipos de gráficos mais utilizados para representar as frequências de uma variável aleatória;

Conceitos:

• Distribuições de Probabilidade: Modelo Estatístico da ocorrência de valores (aleatórios) de um certo evento;

- Discretas: A Função Distribuição Cumulativa Discreta é obtida pelas variáveis aleatórias discretas, que são aquelas que assumem um conjunto de valores finito ou infinito contável;

- Contínuas: A Função Distribuição Cumulativa Contínua é obtida pelas variáveis aleatórias contínuas, que são aquelas que assumem uma série contínua de valores;

Principais Distribuições Aplicadas aos Transportes

DistribuiçõesDiscretas

DistribuiçõesContínuas

Principais DistribuiçõesAplicadas aosTransportes

Poisson G eométrica

ErlangExponencial

Normal

Gama

Beta


• Binomial• Binomial negativa• Geométrica• Hipergeométrica

• Normal


• DISTRIBUIÇÃO BINOMIAL

Definição

Considere p a probabilidade de um evento ocorrer em uma tentativa única (probabilidade de sucesso) e q = 1-p a de que o evento não ocorra em qualquer tentativa única (probabilidade insucesso), então a probabilidade do evento acontecer exatamente x vezes, em n tentativas (x sucessos e n-x insucessos) é definida por:

xnxqpx

nP(x)

DISTRIBUIÇÃO BINOMIAL NEGATIVA

• Para apresentar a distribuição binomial negativa, faremos uma análise do que foi apresentado na distribuição binomial.

– O ponto de partida é o processo de Bernoulli, definido como o experimento aleatório cujo espaço amostral tem apenas dois possíveis resultados mutuamente excludentes denominados sucesso e falha, sendo a probabilidade de sucesso.

– Se o processo Bernoulli for repetido n vezes, considerando que as experiências são independentes, então a variável aleatória X que define o número de sucessos do experimento terá distribuição binomial. Observe que, na distribuição binomial, o número de experimentos n é definido antecipadamente.

• Em vez de repetir o experimento um número determinado de vezes, pode-se estabelecer que o experimento seja repetido até conseguir o primeiro resultado sucesso. Nesse caso, a variável aleatória X que define o número de experimentos necessários até conseguir o primeiro resultado sucesso tem uma distribuição geométrica.

• Ampliando as premissas da distribuição geométrica, em vez de repetir o experimento até conseguir o primeiro resultado sucesso, a distribuição binomial negativa, conhecida também como Distribuição de Pascal, permite determinar a probabilidade de que será necessário realizar exatamente n experimentos para obter x resultados de sucesso com probabilidade .

DISTRIBUIÇÃO HIPERGEOMÉTRICA

• A distribuição hipergeométrica não é derivada da distribuição binomial, pois os experimentos são dependentes.

• Numa população composta de N objetos que podem ser classificados em duas categorias, C1 e C2, de forma que na população há N1 em C1 e N2 em C2, desejamos retirar uma amostra sem reposição de n objetos dessa população, selecionando x objetos de C1 e (n-x) objetos de C2.


• Normal padrão:

xi - média dos x’s

zi = -------------------------------

desvio padrão dos x’s

Onde xi~N(média, d.p.) e zi ~N(0,1)


• Poisson

• Exponencial

• Gama

• Erlang


Distribuições Discretas

• Distribuição de Poisson:

Probabilidade:

Aplicação: Esta distribuição é frequentemente usada para análise do número de chegadas de clientes num tempo fixado, demanda de um determinado produto etc.

n Pn = e - n = 0, 1, 2 ... > 0 n ! E(X) = e Var X =


Distribuição de Poisson:

Nú

mer

o d

e D

ias

Ob

serv

ados

Nú m ero d e Návios

10

20

30

40

50

60

70

80

1 32 4 5 6 7 8 9 100

Observada

Fonte: Novaes (1975)


Distribuição de Poisson:

Nú

mer

o d

e D

ias

Ob

serv

ados

Nú m ero d e Návios

10

20

30

40

50

60

70

80

1 32 4 5 6 7 8 9 100

Observada

Teórica(Poisson)



Distribuições Contínuas

• Distribuição Exponencial:

Função Densidade de Probabilidade:

Aplicação: Esta distribuição é usada para análide do tempo entre a chegada de clientes, o tempo de duração de conversas telefônicas e o tempo de vida de componentes eletrônicos.

f (x) = e - x com x 0 e > 0 E(X) = 1 / e Var X = 1 / 2


Distribuição Exponencial

472

261

194

115 9549 41 17 17 14 19

Freq

üênc

ia (n

o d

e N

avio

sO

bser

vado

s)

0

10 0

20 0

30 0

40 0

50 0

Q u an tid ad e d e Carg a p or Navio (ton )

1 00 0 2 00 0 3 00 0 5 00 04 00 0



Distribuição Exponencial

472

261

194

115 9549 41 17 17 14 19

Freq

üênc

ia (n

o d

e Na

vios

Obs

erva

dos)

0

10 0

20 0

30 0

40 0

50 0

Q u an tid ad e d e Carg a p or Navio (ton )

1 00 0 2 00 0 3 00 0 5 00 04 00 0


Teórica (Exponencial)


Distribuições Contínuas

• Distribuição Gama:


Aplicação: Esta distribuição é útil como uma representção matemática de fenômenos físicos ou para análide do tempo total para servir n clientes (independentes), lembrando que para o tempo de serviço para um cliente individualmente seja uma distribuição exponencial.

r x r-1 e - x f(x) = com x > 0, r > 0 e > 0 (r) E(X) = r / e Var X = r / 2


Distribuições Gama

f(x)

0

0 ,4

0 ,8

1 ,2

1 ,6

2 ,0

x

2 4 6 1080

12

r

1

8,3

7,5 3,75

2

1

F onte : Mo ntg om ery (2 0 03 )

F unçõe s d ens id ade d e p ro bab ilid ade G am a p ara valo res se lec io nado s


• Distribuição Erlang:


Aplicação: A análise de chegadas por esta distribuição, engloba o tempo de atendimento e tempo em fila, Morse (1967). Para r = 1 tem-se uma dist. Exp. E o processo de chegada é Poissoniano.

Para r , chega-se a situação determinística.

r x r-1 e - x f(x) = com x > 0, r = 1, 2, 3 ... (r - 1) ! E(X) = r / e Var X = r / 2


Distribuições de Erlang

f(x

)

0

0,4

0,8

1,2

1,6

2,0

x

2 4 6 1080

12

r

1

5

5 2

1

1

Fonte: Montgomery (2003)

Funções densidade de probabilidade de Erlang para valores selecionados


• Probabilidade condicional:

P(X e wi)p(X|wi) = --------------------

P(wi)


• ESTIMAÇÃO E TESTES DE HIPÓTESES

– Estimadores pontuais e por intervalos

– Comparação entre médias• Pareado• Independentes


• Estimadores pontuais e por intervalos


• Estimação da média

Objetivo

Estimar a média µ de uma variável aleatória X, que representa uma característica de interesse de uma população, a partir de uma amostra.


• Vamos observar n elementos, extraídos ao acaso da população;

• Para cada elemento selecionado, observamos o valor da variável X de interesse.

• Obtemos, então, uma amostra aleatória de tamanho n de X, que representamos por X1, X2, ..., Xn.


• Um estimador pontual µ para é dado por:

X1 + X2+ ...+ Xn n

Xbarra = -------------------------- = ∑ Xi

n i=1


• TEOREMA CENTRAL DO LIMITE

Seja X uma v. a. que tem média µ e variância σ2. Para amostras X1, X2, ..., Xn, retiradas ao acaso e com reposição de X, a distribuição de probabilidade da média amostral aproxima-se, para n grande, de uma distribuição normal, com média µ e variância σ2 / n , ou seja,

Xbarra ~ N(µ; σ2 / n )


• Comentário:

Se a distribuição de X é normal, então Xbarra

tem distribuição normal .

O desvio padrão √(σ2 / n) = (σ /√ n) é denominado erro padrão da média.


• Um estimador intervalar ou intervalo de

confiança para µ tem a forma:

[Xbarra – є; Xbarra + є]

sendo є o erro amostral (margem de erro) calculado a partir da distribuição de probabilidade de Xbarra.


• Seja P(є) = γ, a probabilidade do intervalo:

[µ – є; µ + є]

conter a média amostral Xbarra numa distância de, no máximo є, da média populacional µ (desconhecida), ou seja,

γ=P(| Xbarra - µ |<ou= є)=P(µ – є< Xbarra<µ + є)


γ=P(| Xbarra - µ |<ou= є)=P(µ – є< Xbarra<µ + є) =

P[– є/(σ /√ n) < (Xbarra-µ)/(σ /√ n) < є/(σ /√ n)] =

P[– є/(σ /√ n) < Z < є/(σ /√ n)] sendo Z ~ N(0,1)


Fazendo z= є/(σ /√ n):

γ =P(-z< Z<z), γ é o coeficiente de confiança.


• O intervalo de confiança para a estimativa intervalar da média µ, com coeficiente de confiança γ, é dado por:

[Xbarra – z(σ /√ n); Xbarra + z(σ /√ n)].


• Estimação para a proporção populacional p

Estimar uma proporção p (desconhecida) de elementos em uma população, apresentando certa característica de interesse, a partir da informação fornecida por uma amostra.


• A partir de n elementos, extraídos ao acaso e com reposição da população, verificamos, para cada elemento selecionado, a presença (sucesso) ou não (fracasso) da característica de interesse.


• Um estimador pontual p, também denominado proporção amostral para é dado por:

Pchapéu= X/n

X = no. de elementos na amostra que apresentam a característica;

n = o tamanho da amostra coletada.


• A estimativa intervalar corresponde a um

intervalo determinado da seguinte maneira:

[Pchapéu – є; Pchapéu

+ є]

sendo є o erro amostral ou margem de erro.


Neste caso:

P(є)= γ =P (| Pchapéu - P |<ou= є é o coeficiente de

confiança.

Como X ~ b(n,p) temos que, para n grande, a variável aleatória

X-np Z = ----------

√ np(1-p)

tem distribuição N(0,1) e,

Є = z[√p(1-p)/n] e n= (z/ є)2[p(1-p)]


• Comparação entre médias• 1. Se um conjunto de medidas(amostra) faz parte de uma

população. • 1.1 Desvio padrão da população conhecido(teste –z)• 1.2 Desvio padrão da população desconhecido(teste-t) 2. Se duas amostras são iguais (teste –t)• 2.1 Comparação entre itens pareados • 2.2 Amostras independentes• Para os casos acima: H0: <m1> =<m2>• H1: <m1> <m2>• Veremos depois como podemos verificar se uma média é

maior do que a outra. Estes testes são chamados de testes direcionais ou testes uni-caudais.


Método 1 Usando o limite de confiabilidade Passo zero: Enunciar as hipóteses:

H0: m1= mH1 ( alternativa: ) m1 m

Primeiro passo: Identificar o tipo de teste• Desvio padrão conhecido : teste z • Igualdade de médias: teste não direcional

Segundo passo estimar o erro aceitável do tipo I ( alfa) ou nível de significância. É usual escolher alfa=0,05.Se possível determinar beta( probabilidade de erro do tipo 2) e

Terceiro passo: coletar os dados ( n observações)


Método 1 Usando o limite de confiabilidade Quarto Passo . Calcular o erro padrão (Serro) ATENÇÃO! USAR O DESVIO PADRÃO DA POPULAÇÃO:

Quinto passo. Calcular os limites de confiabilidade para a média, usando o valor de z ( z crítico) obtido a partir do valor de alfa escolhido : inv.normp(alfa/2) do excel.M+= <m1> + z * Serro e M- = <m1>- z* Serro

Sexto passo. Verificar se a média desejada está dentro dos limites calculados. Se estiver, aceita-se (não podemos rejeitar H0) H0 m1 =mSe não estiver, rejeitamos H0 e aceitamos H1 m1 m

Sétimo passo: fazer recomendações...( rejeitar lote, fazer mais medidas, aceitar lote, trocar fornecedor, trocar equipamento....)

s =erro

n

Exemplo:O diâmetro de uma peça após a nitretação deve ser de 0,2540 cm com desvio padrão de 0,0001cm. Verifica-se que a média dos diâmetros de uma amostra com 10 itens é 0,2545 cm. A amostra atende a especificação? 0 Passo zero: H0: m1= m 0,2545 = 0,2540

H1 ( alternativa: ) 0,2545 0,2540

1. Primeiro passo: Identificar o tipo de teste

a. Desvio padrão conhecido : teste z

b. Igualdade de médias: teste não direcional

2. Segundo passo estimar o erro aceitável do tipo I ( alfa) ou nível de significância. alfa=0,05.

3. Terceiro passo: dados (10 observações com m1= 0,2545 cm)

Exemplo cont.

4. Quarto Passo . :

5. Quinto passo Calcular os limites de confiabilidade para a média, z= 1,96

M+= 0,2545 + 1,96 x Serro e M- = 0,2545- 1,96x Serro

0s limites são : 0,254438 cm e 0,254562 cm.

6. Sexto passo A média desejada (0,2540 cm) não está dentro dos limites. Rejeitamos H0 e aceitamos H1 m1 m

7. Sétimo passo: fazer recomendações...( rejeitar lote)

s = = 3,16228 10erro-5

n

0 0001

10

,


Método 2: usando o valor de z Até o quarto passo os métodos são idênticos.Quinto passo Calcular o valor de z (z calculado)Sexto passo Verificar se o valor de z calculado é maior, em

módulo, do que o valor de z crítico obtido de inv.normp(alfa). Se for maior, significa que as diferenças são muito grandes e rejeita-se H0 m1 =m e aceitamos H1 m1 mSe for menor, significa que as diferenças são pequenas e devemos aceitar H0 (Não foi possível rejeitar H0)

Sétimo passo: fazer recomendações...( rejeitar lote, fazer mais medidas, aceitar lote, trocar fornecedor, trocar equipamento....)

TÉCNICAS DE ANÁLISE DE DADOS - revisão Erros na conclusão

TIPO I: Rejeitamos a hipótese nula sendo ela verdadeira ()

é chamado de nível de significância do teste.

TIPO II : Não rejeitamos a hipótese nula sendo ela falsa ( )

Poder : 1-


• AMOSTRAGEM

– Obter parte das informações e efetuar inferências

– “processo pelo qual inferências são feitas examinando-se apenas uma parte do todo”

– vantagens: custo, rapidez, exatidão, amplitude de informações


• AMOSTRAGEM: principais fases

– Objetivo do levantamento

– população alvo e população a ser amostrada

– determinação da precisão desejada


• AMOSTRAGEM: terminologia

– Unidade amostral (ou elementar)

– Universo ou população

– Variável aleatória

– Amostra


• Levantamentos censitários são levantamentos cujo resultado (o censo) visa conhecer a totalidade da(s) característica(s) individuais de cada população.

• Já os levantamentos amostrais tem como resultado, amostras, definidas como “subconjunto de uma população, por meio do qual se estabelecem ou estima as propriedades e características dessa população” (Bolfarine e Bussab, 2005). É o processo pelo qual inferências são feitas examinando-se apenas uma parte do todo. Tem como algumas vantagens, um menor custo, uma maior rapidez, permite o levantamento de uma amplitude maior de informações com uma exatidão pré-estabelecida.


• Sucintamente, as principais fases de um levantamento amostral são:

– a definição do objetivo do levantamento;

– a definição da população alvo a ser estudada e da população efetivamente a ser amostrada;

– a determinação da exatidão desejada (ou possível).


• AMOSTRAGEM: técnicas

– casual simples (com e sem reposição)– sistemática– aleatória estratificada– por conglomerados


• AMOSTRAGEM: Plano amostral– dimensionamento da amostra:

a partir de z= є/(σ /√ n), temos: є= zσ /√ n.

O tamanho n da amostra pode então ser determinado por:

n = (z/e)2σ2

AMOSTRAGEM

• Esquemas de amostragem espacial

CASUALSIMPLES

SISTEMÁTICAESTRATIFICADA

ALEATÓRIAESTRATIFICADA

SISTEMÁTICACONGLOMERADOS

ALEATÓRIA


• PLANEJAMENTO DE EXPERIMENTOS

– observação = previsível + aleatória

– aleatória obedece algum modelo de probabilidade

– ferramenta: análise de variância



– “identificar fatores, controláveis, que expliquem o fenômeno ou alterem a característica de interesse”

– “identificar estruturas nos dados, permite conhecer melhor o fenômeno”



– fator versus variável

– níveis do fator (tratamento)

– unidade experimental

– fator fixo versus fator aleatório



– experimentos com um fator fixo e k níveis:

yij = μ + Ti + eij

μ: média geral de todas as observações

Ti: efeito do i-ésimo nível do fator T (cte.)

eij: erro casual não observável

– Hipótese H0: T1 = ..... = Tk = 0



• F.V. gl SQ QM F0

• entre k-1 SQE QME QME/QMR

• dentro n-k SQR QMR• Total n-1 SQT



– Decisão:

rejeita-se H0 se F0 > Fk-1, n-k, α



– experimentos mais complexos (múltiplos fatores, fatores cruzados e hierárquicos, blocos)

– comparações múltiplas


• FONTES:– www-gen.fmrp.usp.br/rgm5837/2006/

Bio_Aula_04_Distr_de_Probabilidade10112006.ppt – www.ime.usp.br/~sandoval/mae5755/Estimacao_da_%20Proporcao.pdf – www.ime.usp.br/~sandoval/mae5755/Inferencia%20estatistica.pdf – http://www.ime.usp.br/~sandoval/mae5755/Estimacao_da_%20media.pdf– Curso de Análise Estatística - SINAPE 2006 - Prof. Dr. Clóvis de Araújo

Peres – [email protected]– http://pcc5746.pcc.usp.br/Textos_Tecnicos/PCC%205746%20-%20Amostragem%20e

stat%C3%ADstica.PDF– http://www.materiais.ufsc.br/Disciplinas/metodosestatisticospg/2003/aulaz.ppt– Edições anteriores da disciplina: material do docente e de alunos.– Material sobre correlação e regressão:

www.ime.usp.br/~clelia/MAE116_Biologia/Aula_DescritivaIII.ppt

mailto:[email protected]

http://pcc5746.pcc.usp.br/Textos_Tecnicos/PCC%205746%20-%20Amostragem%20estat%C3%ADstica.PDF

http://pcc5746.pcc.usp.br/Textos_Tecnicos/PCC%205746%20-%20Amostragem%20estat%C3%ADstica.PDF

tÉcnicas de anÁlise de dados

Documents