tÉcnicas de anÁlise de dados

TÉCNICAS DE ANÁLISE DE DADOS

PTR5802

Técnicas de Análise de Dados Aplicadas à Engenharia de Transportes

2o. PERÍODO DE 2009

RESPONSÁVEIS:

Prof. José Alberto Quintanilha

Prof. Hugo Pietrantonio

• INTRODUÇÃO• REVISÃO

– VARIÁVEIS ALEATÓRIAS– DISTRIBUIÇÕES DE PROBABILIDADE

USUAIS– ESTIMAÇÃO E TESTES DE HIPÓTESES– AMOSTRAGEM– CORRELAÇÃO– REGRESSÃO BIVARIADA

• INTRODUÇÃO– Objetivos da disciplina– Programa da disciplina– Listas– Provas– Software– Bibliografia

• Artigos• seminários

– Avaliação

TÉCNICAS DE ANÁLISE DE DADOS - revisão

• TIPOS DE VARIÁVEIS– QUALITATIVAS

• ORDINAIS• NOMINAIS

– QUANTITATIVAS• DISCRETAS• CONTÍNUAS

III – Tipos de variáveis geradoras de dados (Clóvis de Araújo Peres/SINAPE2006)

Categóricas Numéricas

Nominal

(classificação)

Ordinal

(classificação)

Discreta

(contagem)

Contínua

(mensuração)

sexo, raça, região, grupo

sangüíneo

pressão sangüínea

(baixa, normal,

Número de acidentes, número de

filhos

Peso, altura,

pressão sangüínea

VARIÁVEISQUALITATI-

QUANTITATI-

Nominal

(s/ordem)

Ordinal

(c/ordem)

Discreta

(contagem)

Contínua

(mensuração)

sim/não

Tem/não tem

Grau instrução

Opinião pública

Pequeno/ médio/gran

# de acidentes,

fluxo veicular,

# de defeitos

por unidade

Peso, altura, preço

• VARIÁVEIS ALEATÓRIAS

– INDEPENDENTES x MUTUAMENTE EXCLUSIVAS

• DISTRIBUIÇÕES DE PROBABILIDADE USUAIS– Normal– Binomial– Poisson– Exponencial

– CONJUNTAS– CONDICIONAIS

Conceitos:

• Espaço Amostral: Conjunto de todos os resultados, inteiros não-negativos, possíveis do experimento;

• Variável Aleatória: É uma função avaliada numericamente e definida no espaço amostral;

• Histograma: É um dos tipos de gráficos mais utilizados para representar as frequências de uma variável aleatória;

Conceitos:

• Distribuições de Probabilidade: Modelo Estatístico da ocorrência de valores (aleatórios) de um certo evento;

- Discretas: A Função Distribuição Cumulativa Discreta é obtida pelas variáveis aleatórias discretas, que são aquelas que assumem um conjunto de valores finito ou infinito contável;

- Contínuas: A Função Distribuição Cumulativa Contínua é obtida pelas variáveis aleatórias contínuas, que são aquelas que assumem uma série contínua de valores;

Principais Distribuições Aplicadas aos Transportes

DistribuiçõesDiscretas

DistribuiçõesContínuas

Principais DistribuiçõesAplicadas aosTransportes

Poisson G eométrica

ErlangExponencial

Normal

• Binomial• Binomial negativa• Geométrica• Hipergeométrica

• Normal

• DISTRIBUIÇÃO BINOMIAL

Definição

Considere p a probabilidade de um evento ocorrer em uma tentativa única (probabilidade de sucesso) e q = 1-p a de que o evento não ocorra em qualquer tentativa única (probabilidade insucesso), então a probabilidade do evento acontecer exatamente x vezes, em n tentativas (x sucessos e n-x insucessos) é definida por:

xnxqpx

DISTRIBUIÇÃO BINOMIAL NEGATIVA

• Para apresentar a distribuição binomial negativa, faremos uma análise do que foi apresentado na distribuição binomial.

– O ponto de partida é o processo de Bernoulli, definido como o experimento aleatório cujo espaço amostral tem apenas dois possíveis resultados mutuamente excludentes denominados sucesso e falha, sendo a probabilidade de sucesso.

– Se o processo Bernoulli for repetido n vezes, considerando que as experiências são independentes, então a variável aleatória X que define o número de sucessos do experimento terá distribuição binomial. Observe que, na distribuição binomial, o número de experimentos n é definido antecipadamente.

• Em vez de repetir o experimento um número determinado de vezes, pode-se estabelecer que o experimento seja repetido até conseguir o primeiro resultado sucesso. Nesse caso, a variável aleatória X que define o número de experimentos necessários até conseguir o primeiro resultado sucesso tem uma distribuição geométrica.

• Ampliando as premissas da distribuição geométrica, em vez de repetir o experimento até conseguir o primeiro resultado sucesso, a distribuição binomial negativa, conhecida também como Distribuição de Pascal, permite determinar a probabilidade de que será necessário realizar exatamente n experimentos para obter x resultados de sucesso com probabilidade .

DISTRIBUIÇÃO HIPERGEOMÉTRICA

• A distribuição hipergeométrica não é derivada da distribuição binomial, pois os experimentos são dependentes.

• Numa população composta de N objetos que podem ser classificados em duas categorias, C1 e C2, de forma que na população há N1 em C1 e N2 em C2, desejamos retirar uma amostra sem reposição de n objetos dessa população, selecionando x objetos de C1 e (n-x) objetos de C2.

• Normal padrão:

xi - média dos x’s

zi = -------------------------------

desvio padrão dos x’s

Onde xi~N(média, d.p.) e zi ~N(0,1)

• Poisson

• Exponencial

• Gama

• Erlang

Distribuições Discretas

• Distribuição de Poisson:

Probabilidade:

Aplicação: Esta distribuição é frequentemente usada para análise do número de chegadas de clientes num tempo fixado, demanda de um determinado produto etc.

n Pn = e - n = 0, 1, 2 ... > 0 n ! E(X) = e Var X =

Distribuição de Poisson:

Nú m ero d e Návios

1 32 4 5 6 7 8 9 100

Observada

Fonte: Novaes (1975)

Distribuição de Poisson:

Nú m ero d e Návios

1 32 4 5 6 7 8 9 100

Observada

Teórica(Poisson)

Distribuições Contínuas

• Distribuição Exponencial:

Função Densidade de Probabilidade:

Aplicação: Esta distribuição é usada para análide do tempo entre a chegada de clientes, o tempo de duração de conversas telefônicas e o tempo de vida de componentes eletrônicos.

f (x) = e - x com x 0 e > 0 E(X) = 1 / e Var X = 1 / 2

Distribuição Exponencial

115 9549 41 17 17 14 19

üênc

Q u an tid ad e d e Carg a p or Navio (ton )

1 00 0 2 00 0 3 00 0 5 00 04 00 0

Distribuição Exponencial

115 9549 41 17 17 14 19

üênc

Q u an tid ad e d e Carg a p or Navio (ton )

1 00 0 2 00 0 3 00 0 5 00 04 00 0

Teórica (Exponencial)

Distribuições Contínuas

• Distribuição Gama:

Aplicação: Esta distribuição é útil como uma representção matemática de fenômenos físicos ou para análide do tempo total para servir n clientes (independentes), lembrando que para o tempo de serviço para um cliente individualmente seja uma distribuição exponencial.

r x r-1 e - x f(x) = com x > 0, r > 0 e > 0 (r) E(X) = r / e Var X = r / 2

Distribuições Gama

2 4 6 1080

7,5 3,75

F onte : Mo ntg om ery (2 0 03 )

F unçõe s d ens id ade d e p ro bab ilid ade G am a p ara valo res se lec io nado s

• Distribuição Erlang:

Aplicação: A análise de chegadas por esta distribuição, engloba o tempo de atendimento e tempo em fila, Morse (1967). Para r = 1 tem-se uma dist. Exp. E o processo de chegada é Poissoniano.

Para r , chega-se a situação determinística.

r x r-1 e - x f(x) = com x > 0, r = 1, 2, 3 ... (r - 1) ! E(X) = r / e Var X = r / 2

Distribuições de Erlang

2 4 6 1080

Fonte: Montgomery (2003)

Funções densidade de probabilidade de Erlang para valores selecionados

• Probabilidade condicional:

P(X e wi)p(X|wi) = --------------------

• ESTIMAÇÃO E TESTES DE HIPÓTESES

– Estimadores pontuais e por intervalos

– Comparação entre médias• Pareado• Independentes

• Estimadores pontuais e por intervalos

• Estimação da média

Objetivo

Estimar a média µ de uma variável aleatória X, que representa uma característica de interesse de uma população, a partir de uma amostra.

• Vamos observar n elementos, extraídos ao acaso da população;

• Para cada elemento selecionado, observamos o valor da variável X de interesse.

• Obtemos, então, uma amostra aleatória de tamanho n de X, que representamos por X1, X2, ..., Xn.

• Um estimador pontual µ para é dado por:

X1 + X2+ ...+ Xn n

Xbarra = -------------------------- = ∑ Xi

• TEOREMA CENTRAL DO LIMITE

Seja X uma v. a. que tem média µ e variância σ2. Para amostras X1, X2, ..., Xn, retiradas ao acaso e com reposição de X, a distribuição de probabilidade da média amostral aproxima-se, para n grande, de uma distribuição normal, com média µ e variância σ2 / n , ou seja,

Xbarra ~ N(µ; σ2 / n )

• Comentário:

Se a distribuição de X é normal, então Xbarra

tem distribuição normal .

O desvio padrão √(σ2 / n) = (σ /√ n) é denominado erro padrão da média.

• Um estimador intervalar ou intervalo de

confiança para µ tem a forma:

[Xbarra – є; Xbarra + є]

sendo є o erro amostral (margem de erro) calculado a partir da distribuição de probabilidade de Xbarra.

• Seja P(є) = γ, a probabilidade do intervalo:

[µ – є; µ + є]

conter a média amostral Xbarra numa distância de, no máximo є, da média populacional µ (desconhecida), ou seja,

γ=P(| Xbarra - µ |<ou= є)=P(µ – є< Xbarra<µ + є)

γ=P(| Xbarra - µ |<ou= є)=P(µ – є< Xbarra<µ + є) =

P[– є/(σ /√ n) < (Xbarra-µ)/(σ /√ n) < є/(σ /√ n)] =

P[– є/(σ /√ n) < Z < є/(σ /√ n)] sendo Z ~ N(0,1)

Fazendo z= є/(σ /√ n):

γ =P(-z< Z<z), γ é o coeficiente de confiança.

• O intervalo de confiança para a estimativa intervalar da média µ, com coeficiente de confiança γ, é dado por:

[Xbarra – z(σ /√ n); Xbarra + z(σ /√ n)].

• Estimação para a proporção populacional p

Estimar uma proporção p (desconhecida) de elementos em uma população, apresentando certa característica de interesse, a partir da informação fornecida por uma amostra.

• A partir de n elementos, extraídos ao acaso e com reposição da população, verificamos, para cada elemento selecionado, a presença (sucesso) ou não (fracasso) da característica de interesse.

• Um estimador pontual p, também denominado proporção amostral para é dado por:

Pchapéu= X/n

X = no. de elementos na amostra que apresentam a característica;

n = o tamanho da amostra coletada.

• A estimativa intervalar corresponde a um

intervalo determinado da seguinte maneira:

[Pchapéu – є; Pchapéu

sendo є o erro amostral ou margem de erro.

Neste caso:

P(є)= γ =P (| Pchapéu - P |<ou= є é o coeficiente de

confiança.

Como X ~ b(n,p) temos que, para n grande, a variável aleatória

X-np Z = ----------

√ np(1-p)

tem distribuição N(0,1) e,

Є = z[√p(1-p)/n] e n= (z/ є)2[p(1-p)]

• Comparação entre médias• 1. Se um conjunto de medidas(amostra) faz parte de uma

população. • 1.1 Desvio padrão da população conhecido(teste –z)• 1.2 Desvio padrão da população desconhecido(teste-t) 2. Se duas amostras são iguais (teste –t)• 2.1 Comparação entre itens pareados • 2.2 Amostras independentes• Para os casos acima: H0: <m1> =<m2>• H1: <m1> <m2>• Veremos depois como podemos verificar se uma média é

maior do que a outra. Estes testes são chamados de testes direcionais ou testes uni-caudais.

Método 1 Usando o limite de confiabilidade Passo zero: Enunciar as hipóteses:

H0: m1= mH1 ( alternativa: ) m1 m

Primeiro passo: Identificar o tipo de teste• Desvio padrão conhecido : teste z • Igualdade de médias: teste não direcional

Segundo passo estimar o erro aceitável do tipo I ( alfa) ou nível de significância. É usual escolher alfa=0,05.Se possível determinar beta( probabilidade de erro do tipo 2) e

Terceiro passo: coletar os dados ( n observações)

Método 1 Usando o limite de confiabilidade Quarto Passo . Calcular o erro padrão (Serro) ATENÇÃO! USAR O DESVIO PADRÃO DA POPULAÇÃO:

Quinto passo. Calcular os limites de confiabilidade para a média, usando o valor de z ( z crítico) obtido a partir do valor de alfa escolhido : inv.normp(alfa/2) do excel.M+= <m1> + z * Serro e M- = <m1>- z* Serro

Sexto passo. Verificar se a média desejada está dentro dos limites calculados. Se estiver, aceita-se (não podemos rejeitar H0) H0 m1 =mSe não estiver, rejeitamos H0 e aceitamos H1 m1 m

Sétimo passo: fazer recomendações...( rejeitar lote, fazer mais medidas, aceitar lote, trocar fornecedor, trocar equipamento....)

s =erro

Exemplo:O diâmetro de uma peça após a nitretação deve ser de 0,2540 cm com desvio padrão de 0,0001cm. Verifica-se que a média dos diâmetros de uma amostra com 10 itens é 0,2545 cm. A amostra atende a especificação? 0 Passo zero: H0: m1= m 0,2545 = 0,2540

H1 ( alternativa: ) 0,2545 0,2540

1. Primeiro passo: Identificar o tipo de teste

a. Desvio padrão conhecido : teste z

b. Igualdade de médias: teste não direcional

2. Segundo passo estimar o erro aceitável do tipo I ( alfa) ou nível de significância. alfa=0,05.

3. Terceiro passo: dados (10 observações com m1= 0,2545 cm)

Exemplo cont.

4. Quarto Passo . :

5. Quinto passo Calcular os limites de confiabilidade para a média, z= 1,96

M+= 0,2545 + 1,96 x Serro e M- = 0,2545- 1,96x Serro

0s limites são : 0,254438 cm e 0,254562 cm.

6. Sexto passo A média desejada (0,2540 cm) não está dentro dos limites. Rejeitamos H0 e aceitamos H1 m1 m

7. Sétimo passo: fazer recomendações...( rejeitar lote)

s = = 3,16228 10erro-5

0 0001

Método 2: usando o valor de z Até o quarto passo os métodos são idênticos.Quinto passo Calcular o valor de z (z calculado)Sexto passo Verificar se o valor de z calculado é maior, em

módulo, do que o valor de z crítico obtido de inv.normp(alfa). Se for maior, significa que as diferenças são muito grandes e rejeita-se H0 m1 =m e aceitamos H1 m1 mSe for menor, significa que as diferenças são pequenas e devemos aceitar H0 (Não foi possível rejeitar H0)

Sétimo passo: fazer recomendações...( rejeitar lote, fazer mais medidas, aceitar lote, trocar fornecedor, trocar equipamento....)

TÉCNICAS DE ANÁLISE DE DADOS - revisão Erros na conclusão

TIPO I: Rejeitamos a hipótese nula sendo ela verdadeira ()

é chamado de nível de significância do teste.

TIPO II : Não rejeitamos a hipótese nula sendo ela falsa ( )

Poder : 1-

• AMOSTRAGEM

– Obter parte das informações e efetuar inferências

– “processo pelo qual inferências são feitas examinando-se apenas uma parte do todo”

– vantagens: custo, rapidez, exatidão, amplitude de informações

• AMOSTRAGEM: principais fases

– Objetivo do levantamento

– população alvo e população a ser amostrada

– determinação da precisão desejada

• AMOSTRAGEM: terminologia

– Unidade amostral (ou elementar)

– Universo ou população

– Variável aleatória

– Amostra

• Levantamentos censitários são levantamentos cujo resultado (o censo) visa conhecer a totalidade da(s) característica(s) individuais de cada população.

• Já os levantamentos amostrais tem como resultado, amostras, definidas como “subconjunto de uma população, por meio do qual se estabelecem ou estima as propriedades e características dessa população” (Bolfarine e Bussab, 2005). É o processo pelo qual inferências são feitas examinando-se apenas uma parte do todo. Tem como algumas vantagens, um menor custo, uma maior rapidez, permite o levantamento de uma amplitude maior de informações com uma exatidão pré-estabelecida.

• Sucintamente, as principais fases de um levantamento amostral são:

– a definição do objetivo do levantamento;

– a definição da população alvo a ser estudada e da população efetivamente a ser amostrada;

– a determinação da exatidão desejada (ou possível).

• AMOSTRAGEM: técnicas

– casual simples (com e sem reposição)– sistemática– aleatória estratificada– por conglomerados

• AMOSTRAGEM: Plano amostral– dimensionamento da amostra:

a partir de z= є/(σ /√ n), temos: є= zσ /√ n.

O tamanho n da amostra pode então ser determinado por:

n = (z/e)2σ2

AMOSTRAGEM

• Esquemas de amostragem espacial

CASUALSIMPLES

SISTEMÁTICAESTRATIFICADA

ALEATÓRIAESTRATIFICADA

SISTEMÁTICACONGLOMERADOS

ALEATÓRIA

• PLANEJAMENTO DE EXPERIMENTOS

– observação = previsível + aleatória

– aleatória obedece algum modelo de probabilidade

– ferramenta: análise de variância

– “identificar fatores, controláveis, que expliquem o fenômeno ou alterem a característica de interesse”

– “identificar estruturas nos dados, permite conhecer melhor o fenômeno”

– fator versus variável

– níveis do fator (tratamento)

– unidade experimental

– fator fixo versus fator aleatório

– experimentos com um fator fixo e k níveis:

yij = μ + Ti + eij

μ: média geral de todas as observações

Ti: efeito do i-ésimo nível do fator T (cte.)

eij: erro casual não observável

– Hipótese H0: T1 = ..... = Tk = 0

• F.V. gl SQ QM F0

• entre k-1 SQE QME QME/QMR

• dentro n-k SQR QMR• Total n-1 SQT

– Decisão:

rejeita-se H0 se F0 > Fk-1, n-k, α

– experimentos mais complexos (múltiplos fatores, fatores cruzados e hierárquicos, blocos)

– comparações múltiplas

• FONTES:– www-gen.fmrp.usp.br/rgm5837/2006/

Bio_Aula_04_Distr_de_Probabilidade10112006.ppt – www.ime.usp.br/~sandoval/mae5755/Estimacao_da_%20Proporcao.pdf – www.ime.usp.br/~sandoval/mae5755/Inferencia%20estatistica.pdf – http://www.ime.usp.br/~sandoval/mae5755/Estimacao_da_%20media.pdf– Curso de Análise Estatística - SINAPE 2006 - Prof. Dr. Clóvis de Araújo

Peres – ceperes@medprev.epm.br– http://pcc5746.pcc.usp.br/Textos_Tecnicos/PCC%205746%20-%20Amostragem%20e

stat%C3%ADstica.PDF– http://www.materiais.ufsc.br/Disciplinas/metodosestatisticospg/2003/aulaz.ppt– Edições anteriores da disciplina: material do docente e de alunos.– Material sobre correlação e regressão:

www.ime.usp.br/~clelia/MAE116_Biologia/Aula_DescritivaIII.ppt

tÉcnicas de anÁlise de dados

Documents

aula 05 técnicas básicas de - prefeitura de jundiaí...

tÉcnicas de anÁlise de riscos

técnicas de análise de vibrações

auditorias técnicas na análise alimentar

aula xi – técnicas de análise de dados – análise do...

técnicas de análise de proteinas

aula x – técnicas de análise de dados – métodos...

técnicas de modelagem de dados

introdução à análise qualitativa comparativa...

os três níveis de análise da macroeconomia. explicação...

aula 05 técnicas básicas de - site oficial da prefeitura...

análise descritiva de dados - fgv -...

· 3.2. prático: técnicas histológicas. técnicas de...

prediÇÃo dos candidatos ao teste de admissÃo da … ·...

módulo1: análise de sistemas 119-04-2015. si - análise de...

técnicas de análise de dados qualitativos análise do...

anÁlise tÉcnicas de aÇÕes

especificações técnicas do coletor de dados...

análise e técnicas de algoritmos

atal análise e técnicas de