![Page 1: Introdu˘c~ao a probabilidade e a estat stica II - IME-USPpatriota/MAE0229/Aula7-Testes-Hipoteses.pdf · Consideraremos primeiramente a perspectiva de Neyman-Pearson. Podemos aceitar](https://reader031.vdocuments.com.br/reader031/viewer/2022022108/5c03ceef09d3f2e5418cc176/html5/thumbnails/1.jpg)
Introducao a probabilidade e a estatıstica II
Nocoes de testes de hipoteses
Prof. Alexandre G PatriotaSala: 298A
Email: [email protected]: www.ime.usp.br/∼patriota
![Page 2: Introdu˘c~ao a probabilidade e a estat stica II - IME-USPpatriota/MAE0229/Aula7-Testes-Hipoteses.pdf · Consideraremos primeiramente a perspectiva de Neyman-Pearson. Podemos aceitar](https://reader031.vdocuments.com.br/reader031/viewer/2022022108/5c03ceef09d3f2e5418cc176/html5/thumbnails/2.jpg)
Testes de hipoteses
Um dos interesses fundamentais da estatıstica indutiva e testarhipoteses.
Etapas:
I formular duas hipoteses que temos o interesse em testar;
I observar os dados experimentais relacionados com o problema;
I utilizar um procedimento estatıstico para tomadas de decisao.
O problema de interesse deve ser escrito em termos matematicos(modelos estatısticos) para que seja possıvel utilizar osprocedimentos estatısticos.
![Page 3: Introdu˘c~ao a probabilidade e a estat stica II - IME-USPpatriota/MAE0229/Aula7-Testes-Hipoteses.pdf · Consideraremos primeiramente a perspectiva de Neyman-Pearson. Podemos aceitar](https://reader031.vdocuments.com.br/reader031/viewer/2022022108/5c03ceef09d3f2e5418cc176/html5/thumbnails/3.jpg)
Exemplo de hipoteses de interesse
Considere uma pessoa que esta sendo acusada de cometer umcrime.
Existem duas hipoteses:
I H0 : o suspeito nao e culpado
I H1 : o suspeito e culpado
Se houver evidencias de que o suspeito cometeu o crime, dizemosque ele e culpado (evidencia genetica, digitais na arma, etc).
Se nao houver evidencias de que o suspeito cometeu o crime,dizemos que ele e inocente.
![Page 4: Introdu˘c~ao a probabilidade e a estat stica II - IME-USPpatriota/MAE0229/Aula7-Testes-Hipoteses.pdf · Consideraremos primeiramente a perspectiva de Neyman-Pearson. Podemos aceitar](https://reader031.vdocuments.com.br/reader031/viewer/2022022108/5c03ceef09d3f2e5418cc176/html5/thumbnails/4.jpg)
Erros na decisao
I Por um lado, o suspeito pode ser inocente apesar dasevidencias incriminando-o.
Se o suspeito nao cometeu o crime, e for consideradoculpado estamos cometendo um erro. (ERRO TIPO I)
I Por outro lado, o suspeito pode ser culpado mesmo se naoencontrarmos evidencias incriminando-o.
Se o suspeito cometeu o crime e for consideradoinocente estamos cometendo um erro. (ERRO TIPO II)
Nao cometeu o crime Cometeu o crime
julgado inocente ACERTO ERRO TIPO IIjulgado culpado ERRO TIPO I ACERTO
![Page 5: Introdu˘c~ao a probabilidade e a estat stica II - IME-USPpatriota/MAE0229/Aula7-Testes-Hipoteses.pdf · Consideraremos primeiramente a perspectiva de Neyman-Pearson. Podemos aceitar](https://reader031.vdocuments.com.br/reader031/viewer/2022022108/5c03ceef09d3f2e5418cc176/html5/thumbnails/5.jpg)
Outros exemplos de hipoteses de interesse
1. H0 : O medicamento nao faz efeito;H1 : O medicamento faz efeito.
2. H0 : O veneno nao faz efeito;H1 : O veneno faz efeito.
3. H0 : A populacao nao esta obesa;H1 : A populacao esta obesa.
4. H0 : A partıcula de Higgs nao existe;H1 : A partıcula de Higgs existe.
Podemos cometer os mesmos erros de decisao nas hipoteses acima.
![Page 6: Introdu˘c~ao a probabilidade e a estat stica II - IME-USPpatriota/MAE0229/Aula7-Testes-Hipoteses.pdf · Consideraremos primeiramente a perspectiva de Neyman-Pearson. Podemos aceitar](https://reader031.vdocuments.com.br/reader031/viewer/2022022108/5c03ceef09d3f2e5418cc176/html5/thumbnails/6.jpg)
Testar a hipotese H0 usando estatıstica:
I Criamos um experimento que seja relacionado com oproblema de interesse,
I Definimos o modelo estatıstico (X ,P), ou seja, a variavelaleatoria de interesse X com sua funcao de densidade fθ (oufuncao de probabilidade para o caso discreto).
I Coletamos a amostra que contem replicas da variavel aleatoriade interesse: X1, . . . ,Xn.
I A hipotese H0 deve ser escrita em termos matematicos. Ouseja, alguma restricao sobre o espaco parametrico deve serimposta para representar a hipotese de interesse.
I Criamos alguma regra de decisao para verificar a plausibilidadede H0.
![Page 7: Introdu˘c~ao a probabilidade e a estat stica II - IME-USPpatriota/MAE0229/Aula7-Testes-Hipoteses.pdf · Consideraremos primeiramente a perspectiva de Neyman-Pearson. Podemos aceitar](https://reader031.vdocuments.com.br/reader031/viewer/2022022108/5c03ceef09d3f2e5418cc176/html5/thumbnails/7.jpg)
Verificando se uma moeda e honesta
Queremos avaliar se uma moeda e honesta. Ou seja,{H0 : A moeda e honestaH1 : A moeda nao e honesta
Uma forma de reescrever essas hipoteses utilizando a linguagemestatıstica e: seja X ∼ Ber(θ) com θ sendo a probabilidade de saircara, entao {
H0 : θ = 12
H1 : θ 6= 12 .
Aqui estamos considerando que
“A moeda e honesta” ↔ “θ =1
2”.
E possıvel criar outra formulacao matematica para testar ashipoteses acima?
![Page 8: Introdu˘c~ao a probabilidade e a estat stica II - IME-USPpatriota/MAE0229/Aula7-Testes-Hipoteses.pdf · Consideraremos primeiramente a perspectiva de Neyman-Pearson. Podemos aceitar](https://reader031.vdocuments.com.br/reader031/viewer/2022022108/5c03ceef09d3f2e5418cc176/html5/thumbnails/8.jpg)
Caracterısticas das hipoteses H0 e H1
Caracterısticas das hipoteses:
1. As hipoteses H0 e H1 sao incompatıveis, ou seja, H0 e H1 naopodem ocorrer ao mesmo tempo.
2. As hipoteses originais H0 e H1 em geral sao “exaustivas”.Porem, nao existe uma unica forma de representa-lasmatematicamente.
3. Em alguns casos nao faz sentido aceitar uma hipotese, masapenas rejeita-la. Exemplo: H0 “todos os cisnes sao brancos”.
4. Em alguns casos faz pleno sentido aceitar uma hipotese.Exemplo: H0 : “todos os cisnes do meu sitio sao brancos”.
![Page 9: Introdu˘c~ao a probabilidade e a estat stica II - IME-USPpatriota/MAE0229/Aula7-Testes-Hipoteses.pdf · Consideraremos primeiramente a perspectiva de Neyman-Pearson. Podemos aceitar](https://reader031.vdocuments.com.br/reader031/viewer/2022022108/5c03ceef09d3f2e5418cc176/html5/thumbnails/9.jpg)
Tipos de decisoes sobre as hipoteses H0 e H1
Quais tipos de decisao podemos tomar sobre as hipoteses deinteresse? (problema filosofico)
Dependendo do tipo das hipoteses envolvidas:
I Neyman e Pearson argumentaram que se o espaco depossibilidades for fechado, entao podemos aceitar ou rejeitarH0.
I Fisher argumentou que so e possıvel definir a hipotese deinteresse H0, pois o espaco de possibilidades e sempre aberto(desconhecido). Neste caso so faria sentido encontrarevidencias para rejeitar H0. As evidencias em favor de H0 naopodem ser usadas para aceitar H0.
![Page 10: Introdu˘c~ao a probabilidade e a estat stica II - IME-USPpatriota/MAE0229/Aula7-Testes-Hipoteses.pdf · Consideraremos primeiramente a perspectiva de Neyman-Pearson. Podemos aceitar](https://reader031.vdocuments.com.br/reader031/viewer/2022022108/5c03ceef09d3f2e5418cc176/html5/thumbnails/10.jpg)
Criterios para decidir qual hipotese escolher
Consideraremos primeiramente a perspectiva de Neyman-Pearson.Podemos aceitar H0 ou rejeitar H0 e cometeremos os erros tipo I etipo II.
Definimos a regiao crıtica (RC ) como o conjunto de valoresobservaveis para os quais rejeitaremos a hipotese H0. RC c seria oconjunto de observaveis para os quais nao rejeitamos H0.
Suponha que nossa famılia de medidas de probabilidade tem duasmedidas P = {Pθ : θ ∈ {θ0, θ1}}. Definimos
H0 : θ = θ0 contra H1 : θ = θ1.
Quais sao os erros?
![Page 11: Introdu˘c~ao a probabilidade e a estat stica II - IME-USPpatriota/MAE0229/Aula7-Testes-Hipoteses.pdf · Consideraremos primeiramente a perspectiva de Neyman-Pearson. Podemos aceitar](https://reader031.vdocuments.com.br/reader031/viewer/2022022108/5c03ceef09d3f2e5418cc176/html5/thumbnails/11.jpg)
Erros tipo I e tipo II para hipoteses simples
Considerando as hipoteses
H0 : θ = θ0 contra H1 : θ = θ1,
temos que:
Erro Tipo I: Rejeitar H0 quando ela e verdadeira. Definimos
α = Pθ0(RC ocorrer),
ou seja, α e a probabilidade de cometer o erro tipo I.
Erro Tipo II: Aceitar H0 quando ela e falsa. Definimos
β = Pθ1(RC nao ocorrer),
ou seja, β e a probabilidade de cometer o erro tipo II.
![Page 12: Introdu˘c~ao a probabilidade e a estat stica II - IME-USPpatriota/MAE0229/Aula7-Testes-Hipoteses.pdf · Consideraremos primeiramente a perspectiva de Neyman-Pearson. Podemos aceitar](https://reader031.vdocuments.com.br/reader031/viewer/2022022108/5c03ceef09d3f2e5418cc176/html5/thumbnails/12.jpg)
Exemplo – Lancamento de uma moeda
Considere o modelo estatıstico de Bernoulli para a moeda emquestao: (X ,P) com X = {0, 1}, P = {P0.5,P0.9}, comP0.5(X = 1) = 0.5 e P0.9(X = 1) = 0.9.{
H0 : θ = 0.5H1 : θ = 0.9.
Dizemos que as hipoteses sao simples.
Considere 4 lancamentos independentes da moeda e denote porY = X1 + X2 + X3 + X4 o numero total de caras nesseslancamentos.
Como poderıamos definir uma regiao crıtica (RC) da variavelobservavel Y para a rejeicao de H0?
![Page 13: Introdu˘c~ao a probabilidade e a estat stica II - IME-USPpatriota/MAE0229/Aula7-Testes-Hipoteses.pdf · Consideraremos primeiramente a perspectiva de Neyman-Pearson. Podemos aceitar](https://reader031.vdocuments.com.br/reader031/viewer/2022022108/5c03ceef09d3f2e5418cc176/html5/thumbnails/13.jpg)
Regiao crıtica
Podemos definir o conjunto de valores de Y que levam a rejeicaoda hipotese nula H0 por
RC1 = {3, 4} RC c1 = {0, 1, 2},
Outra forma seria:
RC2 = {2, 3, 4} RC c2 = {0, 1}
![Page 14: Introdu˘c~ao a probabilidade e a estat stica II - IME-USPpatriota/MAE0229/Aula7-Testes-Hipoteses.pdf · Consideraremos primeiramente a perspectiva de Neyman-Pearson. Podemos aceitar](https://reader031.vdocuments.com.br/reader031/viewer/2022022108/5c03ceef09d3f2e5418cc176/html5/thumbnails/14.jpg)
Calcule os erros tipo I e II para cada RC
As distribuicoes de Y sao dadas abaixo para cada valor de θ:
y P0.5(Y = y) P0.9(Y = y)
0 0.0625 0.00011 0.2500 0.00362 0.3750 0.04863 0.2500 0.29164 0.0625 0.6561
Calcule as probabilidades dos erros tipo I e II para as seguintes RC:
∅, {4}, {3, 4}, {2, 3, 4}, {1, 2, 3, 4} e {0, 1, 2, 3, 4}
![Page 15: Introdu˘c~ao a probabilidade e a estat stica II - IME-USPpatriota/MAE0229/Aula7-Testes-Hipoteses.pdf · Consideraremos primeiramente a perspectiva de Neyman-Pearson. Podemos aceitar](https://reader031.vdocuments.com.br/reader031/viewer/2022022108/5c03ceef09d3f2e5418cc176/html5/thumbnails/15.jpg)
Suponha que observamos y = 2 (o valor observado de Y ).
I se RC1 = {3, 4} nao rejeitamos H0.
I se RC2 = {2, 3, 4} rejeitamos H0.
Note que temos duas conclusoes diferentes usando o mesmo dadoobservado. Qual a diferenca entre as duas decisoes?
Quantas regioes crıticas podemos criar? Quais criterios podemosutilizar para escolher a regiao crıtica? (podemos escolher a RC queproduz o menor max{α, β} ou o menor α + β, retirando os casosem que sempre rejeitamos ou sempre aceitamos)
![Page 16: Introdu˘c~ao a probabilidade e a estat stica II - IME-USPpatriota/MAE0229/Aula7-Testes-Hipoteses.pdf · Consideraremos primeiramente a perspectiva de Neyman-Pearson. Podemos aceitar](https://reader031.vdocuments.com.br/reader031/viewer/2022022108/5c03ceef09d3f2e5418cc176/html5/thumbnails/16.jpg)
Hipoteses geraisSeja (X ,P) o modelo estatıstico com P = {Pθ : θ ∈ Θ}.
Considere as hipoteses {H0 : θ ∈ Θ0
H1 : θ ∈ Θc0
em que Θ0 ⊂ Θ e Θc0 = Θ−Θ0.
O que significam estas hipoteses?
Como definimos as probabilidades dos erros tipo I e II?
Definimos a funcao poder do teste por
π(θ) = Pθ(RC )
para todo θ ∈ Θ.
![Page 17: Introdu˘c~ao a probabilidade e a estat stica II - IME-USPpatriota/MAE0229/Aula7-Testes-Hipoteses.pdf · Consideraremos primeiramente a perspectiva de Neyman-Pearson. Podemos aceitar](https://reader031.vdocuments.com.br/reader031/viewer/2022022108/5c03ceef09d3f2e5418cc176/html5/thumbnails/17.jpg)
Hipoteses geraisSeja (X ,P) o modelo estatıstico com P = {Pθ : θ ∈ Θ}.
Considere as hipoteses {H0 : θ ∈ Θ0
H1 : θ ∈ Θc0
em que Θ0 ⊂ Θ e Θc0 = Θ−Θ0.
O que significam estas hipoteses?
Como definimos as probabilidades dos erros tipo I e II?
Definimos a funcao poder do teste por
π(θ) = Pθ(RC )
para todo θ ∈ Θ.
![Page 18: Introdu˘c~ao a probabilidade e a estat stica II - IME-USPpatriota/MAE0229/Aula7-Testes-Hipoteses.pdf · Consideraremos primeiramente a perspectiva de Neyman-Pearson. Podemos aceitar](https://reader031.vdocuments.com.br/reader031/viewer/2022022108/5c03ceef09d3f2e5418cc176/html5/thumbnails/18.jpg)
Hipoteses geraisSeja (X ,P) o modelo estatıstico com P = {Pθ : θ ∈ Θ}.
Considere as hipoteses {H0 : θ ∈ Θ0
H1 : θ ∈ Θc0
em que Θ0 ⊂ Θ e Θc0 = Θ−Θ0.
O que significam estas hipoteses?
Como definimos as probabilidades dos erros tipo I e II?
Definimos a funcao poder do teste por
π(θ) = Pθ(RC )
para todo θ ∈ Θ.
![Page 19: Introdu˘c~ao a probabilidade e a estat stica II - IME-USPpatriota/MAE0229/Aula7-Testes-Hipoteses.pdf · Consideraremos primeiramente a perspectiva de Neyman-Pearson. Podemos aceitar](https://reader031.vdocuments.com.br/reader031/viewer/2022022108/5c03ceef09d3f2e5418cc176/html5/thumbnails/19.jpg)
Funcao Poder do teste – caso simples
Note que para o caso em que Θ = {θ0, θ1} e Θ0 = {θ0} eΘc
0 = {θ1} temos
π(θ0) = Pθ0(RC ) = α
e
π(θ1) = Pθ1(RC ) = 1− β
Ou seja, neste caso temos que π(θ0) sera a probabilidade decometer o erro tipo I e 1− π(θ1) sera a probabilidade de cometer oerro tipo II.
![Page 20: Introdu˘c~ao a probabilidade e a estat stica II - IME-USPpatriota/MAE0229/Aula7-Testes-Hipoteses.pdf · Consideraremos primeiramente a perspectiva de Neyman-Pearson. Podemos aceitar](https://reader031.vdocuments.com.br/reader031/viewer/2022022108/5c03ceef09d3f2e5418cc176/html5/thumbnails/20.jpg)
Funcao Poder do teste – caso geral
Para a hipoteses gerais, podemos definir probabilidades maximasde cometer os errors tipo I e II:{
H0 : θ ∈ Θ0
H1 : θ ∈ Θc0
A probabilidade maxima de cometer o erro tipo I pode ser definidapor:
αmax = supθ∈Θ0
π(θ)
A probabilidade maxima de cometer o erro tipo II pode ser definidapor:
βmax = supθ∈Θc
0
(1− π(θ)) = 1− infθ∈Θc
0
π(θ)
![Page 21: Introdu˘c~ao a probabilidade e a estat stica II - IME-USPpatriota/MAE0229/Aula7-Testes-Hipoteses.pdf · Consideraremos primeiramente a perspectiva de Neyman-Pearson. Podemos aceitar](https://reader031.vdocuments.com.br/reader031/viewer/2022022108/5c03ceef09d3f2e5418cc176/html5/thumbnails/21.jpg)
Exemplo – Lancamento de uma moeda
Considere o modelo estatıstico de Bernoulli para a moeda emquestao: (X ,P) com X = {0, 1}, P = {P0.1,P0.3,P0.6P0.9}, comPθ(X = 1) = θ para θ ∈ {0.1, 0.3, 0.6, 0.9}.{
H0 : θ ∈ {0.1, 0.3}H1 : θ ∈ {0.6, 0.9}.
Considere 4 lancamentos independentes da moeda e denote porY = X1 + X2 + X3 + X4 o numero total de caras nesteslancamentos.
Como poderıamos definir uma regiao crıtica (RC) da variavelobservavel Y para a rejeicao de H0?
![Page 22: Introdu˘c~ao a probabilidade e a estat stica II - IME-USPpatriota/MAE0229/Aula7-Testes-Hipoteses.pdf · Consideraremos primeiramente a perspectiva de Neyman-Pearson. Podemos aceitar](https://reader031.vdocuments.com.br/reader031/viewer/2022022108/5c03ceef09d3f2e5418cc176/html5/thumbnails/22.jpg)
Regiao crıtica
Podemos definir o conjunto de valores de Y que levam a rejeicaoda hipotese nula H0 por
RC1 = {3, 4} RC c1 = {0, 1, 2},
Outra forma seria:
RC2 = {2, 3, 4} RC c2 = {0, 1}
![Page 23: Introdu˘c~ao a probabilidade e a estat stica II - IME-USPpatriota/MAE0229/Aula7-Testes-Hipoteses.pdf · Consideraremos primeiramente a perspectiva de Neyman-Pearson. Podemos aceitar](https://reader031.vdocuments.com.br/reader031/viewer/2022022108/5c03ceef09d3f2e5418cc176/html5/thumbnails/23.jpg)
Calcule a funcao poder para cada RC
As distribuicoes de Y sao dadas abaixo para cada valor de θ:
y P0.1(Y = y) P0.3(Y = y) P0.6(Y = y) P0.9(Y = y)
0 0.6561 0.2401 0.0256 0.00011 0.2916 0.4116 0.1536 0.00362 0.0486 0.2646 0.3456 0.04863 0.0036 0.0756 0.3456 0.29164 0.0001 0.0081 0.1296 0.6561
Calcule a funcao poder do teste e as probabilidades maximas doserros tipo I e II para as seguintes RC.
∅, {4}, {3, 4}, {2, 3, 4}, {1, 2, 3, 4} e {0, 1, 2, 3, 4}
![Page 24: Introdu˘c~ao a probabilidade e a estat stica II - IME-USPpatriota/MAE0229/Aula7-Testes-Hipoteses.pdf · Consideraremos primeiramente a perspectiva de Neyman-Pearson. Podemos aceitar](https://reader031.vdocuments.com.br/reader031/viewer/2022022108/5c03ceef09d3f2e5418cc176/html5/thumbnails/24.jpg)
Exemplo – Lancamento de uma moeda
Considere o modelo estatıstico de Bernoulli para a moeda emquestao: (X ,P) com X = {0, 1}, P = {P0.1,P0.3,P0.6P0.9}, comPθ(X = 1) = θ para θ ∈ {0.1, 0.3, 0.6, 0.9}.{
H0 : θ ∈ {0.1, 0.9}H1 : θ ∈ {0.3, 0.6}.
Considere 4 lancamentos independentes da moeda e denote porY = X1 + X2 + X3 + X4 o numero total de caras nesseslancamentos.
Como poderıamos definir uma regiao crıtica (RC) da variavelobservavel Y para a rejeicao de H0?
![Page 25: Introdu˘c~ao a probabilidade e a estat stica II - IME-USPpatriota/MAE0229/Aula7-Testes-Hipoteses.pdf · Consideraremos primeiramente a perspectiva de Neyman-Pearson. Podemos aceitar](https://reader031.vdocuments.com.br/reader031/viewer/2022022108/5c03ceef09d3f2e5418cc176/html5/thumbnails/25.jpg)
Exemplo – Lancamento de uma moeda
Considere o modelo estatıstico de Bernoulli para a moeda emquestao: (X ,P) com X = {0, 1}, P = {P0.1,P0.3,P0.6P0.9}, comPθ(X = 1) = θ para θ ∈ {0.1, 0.3, 0.6, 0.9}.{
H0 : θ ∈ {0.3, 0.6}H1 : θ ∈ {0.1, 0.9}.
Considere 4 lancamentos independentes da moeda e denote porY = X1 + X2 + X3 + X4 o numero total de caras nesseslancamentos.
Como poderıamos definir uma regiao crıtica (RC) da variavelobservavel Y para a rejeicao de H0?