Medidas de Medidas de DispersãoDispersão

Análise Exploratória de Análise Exploratória de DadosDados

Objetivos da aulaObjetivos da aula

Definir e calcular medidas de dispersão: Definir e calcular medidas de dispersão: amplitude amostral, distância entre amplitude amostral, distância entre quartis, desvio-médio, variância e desvio-quartis, desvio-médio, variância e desvio-padrão.padrão.

Definir e calcular o coeficiente de variação Definir e calcular o coeficiente de variação amostral.amostral.

Definir e calcular quantis de uma Definir e calcular quantis de uma distribuição de freqüências.distribuição de freqüências.

Exemplo 1Exemplo 1

Suponha que um grupo de 120 Suponha que um grupo de 120 estudantes foi aleatoriamente distribuído estudantes foi aleatoriamente distribuído em 6 grupos de 20.em 6 grupos de 20.

Cada grupo recebeu um tipo de Cada grupo recebeu um tipo de treinamento e depois todos foram treinamento e depois todos foram submetidos a um mesmo teste.submetidos a um mesmo teste.

Ao teste é atribuída uma nota de zero a Ao teste é atribuída uma nota de zero a 10.10.

Exemplo 1 (continuação)Exemplo 1 (continuação)

Os dados (fictícios) com as notas dos Os dados (fictícios) com as notas dos testes para os seis grupos estão no testes para os seis grupos estão no arquivo arquivo notas.txt.notas.txt.

notas<-read.table(“m:\\aed\\notas.txt”)notas<-read.table(“m:\\aed\\notas.txt”)names(notas)<-c(“G1”,”G2”,”G3”,”G4”,”G5”,”G6”)names(notas)<-c(“G1”,”G2”,”G3”,”G4”,”G5”,”G6”)

Exemplo 1 (continuação)Exemplo 1 (continuação)

Calcule a média e a mediana das notas Calcule a média e a mediana das notas para cada grupo.para cada grupo.

É possível ver que todos os grupos É possível ver que todos os grupos apresentam a mesma média 5 e a mesma apresentam a mesma média 5 e a mesma mediana 5.mediana 5.

Será que podemos afirmar que as Será que podemos afirmar que as performances foram iguais para os performances foram iguais para os diferentes grupos?diferentes grupos?

> mean(notas$G1) 5> median(notas$G1) 5> mean(notas$G2) 5> median(notas$G2) 5> mean(notas$G3) 5> median(notas$G3) 5> mean(notas$G4) 5> median(notas$G4) 5> mean(notas$G5) 5> median(notas$G5) 5> mean(notas$G6) 5> median(notas$G6) 5

Medidas de DispersãoMedidas de Dispersão

É necessário caracterizar o conjunto É necessário caracterizar o conjunto também usando medidas que avaliam a também usando medidas que avaliam a variabilidade dos dados no conjunto.variabilidade dos dados no conjunto.

A seguir, apresentaremos algumas A seguir, apresentaremos algumas medidas de dispersão comuns.medidas de dispersão comuns.

Amplitude Amostral RAmplitude Amostral R

A amplitude amostral é uma das medidas A amplitude amostral é uma das medidas de dispersão mais simples. de dispersão mais simples.

É dada pela diferença entre os valores É dada pela diferença entre os valores máximo e mínimo observados na amostra.máximo e mínimo observados na amostra.

Se Se xx é o vetor que contém os dados, é o vetor que contém os dados, podemos calcular a amplitude amostral podemos calcular a amplitude amostral como como amplitude<-max(x)-min(x).amplitude<-max(x)-min(x).

Amplitude amostral Amplitude amostral (continuação)(continuação)

Obtenha a amplitude amostral dos Obtenha a amplitude amostral dos diferentes grupos.diferentes grupos.

É claro que no grupo 1 a amplitude É claro que no grupo 1 a amplitude amostral é zero.amostral é zero.

Vemos que nos grupos 2, 4 e 6, a Vemos que nos grupos 2, 4 e 6, a amplitude é 8; e nos grupos 3 e 5 são amplitude é 8; e nos grupos 3 e 5 são respectivamente 2 e 3.respectivamente 2 e 3.

Desvantagens da amplitude Desvantagens da amplitude amostralamostral

A grande desvantagem da amplitude A grande desvantagem da amplitude amostral como medida para caracterizar a amostral como medida para caracterizar a dispersão num conjunto de dados é que dispersão num conjunto de dados é que ela só leva em conta o mínimo e o máximo ela só leva em conta o mínimo e o máximo dos dados, ignorando todo o resto.dos dados, ignorando todo o resto.

Observe que há diferenças nos grupos 2, Observe que há diferenças nos grupos 2, 4 e 6. Porém, todos eles têm a mesma 4 e 6. Porém, todos eles têm a mesma amplitude amostral.amplitude amostral.

Função Função range()range()Se Se xx é um vetor numérico, a função é um vetor numérico, a função

range(x)range(x) retorna o valor mínimo e o valor retorna o valor mínimo e o valor máximo em máximo em x.x.

AssimAssim, range(x)[2]-range(x)[1] , range(x)[2]-range(x)[1] é é equivalente àequivalente à max(x)-min(x). max(x)-min(x).

Intervalo interquartílico ou Intervalo interquartílico ou Distância entre quartis (IIQ)Distância entre quartis (IIQ)

Uma medida de dispersão um pouco mais Uma medida de dispersão um pouco mais refinada que a amplitude amostral é a refinada que a amplitude amostral é a distância entre quartis (IIQ).distância entre quartis (IIQ).

Depois de ordenada a amostra, divide-se Depois de ordenada a amostra, divide-se ela em quatro partes de freqüência relativa ela em quatro partes de freqüência relativa ¼. Tomam-se então os valores que ¼. Tomam-se então os valores que correspondem à freqüência relativa correspondem à freqüência relativa acumulada de ¼ e ¾, que são chamados acumulada de ¼ e ¾, que são chamados respectivamente de primeiro e terceiro respectivamente de primeiro e terceiro quartis (Q1 e Q3). quartis (Q1 e Q3).

Distância entre quartisDistância entre quartisIIQ=Q3-Q1IIQ=Q3-Q1No No R,R, podemos calcular a distância entre podemos calcular a distância entre

quartis para um vetor de dados quartis para um vetor de dados xx da da seguinte forma :seguinte forma :

iiq<-IQR(x)iiq<-IQR(x) Para as notas do exemplo temos os Para as notas do exemplo temos os

valores 0.00 4.00 2.00 6.00 2.05 8.00 para valores 0.00 4.00 2.00 6.00 2.05 8.00 para as distâncias entre quartis dos grupos 1, as distâncias entre quartis dos grupos 1, 2, 3, 4, 5 e 6, respectivamente.2, 3, 4, 5 e 6, respectivamente.

Distância entre quartis Distância entre quartis (continuação)(continuação)

Podemos ver que a distância entre quartis Podemos ver que a distância entre quartis apresenta diferenças que não foram apresenta diferenças que não foram detectadas pela amplitude amostral entre detectadas pela amplitude amostral entre os diferentes grupos.os diferentes grupos.

Mas, esta medida, ainda tem a Mas, esta medida, ainda tem a desvantagem de só levar em conta dois desvantagem de só levar em conta dois valores do conjunto, ignorando os valores do conjunto, ignorando os extremos e o meio.extremos e o meio.

Função Função quantile(x,p)quantile(x,p)A função A função quantile(x,p)quantile(x,p) retorna o valor que retorna o valor que

na distribuição de freqüências tem na distribuição de freqüências tem freqüência relativa acumulada freqüência relativa acumulada p, 0<p<1p, 0<p<1..

Assim, pedir Assim, pedir IRQ(x)IRQ(x) é equivalente à pedir é equivalente à pedir quantile(x,0.75)-quantile(x,0.25).quantile(x,0.75)-quantile(x,0.25).

VariânciaVariânciaÉ a média dos desvios da média tomados É a média dos desvios da média tomados

ao quadrado.ao quadrado.Veremos na disciplina Introdução à Veremos na disciplina Introdução à

Estatística, que no caso particular da Estatística, que no caso particular da variância, é comum adotar o denominador variância, é comum adotar o denominador da média em da média em n-1n-1..

O O RR possui uma função própria para calcular possui uma função própria para calcular a variância com denominador a variância com denominador n-1n-1 dada por dada por var(x),var(x), se x é o vetor contendo os valores se x é o vetor contendo os valores cuja variância está para ser calculada.cuja variância está para ser calculada.

Variância amostralVariância amostral

1

1

2

2

n

xx

s

n

ii

Variância de Variância de notasnotasNeste exemplo, temos para os grupos, Neste exemplo, temos para os grupos,

respectivamente, as variâncias respectivamente, as variâncias (arredondadas para duas casas decimais): (arredondadas para duas casas decimais): 0.00 5.47 0.63 9.58 1.11 0.00 5.47 0.63 9.58 1.11 13.8913.89

No No R,R, peça peça var(notas[,i]),var(notas[,i]), onde onde i=1,2,3,4,5,6i=1,2,3,4,5,6; para obter cada variância.; para obter cada variância.

Desvio-padrãoDesvio-padrão

É a raiz quadrada positiva da variância: É a raiz quadrada positiva da variância: sqrt(var(x)) sqrt(var(x)) ou ou sd(x)sd(x)..

Neste exemplo temos os seguintes Neste exemplo temos os seguintes desvios-padrão (arredondados para duas desvios-padrão (arredondados para duas casas decimais): 0.00 2.34 0.79 3.09 1.06 casas decimais): 0.00 2.34 0.79 3.09 1.06 3.733.73

ResumoResumo

Grupo R IIQ s2 s

1 0 0 0 0

2 8 4.00 5.47 2.34

3 2 2.00 0.63 0.79

4 8 6.00 9.58 3.09

5 3 2.05 1.11 1.06

6 8 8.00 13.89 3.73

Histogramas na escala das freqüências

Histogramas com as escalas uniformizadas

Coeficiente de Variação Coeficiente de Variação AmostralAmostral

É uma medida da variação relativa em um É uma medida da variação relativa em um conjunto de valores numéricos.conjunto de valores numéricos.

Costuma ser expresso em termos Costuma ser expresso em termos percentuais.percentuais.

Mede a dispersão dos dados em relação à Mede a dispersão dos dados em relação à média aritmética.média aritmética.

É definido por CV=(DP/média)x100%, onde É definido por CV=(DP/média)x100%, onde DP é o desvio-padrão dos dados, média é a DP é o desvio-padrão dos dados, média é a média aritmética dos dados.média aritmética dos dados.

Exemplo 2: Considere os três Exemplo 2: Considere os três conjuntos de dados abaixo:conjuntos de dados abaixo:

A B C12 4.65 55115 11.65 55423 10.65 55522 11.65 56223 0.65 56216 3.65 561

Exemplo 2: (cont.)Exemplo 2: (cont.)

Calcule a variância de cada um dos três conjuntos de dados.

dadosA<-c(12,15,23,22,23,16)dadosB<-c(0.65,3.65,11.65,10.65,11.65,4.65)dadosC<-c(551,554,555,562,562,561)var(dadosA)22.7var(dadosB)22.7var(dadosC)22.7

mean(dadosA)18.5mean(dadosB)7.15mean(dadosC)557.5

Os comandos estão em exemplo2.txt

Exemplo 2: coeficiente de Exemplo 2: coeficiente de variaçãovariação

CV para o conjunto A:CV para o conjunto A:sqrt(var(dadosA))*100/mean(dadosA) sqrt(var(dadosA))*100/mean(dadosA) 25.75%25.75%CV para o conjunto B:CV para o conjunto B:sqrt(var(dadosB))*100/mean(dadosB) sqrt(var(dadosB))*100/mean(dadosB) 66.66% 66.66%CV para o conjunto C:CV para o conjunto C:sqrt(var(dadosC))*100/mean(dadosCsqrt(var(dadosC))*100/mean(dadosC) 0.85%) 0.85%Conclusão: O conjunto C é o que apresenta Conclusão: O conjunto C é o que apresenta

menor variabilidade relativa à média.menor variabilidade relativa à média.

Quantis de uma distribuição de Quantis de uma distribuição de freqüênciasfreqüências

Tanto a média como o desvio-padrão Tanto a média como o desvio-padrão podem não ser medidas adequadas para podem não ser medidas adequadas para representar um conjunto de dados, pois:representar um conjunto de dados, pois:

(i) são afetados, de forma exagerada por (i) são afetados, de forma exagerada por valores extremos;valores extremos;

(ii) apenas com estes dois valores não (ii) apenas com estes dois valores não temos idéia da simetria ou assimetria da temos idéia da simetria ou assimetria da distribuição dos dados.distribuição dos dados.

Quantis de uma distribuição de Quantis de uma distribuição de freqüências (2)freqüências (2)

Por exemplo, vimos que a mediana é Por exemplo, vimos que a mediana é o valor que deixa 50% dos dados o valor que deixa 50% dos dados (depois de ordenados) abaixo dela e (depois de ordenados) abaixo dela e 50%, acima dela.50%, acima dela.

Analogamente, podemos definir Analogamente, podemos definir outras medidas, variando o percentual outras medidas, variando o percentual 50% (abaixo e acima de), para um 50% (abaixo e acima de), para um percentual qualquer.percentual qualquer.

Quantis de uma distribuição de Quantis de uma distribuição de freqüências (3)freqüências (3)

De um modo geral, podemos definir uma De um modo geral, podemos definir uma medida chamada QUANTIL de ordem medida chamada QUANTIL de ordem pp, , ou ou p-quantil, p-quantil, onde onde pp é uma proporção é uma proporção qualquer, 0qualquer, 0<p<<p<1, tal que 1001, tal que 100pp% das % das observações sejam menores do que o observações sejam menores do que o pp--quantil.quantil.

NOTAÇÃO: NOTAÇÃO: q(p)q(p)

Quantis Especiais: QUARTISQuantis Especiais: QUARTIS

qq(0,25),q(0,50) e q(0,75)(0,25),q(0,50) e q(0,75)q(0,25):q(0,25): primeiro quartil (Q1) ou vigésimo- primeiro quartil (Q1) ou vigésimo-

quinto percentil;quinto percentil;q(0,50):q(0,50): segundo quartil (Q2), ou mediana segundo quartil (Q2), ou mediana

ou qüinquagésimo percentil;ou qüinquagésimo percentil;q(0,75):q(0,75): terceiro quartil (Q3) ou terceiro quartil (Q3) ou

septuagésimo-quinto percentil.septuagésimo-quinto percentil.

Quantis Especiais: DECISQuantis Especiais: DECIS

q(0,1),q(0,2),q(0,3),...,q(0,9)q(0,1),q(0,2),q(0,3),...,q(0,9)q(0,1):q(0,1): primeiro decil (D1) ou décimo primeiro decil (D1) ou décimo

percentil;percentil;q(0,2):q(0,2): segundo decil (D2), ou vigésimo segundo decil (D2), ou vigésimo

percentil;percentil;q(0,3):q(0,3): terceiro decil (D3), ou trigésimo terceiro decil (D3), ou trigésimo

percentil;percentil;etc.etc.

Quantis Especiais: PERCENTISQuantis Especiais: PERCENTIS

q(0,01),q(0,02),q(0,03),...,q(0,99)q(0,01),q(0,02),q(0,03),...,q(0,99)q(0,01):q(0,01): primeiro percentil; primeiro percentil;q(0,02):q(0,02): segundo percentil; segundo percentil;q(0,03):q(0,03): terceiro percentil; terceiro percentil;etc.etc.

Determinação dos quantis usando Determinação dos quantis usando o o RR

A função apropriada do A função apropriada do R R para obter os para obter os quantis de um vetor numérico quantis de um vetor numérico xx é a função é a função quantile.quantile.

Se Se xx é o vetor contendo os dados, e é o vetor contendo os dados, e desejamos determinar os três quartis, desejamos determinar os três quartis, pedimos pedimos quantile(x,c(0.25,0.5,0.75)).quantile(x,c(0.25,0.5,0.75)).

Se desejamos o quinto e o nonagésimo-Se desejamos o quinto e o nonagésimo-quinto percentis, pedimos quinto percentis, pedimos quantile(x,c(0.05,0.95)), etc.quantile(x,c(0.05,0.95)), etc.

Exemplo 3: Emissão de Dióxido Exemplo 3: Emissão de Dióxido de Carbonode Carbono

Os dados no arquivo Os dados no arquivo dados13bm.txt dados13bm.txt fornecem emissões de dióxido de carbono fornecem emissões de dióxido de carbono "per capita", para uma amostra de 72 "per capita", para uma amostra de 72 países. Os dados são do ano de 1995. países. Os dados são do ano de 1995.

Fonte: Fonte: Stabilizing The Atmosphere: Stabilizing The Atmosphere: Population, Consumption and Greenhouse Population, Consumption and Greenhouse GasesGases. .

Exemplo 3: Emissão de Dióxido Exemplo 3: Emissão de Dióxido de Carbono (cont.)de Carbono (cont.)

Determine os três quartis, os decis, a Determine os três quartis, os decis, a média e o desvio-padrão das emissões média e o desvio-padrão das emissões registradas para os 72 países em 1995. registradas para os 72 países em 1995.

Exemplo 3: Emissão de Dióxido Exemplo 3: Emissão de Dióxido de Carbono (cont.)de Carbono (cont.)

dados<-read.table(”m:\\aed\\dados13bm.txt",header=T)dados<-read.table(”m:\\aed\\dados13bm.txt",header=T)

names(dados)names(dados)[1] "pais" "emissao"[1] "pais" "emissao"quantile(dados$emissao,c(0.25,0.5,0.75)) quantile(dados$emissao,c(0.25,0.5,0.75))

25% 50% 75% 25% 50% 75% 0.0675 0.4150 1.4725 0.0675 0.4150 1.4725 quantile(dados$emissao,c(0.1,0.2,.3,.4,.5,.6,.7,.8,0.9))quantile(dados$emissao,c(0.1,0.2,.3,.4,.5,.6,.7,.8,0.9))10% 20% 30% 40% 50% 60% 70% 80% 90%10% 20% 30% 40% 50% 60% 70% 80% 90%

0.02 0.05 0.14 0.28 0.42 0.87 1.26 1.99 3.020.02 0.05 0.14 0.28 0.42 0.87 1.26 1.99 3.02

Exemplo 3: Emissão de Dióxido Exemplo 3: Emissão de Dióxido de Carbono (cont.)de Carbono (cont.)

> mean(dados$emissao)> mean(dados$emissao)[1] 1.174167[1] 1.174167> sqrt(var(dados$emissao))> sqrt(var(dados$emissao))[1] 1.689093[1] 1.689093

Histograma das emissõesHistograma das emissões

Dados em histograma das Dados em histograma das emissõesemissões

$breaks [1] 0 1 2 3 4 5 6 7 8 9$counts[1] 46 12 6 3 2 1 0 1 1$mids[1] 0.5 1.5 2.5 3.5 4.5 5.5 6.5 7.5 8.5

round(histEmissao$counts/72,digits=2)# freqüências relativas[1] 0.64 0.17 0.08 0.04 0.03 0.01 0.00 0.01 0.01# freqüências relativas acumuladas0.64 0.81 0.89 0.93 0.96 0.97 0.97 0.98 1.00

Quantis para dados agrupadosQuantis para dados agrupados

Uma aproximação para obter o Uma aproximação para obter o p-p-quantil quantil quando os dados estão agrupados em quando os dados estão agrupados em classes é a seguinte. classes é a seguinte.

Passo 1: Encontre a classe que contém o p-Passo 1: Encontre a classe que contém o p-quantil. Seja [a,b[ o intervalo da classe e Fquantil. Seja [a,b[ o intervalo da classe e Fpp a a freqüência relativa acumulada desta classe.freqüência relativa acumulada desta classe.

Passo 2: Calcule Passo 2: Calcule q(p) q(p) como a+m(p-Fcomo a+m(p-Fp-1p-1), ), onde m é dado por (b-a)/(Fonde m é dado por (b-a)/(Fpp- F- Fp-1p-1).).

Quantis para dados agrupadosQuantis para dados agrupados

)()(

)()( 11

ppp

FpFFabapq

(a,b) - classe que compreende q(p);Fp - freqüência acumulada da classe (a,b);Fp-1 - freqüência acumulada da classe imediatamente anterior

Caso agrupado (comparação)Caso agrupado (comparação)

O O RR nos forneceu como terceiro quartil nos forneceu como terceiro quartil para emissões o valor: 1.4725 para emissões o valor: 1.4725

Para usar a aproximação sugerida no slide Para usar a aproximação sugerida no slide anterior vemos que a classe que contém o anterior vemos que a classe que contém o primeiro quartil é a classe [1,2[ e que primeiro quartil é a classe [1,2[ e que F=0,81 e F anterior é 0,64. Logo, o terceiro F=0,81 e F anterior é 0,64. Logo, o terceiro quartil é aproximadamente quartil é aproximadamente 1+(0.75-0.64)/(0.81-0.64)=1.647059. 1+(0.75-0.64)/(0.81-0.64)=1.647059.

Dados agrupadosDados agrupados

Ao tentar obter aproximações para Ao tentar obter aproximações para quantis mais baixos desta distribuição, quantis mais baixos desta distribuição, obteremos resultados pobres, pois as obteremos resultados pobres, pois as classes mais baixas apresentam uma classes mais baixas apresentam uma freqüência muito alta neste exemplo.freqüência muito alta neste exemplo.

Este tipo de aproximação será necessário Este tipo de aproximação será necessário quando não dispusermos dos dados quando não dispusermos dos dados brutos.brutos.

AtividadeAtividade

Trabalhe com os dados sobre Trabalhe com os dados sobre temperaturas médias mensais de Cananéia temperaturas médias mensais de Cananéia e Ubatuba no estado de São Paulo.e Ubatuba no estado de São Paulo.

Selecione as temperaturas de janeiro, para Selecione as temperaturas de janeiro, para as duas cidades, ao longo dos anos as duas cidades, ao longo dos anos estudados. estudados.

Determine os quartis das temperaturas Determine os quartis das temperaturas médias de janeiro para as duas cidadesmédias de janeiro para as duas cidades

Atividade (continuação)Atividade (continuação)

Repita a atividade anterior para os outros Repita a atividade anterior para os outros meses do ano.meses do ano.

Faça um resumo dos resultados obtidos Faça um resumo dos resultados obtidos numa tabela.numa tabela.