anÁlise de resultados - deinf/ufma - departamento de ...mario/pos/avaldes/analise_dados.pdf ·...

22/11/11

1

ANÁLISE DE RESULTADOS

Conteúdo

1.  Planejamento de Experimentos 2.  Análise de Resultados

¤  Introdução ¤  Medidas de Desempenho ¤  Análise Estatística dos Resultados ¤  Comparação de Resultados ¤  Procedimento para análise de resultados ¤  Exemplos

2

22/11/11

2

Conteúdo


¤  Introdução ¤  Medidas de Desempenho ¤  Análise Estatística dos Resultados ¤  Comparação de Resultados ¤  Procedimento para análise de resultados ¤  Exemplos

3

Introdução

Massa de Dados

Dados agrupados Parâmetros Típicos

Coleta de Dados

Organização dos Dados

Caracterização dos Dados

µ

σ σ2

X

H

Estatística Descritiva 4

22/11/11

3

Introdução

¨  Inferência Estatística ¤ A partir de amostras -> conclusões sobre a

população n Erro amostral – elementos atípicos que não

representam a amostra -> diferença entre amostra e população

n Amostra viciada – tendência maior em selecionar algum tipo de elemento

5

Introdução

¨  Inferência Estatística ¤ Erro amostral - cálculo aproximado

N – tamanho da população

E0 – Erro amostral tolerável

n – tamanho da amostra

6

22/11/11

4

Análise de Resultados - Introdução

População

Amostragem

Amostra

Dados Organizados

Conclusões sobre a

população Inferência

Análise Descritiva

7

Análise de Resultados

Procedimento equivocado normalmente utilizado para uma avaliação:

1.  Desenvolvimento de um procedimento para avaliação (coleta de dados, simulação...)

2.  Validação e verificação do sistema de avaliação 3.  Obtenção dos resultados através de uma

execução da forma de avaliação escolhida 4.  Conclusões sobre o sistema em estudo

Equivalente a se considerar uma amostra unitária

8

22/11/11

5

Análise de Resultados Por que esse Procedimento está errado?

Sistema a ser Avaliado

entradas

saídas

Resultados

Tem-se controle de todo o sistema?

Como são controladas as entradas do sistema?

Quais as condições iniciais do sistema?

O que mais o sistema está processando no momento da avaliação?

Como avaliar a influência das trocas de contexto do S.O.?

Diferentes características a serem consideradas, p.ex., “onde estão localizadas as informações no disco?”

Aferição 9

Análise de Resultados Por que esse Procedimento está errado?

Interrupção do clock

Dados necessários estão no cache? Na primeira vez, é provável que não; nas demais, possivelmente sim.

Quais as condições iniciais do sistema?

Qual a ocupação da memória?

Que outros processos estão executando?

Tempo para Execução de um processo em um Sistema

Operacional

10

22/11/11

6


Sistema a ser

Avaliado

Modelo

Execução da

simulação

entradas

saídas

Variáveis aleatórias

Resultados Estocásticos

Representadas por

Estimativa das

Modelagem 11


Portanto,

Em uma Aferição, a medida obtida é uma dentre um conjunto de possibilidades;

Em uma Simulação Estocástica, tem-se uma variabilidade inerente ao processo estocástico

da simulação.

12

22/11/11

7


Portanto,

Deve-se utilizar as ferramentas que a estatística nos oferece para analisar os resultados dos

experimentos

Estatística: ciência que investiga os processos de obtenção, organização e análise de dados sobre uma população e os métodos de tirar conclusões e fazer

predições com base nesses dados.

-- Aurélio

13


População

Amostragem

Amostra

Dados Organizados

Conclusões sobre a

população Inferência

Análise Descritiva

Conjunto de Resultados

Possíveis (infinito)

Conjunto de Medições

Realizadas

Cálculo de médias, máximos,

mínimos,intervalo de confiança, erro...

Conclusões sobre o Sistema Real

14

22/11/11

8


Cuidado...

“Como mentir com Estatística” livro célebre de Huff, 1954.

Na verdade, nem sequer é preciso mentir, apenas mostrar a informação conveniente e omitir as outras.

-- Alguns políticos...

15


Cuidado...

... as informações utilizadas para opinar, escolher, comprar, absolver, vêm sendo criadas, não para expandir conhecimento, mas para promover um produto, uma causa, um político.

Crossen (1996)

16

22/11/11

9


Cuidado...

Os números são fantásticos!! Mas são também traiçoeiros....

Primeiro ponto a ser considerado: - Que métricas estão sendo utilizadas?

- O que representam os valores obtidos?

17

Conteúdo


¤  Introdução

¤  Medidas de Desempenho ¤  Análise Estatística dos Resultados ¤  Comparação de Resultados ¤  Procedimento para análise de resultados ¤  Exemplos

18

22/11/11

10

Medidas de Desempenho Comuns

¨  Medidas de Posição ¤  Média ¤  Moda ¤  Mediana

¨  Medidas de Dispersão ¤  Desvio Padrão ¤  Variância ¤  Percentis ¤  Box-Plot

19

Medidas de Posição

¨  Média ¤ média aritmética dos valores ¤  valores extremos “puxam” a média

¨  Moda ¤  valor que ocorre mais vezes

¨  Mediana ¤  divide o conjunto em duas partes iguais ¤  num conjunto ordenado a mediana está no centro ¤  não é influenciada por valores extremos

20

22/11/11

11


Média X Mediana 21


0

10

20

30

40

50

60

70

80

90

00:0

0

06:0

0

12:0

0

18:0

0

00:0

0

06:0

0

12:0

0

18:0

0

00:0

0

06:0

0

12:0

0

18:0

0

00:0

0

06:0

0

12:0

0

18:0

0

00:0

0

06:0

0

12:0

0

18:0

0

00:0

0

06:0

0

12:0

0

18:0

0

00:0

0

06:0

0

12:0

0

18:0

0

% user % sys % wait for IO Fila de Execução

Exemplo: Medidas relacionadas a utilização da CPU de um Servidor

Ver planilha (CPU)...

22

22/11/11

12

Medidas de Dispersão

¨  Medidas de Dispersão ¤ Variância

¤ Desvio Padrão

¤ Análise de percentis

¤ Box-Plot

23


¨  Percentis ¤  dividem os dados em 100 partes de tamanhos iguais

¨  Quartis ¤  dividem em quatro grupos, delimitados pelos percentis

25, 50 e 75 ¤  1º Quartil Q1 ou Q0.25 - valor a que corresponde a

percentagem cumulativa de 25% ¤  3º Quartil Q3 ou Q0.75 - valor a que corresponde a

percentagem cumulativa de 75%

24

22/11/11

13


¨  Box Plot ¤ Mostra a mediana, primeiro e terceiro quartis de uma

distribuição (pontos 50%, 25% e 75% na distribuição acumulada)

¤ Noção de outlier 1: observação que se encontra a mais de um dado múltiplo (1.5 ou 3.0) do intervalo inter-quartílico, acima ou abaixo dos percentis 75% e 25%, respectivamente

1 Pontos “fora da reta”

25


•  Outliers – valores extremos da população.

•  Moderados (1ª espécie)(o) [Q3+1.5(Q3-Q1) ; Q3+3(Q3-Q1)] e [Q1-1.5(Q3-Q1) ; Q1-3(Q3-Q1)]

•  Severos (2ª espécie)(*) [Q3+3(Q3-Q1) ; máximo] e [mínimo ; Q1-3(Q3-Q1)]

Q3 ou Q0.75

Q1 ou Q0.25

Mediana D

D – Distância entre Quartis

I

I – Intervalo das Amostras sem Outliers

*

o

o

o

o

*

26

22/11/11

14


¨  Valores extremos - Outliers ¤  Dados díspares, muito grandes ou muito pequenos, em relação aos

demais

¤  Influenciam muito as médias ¤  Podem distorcer conclusões ¤  É fundamental sua detecção e tratamento

¨  Possíveis causas de valores espúrios ¤  Erro na fase de mensuração (tomada da medida) ¤  Erro na transcrição ou anotação do registro ¤  Mudanças (reais) não-controláveis nas condições experimentais.

¤  Característica da variável (instabilidade)

27


¨  Tratamento de Outliers ¤ Muita controvérsia... ¤ Não existe um critério ou metodologia para rejeição

de dados ¤  Problema maior quando se tem pequena

quantidade de dados ou uma distribuição normal não pode ser garantida

28

22/11/11

15


¨  Analisando Observações Atípicas ¤  Exemplo 1 – Medições feitas em um sistema durante o mês de

novembro de 2ª a 6ª, das 9 às 17 h n  15/11/11 – 3ª feira (feriado) – deve ser desprezado!

¤  Exemplo 2 – Distribuição das requisições a vídeos armazenados em um sistema sob demanda (p.ex., YouTube)

¤  Exemplo 3 – Solicitações a um Sistema de Controle de Versões em um ambiente de desenvolvimento de software (p.ex., CVS)

¤  Exemplo 4 – Acessos a um servidor web ao longo de um dia, durante uma semana (p.ex., site da UFMA)

29


¨  Podem-se desprezar dados atípicos?

Apenas o especialista na área pode responder!

Ver planilha... (Memória SO)

30

22/11/11

16

Conteúdo


¤  Introdução ¤  Medidas de Desempenho

¤  Análise Estatística dos Resultados ¤  Comparação de Resultados ¤  Procedimento para análise de resultados ¤  Exemplos

31


Considera-se que alguma técnica para avaliação de desempenho e obtenção dos

resultados tenha sido utilizada

32

22/11/11

17


¨  Em qualquer experimentação, três problemas devem ser considerados:

1.  Condições iniciais da experimentação 2.  Quando parar uma experimentação 3.  Resultado de uma execução oferece um resultado

dentre muitos outros possíveis

33


Primeiro problema: Quais as condições iniciais que se deve ter para começar uma avaliação?

Três situações possíveis: 1.  Início no estado vazio 2.  Início no estado de maior probabilidade de ocorrência 3.  Início na média do estado de equilíbrio

34

22/11/11

18


1.  Início no estado vazio •  Simples

•  Todos os servidores desocupados -> filas vazias

•  Importante para a análise do transitório mas não do comportamento estacionário

•  Ex.: Banco

•  Comportamento normal x inicial

•  Solução:

•  Incorpora valores iniciais

•  Truncamento dos valores iniciais

•  Experimentação muito grande

35


2.  Início no estado de maior probabilidade de ocorrência

¨  Vantagem: ¤  Começar em um estado representativo do sistema

¨  Desvantagem: ¤  Como determinar o estado mais provável?

¤  Como levar o sistema até esse estado?

36

22/11/11

19


3.  Início na média do estado de equilíbrio

Começar a coleta para estatísticas somente quando os resultados se estabilizarem

Truncamento de dados

¤  Período de aquecimento – warm-up

¤  Retardar a coleta de estatísticas por um período de aquecimento

¤  Problema: quando truncar? 10% do valor total (?)

37


Segundo problema: Quando parar a Avaliação?

Algumas possibilidades:

¤  Limitar tempo de experimentação ¤  Limitar o número de elementos que entram no sistema avaliado ¤  Limitar o número de entidades processadas por um servidor ¤  Parada automática

38

22/11/11

20


1.  Limitar tempo de experimentação ¤  Desvantagem: número de amostras coletadas será diferente em

cada caso

2.  Limitar o número de elementos que entram no sistema

¤  Pode terminar em estado vazio e ocioso ¤  Reduz-se, então, ao problema inicial

39


3.  Limitar o número de entidades processadas por um servidor

¤  Problema: sistemas com prioridades ¤  É possível terminar só com tarefas longas na fila – pode camuflar

os resultados

4.  Parada automática ¤  Manipulam-se os resultados da experimentação em intervalos

selecionados ¤  Calcula-se média e variância ¤  Experimentação para quando a estimativa da variância da média

estiver dentro de certa tolerância

40

22/11/11

21


Primeiro e Segundo problemas:

¨  Relacionados com a condução do experimento ¨  Dependem muito da técnica de avaliação que está sendo

utilizada ¨  Depende bastante do sistema que deve ser avaliado ¨  Serão melhor discutidos em cada técnica de avaliação e/

ou aplicação considerada

41


Terceiro problema:

¨  Durante a obtenção de dados sobre sistemas computacionais, tem-se que...

Os resultados de uma medição oferecem um resultado dentre

muitos outros possíveis

42

22/11/11

22


Terceiro problema:

¨  Observado em qualquer experimento que gere um conjunto de resultados possíveis

¨  Após a obtenção dos resultados, estes devem ser analisados independentemente da técnica utilizada

¨  Qual resultado deve ser considerado? ¨  Como comparar dois conjuntos de resultados?

43


Como analisar os diferentes resultados de uma avaliação?

¨  Primeiro objetivo da análise estatística dos resultados é estimar o erro ou intervalo de confiança

¨  Deve-se considerar diversos resultados provenientes de diferentes execuções ¤  Para simulação: utilizar conjuntos de números aleatórios sem

correlação – diferentes sementes ¤  Para aferição: considerar diversas medições independentes

44

22/11/11

23


Como definir as sementes? ¨  Diferentes sementes è diferentes conjuntos de números

aleatórios ¨  Pacotes de simulação permitem a escolha entre diferentes

conjuntos ¨  Conjuntos de números aleatórios deve ser verificado –

correlação entre os conjuntos

45


Como definir as sementes?

¨  Outra possibilidade: valores das sementes obtidos a cada 100.000 elementos

Conjunto 1 Conjunto 2 Conjunto 3

Semente x1 x2 x3

Posição no conjunto

1 100.000 200.000

Resultados diferentes para cada conjunto

46

22/11/11

24

Análise de Resultados - Exemplo

Utilização da CPU

¨  Semente 1 → 0.33123 ¨  Semente 2 → 0.32571 ¨  Semente 3 → 0.32510 ¨  Semente 4 → 0.31999 ¨  Semente 5 → 0.33813

DISCO2

CPU

DISCO1

•  Como analisar estes resultados? •  O perigo é utilizar resultados de uma única simulação

para análise

47

Intervalos de Confiança

•  A partir de um conjunto de resultados possíveis queremos estimar o comportamento de um sistema

•  Podemos utilizar: •  Valores fixos •  Intervalos

•  Valores fixos não permitem estimar o erro cometido

•  Intervalos de confiança permitem avaliar a confiança no resultado

48

22/11/11

25

O Que é Intervalo de Confiança

•  Intervalo que com uma determinada probabilidade (confiança) contém o valor do parâmetro estudado

∑=

−−=N

ii nyys

1

22 1)/()(1-α

α/2 α/2

Intervalo de Confiança

Y Y+H

Y-H

Confiança = 100*(1- α)% α = probabilidade de erro Y = média da amostra H = Largura do Intervalo de

Confiança

49

Qual o significado do Intervalo de Confiança?

•  Se Confiança = 95%, então tem-se 95% de chance de que o parâmetro medido estará dentro do intervalo

•  Porém nada garante que o resultado de uma única execução (Yi) cairá no intervalo

1-α

α/2 α/2


Y Y+H Y-H

O resultado de uma única execução poderá estar na área definida

por α/2

50

22/11/11

26

Como determinar o Intervalo de Confiança?

(para amostras menores que 30) 1.  Ordenar os valores obtidos 2.  Eliminar os α/2 maiores valores 3.  Eliminar os α/2 menores valores 4.  Obtém-se o intervalo procurado

Ou então…

Utilizar o Teorema do Limite Central e a Tabela t-student

51

52

22/11/11

27


Média Amostral → Yi = Média das observações de uma

execução Estimativa Global → Y = Média das médias amostrais Variância Amostral → Desvio Padrão (DP) →

t1-α/2,N-1 → distribuição Student com N-1 graus de liberdade

e nível de confiança igual a 1- α

∑=

−−=N

ii Nyys

1

22 )1/()(

2s

53


1-α

α/2 α/2


Y Y+H Y-H

Largura do Intervalo de Confiança de 100(1- α)% :

H = t * desvio

H = t1-α/2,N-1 *

Intervalo de confiança:

Y ± H

Relação entre halfwidth e média: (Amplitude do IC)

H/Y

2s

54

22/11/11

28

Exemplo

¨  Xi : tempo na fila para cliente i ¨  X : tempo médio na fila para 5.000 clientes ¨  µ : média real para tempo na fila -> não conhecido

Tchegada = 125

Tserviço = 100

55

Exemplo

¨  Simulação executada 10 vezes para diferentes conjuntos de números aleatórios, obtendo-se:

331,993

447,532

366,052

420,858

403,524

355,959

464,856

492,144

393,393

389,200

Y = 406,551

Esse valor está suficientemente próximo de µ?

56

22/11/11

29

Exemplo

¨  Simulação executada 10 vezes 1-α = 0,95 → α = 0,05 Média = Y = 406,551

Variância = S2 =

DP =

t.05/2;9 = 2,26 H = t.05/2;9 * DP = 113,88 IC: 292,67 – 520,43 (Y ± H)

331,993

447,532

366,052

420,858

403,524

355,959

464,856

492,144

393,393

389,200

∑=

=++−10

1

2

082,25399

......)551,406993,331(i

389,50082,25392 ==s

57

Exemplo

H = 113,88 IC: 292,67 – 520,43

Tem-se 95% de certeza que a média

verdadeira está entre 292,67 – 520,43

Valores individuais podem estar fora do intervalo de confiança

Se a simulação for repetida várias vezes e em cada vez for determinado o intervalo de confiança, 95% destes intervalos irão conter a média verdadeira

58

22/11/11

30

Exemplo

Média = Y = 406,554 H = 113,88 IC: 292,67 – 520,43 Amplitude do intervalo de confiança = 226,76 ⇒ 55,7% do valor médio Não é um valor muito grande? Como diminuir?

Aumentando o número de replicações

59

Controle do Erro

•  Utilizando a técnica de replicações: •  Não se pode determinar a precisão desejada •  Pode-se determinar, aproximadamente, quantas

replicações adicionais deve-se considerar para controlar o erro

•  Para um erro β, deve-se ter:

β ≥ H ⇒ β ≥ t1-α/2,N-1 * DP

60

22/11/11

31

Controle do Erro

¨  Para o exemplo anterior ¤  Suponha que se queira β <= 95 ¤  Seja r = próximas replicações

r tr-1;0,95 tr-1;0,95*

11 2,23 47,80 106,60 12 2,20 45,58 100,27 13 2,18 43,64 95,13 14 2,16 41,93 90,56

174,22851

−r

São necessárias mais 4 replicações para atingir o erro máximo desejado

174,22851

−r

61

Batch Means

¨  Outra abordagem para atingir a precisão desejada, consistindo em: ¤ Executar uma parte da experimentação (batch) ¤ Determinar intervalo de confiança ¤ Se atingiu precisão então

n  pare;

¤ Senão n  execute mais um batch e retorne ao cálculo

do intervalo de confiança;

¨  Vantagem: apenas 1 warm-up ¨  Desvantagem: maior complexidade

62

22/11/11

32

Conteúdo


¤  Introdução ¤  Medidas de Desempenho ¤  Análise Estatística dos Resultados

¤  Comparação de Resultados ¤  Procedimento para análise de resultados ¤  Exemplos

63

Comparação entre dois experimentos

¨  Testes estatísticos podem ser utilizados para definir se os resultados provenientes de dois experimentos são conclusivos

¨  Definem se os resultados são estatisticamente diferentes

64

22/11/11

33


Variabilidade Média

Variabilidade Baixa

Variabilidade Alta

Teste visual 65


Teste visual

A

B

Caso 1

A B

A B

Caso 2 Caso 3

Caso 1 – ICs não sobrepostos ⇒ A > B

Caso 2 – Média de um está inserida no IC do outro ⇒ A não é diferente de B

Caso 3 – ICs sobrepostos mas média está fora ⇒ necessário outros testes

66

22/11/11

34


¨  Área de Estatística oferece grande número de testes para comparação entre experimentos:

¤  Teste t-student – para comparar a média de duas amostras

¤  Teste para amostras pareadas ¤  Teste para amostras não pareadas ¤ Análise de Variância - para comparar média de três

ou mais amostras ¤ Chi-Quadrado e Poisson - para valores não contínuos

67


Cálculo do número de graus de liberdade → n = nT + nC - 2

Pesquisar tabela t-student com n e confiança desejada → ttab

Se t > t tab → médias são diferentes

Se t < t tab → não existe diferença significativa entre as médias

Teste T-student

Cálculo do valor de t para a amostra:

68

22/11/11

35


Após dez replicações de um programa de simulação, avaliando-se o tempo médio na fila de um recurso, obtiveram-se as médias das amostras e o intervalo de confiança para 95% e para 90% representados na tabela a seguir:

A

B

Média

12

11

H1 (0,05)

0,8

0,9

H2 (0,1)

0,4

0,5

O que se pode concluir?

69


A

B

Média

12

11

H1 (0,05)

0,8

0,9

H2 (0,1)

0,4

0,5

A

B

A B

H1 (0,05)

A - 11,2 – 12,8

B – 10,1 – 11,9

H2 (0,1)

A – 11,6 – 12,4

B – 10,5 – 11,5

70

22/11/11

36


A

B

Média

12

11

H1 (0,05)

0,8

0,9

H2 (0,1)

0,4

0,5

A

B

A B

VarA = 1,13

VarB = 1,27

10/27,110/13,11112+

−=t

n = nA + nB – 2 = 18 t =2,040

H1 (0,05) → ttab = 2,101 > 2,040 H1 (0,1) → ttab = 1,734 < 2,040 Não há diferença significativa Médias diferentes

71

Teste de hipótese X Intervalo de Confiança

Teste de hipótese

•  Resposta: aceita ou rejeita a hipótese

•  Conclusivo: não deixa dúvida

•  Porém, não oferece maiores informações

• Difícil de interpretar

• O que significa tt = 2,101 > 2,040?

72

22/11/11

37

Teste de hipótese X Intervalo de Confiança

Intervalo de confiança •  Fornece informações adicionais

•  Intervalo pequenos → parâmetro bem estimado

•  Valores com o mesmo significado que as medidas originais → mais fácil de entender e analisar

•  Significado de Média=12 e H(95%)=0,6

73

Conteúdo


¤  Introdução ¤  Medidas de Desempenho ¤  Análise Estatística dos Resultados ¤  Comparação de Resultados

¤  Procedimento para análise de resultados ¤  Exemplos

74

22/11/11

38

Procedimento para análise de resultados

1.  Escolher as variáveis de resposta adequadas e suficientes para atingir o objetivo

2.  Escolher os fatores e níveis adequadamente 3.  Realizar o experimento quantas vezes forem

necessárias 4.  Pensar na melhor forma de apresentar os dados 5.  Fazer o tratamento estatístico adequado para os

resultados 6.  Observar os resultados e correlacioná-los com o que

se conhece do sistema sendo avaliado

75


1.  Escolher as variáveis de resposta adequadas e suficientes para atingir o objetivo

¤  Não considerar variáveis essenciais pode levar a erros na análise

¤  Considerar variáveis desnecessárias contribui para aumentar a complexidade da análise

¤  Sempre tentar analisar conjuntos não muito grandes de variáveis e, se necessário, realizar a análise em diversas fases

76

22/11/11

39


2.  Escolher os fatores e níveis adequadamente ¤  Escolher poucos fatores e, se possível, apenas

dois níveis por fator ¤  Para os fatores com grande influência nas

variáveis de resposta, detalhar processo separadamente

¤  Considerar um grande número de fatores e de níveis em um primeiro momento da avaliação, torna a análise suscetível a erros

77


3.  Realizar o experimento quantas vezes forem necessárias

¤  Utilizar um dos métodos apresentados para determinar o ponto de parada de coleta de dados

¤  Não tirar conclusões baseando-se em um único resultado!

78

22/11/11

40


4.  Preocupar-se com a melhor forma de apresentar os dados

¤  Tabelas são ótimas para observar detalhes e valores precisos

¤  Gráficos são adequados para melhor visualizar os resultados

¤  Nos gráficos, cuidado com escalas e origem dos eixos

¤  Muitos valores em uma tabela ou em um gráfico tornam a análise mais complexa, e possíveis resultados mais difíceis de serem identificados

79


5.  Fazer o tratamento estatístico adequado para os resultados

¤  Não tirar conclusões considerando apenas as médias!

¤  Valores médios só fazem sentido quando acompanhados de desvio padrão, variância, intervalo de confiança, etc.

¤  Valores médios com máximo e mínimo podem ajudar na análise mas não levam a resultados conclusivos, sem a presença de uma métrica que indique a dispersão dos dados

80

22/11/11

41


6.  Observar os resultados e correlacioná-los com o que se conhece do sistema sendo avaliado

¤  Desconfie de resultados não esperados ¤  Tente relacionar os diferentes resultados

obtidos ¤  Tente justificar para si mesmo os resultados

obtidos.

81

Créditos 82

¨  Aos professores Marcos e Regina Santana, do LaSDPC-ICMC/USP, pela versão original destes slides

anÁlise de resultados - deinf/ufma - departamento de ...mario/pos/avaldes/analise_dados.pdf ·...

Documents