ge-814: introdução à avaliação operacionalhelcio/ge-814 introducao.pdfdelineamento de...

ITA - São José dos Campos, SP 1 / 46

GE-814: Introdução à Avaliação Operacional

Metodologia de AVAOP

TCel Av Hélcio

[email protected]


Almirante Mike Mullen Chefe de Operações Navais da Marinha dos EUA (2004-2007)

Chairman of Joint Chiefs of Staff (2007-)

• Comentário sobre o currículo que cursou no Mestrado em Análise Operacional (AO) na Naval Postgraduate School (NPS): – “Eu acho que o currículo de AO que eu tive é

muito relevante para o que eu faço na Marinha dos EUA. Eu tenho usado ele no Pentágono, no mar e em tempo de guerra. O que este currículo me ensinou foi formular corretamente o problema, perguntar as questões corretas, determinar os riscos e continuar a partir deste ponto.”

Rosenthal, R. E. (2007). It’s more than a job or an adventure. ORMS Today, V 34, n 4, pp 23-28


Objetivo

• Que a audiência se familiarize com a metodologia utilizada para a realização de Avaliações Operacionais - AVAOP.


Análise Operacional

• O primeiro grupo de Análise Operacional (Pesquisa Operacional no meio civil) foi formado, na II Guerra Mundial, para resolver um problema tático: como responder com aeronaves de caça quando bombardeiros aparecerem no recém construído radar?



• Um importante sucesso deste grupo foi a análise de uma importante decisão estratégica: o gabinete de guerra britânico deveria manter os caças na França (onde as perdas de aeronaves eram significantes) ou recolhê-los para a Grã-Bretanha e prepará-los para lutar a Batalha da Inglaterra?



• “Análise Operacional é uma metodologia científica que visa fornecer, aos comandantes, informações de base quantitativa, para serem utilizadas em decisões concernentes às operações sob seu comando.

• É a disciplina que fornece bases metodológicas a uma Força Armada, capacitando-a a identificar grupos de variáveis que afetam os problemas inerentes aos teatros de guerra, de forma a modelá-los estatística e matematicamente, dimensioná-los e caracterizá-los, com vistas à melhor compreensão, gerência e exploração dos fenômenos envolvidos” (NSCA 500-3).


Avaliação Operacional

• “Processo pelo qual se avaliam a Eficiência e a Adequabilidade Operacional de um sistema. Sua condução provê informações sobre organização, requisitos de pessoal, doutrina e táticas, bem como sobre as instruções operacionais, a documentação de software, publicações e guias de manutenção do sistema.


Avaliação Operacional

• Esse processo é realizado com a participação de operadores e pessoal de manutenção e estende-se por todo ciclo de vida do sistema, desde os estágios iniciais de concepção, até a ampliação da vida útil (modernização). O ambiente de teste tem que ser operacionalmente realístico e incluir, sempre que possível, as contramedidas inimigas” (NSCA 500-3).


Delineamento de Experimentos

• Um experimento é um teste ou uma série de testes nos quais as variáveis de entrada de um sistema são manipuladas para serem identificadas as razões das mudanças nas variáveis de saída.

• Experimentos são indicados para: – caracterizar um processo, identificando, entre os

fatores investigados, os que afetam a resposta do experimento;

– otimizar um processo, encontrando a combinação ótima entre os níveis dos fatores investigados que fornecem um melhor desempenho;

– melhorar a uniformidade de um processo, determinando tolerâncias para o sistema e seus componentes.


Processo

z1 z2 z3 ... zq

x1 x2 x3 ... xn

Inputs Outputs

Variáveis controladas

Variáveis incontroladas




• Os objetivos do delineamento de experimentos são: – Determinar quais variáveis possuem maior

influência na resposta

– Determinar os níveis das variáveis influentes de modo que a variabilidade da resposta seja mínima

– Determinar os níveis das variáveis influentes de modo que os efeitos das variáveis incontroláveis seja minimizado

– Determinar os níveis das variáveis influentes de modo que a resposta quase sempre seja o valor esperado


Variável Aleatória

• Uma variável aleatória pode ser considerada como o resultado numérico de operar um mecanismo não determinístico ou de fazer uma experiência não determinística para gerar resultados aleatórios.

• Matematicamente, uma variável aleatória é definida como uma função mensurável de um espaço probabilidade para um espaço mensurável (sigma-álgebra). Este espaço mensurável é o espaço de possíveis valores da variável...

Wikipedia



• Testes podem ser:

–Estudo de casos: fatos já ocorridos. Ex.: estudo de FOD por pássaros;

–Estudo por amostragem: estudo da amostra e não da população. Ex.: pesquisa eleitoral;

–Estudo por experimentos: existe controle do teste pelo experimentador.

Confirmatório

Exploratório



• Os fatores (variáveis do sistema) são denominados no jargão do delineamento de experimentos como tratamentos e as repetições como parcelas ou execuções.

• Erros

• Amostragem → erros α e β

– Experimental → erros causados pelas variáveis não controláveis e não observáveis


Tipos de Variáveis

Variáveis

Controladas Não controladas

Tratamento (fator) Controle local Observável

(covariável) Não observável


A avalanche de erros

Necessidade

Definição de Requisitos

Requisitos corretos

Erros de requisitos

Desenvolvi-mento

Desenvolvi-mento correto

Erros de desen-volvimento

Erros devido a erros de

requisitos

Construção / programação

Hardware e/ou software correto

Erros de construção / programação

Erros devido a erros de de-

senvolvimento

Erros devido a erros de

requisitos

Testes e integração

Performance correta

Erros corrigidos Erros conhecidos

mas não corrigidos

Erros desconhecidos


Por que?

• Por que não variar uma variável por vez (one-factor-at-time: OFAT)?

• Suponhamos que exista um sistema cuja saída seja influenciada pelos seguintes tratamentos

–Distância

–Altitude

–Ângulo


Distância Altitude Ângulo Efeito

30 10000 0 8,04

30 10000 90 7,27

30 5000 0 7,63

30 10000 0 7,96

5 10000 0 2,89

30 10000 0 7,59

Por que não variar uma variável por vez (one-factor-

at-time: OFAT)? 3 5 4 5000 90º

53 30 0

se Dist NM se Alt ft e AngEfeito erro

se Dist NM caso contrário



30 10000 0 8,04

30 10000 90 7,27

30 5000 0 7,63

30 10000 0 7,96

5 10000 0 2,89

30 10000 0 7,59

3 5 4 5000 90º5

3 30 0




at-time: OFAT)?


• Resultado ANOVA


at-time: OFAT)?

3 5 4 5000 90º5

3 30 0





30 10000 0 8,04

30 10000 90 7,27

30 5000 0 7,63

30 10000 0 7,96

5 10000 0 2,89

30 10000 0 7,59


at-time: OFAT)? 3 5 4 5000 90º

53 30 0




3 5 4 5000 90º5

3 30 0



• Se adicionar-mos 2 medi-das e as to-marmos em níveis diferen-tes que as anteriores...


30 10000 0 8,04

30 10000 90 7,27

30 5000 0 7,63

30 5000 90 13,22

5 10000 0 2,89

5 10000 90 1,45

5 5000 0 1,74

5 5000 90 6,11


at-time: OFAT)?


• Resultado ANOVA

3 5 4 5000 90º5

3 30 0




at-time: OFAT)?


Por que ñ OFAT: Otimização? Ponto ótimo de operação

1 2 3 4

5

6

3,7 3,3 2,8 3,1 2,5 2,0

3,9

3,7

3,1


Conclusão

• É necessária uma certa ciência para se conseguir retirar toda a informação dos dados.

• Esta ciência é chamada Delineamento de Experimentos.


Princípios da Experimentação

• Repetição – Objetiva estimar o erro experimental

• Controle Local – Objetiva diminuir o erro experimental e o viés

(efeito sistemático) dos tratamentos

• Casualização – Objetiva:

• Fornecer modelo probabilístico

• Permitir – Teste de hipóteses

– Estimativas sem vieses do erro experimental

• Estimar as diferenças entre os tratamentos


Por que é importante casualizar?

• Imagine um fenômeno que seja regido pelo seguinte modelo:

• O experimentador decidiu realizar duas réplicas do experimento em dias diferentes, desconsiderando a hora do dia/temperatura.

1 2

1 2

40 0 7 2( 28,625)

onde : são os tratamentos de interesse

é a temperatura em Cº no momento da medida

ij ijy t t temp e

t e t

temp


Dia Hora Temp T1 T2 Erro Medida

1 10 25 -1 -1 -0,58 25,17 1 12 30 1 1 -0,03 49,72 1 14 31 1 -1 1,02 38,77 1 16 28 -1 1 -0,51 45,24 2 10 24 -1 -1 -0,19 23,56 2 12 31 1 1 -0,11 51,64 2 14 31 1 -1 -0,42 37,33 2 16 29 -1 1 0,44 48,19

• Se o experimentador não casualizar as medidas, o seguinte fenômeno pode ocorrer:


1 240 0 7 2( 28,625)ij ijy t t temp e


Dia Hora Temp T1 T2 Erro Medida

1 10 25 1 1 -0,58 39,17 1 12 30 1 -1 -0,03 35,72 1 14 31 -1 1 1,02 52,77 1 16 28 -1 -1 -0,51 31,24 2 10 24 1 1 -0,19 37,56 2 12 31 -1 1 -0,11 51,64 2 14 31 1 -1 -0,42 37,33 2 16 29 -1 -1 0,44 34,19


O mesmo experimento casualizado:


Tipos de testes

Tipos de testes

Comparação

(Testar dois

sistemas)

Triagem – Screening

(Testar vários

sistemas)

Caracterização

(Levantar fatores que

Influenciam no

Sistema)

Otimização

(Levantar níveis

ótimos dos fatores

que produzem a

melhor resposta)


Tipos de delineamento

• Completamente / Inteiramente casuali-zado

– Onde:

• yij é a repetição j da mensuração do tratamento i, μ é a média de todas as medidas, ti é o efeito do tratamento i e eij é o erro com ~N(0,σ2)

• Não necessita ter o mesmo numero de repetições para cada tratamento

• A soma dos tratamentos é zero →

ij i ijy t e

0i

i

t



• Blocos casualizados / ao acaso – Casualização dentro dos blocos → controle local por blocos

• Onde:

– yij é a medida, μ é a média das medidas, ti é o efeito do tratamento i, bj é o efeito do bloco j e eij é o erro com ~N(0,σ2)

– A soma dos tratamentos é zero →

– A soma dos blocos é zero →

– Modelo totalmente aditivo

ij i j ijy t b e

0i

i

t

0j

j

b


Modelo Aditivo

• Significa que, por exemplo, se o primeiro tratamento causar um incremento de 5 unidades na resposta esperada (t1=5) e o primeiro bloco causar um incremento de 3 unidades na resposta esperada (b1=3), a resposta esperada de ambos tratamento 1 e bloco 1 será de 8 unidades.

11 1 1( ) 5 3 8E y t b


Modelo Aditivo

• Imagine que a real interação entre o tratamento e o bloco não seja aditiva e sim multiplicativa:

• Na escala log ela será aditiva:

( )ij i jE y t b

ln[ ( )] ln( ) ln( ) ln( )ij i jE y t b



• Quadrado Latino (blocos em 2 dimensões)

• Exemplo: detecção radar

– 2 tratamentos

• Ruído – 2 níveis

• Filtro – 3 níveis

– 6 operadores

– Amostras colhidas em 6 dias

ijk i j k ijky t l c e

Combinações: 11, 12,13, 21, 22, 23

2 fontes de ruído / bloco

em 2 dimensões


Quadrado latino

o1 o2 o3 o4 o5 o6

d1 11 12 13 21 22 23

d2 23 11 12 13 21 22

d3 22 23 11 12 13 21

d4 21 22 23 11 12 13

d5 13 21 22 23 11 12

d6 12 13 21 22 23 11


Quadrado latino - casualizado

o2 o1 o4 o3 o5 o6

d5 21 13 23 22 12 11

d2 11 23 13 12 22 21

d3 23 22 12 11 21 13

d6 13 12 22 21 11 23

d1 12 11 21 13 23 22

d4 22 21 11 23 13 12



• Blocos incompletos

–Bloco não contém todos os tratamentos

• Exemplo:

–Experimento: reação química

–2 controles locais

• 4 tipos de catalisador

• 4 lotes → cada lote → 3 reações


Bloco incompleto

l1 l2 l3 l4

cat1 x x x -

cat2 x - x x

cat3 x x - x

cat4 - x x x


Análise de um experimento

• Estatística descritiva (média, variância, máximos, mínimos,...)

• Histogramas e gráficos de normalidade

• ANOVA

• Analisar a possibilidade de transformações –Modelo aditivo versus modelo

multiplicativo


Bibliografia recomendada


Objetivo

• Que a audiência se familiarize com a metodologia utilizada para a realização de Avaliações Operacionais - AVAOP.

Metodologia de AVAOP

Maj Av Hélcio

[email protected]

ge-814: introdução à avaliação operacionalhelcio/ge-814 introducao.pdfdelineamento de...

Documents