Otimização Extrema Generalizada Otimização Extrema Generalizada Conceito e AplicaçõesConceito e Aplicações
Otimização Extrema Generalizada: Conceitos e Aplicações Fabiano Luis de Sousa – Março 2010
Conceito e AplicaçõesConceito e Aplicações
FabianoLuis de SousaCoordenação de Planejamento Estratégico e Avaliação - CPAInstituto Nacional de Pesquisas Espaciais
� 3945 7102� [email protected]
���� O que vamos ver:
• Um Pouco Sobre Conceitos de Algoritmos Evolutivos e Otimização.
• Equilíbrio pontuado e Criticalidade auto-organizada (SOC).
• O modelo Evolutivo de Bak-Sneppen e o método da Otimização Extrema.
• GEO: Algoritmo Canônico.
Otimização Extrema Generalizada: Conceitos e Aplicações Fabiano Luis de Sousa – Março 2010
• GEO: Algoritmo Canônico.
• GEO: Outras implementações do algoritmo.
• GEO: Exemplos de aplicações em problemas reais.
• GEO: Onde poderia ser aplicado em astrofísica e astronomia?
���� A seleção natural é um mecanismo que tende aproduzir populações “melhores”, mais adaptadas aoseu ecossistema, ao longo das gerações.
���� As características dos pais são transmitidas aos filhospor “fatores internos” (genes). Atroca de genesentre os indivíduos da população e eventualmutação, permite a geração de diversidade
Otimização Extrema Generalizada: Conceitos e Aplicações Fabiano Luis de Sousa – Março 2010
����A seleção natural é um mecanismo auto-adaptável.
mutação, permite a geração de diversidadeaumentando a chance desobrevivência da espécieàalterações no ambiente.
A seleção natural e os processos de hereditariedade e mutaçãogenéticaproveêm um mecanismo robusto e auto-adaptávelpara produção de soluções cada vez melhores. � Umnovo paradigma para geração de “problem solvers”.
EvoluçãoAlgoritmo Evolutivo
Ambiente Problema
Otimização Extrema Generalizada: Conceitos e Aplicações Fabiano Luis de Sousa – Março 2010
Ambiente
Indivíduos/Espécies
Adaptação
Problema
Soluções Candidatas
Qualidade da Solução
População inicial de indivíduos/espécies
Geraçãode novos indivíduos/espécies
Ciclo de um AE
Otimização Extrema Generalizada: Conceitos e Aplicações Fabiano Luis de Sousa – Março 2010
Geraçãode novos indivíduos/espéciespor meio de operadores de seleção,recombinação e/ou mutação.
Novos indivíduos
Seleção da nova população
Geralmente AEs são utilizados para resolver problemas que possam ser colocadoscomo problemas de otimização. Por exemplo, um problema poderia ser posto naforma de:
Minimize: F(X) (Função objetivo/custo/mérito)
Sujeita a:
g ≤ 0 ; j = 1,m (Restrições desigualdade)
Otimização Extrema Generalizada: Conceitos e Aplicações Fabiano Luis de Sousa – Março 2010
gj ≤ 0 ; j = 1,m (Restrições desigualdade)
hk = 0 ; k = 1,l (Restrições igualdade)
X iinf ≤ X i ≤ X i
sup ; i = 1,n (Restrições laterais)
X = {X 1 X2 X3 X4 ... Xn} T (Variáveis de projeto)
Exemplo
Mapa da função objetivo
Restrição desigualdade
Otimização Extrema Generalizada: Conceitos e Aplicações Fabiano Luis de Sousa – Março 2010
Espaço de projetoRestrições laterais
A busca pelo ponto ótimo é feita tradicionalmente através de um processo iterativo usando informação do gradiente da função objetivo:
Xq = Xq-1 + αααα SqXq-1
Sq
Xq
αααα
Otimização Extrema Generalizada: Conceitos e Aplicações Fabiano Luis de Sousa – Março 2010
X = X + αααα S
Posição na iteração q
Posição na iteração q-1
Passo na direção Sq
Direção de busca na direção Sq
X
Mas o espaço de projeto pode ser complexo...
Otimização Extrema Generalizada: Conceitos e Aplicações Fabiano Luis de Sousa – Março 2010
Algoritmos Evolutivos:
- Fazem busca global no espaço de projeto,- Não usam informação dos gradientes da função objetivo,- Podem operar diretamente com diferentes tipos de variáveis de
projeto,- Podem operar sobre espaçosde projeto com ruído, platôs,
Otimização Extrema Generalizada: Conceitos e Aplicações Fabiano Luis de Sousa – Março 2010
- Podem operar sobre espaçosde projeto com ruído, platôs,descontinuidades, etc.
- A cada iteração trabalham com uma populaçãode soluçõescandidatas.
- Pode alternar busca global com busca local: Exploration xExplotation.
- Podem ser hibridizados.- Mas, normalmente são computacionalmente mais custosos.
XX
XX
XX1. Inicialização da população (X).YY
Funcionamento típico de um AE: Funcionamento típico de um AE: Um exemplo.Um exemplo.
Otimização Extrema Generalizada: Conceitos e Aplicações Fabiano Luis de Sousa – Março 2010
XX
XX
XX
XX
XX
XX
XX
2. Seleção dos pais.
XX
3. Recombinação/Mutação: geração de novos indivíduos(Y).
YY
YY
YY
4. Seleção dos indivíduos da nova população (p/ ex: eliminação dos menos adaptados).
5. Verifica se atingiu critério de parada.
e em problemas multi-objetivos.
f2
Otimização Extrema Generalizada: Conceitos e Aplicações Fabiano Luis de Sousa – Março 2010
1848-1923 f1
Fronteira de Pareto
- Programação Evolutiva: primeiras idéias 1960´s.
- Estratégias Evolutivas: primeiras idéias 1960´s.
As Principais Linhas dos Algoritmos EvolutivosAs Principais Linhas dos Algoritmos Evolutivos
Otimização Extrema Generalizada: Conceitos e Aplicações Fabiano Luis de Sousa – Março 2010
- Algoritmos Genéticos: primeiras idéias 1960/70´s.
- Programação Genética: primeiras idéias 1990´s.
⇒ Grande desenvolvimento a partir dos anos 1990´s.
� Eldredge,N. andS. J. Gould. 1972. Punctuated
� A observação paleontológica de que as espécies passam freqüentemente porlongos períodos de estabilidade (stasis) entre momentos deintensa atividadeevolutiva não é simplesmente, como proposto desde Darwin, resultado daimperfeição dos registros fósseis, mas uma característicaintrísica do mecanismoevolutivo: As espécies estão emequilíbrio pontuado (punctuated equilibria).
A evolução pode se dar em saltos:
Otimização Extrema Generalizada: Conceitos e Aplicações Fabiano Luis de Sousa – Março 2010
� Eldredge,N. andS. J. Gould. 1972. Punctuatedequilibria: an alternative to phyletic gradualism. InSchopf, T.J.M. (ed.) Models in Paleobiology, p. 82-115. Freeman, Cooper and Co., San Francisco.
Niles Eldredge
Stephen Jay Gould
Equilibrio pontuado é umacaracterística de um sistema emSOC(Bak e Sneppen, 1993).
Otimização Extrema Generalizada: Conceitos e Aplicações Fabiano Luis de Sousa – Março 2010
hPer Bak e Kim Sneppendesenvolveram um modelosimplificado de evolução,para mostrar que eco-sistemas apresentam umcomportamento crítico auto-organizado (Self-OrganizedCriticality - SOC) (PhysicalReview Letters, 1993). K. Sneppen P. Bak
hA teoria de SOC postula que grandes sistemas interativos evoluemnaturalmente para um estado crítico onde uma pequena perturbação em um deseus elementos pode gerar “avalanches” que podem alcançar qualquer elementodo sistema.� A distribuição de probabilidades das avalanches é descritaporuma lei de potência.
O que é SOC ?
Otimização Extrema Generalizada: Conceitos e Aplicações Fabiano Luis de Sousa – Março 2010
(Thomsen, 2001)
(Solé et al, Nature, 1997)Extinção de espécies. (Keitt e Stanley, Nature, 1998)
Mercado financeiro.(Mandelbrot, 1963)
SOC ?SOC ?Terremotos.(Sethna et al, Nature, 2001)
Popularidade de um artigo. (Redner, EPJ-B, 1998)
Otimização Extrema Generalizada: Conceitos e Aplicações Fabiano Luis de Sousa – Março 2010
SOC ?SOC ?
Trincas em materiais anisotrópicos. (Zapperi et al, Nature,1997)
Magnetos.(Sethna et al, Nature, 2001)
Tempo de espera em consulta médica. (Smethurst, Willians, Nature, 2001)
“Evolução”
Modelo de Bak-Sneppen
Avalanche no estado crítico
O modelo de Bak-Sneppen
Otimização Extrema Generalizada: Conceitos e Aplicações Fabiano Luis de Sousa – Março 2010
Equilíbrio pontuado
Distribuição das avalanches
“Evolução” das espécies
� Um método de otimização baseado no modelo de Bak-Sneppenpossibilitaria o aparecimento de soluções ótimas rapidamente,sistematicamente modificando as espécies menos adaptadas dapopulação, ao mesmo tempo em que poderia escapar de mínimoslocais através de “avalanches”.
�������� OptimizationOptimization WithWith ExtremalExtremal
Otimização Extrema Generalizada: Conceitos e Aplicações Fabiano Luis de Sousa – Março 2010
�������� OptimizationOptimization WithWith ExtremalExtremalDynamicsDynamics (Boettcher(Boettcher eePercus,Percus, PhysicalPhysical ReviewReviewLetters,Letters, 20012001))..
� OTIMIZAÇÃOOTIMIZAÇÃO EXTREMAEXTREMA : Uma nova meta-heurística paraachar soluções de alta qualidade em problemas difíceis deotimização.
S. Boettcher A. Percus
�Aplicações originais do método EO:
� Vantagem a priori da EO sobre o SA e o GA:
� Problemas difíceis em otimização combinatória (Particionamento de grafos, caixeiro viajante, “satisfiability”, coloração de grafos, “spin
� Apenas um parâmetro livre para ajustar.
Otimização Extrema Generalizada: Conceitos e Aplicações Fabiano Luis de Sousa – Março 2010
� “Uma definição geral para o índice de adaptabilidade das variáveis pode ser ambígua, ou mesmo impossível” (Boettcher e Percus, 2001).
grafos, caixeiro viajante, “satisfiability”, coloração de grafos, “spin glasses”).
� Desafios e limitações do método da EO:
� Como aplicá-lo à problemas com variáveis contínuas?
❖❖❖❖❖❖❖❖OTIMIZAÇÃO EXTREMA GENERALIZADA OTIMIZAÇÃO EXTREMA GENERALIZADA ❖❖❖❖❖❖❖❖Generalized Extremal Optimization – GEO (De Sousa e Ramos, 2002)
� Um algoritmo que extenda o método da EO de forma a aplicá-lo facilmente aproblemas de projeto ótimo que apresente um espaço de projeto commorfologia complexa (multimodal, disjunto, com severas não-linearidades naFO, etc) onde possam existir variáveis contínuas, inteirasou discretas.
Otimização Extrema Generalizada: Conceitos e Aplicações Fabiano Luis de Sousa – Março 2010
Variável de projeto
Cada bit representa uma espécie
Modelo de Bak-Sneppen
GEOGEO
Inicialize aleatoriamente L bits que codificam N variáveis de projeto.
Para cada bit atribua um índice de adaptabilidade (∆Fi = F(X)i -F(X)ref) que indica ao ganho ou perda que a F(X) tem se o bit mudar,comparada a um dado valor de referência.
Escolhae “flip” umbit daseqüênciacomprobabilidadeP ∝ k-τ
O A
lgor
itmo
GE
OO
Alg
oritm
o G
EO
Ordene os bits de acordo com seu indice de adaptabilidade, atribuindok = 1 para o menos adaptado e k = L para o mais adaptado
Otimização Extrema Generalizada: Conceitos e Aplicações Fabiano Luis de Sousa – Março 2010
Escolhae “flip” umbit daseqüênciacomprobabilidadePk ∝ k-τ
Retorne a melhor solução encontrada durante a busca
O A
lgor
itmo
GE
OO
Alg
oritm
o G
EO
Faça a nova configuração de bits ser a corrente
Critério de parada satisfeito?Não
Sim
⇒⇒⇒⇒ Características do GEO canônico:
• Codificação binária das variáveis.
• Um parâmetro livre que permite ajustar a busca para que sejatotalmente aleatória (τ = 0) ou “gulosa” (τ >> ). Tem-se observadoque, para um dado problema, geralmenteτótimo fica no intervalo [0,505,0].
Otimização Extrema Generalizada: Conceitos e Aplicações Fabiano Luis de Sousa – Março 2010
5,0].
• Restrições laterais incorporadas pela codificação binária. Restriçõesdesigualdade e igualdade incorporadas com penalização.
• Bits podem ser mutados por variável: GEOvar.
• GEOvar melhor que GEO em problemas pouco restritos e sem ruído.
Generalized Extremal OptimizationGeneralized Extremal Optimization
GEO1: Tracks improvements in objective function during ranking.GEO2: Introduces re-initialization during the search.GEO3: GEO with multi-ranking.GEO4: GEO with real codification and mutation with variable base.
Canonical versions: GEO and GEOCanonical versions: GEO and GEOvarvar
Otimização Extrema Generalizada: Conceitos e Aplicações Fabiano Luis de Sousa – Março 2010
GEOGEOparpar: GEO for multiprocessor environment.
GEOGEOrealreal: GEO with real codification and Gaussian mutation.
MM--GEOGEO: GEO for multi-objective problems.
GEOGEOdiscdisc: GEO with discrete codification.
Hybrid versions: GEOHybrid versions: GEOannealedannealedGEO4_ES.
Algumas Aplicações do Algumas Aplicações do GEO a Problemas ReaisGEO a Problemas Reais
Otimização Extrema Generalizada: Conceitos e Aplicações Fabiano Luis de Sousa – Março 2010
GEO a Problemas ReaisGEO a Problemas Reais
GEO: Aplicações
Otimização de perfil aerodinâmico para planadores de alta performance
Otimização Extrema Generalizada: Conceitos e Aplicações Fabiano Luis de Sousa – Março 2010
GEO: Aplicações
Otimização Extrema Generalizada: Conceitos e Aplicações Fabiano Luis de Sousa – Março 2010
Projeto de umconjunto tubo decalor/radiadorespacial
GEO: Aplicações
Projeto ótimo do subsistemade controle térmico daplataforma multi-missão.
Otimização Extrema Generalizada: Conceitos e Aplicações Fabiano Luis de Sousa – Março 2010
Solução multi-objetivo
GEO: Aplicações
Otimização Extrema Generalizada: Conceitos e Aplicações Fabiano Luis de Sousa – Março 2010
Projeto ótimo deuma constelaçãode satélites radar.
Solução multi-objetivo
MAPSAR
GEO: Aplicações
Otimizaçãoestruturaldiscreta.
Otimização Extrema Generalizada: Conceitos e Aplicações Fabiano Luis de Sousa – Março 2010
inviávelviável
GEO: Aplicações
Identificação depropriedades demateriais.
Problema com ruído
Otimização Extrema Generalizada: Conceitos e Aplicações Fabiano Luis de Sousa – Março 2010
GEO: Aplicações
Geraçãoautomática dedadosparateste
Otimização Extrema Generalizada: Conceitos e Aplicações Fabiano Luis de Sousa – Março 2010
dadosparatestede software.
Otimização Extrema Generalizada: Conceitos e Aplicações Fabiano Luis de Sousa – Março 2010
GEO: Aplicações
Desenvolvimento denovos produtos.
VESPAR (Variable EmmitanceSPAceRadiator)
Otimização Extrema Generalizada: Conceitos e Aplicações Fabiano Luis de Sousa – Março 2010
Onde o GEO poderia Onde o GEO poderia ser aplicado em ser aplicado em
Otimização Extrema Generalizada: Conceitos e Aplicações Fabiano Luis de Sousa – Março 2010
Astronomia e Astronomia e Astrofísica?Astrofísica?
Otimização Extrema Generalizada: Conceitos e Aplicações Fabiano Luis de Sousa – Março 2010
-ajuste de dados.
-achar solução parasistemas de equações nãolineares.
� Qualquer problema quepossa ser formulado comoum problema deotimização, por exemplo:
Exemplos:
- Determinação da curva de rotaçãode galáxias.
- Determinação de um sinal multi-periódico com ruído egaps. (porexemplo, caracterização do sinal deestrelas pulsantes).
- Modelamento do “vento” solar.
Determinação de umsinal multi-periódicocom ruído e gaps. (porexemplo, caracterizaçãodo sinal de estrelaspulsantes).
Determinação dacurva de rotaçãode galáxias.
Função objetivo
Otimização Extrema Generalizada: Conceitos e Aplicações Fabiano Luis de Sousa – Março 2010
Modelamento do “vento” solar
Otimização Extrema Generalizada: Conceitos e Aplicações Fabiano Luis de Sousa – Março 2010
Otimização Extrema Generalizada: Conceitos e Aplicações Fabiano Luis de Sousa – Março 2010
Otimização Extrema Generalizada: Conceitos e Aplicações Fabiano Luis de Sousa – Março 2010
O GEO:���� É uma meta-heuristica desenvolvida para ser aplicada em problemas
complexos de otimização (inclusive problemas inversos).
���� É capaz de lidar com restrições lineares e não lineares.
���� Pode ser aplicado à problemas com variáveis contínuas, inteiras, discretasou uma combinação das mesmas.
���� Apenas um parâmetro livre para ajustar (versão canônica).
Otimização Extrema Generalizada: Conceitos e Aplicações Fabiano Luis de Sousa – Março 2010
���� Nenhuma aplicação conhecida em astronomia ou astrofísica,até omomento...
���� É capaz de lidar com problemas multi-objetivo diretamente.
���� Facilmente paralelizável: GEOpar.
���� Mostrou-se bastante útil na solução de problemas reais.
���� CMC-324 : Otimização Evolutiva (2o trimestre).
OBRIGADO!OBRIGADO!
Otimização Extrema Generalizada: Conceitos e Aplicações Fabiano Luis de Sousa – Março 2010
Lallement serpentine velocipede – 1866- Quadro: madeira.- Transmissão: não tinha.- Suspensão: não tinha.- Freios: não tinha.- Rodas: madeira- Pneus: não tinha
Specialized Stumpjumper MTB – 2008- Quadro: carbono.- Transmissão: 27 velocidades.- Suspensão: dianteira e traseira independentes.- Freios: a disco nas duas rodas.- Rodas: alumínio.- Pneus: borracha/kevlar.