estratégias evolucionárias evolution strategies es · resumo de es auto-adaptação de mutation...

Estratégias Evolucionárias(Evolution Strategies - ES)

Disciplina:Inteligência Artificial

UFPR: Departamento de Informática. Aula de Leila e Aurora. Data: 23/05/2005

Estratégias Evolucionárias (ES)

Ciclo básico de Computação Evolucionária.FONTE: TRADUÇÃO DE DIANATI, SONG e TREIBER (2002).

Geração atual

Nova geração

Pais selecionados Variação, Mutação

Seleção Substituição

ES: pertence à Computação Evolucionária


Visão geral de ES

� Desenvolvida na Alemanha (1970’s)� Nomes relacionados: I. Rechenberg, H.-P. Schwefel� Normalmente aplicada à:

– otimização numérica

� Características atribuídas:– relativamente rápido– bom para otimização de valores reais

� Especialidade:– Auto-adaptação (self-adaptation) de parâmetros (mutação)


Resumo de ES

Auto-adaptação de mutation step sizes

Especialidade:

Uniform randomSeleção de pais:

(µ,λ) ou (µ+λ)Seleção de sobreviventes (survivor):

Gaussian perturbationMutação:

Discreta ou intermediáriaRecombinação:

Vetores de valores reaisRepresentação:


Tamanho da população (número de indivíduos)

Quando é “+” indica que � pais e �filhos concorrerão para a próxima geração. Serão selecionados os �

melhores indivíduos. Quando é “,”indica que somente entre os filhos

serão escolhidos � para a próxima geração

Número de filhos gerados por cada geração

ES : notação e seleção de survivor


Exemplo introdutório

� Tarefa: minimizar f : Rn� R

� Algoritmo (1+1)-ES: “two-membered ES”utilizando:– Vetores de Rn diretamente como cromossomos– Tamanho da população igual a 1– Somente a mutação cria um descendente– Seleção do melhor entre o pai e o filho (greedy

selection)– Algoritmo no arquivo “algo11.pdf”


Ilustração da distribuição normal


Exemplo introdutório: mecanismo de mutação

� z valores são obtidos de uma distribuição normal N(ξ,σ)

– média ξ é ajustada para 0 – variação σ é chamada mutation step size

� σ sofre variação pela “1/5 success rule”:� essa regra reajusta o valor de σ a cada k iterações por

– σ = σ / c if ps > 1/5– σ = σ • c if ps < 1/5– σ = σ if ps = 1/5

� onde ps é a % de successful mutations, 0.8 ≤ c ≤ 1


Outro exemplo histórico:o experimento do jet nozzle

Forma inicial

Forma final

Tarefa: otimizar a forma de um jet nozzleAproximação: mutações randômicas na forma + seleção


Resumo de ES


Especialidade:







Representação

� Cromossomos consistem de 3 partes:– Variáveis: x1,…,xn

– Parâmetros de estratégia :� Mutation step sizes: σ1,…,σnσ

� Rotation angles: α1,…, αnα

� Nem todos os componentes estão sempre presentes

� Cromossomo: � x1,…,xn, σ1,…,σn ,α1,…, αk �

� onde k = n(n-1)/2 (nº. de pares i,j)


Seleção de pais

� Pais são selecionados por uniform randomdistribution

� Assim: a seleção de pais no ES é imparcial –cada indivíduo tem a mesma probabilidade de ser selecionado

� Note que em ES “pai” significa um membro da população (em GA’s: significa um membro da população selecionado para sofrer variação)


Geração de Indivíduo


Recombinação

� Cria um descendente� Atua por variável / posição ou por

– Cálculo da média dos valores dos pais, ou por– Seleção de um dos valores dos pais

� De 2 ou mais pais:– Utiliza 2 pais selecionados para fazer um

descendente– Seleciona 2 pais para cada nova posição


Nomes de recombinações

Global discrete

Local discrete

zi = xi ou yiescolhido randomicamente

Global intermediary

Local intermediaryzi = (xi + yi)/2

2 pais selecionados para cada i

2 pais fixos


Resumo de ES


Especialidade:







Mutação

� Mecanismo principal: muda valores adicionando um valor randômico obtido de uma distribuição normal

� x’i = xi + N(0,σ)� Idéia principal:

– σ é parte do cromossomo � x1,…,xn, σ �

– σ é também mutado em σ’ (veja como mais adiante)

� Assim: mutation step size σ está co-evoluindo com a solução x


Primeiro transforme σσσσ

� Efeito da mutação: � x, σ �� x’, σ’ �� Ordem é importante:

– primeiro σ � σ’ (veja como mais adiante)– então x � x’ = x + N(0,σ’)

� Razão: novo � x’ ,σ’ � é avaliado 2 vezes– Primeira: x’ é bom se f(x’) é bom– Segunda: σ’ é bom se o x’ que criou é bom

� Isso não funciona em ordem inversa de mutação


Caso 1 de mutação:Uncorrelated mutation com um σσσσ

� Cromossomos: � x1,…,xn, σ �

� σ’ = σ • exp(τ • N(0,1))� x’i = xi + σ’ • N(0,1)� Normalmente a “learning rate” τ ∝ 1/ n½


Mutantes com probabilidade igual

Círculo: mutantes tem a mesma chance de ser criado


Caso 2 de mutação:Uncorrelated mutation com n σσσσ’s

� Cromossomos: � x1,…,xn, σ1,…, σn �

� σ’i = σi • exp(τ’ • N(0,1) + τ • Ni (0,1))� x’i = xi + σ’i • Ni (0,1)� 2 parâmetros de learning rate:

– τ’– τ

� τ ∝ 1/(2 n)½ e τ ∝ 1/(2 n½) ½



Ellipse


Caso 3 de mutação:Correlated mutations

� Cromossomos: � x1,…,xn, σ1,…, σn ,α1,…, αk �

� onde k = n • (n-1)/2 � e a covariance matrix C é definida como:

– cii = σi2

– cij = 0 se i e j não são correlated

– cij = ½ • ( σi2 - σj

2 ) • tan(2 αij) se i e j são correlated


Correlated mutations cont.

O mecanismo de mutação é, então:� σ’i = σi • exp(τ’ • N(0,1) + τ • Ni (0,1))� α’j = αj + β • N (0,1)

� x ’ = x + N(0,C’)– x representa o vetor � x1,…,xn �

– C’ é a covariance matrix C após mutação sobre os valores α

� τ ∝ 1/(2 n)½ e τ ∝ 1/(2 n½) ½ e β ≈ 5°


Resumo de ES


Especialidade:







Seleção de sobreviventes

� Somente no conjunto de descendentes :– seleção (µ,λ)

� No conjunto de pais e descendentes (elitist strategy): – seleção (µ+λ)


Self-adaptative ES

� É capaz de

– Perseguir o ótimo– ajustar o mutation step size a cada troca !


Dúvidas???

Adaptado do curso: Introduction to Evolutionary Computing by A.E. Eiben and J.E. Smith. Assunto: Evolution Strategies

Obtido em: www.cs.vu.nl/~gusz/ecbook/ slides/Evolution_strategies.ppt. Data de acesso: 20/05/05.


Aplicação de exemplo: a experiência de cherry brandy

� Tarefa de criar uma mistura de cores que produza uma cor objetivo (o bem conhecido cherry brandy)

� Ingredientes: água + tinta vermelha, amarela, azul� Representação: � w, r, y ,b � no self-adaptation!� Valores para fornecer um volume total pré-definido(30

ml) � Mutação: lo / med / hi σ valores com igual chances� Seleção: estratégia (1,8) � Fitness: compara mistura com cor objetivo� Critério de término: a cor foi encontrada

estratégias evolucionárias evolution strategies es · resumo de es auto-adaptação de mutation...

Documents