aula-sqp wellington impa

Programacao Quadratica SequencialMetodos Computacionais de Otimizacao

Welington Oliveira

Instituto Nacional de Matematica Pura e Aplicada - IMPADoutorado

Rio, Novembro de 2012

Welington Oliveira (Instituto Nacional de Matematica Pura e Aplicada - IMPA Doutorado)Programacao Quadratica Sequencial Rio, Novembro de 2012 1 / 18

Sumario

1 Consideracoes Gerais

2 Problemas com restricoes de igualdade

3 Problemas com restricoes mistas


Consideracoes Gerais

Programacao quadratica sequencialSequential Quadratic Programming - SQP

SQP

Consiste em resolver um problema (P) de otimizacao nao-linear (com restricoesmistas) atraves de resolucoes de subproblemas mais simples, que aproximam oproblema (P).

Bem...

Ate agora, basicamente todos os metodos que estudamos aproximam o problemade interesse por uma sequencia de subproblemas mais simples! Por exemplo:

Metodos de penalizacao

Metodos de barreira

Metodos da Lagragiana aumentada

A diferenca...

E que metodos SQP resolvem uma sequencia de problemas quadraticos, que saofaceis de serem resolvidos!



Programacao quadratica sequencialSequential Quadratic Programming - SQP

SQP

Consiste em resolver um problema (P) de otimizacao nao-linear (com restricoesmistas) atraves de resolucoes de subproblemas mais simples, que aproximam oproblema (P).

Bem...Ate agora, basicamente todos os metodos que estudamos aproximam o problemade interesse por uma sequencia de subproblemas mais simples! Por exemplo:

Metodos de penalizacao

Metodos de barreira

Metodos da Lagragiana aumentada

A diferenca...

E que metodos SQP resolvem uma sequencia de problemas quadraticos, que saofaceis de serem resolvidos!



Programacao quadratica sequencial

• Em cada iteracao, um problema quadratico (QP) aproxima o problema original.

Por que usar metodos SPQ?

Um QP bem construıdo pode ser uma boa aproximacao do problema original

QPs sao faceis de serem resolvidos (custo computacional nao e muito maiordo que resolver um programa linear)

SQP pode ser pensado como uma generalizacao natural do metodo deNewton

Possui boas propriedades de convergencia (taxa linear ou ate mesmoquadratica).

Metodos SQP sao considerados entre os mais eficientes metodos deotimizacao de uso geral.

Para resolver problemas sem estrutura especial, com frequencia sao escolhidosmetodos desta classe.


Problemas com restricoes de igualdade

SQP para problemas com restricoes de igualdade

Considere o problema

(P ) min f(x) s.a x ∈ D ⊂ Rn ,

onde

D = {x ∈ Rn : h(x) = 0} 6= ∅f : Rn → R, h : Rn → Rl sao duas vezes diferenciaveis.

Dado xk ∈ Rn, aproxima-se (P) em torno de xk por um QP:

(QP ) min f(xk) + 〈f ′(xk), x− xk〉+12〈Hk(x− xk), x− xk〉 s.a xk ∈ Dk ,

onde Hk ∈ Rn×n e uma matriz simetrica, e

Dk = {x ∈ Rn : h(xk) + h′(xk)(x− xk) = 0} .




O proximo iterado xk+1 e um ponto estacionario do problema

(QP ) min f(xk) + 〈f ′(xk), x− xk〉+12〈Hk(x− xk), x− xk〉 s.a xk ∈ Dk .

Ou alternativamente,

dk ∈ arg min 〈f ′(xk), d〉+12〈Hkd, d〉 s.a h′(xk)d = −h(xk) .

e xk+1 = xk + dk.




A primeira tentativa na escolha da matriz Hk para o (QP) e Hk = f ′′(xk).No entanto, esta escolha nao e das melhores.

Hk = f ′′(xk) considera informacoes de segunda ordem somente de fNao seria interessante utilizar informacoes de segunda ordem de h?

Sim! Masonde? Nas restricoes?Considerar informacoes de segunda de h nas restricoes resultaria emsubproblemas com funcao objetivo e restricoes nao lineares! Difıcil!

A ideia e considerar informacoes de ambas f e h em Hk, para termossubproblemas quadraticos

A proposta e tomarHk = L′′xx(xk, λk) ,

onde L e a Lagrangiana de (P)

L(x, λ) = f(x) + 〈λ, h(x)〉 ,

e λ ∈ Rl e uma aproximacao do multiplicador de Lagrange λ.





Hk = f ′′(xk) considera informacoes de segunda ordem somente de fNao seria interessante utilizar informacoes de segunda ordem de h? Sim! Masonde? Nas restricoes?

Considerar informacoes de segunda de h nas restricoes resultaria emsubproblemas com funcao objetivo e restricoes nao lineares! Difıcil!




L(x, λ) = f(x) + 〈λ, h(x)〉 ,






Hk = f ′′(xk) considera informacoes de segunda ordem somente de fNao seria interessante utilizar informacoes de segunda ordem de h? Sim! Masonde? Nas restricoes?Considerar informacoes de segunda de h nas restricoes resultaria emsubproblemas com funcao objetivo e restricoes nao lineares! Difıcil!




L(x, λ) = f(x) + 〈λ, h(x)〉 ,





Outra motivacao da escolha Hk = L′′xx(xk, λk) no problema

(QP ) min f(xk) + 〈f ′(xk), x− xk〉+12〈Hk(x− xk), x− xk〉 s.a xk ∈ Dk .

vem do Metodo de Newton para o sistema de Lagrange de (P):

L′(x, λ) = 0 .

O metodo de Newton para o sistema de Lagrange...

consiste em resolver o sistema linear

L′′xx(xk, λk)(x− xk) + (h′(xk))>(λ− λk) = −f(xk)− (h′(xk))>λk

h′(xk)(x− xk) = −h(xk)

em relacao a (x, λ) ∈ Rn ×Rl, com (xk, λk) dados.





L′′xx(xk, λk)(x− xk) + (h′(xk))>λ = −f(xk)h′(xk)(x− xk) = −h(xk)


Seja xk+1 um ponto estacionario de (QP) e yk+1 ∈ Rl um multiplicadorassociado do (QP):

min f(xk) + 〈f ′(xk), x− xk〉+12〈Hk(x− xk), x− xk〉 s.a xk ∈ Dk ,

com Dk = {x ∈ Rn : h(xk) + h′(xk)(x− xk) = 0}. Deste modo, o par(xk+1, yk+1) e solucao do

Sistema de Lagrange para (QP)

f ′(xk) +Hk(x− xk) + (h′(xk))>y = 0h(xk) + h′(xk)(x− xk) = 0









Comparando estes sistemas, notamos que eles coincidem se Hk = L′′xx(xk, λk).

Tomando Hk = L′′xx(xk, λk)

podemos entao esperar convergencia local rapida sob hipoteses naturais!









Comparando estes sistemas, notamos que eles coincidem se Hk = L′′xx(xk, λk).Tomando Hk = L′′xx(xk, λk)

podemos entao esperar convergencia local rapida sob hipoteses naturais!



Algoritmo

Inicializacao: Escolha (x0, λ0) ∈ Rn ×Rl e faca k = 0.

Simulador: Envie (xk, λk) a um simulador e receba f ′(xk), h(xk), h′(xk) eL′′xx(xk, λk).

Subproblema: Calcule dk um ponto estacionario de

min 〈f ′(xk), d〉+12〈L′′xx(xk, λk)d, d〉 s.a h′(xk)d = −h(xk) ,

e yk um multiplicador de Lagrange associado.

Teste de parada: Se ‖dk‖ ≤ δTol, pare.

Atualizacao: Tome xk+1 = xk + dk e λk+1 = yk.

Ciclo: Faca k = k + 1 e volte ao Simulador.



Algoritmo - Equivalentemente...

Inicializacao: Escolha (x0, λ0) ∈ Rn ×Rl e faca k = 0.

Simulador: Envie (xk, λk) a um simulador e receba f ′(xk), h(xk), h′(xk) eL′′xx(xk, λk).

Subproblema: Calcule (dk, yk) ∈ Rn ×Rl uma solucao do sistema

L′′xx(xk, λk)d+ (h′(xk))>y = −f(xk)h′(xk)d = −h(xk)


Atualizacao: Tome xk+1 = xk + dk e λk+1 = yk.




Comentarios

O metodo SQP aplicado ao problema (P) (somente restricoes de igualdade) eo mesmo que aplicar o metodo de Newton no sistema de Lagrange de (P)

Logo, a convergencia e rapida, mas e apenas local

SQP converge localmente a (x, λ) ∈ Rn ×Rl, um par que resolve o sistemade Lagrange de (P), com taxa superlinearSe as derivadas segundas de f e h sao Lipschitz-contınuas numa vizinhanca dex, a convergencia e quadratica

Globalizacao do SQP e possıvel! Antes de apresenta-la, vamos considerar osproblemas com restricoes mistas.

Resolva o Exercıcio 4.6.1.


Problemas com restricoes mistas

SQP para problemas com restricoes mistas

Considere o problema

(P ) min f(x) s.a x ∈ D ⊂ Rn ,

onde

D = {x ∈ Rn : h(x) = 0, g(x) ≤ 0} 6= ∅f : Rn → R, h : Rn → Rl, g : Rn → Rm sao duas vezes diferenciaveis.

Nos problemas de restricoes de igualdade, as restricoes foram linearizadas

Aqui, a estrategia e a mesma:

(QP ) min 〈f ′(xk), d〉+12〈Hkd, d〉 s.a d ∈ Dk ,

onde Hk ∈ Rn×n e uma matriz simetrica e

Dk = {d ∈ Rn : h(xk) + h′(xk)d = 0, g(xk) + g′(xk)d ≤ 0} .



Algoritmo

Inicializacao: Escolha (x0, λ0, µ0) ∈ Rn ×Rl ×Rm+ e faca k = 0.

Simulador: Envie (xk, λk, µk) a um simulador e receba f ′(xk), h(xk),h′(xk), g(xk), g′(xk) e Hk.

Subproblema: Calcule dk um ponto estacionario de min 〈f ′(xk), d〉+ 12 〈Hkd, d〉

s.a h(xk) + h′(xk)d = 0g(xk) + g′(xk)d ≤ 0 .

e (yk, zk) ∈ Rl ×Rm+ multiplicadores de Lagrange associado.


Atualizacao: Tome xk+1 = xk + dk, λk+1 = yk e µk+1 = zk.




Comentarios

Se Hk = L′′xx(xk, λk, µk), podemos esperar convergencia local rapida, onde

L(x, λ, µ) = f(x) + 〈λ, h(x)〉+ 〈µ, g(x)〉 .

Se Dk 6= ∅ e Hk e definida positiva, entao o subproblema (QP) tem umunico ponto estacionario, que e a unica solucao

Para Hk definida acima e sob hipoteses naturais (tais como CSO2 para (P)),nao e possıvel assegurar que Hk seja definida positiva, mesmo para xk

proximo de x, e λk, µk proximos de λ, µ

Por isso, a existencia de pontos estacionario de (QP) nao e direta, e precisaser provada como parte da analise do Algoritmo

Mesmo quando tal ponto estacionario existe, ele pode nao ser unico

A analise local supoem que dk tem norma mınima

Na pratica, esta consideracao e ignorada.



Convergencia local do SQP

Teorema

Sejam f, h e g duas vezes diferenciavel numa vizinhanca de x ∈ Rn, com derivadacontınuas neste ponto. Seja x um ponto estacionario de (P) que satisfaz CQR-LI,e o trio (x, λ, µ) satisfaz CSO2 para (P). Suponhamos a condicao decomplementariedade estrita

µi > 0 ∀ i ∈ I(x) = {i : gi(x) = 0} .

Entao para qualquer ponto inicial (x0, λ0, µ0) suficientemente proximo de (x, λ, µ)o Algoritmo, definido com Hk = L′′xx(xk, λk, µk) e dk um ponto estacionario de(QP) com mınima norma, esta bem definido. A sequencia gerada converge a(x, λ, µ). A taxa de convergencia e superlinear. Mais ainda, se as derivadassegunda de f, h e g forem Lipschitz-continuas numa vizinhanca de x, entao aconvergencia e quadratica.



Contato:

B [email protected]

Ï welington.athost.net


aula-sqp wellington impa

Documents