vf - unicamptiago/courses/otimizacao_nao_linear/cap8... · vf otimiza c ao num erica restrita m eto...

55

Upload: others

Post on 30-Sep-2020

1 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: VF - Unicamptiago/courses/otimizacao_nao_linear/Cap8... · VF Otimiza c ao Num erica Restrita M eto dos de dire c oes fact veis M eto dos de p roje c ao do gradiente M eto dos de

c� PAVF �

Otimiza�c�ao Num�erica Restrita

� M�etodos de dire�c�oes fact��veis

� M�etodos de proje�c�ao do gradiente

� M�etodos de penalidade e barreira

� M�etodos da lagrangeana aumentada

� Programa�c�ao quadr�atica seq�uencial

� M�etodos de planos de corte

� M�etodos duais

Page 2: VF - Unicamptiago/courses/otimizacao_nao_linear/Cap8... · VF Otimiza c ao Num erica Restrita M eto dos de dire c oes fact veis M eto dos de p roje c ao do gradiente M eto dos de

c� PAVF �

M�etodos de dire�c�oes fact��veis

Problema primal

minimizar f�x� s�a h�x� � �� g�x� � �

f � Rn � R� h � Rn � Rm� g � Rn � Rp

M�etodos primais

Trabalham com a formula�c�ao primal ��� do problema

Vantagens

� Algoritmos geram seq�u�encias de pontos fact��veis� fornecemsolu�c�oes sub��otimas quando interrompidos

� Pontos limites de seq�u�encias convergentes s�ao m��nimos locais restritos do problema

Desvantagens

� Obten�c�ao de pontos iniciais fact��veis dicultada pela eventual complexidade das restri�c�oes

� Necessidade de manter factibilidade ao longo do processo�Dire�c�oes fact��veis podem n�ao existir

Page 3: VF - Unicamptiago/courses/otimizacao_nao_linear/Cap8... · VF Otimiza c ao Num erica Restrita M eto dos de dire c oes fact veis M eto dos de p roje c ao do gradiente M eto dos de

c� PAVF �

M�etodos de dire�c�oes fact��veis

Algoritmo padr�ao

�� Encontre um ponto inicial x� fact��vel e fa�ca k � �

� Se xk satisfaz as condi�c�oes de otimalidade do problema�pare� Sen�ao� v�a para �

�� Determine uma dire�c�ao dk fact��vel em xk� isto �e� tal queexista �� � � e xk � �dk seja fact��vel p� todo � � � � ��

�� Determine o tamanho de passo �k� calcule xk�� � xk ��kd

k� fa�ca k �� k � � e volte para

Exemplo M�etodo de Zoutendijk

minimizar f�x� s�a aix� bi � �� i � �� �� � � � � p

onde ai � R��n� bi � R� Seja I�xk� �� fi � aixk � bi � �g�A dire�c�ao dk �e escolhida resolvendose o problema linear

minimizar rf�xk�Td

s�a aid � �� i � I�xk�nXi��

j di j � �

Page 4: VF - Unicamptiago/courses/otimizacao_nao_linear/Cap8... · VF Otimiza c ao Num erica Restrita M eto dos de dire c oes fact veis M eto dos de p roje c ao do gradiente M eto dos de

c� PAVF �

M�etodos de proje�c�ao do gradiente

M�etodo do gradiente projetado

Considere o problema

minimizar f�x� s�a aix � bi� i � �� �� � � � �m

Seja xk um ponto fact��vel na itera�c�ao k e dena

I�xk� � ��ndices das mk restri�c�oes ativas em xk

Ak � Rmk�n � linhas associadas aos ��ndices I�xk��por hip�otese� rank�Ak� � mk

dk � Rn � dire�c�ao tal que

Akdk � � �fact��vel�

rf�xk�Tdk � � �descida�

Dena ainda gk �� rf�xk�� Neste caso�

�gk � dk � ATk�

k

onde dk � N �Ak� e ATk �

k � R�ATk � para algum �k � Rmk �

Como Akdk � � e rank�Ak� � mk�

�k � ��AkATk ���Akg

k

Page 5: VF - Unicamptiago/courses/otimizacao_nao_linear/Cap8... · VF Otimiza c ao Num erica Restrita M eto dos de dire c oes fact veis M eto dos de p roje c ao do gradiente M eto dos de

c� PAVF �

M�etodos de proje�c�ao do gradiente

Gradiente projetado

dk � �I �ATk �AkA

Tk ���Akg

k � �Pkgk

onde Pk �e a matriz de proje�c�ao ortogonal em N �Ak�� Sedk � � �gradiente projetado�� ent�ao

gk �ATk �

k � �

e xk satisfaz condi�c�oes necess�arias� Se �ki � �� i � I�xk��ent�ao xk satisfaz as CKT do problema ��ki �� �� i �� I�xk��

Lema� Se dk � �Pkgk �� �� ent�ao dk �e uma dire�c�ao de

descida em x � xk

Prova� Como gk � dk �e ortogonal a dk�

�gk�Tdk � gk � dk � dkTdk � �kdkk� � �

Passo �k

Se dk �� �� dena �� �� maxf� � xk � �dk fact��velg�Obt�emse

�k �� arg min������

f�xk � �dk�

Page 6: VF - Unicamptiago/courses/otimizacao_nao_linear/Cap8... · VF Otimiza c ao Num erica Restrita M eto dos de dire c oes fact veis M eto dos de p roje c ao do gradiente M eto dos de

c� PAVF �

M�etodos de proje�c�ao do gradiente

Gradiente projetado

xk

�gk

dk

N �Ak �

R�ATk�

�Algoritmo�

x�x�

x�

x�

x�

�g��g�

�g�

�g�

�g�

d�

d��d�

Page 7: VF - Unicamptiago/courses/otimizacao_nao_linear/Cap8... · VF Otimiza c ao Num erica Restrita M eto dos de dire c oes fact veis M eto dos de p roje c ao do gradiente M eto dos de

c� PAVF �

M�etodos de proje�c�ao do gradiente

Adapta�c�ao do algoritmo

Se dk � � e �kj � � para algum j � I�xk�� dena �Ak

deletando de Ak a linha j correspondente� Ent�ao

��� � gk � ATk �

k

��� � gk � �dk � �ATk��k

onde �dk �e a proje�c�ao ortogonal de �gk usando �Ak

Note que

�� Se �dk � �� ent�ao � � seria equivalente a ��� com �kj � ��Como rank �Ak� � mk� concluise que �dk �� �

� Pelo Lema� �gk�T �dk � � e �dk �e uma dire�c�ao de descida�Como �Ak

�dk � �� de ��� vericase que

��gk�T �dk � ��k�TAk�dk � �kj �a

j�T �dk � �

�� Como �kj � �� concluise que �aj�T �dk � �� Logo� �dk

tamb�em �e uma dire�c�ao fact��vel

�� A restri�c�ao associada a �kj � � pode ser removida

Page 8: VF - Unicamptiago/courses/otimizacao_nao_linear/Cap8... · VF Otimiza c ao Num erica Restrita M eto dos de dire c oes fact veis M eto dos de p roje c ao do gradiente M eto dos de

c� PAVF �

M�etodos de proje�c�ao do gradiente

Algoritmo padr�ao

Encontre um ponto inicial x� fact��vel e fa�ca k � �

�� Determine I�xk� e a matriz Ak� mk � n

� Calcule Pk � I � ATk �AkA

Tk ���Ak e dk � �Pkg

k

�� Se dk �� �� obtenha

�� �� max f� � xk � �dk fact��velg

�k �� arg min������

f�xk � �dk�

fa�ca xk�� � xk � �kdk� k �� k � � e volte para �� Caso

contr�ario �dk � ��� calcule �k � ��AkATk ���Akg

k

�a� Seja �kj �� minf�ki � i � I�xk�g� Se �kj � �� pare� xk

satisfaz as condi�c�oes de KuhnTucker� Caso contr�ario�

�b� Dena Ak�� como Ak menos a linha associada a �kj �fa�ca k �� k � � e volte para

Notas

� As sucessivas matrizes Ak diferem apenas por uma linha e�Ak��A

Tk���

�� pode ser calculada a partir de �AkATk ���

� No caso geral� Ak ser�a composta por linhas correspondentesa restri�c�oes de igualdade e de desigualdade ativas

Page 9: VF - Unicamptiago/courses/otimizacao_nao_linear/Cap8... · VF Otimiza c ao Num erica Restrita M eto dos de dire c oes fact veis M eto dos de p roje c ao do gradiente M eto dos de

c� PAVF �

M�etodos de proje�c�ao do gradiente

Exemplo �Luenberger� pg� ����

minimizar x�� � x�� � x�� � x�� � �x� � �x�

s�a �x� � x� � x� � �x� �

x� � x� � �x� � x� � �

�xi � �� i � �� �� �� �

x� � ��� �� �� ��� A� �

������ � � �� � � �� � � ��

�����

MATLAB

n��� syms x� x� x� x��

f�x����x����x����x�����x���x��

g�diff�f�x� �diff�f�x� �diff�f�x� �diff�f�x� ��

x���� x���� x���� x���� g��eval�g �

A��� � � ��� � � ��� � � ����

d����eye�n �A��inv�A�A�� A� g��

p��A�d� � d� e� uma direcao factivel

p� � ���e���

������

������

�������

dd��g��d� � d� e� uma direcao de descida

dd� � �������

Page 10: VF - Unicamptiago/courses/otimizacao_nao_linear/Cap8... · VF Otimiza c ao Num erica Restrita M eto dos de dire c oes fact veis M eto dos de p roje c ao do gradiente M eto dos de

c� PAVF �

M�etodos de proje�c�ao do gradiente

Restri�c�oes n�ao�lineares

Projetase �gk no subespa�co tangente �as restri�c�oes ativas noponto xk

xk �gk

ykdk

xk��

g�xk� � �

M�xk�

Pk � I � J�xk�T J�xk�J�xk�T ��J�xk�

J�xk� � Jacobiana das restri�c�oes ativas

Notas

� A proje�c�ao de �gk emM�xk� gera uma dire�c�ao infact��vel�Obter xk�� tal que f�xk��� � f�xk� n�ao �e f�acil

� Converg�encia� an�aloga ao caso irrestrito� �M � �m s�ao osautovalores m�aximo e m��nimo de L�x�� restrita a M�x��

Page 11: VF - Unicamptiago/courses/otimizacao_nao_linear/Cap8... · VF Otimiza c ao Num erica Restrita M eto dos de dire c oes fact veis M eto dos de p roje c ao do gradiente M eto dos de

c� PAVF ��

M�etodos de proje�c�ao do gradiente

M�etodo do gradiente reduzido

Motivado por t�ecnicas de programa�c�ao linear� As restri�c�oeslineares se apresentam na forma padr�ao

minimizar f�x� s�a Ax � b� x � �

A � Rm�n� b � Rm� rank �A� � m

f � C�

Seja A �� B��� C� com B n�aosingular e x �� �y� z�� O

problema pode ser colocado como

minimizar f�y� z� s�a By � Cz � b� y � �� z � �

Notas

� Hip�oteses� todo conjunto de m colunas de A �e LI e todasolu�c�ao b�asica cont�em m vari�aveis positivas

� y � Rm � vetor de vari�aveis dependentes �vd��z � Rn�m � vetor de vari�aveis independentes �vi�

� Pequena varia�c�ao �z tq z ��z � � garante y��y � ��pois inicialmente y � �

Page 12: VF - Unicamptiago/courses/otimizacao_nao_linear/Cap8... · VF Otimiza c ao Num erica Restrita M eto dos de dire c oes fact veis M eto dos de p roje c ao do gradiente M eto dos de

c� PAVF ��

M�etodos de proje�c�ao do gradiente

Procedimento

�� Selecione �z e mova z na reta z � ��z� � � �� Nestecaso y movese na reta y � ��y� onde �y � �B��C�z

� Se uma vi tornase nula� uma nova dire�c�ao �z deve serdeterminada

�� Se uma vd tornase nula� a parti�c�ao �e modicada� a vdque assume valor nulo �e declarada vi e uma vi positiva �edeclarada vd

�� Trocas de vari�aveis efetuadas atrav�es de pivoteamento�Problema reformulado em termos de n�m vari�aveis �z�

Gradiente reduzido

O gradiente de f�B��b�B��Cz� z� em rela�c�ao a z �e

r � rzf�y� z�� �B��C�Tryf�y� z�

Um ponto �y� z� satisfaz as condi�c�oes necess�arias de primeiraordem sse �i � �� �� � � � � n�m�

��������ri � �� se zi � �

ri � �� se zi � �

Page 13: VF - Unicamptiago/courses/otimizacao_nao_linear/Cap8... · VF Otimiza c ao Num erica Restrita M eto dos de dire c oes fact veis M eto dos de p roje c ao do gradiente M eto dos de

c� PAVF ��

M�etodos de proje�c�ao do gradiente

C�alculo da dire�c�ao �z

Seja I�z� �� fi � zi � �g� A dire�c�ao de descida do m�etodo�e denida como

�zi ��

���������ri� se i �� I�z�

�� se i � I�z�

Notas

� Estrat�egia pura baseada na manuten�c�ao do conjunto ativo

� Se ri � � p� todo i �� I�z�� mas rj � � para algumj � I�z�� removese a restri�c�ao correspondente

� Estrat�egia melhorada�

Se i � I�z�� mas ri � �� n�ao haver�a viola�c�ao da factibilidade

Neste caso� podese denir �zi �� �ri

Dire�c�ao de descida�

�zi ��

���������ri� se ri � � ou zi � �

�� caso contr�ario

Page 14: VF - Unicamptiago/courses/otimizacao_nao_linear/Cap8... · VF Otimiza c ao Num erica Restrita M eto dos de dire c oes fact veis M eto dos de p roje c ao do gradiente M eto dos de

c� PAVF ��

M�etodos de proje�c�ao do gradiente

Algoritmo padr�ao

Encontre uma parti�c�ao inicial �y�� z�� tq B�y� � C�z

� �b� y� � �� z� � � e fa�ca k � �

�� Calcule rk � rzf�yk� zk�� �B��k Ck�

Tryf�yk� zk� e deter

mine

�zki �

���������rki � se rki � � ou zki � �

�� caso contr�ario

� Se �zk � �� pare� xk � �yk� zk� �e uma solu�c�ao do problema� Caso contr�ario� determine �yk � �B��k Ck�zk e fa�ca�xk �� ��yk��zk�

�� Determine ��� �� e �k atrav�es de

�� �� maxf� � yk � ��yk � �g

�� �� maxf� � zk � ��zk � �g� �� �� minf��� ��g

�k �� arg min������

f�xk � ��xk�

�� Calcule xk�� � xk � �k�xk� Se �k � ��� declare vi umavd que assumiu valor nulo� vd uma vi positiva e determineBk�� e Ck��� Fa�ca k �� k � � e volte para �

Page 15: VF - Unicamptiago/courses/otimizacao_nao_linear/Cap8... · VF Otimiza c ao Num erica Restrita M eto dos de dire c oes fact veis M eto dos de p roje c ao do gradiente M eto dos de

c� PAVF ��

M�etodos de proje�c�ao do gradiente

Exemplo �Luenberger� pg� ����

minimizar x�� � x�� � x�� � x�� � �x� � �x�s�a �x� � x� � x� � �x� �

x� � x� � �x� � x� � �xi � �� i � �� �� �� �

x� � ��� �� �� ��� y �� �x�� x��� z �� �x�� x��

MATLAB

B��� ��� ��� C��� ��� ��� b������

y��inv�B� b � Solucao basica �z������

y� � �

syms y� y� z� z��

f�y����y����z����z�����y���z��

dfdz�diff�f�z� �diff�f�z� ��

dfdy�diff�f�y� �diff�f�y� ��

r�dfdz��inv�B� C� �dfdy� � Gradiente reduzido

y���� y���� z���� z���� r��eval�r

r� � ��

��

Dz���r�� Dy���inv�B� C�Dz�� Dx��Dy��Dz��

Dx� � �

���

Page 16: VF - Unicamptiago/courses/otimizacao_nao_linear/Cap8... · VF Otimiza c ao Num erica Restrita M eto dos de dire c oes fact veis M eto dos de p roje c ao do gradiente M eto dos de

c� PAVF ��

M�etodos de proje�c�ao do gradiente

Restri�c�oes n�ao�lineares

Problemas id�enticos aos do m�etodo do gradiente projetado

x�

x�z�z�

z�

y

�x

�z

h�x� � �� x � �y� z�

Movimento tangente �a superf��cie� z � z ��z implica y �y ��y� onde �y � ��ryh�

��rzh�z

Converg�encia

An�aloga ao do gradiente projetado� com �M � �m representando os autovalores m�aximo e m��nimo de CTLC� onde L �� L�x��e

C ��

������ryh�y

�� z����rzh�y�� z��

In�m

�����

Page 17: VF - Unicamptiago/courses/otimizacao_nao_linear/Cap8... · VF Otimiza c ao Num erica Restrita M eto dos de dire c oes fact veis M eto dos de p roje c ao do gradiente M eto dos de

c� PAVF ��

M�etodos de penalidade e barreira

Filoso�a

Aproximar problemas restritos por problemas irrestritos

M�etodos de penalidade

Termo gerando alto custo no caso de viola�c�ao das restri�c�oes�e adicionado �a fun�c�ao objetivo� Ao problema restrito

minimizar f�x� s�a x � S Rn

associase o problema irrestrito

minimizar f�x� � cP �x�

onde c � � e P �e uma fun�c�ao cont��nua tal que

a P �x� � � para todo x � Rn e

b P �x� � � � x � S

Par�ametro c

Idealmente� quando c � �� as solu�c�oes dos problemas restrito e irrestrito se aproximam �P �x�� ��

Page 18: VF - Unicamptiago/courses/otimizacao_nao_linear/Cap8... · VF Otimiza c ao Num erica Restrita M eto dos de dire c oes fact veis M eto dos de p roje c ao do gradiente M eto dos de

c� PAVF ��

M�etodos de penalidade e barreira

Exemplo Considere S �� fx � Rn � g�x� � �g� Umaposs��vel fun�c�ao de penaliza�c�ao seria

P �x� ��pX

i��

�maxf�� gi�x�g��

Se p � �� g��x� � x� b� g��x� � a�x� obt�emse a situa�c�aoabaixo

xa b�

cP �x�

c � ��c � ��

c � ���c � ���

� Para c grande� o m��nimo do problema irrestrito est�a situadonuma regi�ao onde cP �x� �e pequeno

� Quando c � �� a solu�c�ao do problema irrestrito tendepara a solu�c�ao do problema restrito

� Procedimento� resolver uma seq�u�encia de problemas irrestritos com c��

Page 19: VF - Unicamptiago/courses/otimizacao_nao_linear/Cap8... · VF Otimiza c ao Num erica Restrita M eto dos de dire c oes fact veis M eto dos de p roje c ao do gradiente M eto dos de

c� PAVF ��

M�etodos de penalidade e barreira

M�etodo

Seja �ck� uma seq�u�encia tendendo ao innito tal que ck ��� ck�� � ck� Dena

q�c� x� �� f�x� � cP �x�

Para cada k� assumese que

minimizar q�ck� x�

possui uma solu�c�ao xk� A solu�c�ao xk�� �e obtida partindose doponto xk� A solu�c�ao do problema restrito �e obtida qdo ck ��

Teorema

a q�ck� xk� � q�ck��� x

k���

b P �xk� � P �xk���

c f�xk� � f�xk���

Teorema

Seja �xk� uma seq�u�encia gerada pelo m�etodo de penalidades�Ent�ao qualquer ponto limite da seq�u�encia �e uma solu�c�ao doproblema restrito

Page 20: VF - Unicamptiago/courses/otimizacao_nao_linear/Cap8... · VF Otimiza c ao Num erica Restrita M eto dos de dire c oes fact veis M eto dos de p roje c ao do gradiente M eto dos de

c� PAVF �

M�etodos de penalidade e barreira

Algoritmo Penalidade

Escolha � � �� c� � �� � � � e x�� Fa�ca k � �

while ckP �xk� � �

xk�� � argmin f�x� � ckP �x� �pto inicial xk�ck�� � �ckk �� k � �

endx� � xk

Notas

� Demonstrase que

limk��

ckP �xk� � �

� Exige apenas continuidade das fun�c�oes� mas efetivo apenasse algoritmos ecientes s�ao usados para gerar �xk�

� Se o problema incluir restri�c�oes de igualdade e desigualdade� podese usar por exemplo

P �x� �mXi��

hi�x�� �

pXi��

�maxf�� gi�x�g��

� O condicionamento do problema irrestrito piora a medidaque ck aumenta

Page 21: VF - Unicamptiago/courses/otimizacao_nao_linear/Cap8... · VF Otimiza c ao Num erica Restrita M eto dos de dire c oes fact veis M eto dos de p roje c ao do gradiente M eto dos de

c� PAVF ��

M�etodos de penalidade e barreira

Exemplo �Bazaraa et al�� pg� ����

minimizar x�� � x�� s�a x� � x� � � � �

Neste caso� q�x� c� �� x��� x��� c�x�� x�� ���� A hessianade q �e

Q�c� ��

�������� � c� �c

�c ��� � c�

�����

Os autovalores de Q s�ao �m � � e �M � ��� � �c�� On�umero de condi�c�ao �e r �� �M��m � � � �c e

r �� quando c��

x�

x�

x�

c� c�

c� � c��

c

�c� ��

c

�c� �

Page 22: VF - Unicamptiago/courses/otimizacao_nao_linear/Cap8... · VF Otimiza c ao Num erica Restrita M eto dos de dire c oes fact veis M eto dos de p roje c ao do gradiente M eto dos de

c� PAVF ��

M�etodos de penalidade e barreira

Penaliza�c�ao exata

No m�etodo de penalidades� um m��nimo local x� �e obtidoapenas qdo c��� Podese obter x� com c �nito se

P �x� ��mXi��

j hi�x� j �pX

j��

maxf�� gj�x�g

for utilizada

Teorema

Assuma que x� satisfaz as condi�c�oes sucientes de a� ordempara m��nimo local do problema restrito� Sejam � e � � osmultiplicadores associados� Se c � maxi�j fj �i j� jg� ent�aox� �e tamb�em um m��nimo local do problema irrestrito

Notas

� A fun�c�ao de penaliza�c�ao P �x� �e chamada de valor abso�luto ou tipo l�

� O uso de P �x� evitaria maiores problemas com o condicionamento do problema irrestrito

� Por outro lado� P �x� �e n�ao�diferenci�avel� o que complicaa resolu�c�ao do problema

Page 23: VF - Unicamptiago/courses/otimizacao_nao_linear/Cap8... · VF Otimiza c ao Num erica Restrita M eto dos de dire c oes fact veis M eto dos de p roje c ao do gradiente M eto dos de

c� PAVF ��

M�etodos de penalidade e barreira

M�etodos de barreira

Partem de pontos fact��veis e constr�oem barreiras na fronteira de S evitando que as seq�u�encias geradas saiam de S

Propriedades de S

�o

S �� � interior n�aovazio� Como pontos em S devemser atingidos a partir do interior� S deve ser um conjuntorobusto

robusto n�aorobusto

� Conjuntos robustos podem ser descritos por restri�c�oes dedesigualdade�

S �� fx � Rn � g�x� � �g

� Restri�c�oes de igualdade n�ao descrevem conjuntos robustos porque geram conjuntos com interior vazio

Page 24: VF - Unicamptiago/courses/otimizacao_nao_linear/Cap8... · VF Otimiza c ao Num erica Restrita M eto dos de dire c oes fact veis M eto dos de p roje c ao do gradiente M eto dos de

c� PAVF ��

M�etodos de penalidade e barreira

Fun�c�ao barreira

Uma fun�c�ao cont��nua B denida no interior de S �e umabarreira se a B�x� � � e b B�x��� quando x� S

Exemplo �Luenberger� pg� ����

Seja S �� fx � Rn � g�x� � �g um conjunto robusto e Ba fun�c�ao barreira

B�x� �� �pX

i��

gi�x�� x �

o

S

O caso p � �� g��x� � a � x e g��x� � x � b �e ilustradoabaixo

xa b�

cB�x�

c � �

c � �

Note que c � � e que�

cB�x��� qdo x� a ou x� b

Page 25: VF - Unicamptiago/courses/otimizacao_nao_linear/Cap8... · VF Otimiza c ao Num erica Restrita M eto dos de dire c oes fact veis M eto dos de p roje c ao do gradiente M eto dos de

c� PAVF ��

M�etodos de penalidade e barreira

M�etodo

Seja �ck� uma seq�u�encia tendendo ao innito tq ck � � eck�� � ck� Dena

r�c� x� �� f�x� ��

cB�x�

Para cada k resolva

minimizar r�ck� x� s�a x �o

S

obtendo xk� A solu�c�ao xk�� �e obtida partindose de xk� Asolu�c�ao do problema restrito �e obtida qdo ck ��

Teorema

Qualquer ponto limite da seq�u�encia �xk� gerada pelo m�etodode barreiras �e uma solu�c�ao do problema restrito

Notas

� Aparentemente� substituise um problema restrito por uma

seq�u�encia de problemas tamb�em restritos �x �o

S�

� A partir de x� �o

S� a fun�c�ao barreira mant�em a seq�u�encia

emo

S� A restri�c�ao x �o

S n�ao �e considerada explicitamente

Page 26: VF - Unicamptiago/courses/otimizacao_nao_linear/Cap8... · VF Otimiza c ao Num erica Restrita M eto dos de dire c oes fact veis M eto dos de p roje c ao do gradiente M eto dos de

c� PAVF ��

M�etodos de penalidade e barreira

Exemplo �FiaccoMcCormick� pg� ���

minimizar x� � x�

s�a g��x� � x�� � x� � �

g��x� � �x� � �

Barreira logaritmica

B�x� � �pX

i��

ln ��gi�x��� x �o

S

O m��nimo irrestrito de

r�c� x� � x� � x� � ���c� ln ��x�� � x��� ���c� ln �x��

�e

x��c� � ��� �q� � ��c���

x��c� � ��� �q� � ��c����� � ��c

e quando c��� �x��c�� x��c��� ��� �� �m��nimo restrito�

c x��c� x��c�

����� ����� �� �� ���� ����� ���������� ����� �� ������� ����� ���������� ����� �����

Page 27: VF - Unicamptiago/courses/otimizacao_nao_linear/Cap8... · VF Otimiza c ao Num erica Restrita M eto dos de dire c oes fact veis M eto dos de p roje c ao do gradiente M eto dos de

c� PAVF ��

M�etodos de penalidade e barreira

Interpreta�c�ao

��� x�

x�

x� � x� � �

Notas

� Uma seq�u�encia interior a S tamb�em seria obtida por umm�etodo tipo gradiente �otimo

� Por hip�otese� gi�x�� � � para todo i �x� �

o

S�� Logo�r�c�� x�� existe e possui algum valor nito

� O m�etodo do gradiente �otimo aplicado a r�c�� x� gera umaseq�u�encia �xk� tal que r�c�� x�� � r�c�� x�� � r�c�� x��

� r�� �a medida que se caminha em dire�c�ao �a fronteira apartir de qualquer ponto interior

� A fronteira n�ao pode ser alcan�cada atrav�es da seq�u�enciagerada� O m��nimo de r�c� x� ser�a sempre um ponto interior

Page 28: VF - Unicamptiago/courses/otimizacao_nao_linear/Cap8... · VF Otimiza c ao Num erica Restrita M eto dos de dire c oes fact veis M eto dos de p roje c ao do gradiente M eto dos de

c� PAVF ��

M�etodos de penalidade e barreira

Algoritmo Barreira

Escolha � � �� c� � �� � � � e x� �o

S� Fa�ca k � �

while ���ck�B�xk� � �xk�� � argmin

x�o

Sf�x� � ���ck�B�x�

ck�� � �ckk �� k � �

endx� � xk

Notas

� Demonstrase que

limk��

���ck�B�xk� � �

� Como nos m�etodos de penalidade� o condicionamento doproblema irrestrito piora �a medida que c��

� Os m�etodos de barreira tamb�em s�ao conhecidos como m�e�todos de pontos interiores

� Algoritmos de pontos interiores para programa�c�ao linear�como o proposto por Karmakar� est�ao intrinsecamente relacionados aos m�etodos de barreira

Page 29: VF - Unicamptiago/courses/otimizacao_nao_linear/Cap8... · VF Otimiza c ao Num erica Restrita M eto dos de dire c oes fact veis M eto dos de p roje c ao do gradiente M eto dos de

c� PAVF ��

M�etodos da lagrangeana aumentada

Motiva�c�ao

� Similar aos dos m�etodos de penalidade� resolver problemasrestritos atrav�es de uma seq�u�encia de problemas irrestritos

� Buscase evitar mal condicionamento mantendo c � � nito� sem o uso de penalidade exata �n�aodiferenci�avel�

Condi�c�oes su�cientes �f� h � C��

Assuma que �x�� ��� satisfazem as condi�c�oes sucientes de a� ordem para m��nimo local estrito do problema

minimizar f�x� s�a h�x� � �

a� h�x�� � �

b� rl�x�� ��� � rf�x�� �rh�x��T�� � �

c� L�x�� � F �x�� �mXi��

��iHi�x�� denida positiva em

M�x�� � fy � Rn � rh�x��y � �g

A condi�c�aorl�x�� ��� � � n�ao signica que x� �e um m��nimoirrestrito da fun�c�ao lagrangeana l�x� ���

Page 30: VF - Unicamptiago/courses/otimizacao_nao_linear/Cap8... · VF Otimiza c ao Num erica Restrita M eto dos de dire c oes fact veis M eto dos de p roje c ao do gradiente M eto dos de

c� PAVF �

M�etodos da lagrangeana aumentada

Lagrangeana aumentada

lc�x� �� �� l�x� �� ��

�c h�x�Th�x�

� f�x� � �Th�x� ��

�c h�x�Th�x�� c � �

O gradiente de lc�x� ��� se anula no ponto x�� De fato�

rlc�x�� ��� � rl�x�� ��� � crh�x��Th�x�� � �

poisrl�x�� ��� � �� h�x�� � �

Notas

� Se Lc�x�� for denida positiva� ent�ao x� tamb�em ser�a um

m��nimo local estrito de lc�x� ���� A hessiana Lc�x

��� dadapor

Lc�x�� � L�x�� � crh�x��Trh�x��

�e uma combina�c�ao positiva de L�x��� denida positiva emM�x��� e rh�x��Th�x��� semidenida positiva

� A id�eia �e incrementar c � � de forma que Lc�x�� se torne

denida positiva e x� um m��nimo irrestrito de lc�x� ���

Page 31: VF - Unicamptiago/courses/otimizacao_nao_linear/Cap8... · VF Otimiza c ao Num erica Restrita M eto dos de dire c oes fact veis M eto dos de p roje c ao do gradiente M eto dos de

c� PAVF ��

M�etodos da lagrangeana aumentada

Interpreta�c�ao

A solu�c�ao �unica do problema

minimizar x� s�a x� � � �

�e x� � ��� �� � ��� Note que x� � �� n�ao �e m��nimo localde

l�x���� � x� � ��x� ��

mas ser�a de

lc�x���� � x� � ��x� �� �c

��x� ���

para todo c � c� � �

−3 −2.5 −2 −1.5 −1 −0.5 0 0.5 1−4

−3

−2

−1

0

1

2

x

f

l

lc� c � ��

Para c grande� o termo �c���h�x�Th�x� convexi�ca lc numavizinhan�ca do m��nimo local x�

Page 32: VF - Unicamptiago/courses/otimizacao_nao_linear/Cap8... · VF Otimiza c ao Num erica Restrita M eto dos de dire c oes fact veis M eto dos de p roje c ao do gradiente M eto dos de

c� PAVF ��

M�etodos da lagrangeana aumentada

Lema

Sejam A�B matrizes sim�etricas� Assuma B � � e A � � nosubespa�co Bx � �� Ent�ao existe um c� tal que A � cB � �para todo c � c�

Teorema

Assuma que as condi�c�oes sucientes de a� ordem param��nimo local s�ao satisfeitas em �x�� ���� Ent�ao existe um c�

tal que para todo c � c�� a lagrangeana aumentada lc�x� ���

possui um m��nimo local em x�

Notas

� As identica�c�oes A � L�x�� e B � rh�x��Trh�x�� levam�a prova do Teorema� cuja conclus�ao pode ser estendida �porcontinuidade� para uma vizinhan�ca de �x�� ���

� Para qualquer � pr�oximo a ��� a lagrangeana aumentadapossui um �unico m��nimo local x pr�oximo a x�� Existe umadepend�encia cont��nua x���

� Se h�x���� � �� ent�ao � � ��� pois x��� satisfaz ascondi�c�oes necess�arias do problema original� Determinar ��

equivale a resolver h�x���� � �

Page 33: VF - Unicamptiago/courses/otimizacao_nao_linear/Cap8... · VF Otimiza c ao Num erica Restrita M eto dos de dire c oes fact veis M eto dos de p roje c ao do gradiente M eto dos de

c� PAVF ��

M�etodos da lagrangeana aumentada

Notas �cont�

� A equa�c�ao h�x���� � � �e resolvida atrav�es do processoiterativo

�k�� � �k � c h�xk�

O processo converge linearmente numa vizinhan�ca de ��

Exemplo �Luenberger� pg� ����

minimizar �x�� � �x�x� � x�� � �x� s�a x� � �

� Lagrangeana aumentada�

lc�x�� x�� �� �� �x�� � �x�x� � x�� � �x� � �x� ��

�c x��

� M��nimo anal��tico�

x���� � ��� � ��

�� � c�� x���� �

�� � c� ��

�� � c�

� Processo iterativo� �h�x� � x��

�k�� � �k �c �� � �k�

�� � c��

� � c�k �

�c

� � c

e �k � �� �� ���� qualquer que seja c � � �� c�� �

Page 34: VF - Unicamptiago/courses/otimizacao_nao_linear/Cap8... · VF Otimiza c ao Num erica Restrita M eto dos de dire c oes fact veis M eto dos de p roje c ao do gradiente M eto dos de

c� PAVF ��

M�etodos da lagrangeana aumentada

Algoritmo �M�etodo dos multiplicadores�

Escolha � � �� c� � �� � � ��� ��� � � � e ��

Fa�ca v� � �� e k � �

while vk � �xk�� � argmin lck�x� �

k��k�� � �k � ck h�x

k���vk�� � max��i�m fj hi�xk��� jgif vk�� � � vk then

ck�� � �ckendk �� k � �

end

Notas

� O par�ametro c �e incrementado sempre que n�ao houver umadiminui�c�ao signicativa ��� na viola�c�ao das restri�c�oes

� Restri�c�oes de desigualdade Restri�c�oes do tipo g�x� �� podem ser escritas na forma

gi�x� � z�i � �� i � �� �� � � � � p

Devese entretanto assumir complementariedade estrita� isto �e� �j � � se gj�x

�� � �� al�em das condi�c�oes sucientesde a� ordem aplic�aveis ao caso

Page 35: VF - Unicamptiago/courses/otimizacao_nao_linear/Cap8... · VF Otimiza c ao Num erica Restrita M eto dos de dire c oes fact veis M eto dos de p roje c ao do gradiente M eto dos de

c� PAVF ��

Programa�c�ao quadr�atica sequencial

Motiva�c�ao

Empregar m�etodos quasiNewton para resolver diretamenteas condi�c�oes de KuhnTucker do problema

Problema

minimizar f�x� s�a h�x� � �

f � Rn � R� f � C�

h � Rn � Rm� h � C�

Condi�c�oes necess�arias

Existe � � Rm tal que

rf�x� �rh�x�T� � �

h�x� � �� M�x� �� � �

Jacobiana rM

rM�x� �� �

�����

L�x� rh�x�T

rh�x� �

�����

rM�x�� ��� �e n�aosingular se �x�� ��� satisfaz as condi�c�oessucientes de a� ordem para m��nimo local estrito

Page 36: VF - Unicamptiago/courses/otimizacao_nao_linear/Cap8... · VF Otimiza c ao Num erica Restrita M eto dos de dire c oes fact veis M eto dos de p roje c ao do gradiente M eto dos de

c� PAVF ��

Programa�c�ao quadr�atica sequencial

M�etodo de Newton

Dado �xk� �k�� obt�emse �xk��� �k��� resolvendose

M�xk� �k� �rM�xk� �k�

�����x� xk

�� �k

����� � �

Denindo d �� x� xk� podese reescrever o sistema como

L�xk�d�rh�xk�T� � �rf�xk�

rh�xk�d � �h�xk�

Obt�emse �dk� �k��� e ent�ao xk�� �� xk � dk� Repetese oprocesso at�e que dk � �� isto �e�

rf�xk� �rh�xk�T�k�� � �

h�xk� � �

e �xk� �k��� satisfaz as condi�c�oes necess�arias de �a� ordem

Se inicializado pr�oximo de �x�� ���� o algoritmo gera solu�c�oes�unicas �xk� �k��� que convergem quadraticamente para �x�� ���

Page 37: VF - Unicamptiago/courses/otimizacao_nao_linear/Cap8... · VF Otimiza c ao Num erica Restrita M eto dos de dire c oes fact veis M eto dos de p roje c ao do gradiente M eto dos de

c� PAVF ��

Programa�c�ao quadr�atica sequencial

Subproblema quadr�atico

Melhores solu�c�oes s�ao obtidas resolvendose uma seq�u�enciade subproblemas quadr�aticos�

QPk � minimizar�

�dTL�xk�d�rf�xk�Td� f�xk�

s�a h�xk� �rh�xk�Td � �

As condi�c�oes necess�arias do subproblema QPk s�ao

L�xk�d�rh�xk�T� � �rf�xk�

rh�xk�d � �h�xk�

Converg�encia

Se inicializada pr�oximo a �x�� ���� a resolu�c�ao seq�uencial deQPk�s converge quadraticamente para �x�� ���� pois cada QPk

equivale a uma itera�c�ao de Newton

Formula�c�ao equivalente

QPk � minimizar�

�dTL�xk�d�rl�xk�Td� l�xk�

s�a h�xk� �rh�xk�Td � �

Page 38: VF - Unicamptiago/courses/otimizacao_nao_linear/Cap8... · VF Otimiza c ao Num erica Restrita M eto dos de dire c oes fact veis M eto dos de p roje c ao do gradiente M eto dos de

c� PAVF ��

Programa�c�ao quadr�atica sequencial

Interpreta�c�ao

� QPk� relativo ao ponto �xk� �k�� �e equivalente a minimizara aproxima�c�ao quadr�atica da fun�c�ao lagrangeana no planotangente �as restri�c�oes

� Como as condi�c�oes sucientes de a� ordem requeremL�x�� � � em M�x�� na solu�c�ao do problema restrito�garantese que QPk est�a bem denido pr�oximo �a solu�c�ao

Restri�c�oes de desigualdade

Se o problema envolver restri�c�oes de desigualdade� ent�ao QPk

�e reescrito como

QPk � minimizar�

�dTL�xk�d�rf�xk�Td� f�xk�

s�a h�xk� �rh�xk�Td � �

g�xk� �rg�xk�Td � �

onde

L�xk� �� F �xk� �mXi��

�kiHi�xk� �

pXj��

kjGj�xk�

Dado �xk� �k� k�� k � �� resolvese QPk para obter a solu�c�ao �dk� �k��� k���� k�� � �� Se dk � �� m� Caso contr�ario� fazse xk�� � xk�dk� k �� k�� e novo QPk �e resolvido

Page 39: VF - Unicamptiago/courses/otimizacao_nao_linear/Cap8... · VF Otimiza c ao Num erica Restrita M eto dos de dire c oes fact veis M eto dos de p roje c ao do gradiente M eto dos de

c� PAVF ��

Programa�c�ao quadr�atica sequencial

Implementa�c�ao quasi�Newton

A id�eia �e substituir L�xk� pela aproxima�c�ao Bk gerada� porexemplo� pelo m�etodo BFGS�

Bk�� � Bk �qk�qk�T

�qk�Tpk�Bkp

k�pk�TBk

�pk�TBkpk

onde

pk �� xk�� � xk

qk �� rl�xk����rl�xk�

O algoritmo resultante converge superlinearmente se inicializado pr�oximo a uma solu�c�ao satisfazendo condi�c�oes sucientesde a� ordem

Fun�c�ao de m�erito

Uma fun�c�ao de m�erito �e necess�aria para garantir con�verg�encia global do algoritmo

��x� �� f�x� � c

�� mXi��

j hi�x� j �pX

j��

maxf�� gj�x�g

�� � c � �

� e f s�ao minimizadas simult�aneamente e dk �� � pode setornar uma dire�c�ao de descida para �

Page 40: VF - Unicamptiago/courses/otimizacao_nao_linear/Cap8... · VF Otimiza c ao Num erica Restrita M eto dos de dire c oes fact veis M eto dos de p roje c ao do gradiente M eto dos de

c� PAVF �

Programa�c�ao quadr�atica sequencial

Teorema

Dado xk� considere QPk com Bk � � no lugar de L�xk�� Se�dk� �k��� k���� d �� � resolve QPk e se c � maxi�j fj �

k��i j

� k��j g� ent�ao dk �e uma dire�c�ao de descida para � em xk

Algoritmo SQP

Escolha � � �� x� e B� � �� Resolva QP� com B� no lugar deL�x�� para obter d�� �� e � � �� Fa�ca k � �

while kdkk � �k �� k � ��dk� �k��� k��� � argmin ����� dTBk�x

k�d��rf�xk�Td� f�xk�

s�a h�xk� �rh�xk�Td � �g�xk� �rg�xk�Td � �

�k � argmin��� ��xk � �dk�

xk�� � xk � �kdk

pk � xk�� � xk

qk � rl�xk����rl�xk�

Bk�� � Bk �qk�qk�T

�qk�Tpk�Bkp

k�pk�TBk

�pk�TBkpk

end

Sob condi�c�oes apropriadas� converge para �x�� ��� �� satisfazendo as condi�c�oes de KuhnTucker do problema original

Page 41: VF - Unicamptiago/courses/otimizacao_nao_linear/Cap8... · VF Otimiza c ao Num erica Restrita M eto dos de dire c oes fact veis M eto dos de p roje c ao do gradiente M eto dos de

c� PAVF ��

Programa�c�ao quadr�atica sequencial

MATLAB �fmincon�

A fun�c�ao fmincon utiliza programa�c�ao quadr�atica seq�uen�cial para resolver problemas da forma

minimizar f�x�

s�a Ax � b� Aeqx � beq

c�x� � �� ceq�x� � �

lb � x � ub

x�fval� exitflag�output�lambda��fmincon�fun�x��

A�b�Aeq�Beq�lb�ub�nonlcon�options

Exemplo

minimizar �x� � x�

s�a x� � x� � �

x�� � x�� � �

function f�fex���x

f��x�� �x�� �

function c�ceq��rex���x

c�x�� ���x�� �����

ceq���

Page 42: VF - Unicamptiago/courses/otimizacao_nao_linear/Cap8... · VF Otimiza c ao Num erica Restrita M eto dos de dire c oes fact veis M eto dos de p roje c ao do gradiente M eto dos de

c� PAVF ��

Programa�c�ao quadr�atica sequencial

Solu�c�ao

x��� ��� A�� ���� b���

options�optimset��LargeScale���off� �

x�fval�exit�out�lda��fmincon��fex����x��A�b���

�������rex����options

x � ������� �������

fval � �������

exit � �

out � iterations� �

funcCount� ��

stepsize� �������e���

algorithm� �medium�scale� SQP� Quasi�Newton�

line�search�

firstorderopt� �

cgiterations� �

lda � lower� �x� double�

upper� �x� double�

eqlin� �x� double�

eqnonlin� �x� double�

ineqlin� �

ineqnonlin� ������

Page 43: VF - Unicamptiago/courses/otimizacao_nao_linear/Cap8... · VF Otimiza c ao Num erica Restrita M eto dos de dire c oes fact veis M eto dos de p roje c ao do gradiente M eto dos de

c� PAVF ��

Programa�c�ao quadr�atica sequencial

Exemplo �

Os gradientes da fun�c�ao e das restri�c�oes podem ser fornecidospelo usu�ario para maior precis�ao

minimizar ����x� � x���� � ��� x��

s�a x�� � x�� � ���

function f�G��fex���x

f�����x�� �x�� �� ������x�� ���

G������x�� �x�� �� x�� �����x�� �

����x�� �x�� �� ��

function c�ceq�Dc�Dceq��rex���x

c�x�� ���x�� �������

Dc��x�� ��x�� ��

ceq���

Dceq���

Solu�c�ao

x������ �����

options�optimset��LargeScale���off� �

options�optimset�options��GradObj���on��

�GradConstr���on� �

Page 44: VF - Unicamptiago/courses/otimizacao_nao_linear/Cap8... · VF Otimiza c ao Num erica Restrita M eto dos de dire c oes fact veis M eto dos de p roje c ao do gradiente M eto dos de

c� PAVF ��

Programa�c�ao quadr�atica sequencial

Solu�c�ao �cont�

x�fval�exit�out�lda��fmincon��fex����x�����

����������rex����options

x � ������ ������

fval � ������

exit � �

out � iterations� ��

funcCount� ��

stepsize� �

algorithm� �medium�scale� SQP� Quasi�Newton�

line�search�

firstorderopt� �

cgiterations� �

lda � lower� �x� double�

upper� �x� double�

eqlin� �x� double�

eqnonlin� �x� double�

ineqlin� �x� double�

ineqnonlin� ������

Page 45: VF - Unicamptiago/courses/otimizacao_nao_linear/Cap8... · VF Otimiza c ao Num erica Restrita M eto dos de dire c oes fact veis M eto dos de p roje c ao do gradiente M eto dos de

c� PAVF ��

M�etodos de planos de corte

Forma geral

minimizar cTx s�a x � S

c � Rn � vetor constanteS Rn � conjunto convexo fechado

Exemplo

Problemas do tipo

minimizar f�y� s�a y � R Rn

podem ser colocados como

minimizar r s�a f�y�� r � �� y � R

Denindose

x �� �r� y� � Rn��

S �� f�r� y� � Rn�� � f�y�� r � �� y � Rg

c �� ��� �� �� � � � � �� � Rn��

obt�emse o problema na forma geral

Page 46: VF - Unicamptiago/courses/otimizacao_nao_linear/Cap8... · VF Otimiza c ao Num erica Restrita M eto dos de dire c oes fact veis M eto dos de p roje c ao do gradiente M eto dos de

c� PAVF ��

M�etodos de planos de corte

Algoritmo padr�ao

Determine um politopo inicial P� tq S P� e fa�ca k � �

�� Minimize cTx em Pk obtendo xk � Pk� Se xk � S� pare�xk �e uma solu�c�ao �otima� Caso contr�ario� v�a para

� Encontre um hiperplano Hk separando xk de S� isto �e�encontre ak � Rn e bk � R tais que

S fx � �ak�Tx � bkg e xk � fx � �ak�Tx � bkg

Atualize Pk�� a partir de Pk incluindo fx � �ak�Tx � bkg�fa�ca k �� k � � e volte para �

Interpreta�c�ao

x�

x�

x�

H�

H�

S

�c

Page 47: VF - Unicamptiago/courses/otimizacao_nao_linear/Cap8... · VF Otimiza c ao Num erica Restrita M eto dos de dire c oes fact veis M eto dos de p roje c ao do gradiente M eto dos de

c� PAVF ��

M�etodos de planos de corte

Notas

� Algoritmos espec��cos diferem na maneira de determinar ohiperplano separadorHk e de obter um novo politopo Pk��

� A profundidade dos cortes �cuts� produzidos pelos Hk�snos politopos Pk�s governa a converg�encia de cada algoritmo

� Denir

Pk�� � Pk � fx � �ak�Tx � bkg

�e a melhor estrat�egia� mas agrega ao problema linear umn�umero crescente de restri�c�oes� Alguns algoritmos descartam restri�c�oes inativas no ponto corrente xk

Algoritmo de Kelley

Problema�

minimizar cTx s�a g�x� � �

onde x � Rn e gi � Rn � R� gi � C�� i � �� �� � � � � p s�aofun�c�oes convexas� Para quaisquer x� y � Rn

gi�x� � gi�y� �rgi�y�T �x� y�� i � �� �� � � � � p

Page 48: VF - Unicamptiago/courses/otimizacao_nao_linear/Cap8... · VF Otimiza c ao Num erica Restrita M eto dos de dire c oes fact veis M eto dos de p roje c ao do gradiente M eto dos de

c� PAVF ��

M�etodos de planos de corte

Algoritmo Kelley

Seja S �� fx � Rn � g�x� � �g e P� tal que a S P� eb cTx �e limitada em P�� Fa�ca k � �

while max��j�p fgj�xk�g � �

i � argmax��j�p fgj�xk�g

Pk�� � Pk � fx � gi�xk� �rgi�xk�T �x� xk� � �g

xk�� � argmin cTx s�a x � Pk��

k �� k � �endx� � xk

Notas

� Um novo semiespa�co �e gerado se rgi�xk� �� �� rgi�x

k� �� implicaria que xk minimiza gi com gi�x

k� � � e neste casoS � �

� O semiespa�co gerado cont�em S� uma vez que se g�x� � ��ent�ao

gi�xk� �rgi�x

k�T �x� xk� � gi�x� � �

O semiespa�co gerado n�ao cont�em xk� pois gi�xk� � �

Page 49: VF - Unicamptiago/courses/otimizacao_nao_linear/Cap8... · VF Otimiza c ao Num erica Restrita M eto dos de dire c oes fact veis M eto dos de p roje c ao do gradiente M eto dos de

c� PAVF ��

M�etodos de planos de corte

Teorema

Sejam gi � Rn � R� i � �� �� � � � � p fun�c�oes convexas dife

renci�aveis� Qquer ponto limite da seq�u�encia �xk� gerada peloalgoritmo de Kelley �e uma solu�c�ao do problema original

Notas

� Luenberger ������ apresenta o resultado preliminar de quese x� �e a solu�c�ao �otima� ent�ao

kxk � x�k� � c�k

para alguma constante c �converg�encia aritm�etica�

� Sugere que a converg�encia pode ser geom�etrica� mas comtaxa tendendo a � a medida que a dimens�ao do problemaaumenta

� Restri�c�oes inativas podem ser eliminadas para reduzir acomplexidade do problema� O efeito do descarte sobre ataxa de converg�encia n�ao �e conhecido

Page 50: VF - Unicamptiago/courses/otimizacao_nao_linear/Cap8... · VF Otimiza c ao Num erica Restrita M eto dos de dire c oes fact veis M eto dos de p roje c ao do gradiente M eto dos de

c� PAVF �

M�etodos duais

Problema dual

maximizar ��� s�a � � �

onde

��� � minx��

l�x� ��

� minx��

f�x� � �Tg�x�

Teorema

Suponha que � Rn �e compacto e que f� g�� g�� � � � � gp s�aocont��nuas em �� Se x� �e o �unico m��nimo de l�x� ��� em ��ent�ao r ���� � g�x��

Gradiente projetado

Uma dire�c�ao de subida baseada na proje�c�ao de r ��k� em� � f� � Rp � � � �g pode ser denida como� para i ��� �� � � � � p

dki ��

����������������

�i��k�� se �ki � �

max���

�i��k�

� se �ki � �

Page 51: VF - Unicamptiago/courses/otimizacao_nao_linear/Cap8... · VF Otimiza c ao Num erica Restrita M eto dos de dire c oes fact veis M eto dos de p roje c ao do gradiente M eto dos de

c� PAVF ��

M�etodos duais

Algoritmo Gradiente Dual

Escolha � � �� Determine �� � �� x� �� argminx��

l�x� ��� e d��

Fa�ca k � �

while kdkk � ��k � argmax������ ��k � �dk��k�� � �k � �kd

k

xk�� � argminx�� l�x� �k���

dk��i �

��������gi�x

k���� se �k��i � �

maxf�� gi�xk���g� se �k��i � �i � �� �� � � � � p

k �� k � �end�� � �k� x� � xk

Notas

� N�ao requer x� fact��vel primal �x� � �� apenas�� C�alculosde ��k� e r ��k� exigem minimiza�c�ao de l�x� �k� em �

� Em geral� a determina�c�ao de �k �e dk� demanda consider�avel esfor�co e exige um m�etodo de busca linear eciente

� O problema lagrangeano �e mais simples do que o problema primal� A eci�encia da maximiza�c�ao de em � est�aassociada �a eci�encia da minimiza�c�ao de l em �

Page 52: VF - Unicamptiago/courses/otimizacao_nao_linear/Cap8... · VF Otimiza c ao Num erica Restrita M eto dos de dire c oes fact veis M eto dos de p roje c ao do gradiente M eto dos de

c� PAVF ��

M�etodos duais

Lineariza�c�ao externa

Suponha que para cada �i� i � �� �� � � � � k� obt�emse

�i �� g�xi�

onde xi � argminx�� l�x� �i�

Aproxima�c�ao de �

k��� � min��i�k

ff�xi� � ��i�T�g

� ��� �� ��

��

��

��

��� k���

Note que ��i� � k��i� para i � �� �� � � � � k e que ��� �

k��� para todo � � �� k �e uma lineariza�c�ao externa deordem k para

Page 53: VF - Unicamptiago/courses/otimizacao_nao_linear/Cap8... · VF Otimiza c ao Num erica Restrita M eto dos de dire c oes fact veis M eto dos de p roje c ao do gradiente M eto dos de

c� PAVF ��

M�etodos duais

Aproxima�c�ao do dual

maximizar k��� s�a � � �

�e equivalente ao problema linear

maximizar �

s�a � � f�xi� � ��i�T�� i � �� �� � � � � k

� � �� � � R

Notas

� A solu�c�ao do problema aproximado gera �k��� que gera�k�� � g�xk���� xk�� � argminx�� l�x� �k���� � � �

� Sejam � e �k os valores �otimos dos problemas dual e aproximado� Ent�ao �k � � para todo k

� A solu�c�ao do problema aproximado converge para a solu�c�ao do dual quando �k � ��k� � �� para � � � pequeno

� O vetor �i � g�xi� � Rp �e um subgradiente de em �i�pois para todo � � ��

��� � ��i� � ��i�T ��� �i�

Page 54: VF - Unicamptiago/courses/otimizacao_nao_linear/Cap8... · VF Otimiza c ao Num erica Restrita M eto dos de dire c oes fact veis M eto dos de p roje c ao do gradiente M eto dos de

c� PAVF ��

M�etodos duais

Algoritmo Lineariza�c�ao Externa

Escolha � � �� Determine �� � �� x� �� argminx��

l�x� ����

�� � g�x��� Fa�ca �k � ��� k � �� e k � �

while �k � k � �

��k��� �k��� � argmax �s�a � � f�xi� � ��i�T�� i � �� �� � � � � k

� � �� � � R

xk�� � argminx�� l�x� �k����k�� � g�xk��� k�� � l�xk��� �k���k �� k � �

end�� � �k� x� � xk

Notas

� Como nos algoritmos de planos de corte� n�ao exige buscasunidimensionais nem c�alculos de dire�c�oes

� Exige a solu�c�ao de um problema linear com p�� vari�aveis�a cada itera�c�ao uma nova restri�c�ao �cut� �e incorporada

� Elimina�c�ao de restri�c�oes inativas evita que o problema linearcres�ca muito� mas o impacto da elimina�c�ao na taxa deconverg�encia do algoritmo n�ao �e conhecido

Page 55: VF - Unicamptiago/courses/otimizacao_nao_linear/Cap8... · VF Otimiza c ao Num erica Restrita M eto dos de dire c oes fact veis M eto dos de p roje c ao do gradiente M eto dos de

c� PAVF ��

FIM