condi otimalidade e dualidade problematiago/courses/otimizacao_nao... · dualidade problema geral...

44

Upload: others

Post on 18-Jan-2021

1 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: Condi otimalidade e dualidade Problematiago/courses/otimizacao_nao... · dualidade Problema geral de otimiza c ao Restri c oes de igualdade Restri c oes de desigualdade Restri c oes

c� PAVF �

Condi�c�oes de otimalidade e dualidade

� Problema geral de otimiza�c�ao

� Restri�c�oes de igualdade

� Restri�c�oes de desigualdade

� Restri�c�oes mistas

� Condi�c�oes de Kuhn�Tucker

� An�alise de sensibilidade

� Dualidade

Page 2: Condi otimalidade e dualidade Problematiago/courses/otimizacao_nao... · dualidade Problema geral de otimiza c ao Restri c oes de igualdade Restri c oes de desigualdade Restri c oes

c� PAVF �

Problema geral de otimiza�c�ao

Problema geral

minimizar f�x�

s�a h�x� � �

g�x� � �

x � �

f � Rn � R

h � Rn � Rm� h �� �h�� h�� � � � � hm�

g � Rn � Rp� g �� �g�� g�� � � � � gp�

Notas

� h�x� � � e g�x� � � s�ao restri�c�oes funcionais� x � ��e uma restri�c�ao de conjunto� Se x satisfaz todas asrestri�c�oes� ent�ao x �e fact��vel

� Uma restri�c�ao gi�x� � � est�a ativa num ponto fact��vel xse gi�x� � � e inativa se gi�x� � �

� Dire�c�oes fact��veis� assim como as condi�c�oes de otimali�dade �local e global do problema� s�ao determinadas uni�camente pelas restri�c�oes ativas

� Condi�c�oes para problemas com restri�c�oes de igualdadeh�x� � � s�ao fundamentais� Estudo apoiado nos conceitosde plano e subespa�co tangente

Page 3: Condi otimalidade e dualidade Problematiago/courses/otimizacao_nao... · dualidade Problema geral de otimiza c ao Restri c oes de igualdade Restri c oes de desigualdade Restri c oes

c� PAVF �

Restri�c�oes de igualdade

Interpreta�c�ao geom�etrica

Considere a superf��cie S �� fx � R� � h�x� � �g� ondeh � R� � R� Assuma que h � C�

Subespa�co tangente em x�

M�x�� �� fy � Rn � rh�x��Ty � �g

Plano tangente em x�

T �x�� �� fx�g�M�x��

x�

x�

x�

M�x��

T �x��

S

rh�x��

rh�x��

x�

Page 4: Condi otimalidade e dualidade Problematiago/courses/otimizacao_nao... · dualidade Problema geral de otimiza c ao Restri c oes de igualdade Restri c oes de desigualdade Restri c oes

c� PAVF �

Restri�c�oes de igualdade

Hipersuperf��cie

O conjunto de restri�c�oes de igualdade h��x� � �� h��x� ��� � � � � hm�x� � � determina uma hipersuperf��cie S � Rn�Assume�se que hi � C�� i � �� �� � � � �m

Subespa�co tangente

M�x��� o subsespa�co tangente a S em x�� �e o conjun�to das derivadas em x� de todas as curvas diferenci�aveis quepassam por x�

T �x��

S

rh�x��

x�

x�t�

Ponto regular

x� � S �e um ponto regular se

frh��x���rh��x��� � � � �rhm�x��g

�e um conjunto linearmente independente

Page 5: Condi otimalidade e dualidade Problematiago/courses/otimizacao_nao... · dualidade Problema geral de otimiza c ao Restri c oes de igualdade Restri c oes de desigualdade Restri c oes

c� PAVF �

Restri�c�oes de igualdade

Teorema

Num ponto regular x� � S �� fx � Rn � h�x� � �g� osubespa�co tangente �e representado por

M�x�� � fy � Rn � rh�x��y � �g

onde rh�x�� �e a matriz Jacobiana de h em x�� �Num pontoregular x� � S� rank �rh�x��� � m

T �x��

Srh��x��

rh��x��

h��x� � �

h��x� � �

x�

Nota

Se x� � S �e um ponto regular e x � �a� b�� S �e uma curvadiferenci�avel sobre S passando por x� �x�t�� � x� para algumt� � �a� b�� ent�ao y �� x��t�� �e ortogonal a rh�x��

Page 6: Condi otimalidade e dualidade Problematiago/courses/otimizacao_nao... · dualidade Problema geral de otimiza c ao Restri c oes de igualdade Restri c oes de desigualdade Restri c oes

c� PAVF �

Restri�c�oes de igualdade

Lema

Seja x� � S um ponto regular e ao mesmo tempo um extremolocal �m��nimo ou m�aximo de f sujeito a x � S� Ent�ao todoy � Rn que satisfaz

rh�x��y � �

tambem satisfaz

rf�x��Ty � �

Prova� Seja y tal que rh�x��y � �� Como x� �e regular� y �M�x�� e ent�ao existe uma curva diferenci�avel x � �a� b� � Stal que x�t�� � x� e x��t�� � y� com t� � �a� b�� Como x� �eum extremo local�

d

dtf�x�t�� jt�t�� rf�x��Tx��t�� � rf�x��Ty � �

Nas condi�c�oes do Lema� rf�x�� �M�x�� �

Nota

Os extremos locais de f em S s�ao caracterizados atrav�esdos extremos locais de g�t� �� f�x�t��� onde x � �a� b� �S �e qualquer curva diferenci�avel passando por x�� Se x� �x�t��� t� � �a� b�� ent�ao g��t�� � �

Page 7: Condi otimalidade e dualidade Problematiago/courses/otimizacao_nao... · dualidade Problema geral de otimiza c ao Restri c oes de igualdade Restri c oes de desigualdade Restri c oes

c� PAVF �

Restri�c�oes de igualdade

Subespa�cos Nulo e Range

Seja A � Rm�n� O subespa�co nulo de A �e denido como

N �A� �� fx � Rn � Ax � �g

O subespa�co range de A �e denido como

R�A� �� fy � Rm � y � Ax� x � Rng

Teorema

N �A� � R�AT �

Prova� Sejam x � N �A� e y � R�AT �� Ent�ao

xTy � xT �ATv� � vTAx para algum v � Rm

Consequentemente� xTy � � para todos x � N �A� e y �R�AT �� Logo N �A� � R�AT � �

Teorema

Dada qualquer matriz A � Rm�n� rank �A� � m� qualquervetor z � Rn pode ser escrito como z � x� y� onde x � N �A�e y � R�AT �

Page 8: Condi otimalidade e dualidade Problematiago/courses/otimizacao_nao... · dualidade Problema geral de otimiza c ao Restri c oes de igualdade Restri c oes de desigualdade Restri c oes

c� PAVF �

Restri�c�oes de igualdade

Teorema � Condi�c�oes necess�arias de �a� ordem �f� h � C�

Seja x� um m��nimo local de f sujeito a x � S e um pontoregular de S� Ent�ao existe um vetor � � Rm tal que

rf�x�� �mXi��

�irhi�x�� � rf�x�� �rh�x��T� � �

Prova� Pelo Lema� rf�x�� � M�x��� isto �e� rf�x�� �N �rh�x���� Portanto� rf�x�� � R�rh�x��T �� ou seja� existeum vetor � � Rm tal que

rf�x�� �rh�x��T� � �

Nota

� rf�x�� �e uma combina�c�ao linear dos gradientes das res�tri�c�oes� � � ���� ��� � � � � �m� �e chamado de vetor de mul�tiplicadores de Lagrange

Fun�c�ao lagrangeana

A fun�c�ao lagrangeana l � Rn � Rm � R associada aoproblema de minimizar f sujeito a x � S �e denida como

l�x� �� �� f�x� � �Th�x�

Page 9: Condi otimalidade e dualidade Problematiago/courses/otimizacao_nao... · dualidade Problema geral de otimiza c ao Restri c oes de igualdade Restri c oes de desigualdade Restri c oes

c� PAVF �

Restri�c�oes de igualdade

Notas

� rf�x��rh�x�T� � � e h�x� � � constituem um sistema�em geral n�ao�linear de n�m equa�c�oes e n�m inc�ognitas

� Condi�c�oes necess�arias via lagrangeana� rxl�x� �� � � er�l�x� �� � �

Exemplo �

maximizar x�x� s�a �x� � �x� � p

� Lagrangeana� l�x� �� � x�x� � ���x� � �x� � p�

� Condi�c�oes necess�arias�

�l�x� ��

�x�� x� � �� � �

�l�x� ��

�x�� x� � �� � �

�l�x� ��

��� �x� � �x� � p � �

Resolvendo o sistema� ��� �� p � � implica �� � �p�e x�� � x�� � p� �

Page 10: Condi otimalidade e dualidade Problematiago/courses/otimizacao_nao... · dualidade Problema geral de otimiza c ao Restri c oes de igualdade Restri c oes de desigualdade Restri c oes

c� PAVF �

Restri�c�oes de igualdade

Exemplo � �a � �

maximizar x�x�x� s�a x�x� � x�x� � x�x� � a��

� Lagrangeana�

l�x� �� � x�x�x� � ��x�x� � x�x� � x�x� � a���

� Condi�c�oes necess�arias�

�l�x� ����x� � x�x� � ��x� � x�� � � ���

�l�x� ����x� � x�x� � ��x� � x�� � � ���

�l�x� ����x� � x�x� � ��x� � x�� � � ���

�l�x� ����� � x�x� � x�x� � x�x� � a�� � � ��

Somando �� �� �� e usando ���

x�x� � x�x� � x�x� � ���x� � x� � x�� � �

a�� � ���x� � x� � x�� � �

implicam que � �� � e que portanto x� �� �� x� �� �� x� �� ��Fazendo ���x� menos ���x��

��x� � x��x� � � x� � x�

De modo an�alogo� ��x� � x��x� � � x� � x� e conse�quentemente x�� � x�� � x�� �

qa�� �

Page 11: Condi otimalidade e dualidade Problematiago/courses/otimizacao_nao... · dualidade Problema geral de otimiza c ao Restri c oes de igualdade Restri c oes de desigualdade Restri c oes

c� PAVF ��

Restri�c�oes de igualdade

Teorema � Condi�c�oes necess�arias de �a� ordem �f� h � C�

Seja x� um m��nimo local de f em S e um ponto regular deS� Ent�ao existe � � Rm tal que

rf�x�� �mXi��

�irhi�x�� � �

e a matriz Hessiana

L�x�� � F �x�� �mXi��

�iHi�x��

�e semi�denida positiva em M�x��� isto �e� yTL�x��y � paratodo y �M�x��

Prova� Se x� � x�t�� �e um m��nimo local de f em S� ent�ao

d

dt

�d

dtf�x�t��

�jt�t�

� x��t��TF �x��x��t�� �rf�x��Tx���t�� �

Do mesmo modo�

d�

dt�

�� mXi��

�ihi�x�t��

�Ajt�t�

� x��t��T�� mXi��

�iHi�x��

�Ax��t���

�� mXi��

�irhi�x���AT

x���t�� � �

Page 12: Condi otimalidade e dualidade Problematiago/courses/otimizacao_nao... · dualidade Problema geral de otimiza c ao Restri c oes de igualdade Restri c oes de desigualdade Restri c oes

c� PAVF ��

Restri�c�oes de igualdade

Somando as rela�c�oes membro�a�membro�

x��t��T��F �x�� �

mXi��

�iHi�x��

��x��t���

��rf�x�� � mXi��

�irhi�x����T x���t�� �

Portanto� para todo x��t�� �� y �M�x���

x��t��TL�x��x��t�� �

Teorema � Condi�c�oes sucientes de �a� ordem �f� h � C�

Seja x� um ponto regular de S que satisfaz as condi�c�oesnecess�arias de �a� ordem� Se L�x�� �e denida positiva emM�x��� ent�ao x� �e um m��nimo local estrito de f em S

Exemplo

maximizar x�x� � x�x� � x�x� s�a x� � x� � x� � �

� Lagrangeana�

l�x� �� � x�x� � x�x� � x�x� � ��x� � x� � x� � ��

Page 13: Condi otimalidade e dualidade Problematiago/courses/otimizacao_nao... · dualidade Problema geral de otimiza c ao Restri c oes de igualdade Restri c oes de desigualdade Restri c oes

c� PAVF ��

Restri�c�oes de igualdade

� Condi�c�oes de �a� ordem�

�l�x� ����x� � x� � x� � � � �

�l�x� ����x� � x� � x� � � � �

�l�x� ����x� � x� � x� � � � �

�l�x� ����� � x� � x� � x� � � � �

Solu�c�ao� x�� � x�� � x�� � �� �� � ��

� Condi�c�oes de a� ordem �H�x� � �

L�x�� � F �x�� �

��� � �� � �� � �

�� Indenida

� Subespa�co tangente�

M�x�� � fy � R� � y� � y� � y� � �g

Para todo y �M�x��� y �� ��

yTL�x��y � y��y� � y�� � y��y� � y�� � y��y� � y�� �

� ��y�� � y�� � y��� � �

Portanto� L�x�� � � em M�x�� e x� �e um m�aximo localestrito de f em S �

Page 14: Condi otimalidade e dualidade Problematiago/courses/otimizacao_nao... · dualidade Problema geral de otimiza c ao Restri c oes de igualdade Restri c oes de desigualdade Restri c oes

c� PAVF ��

Restri�c�oes de desigualdade

Problema

minimizar f�x� s�a x � G �� fx � Rn � g�x� � �g

f � Rn � R� f � C�g � Rn � Rp� g � �g�� g�� � � � � gp�

gi � Rn � R� gi � C�

Restri�c�ao ativa

Uma restri�c�ao gi�x� � � est�a ativa num ponto fact��vel x� segi�x

�� � � e inativa se gi�x�� � �

Interpreta�c�oes

x�

g��x� � �

g��x� � �

g��x� � �

Se gi�x�� � �� i � �� �� � e se x� �e um m��nimo local de f

s�a x � G� ent�ao rf�x�� � �

Page 15: Condi otimalidade e dualidade Problematiago/courses/otimizacao_nao... · dualidade Problema geral de otimiza c ao Restri c oes de igualdade Restri c oes de desigualdade Restri c oes

c� PAVF ��

Restri�c�oes de desigualdade

x�

g��x� � �

g��x� � �

g��x� � �

rg��x��

rf�x��

Se g��x�� � �� g��x

�� � �� g��x�� � �� ent�ao existe �� �

tal que rf�x�� � ��rg��x�� � �

x�

g��x� � �

g��x� � �

g��x� � �

rg��x��rg��x��

rf�x��

Se g��x�� � g��x

�� � �� g��x�� � �� ent�ao existem ��

�� �� � tais que rf�x�� � ��rg��x�� � ��rg��x�� � �

Page 16: Condi otimalidade e dualidade Problematiago/courses/otimizacao_nao... · dualidade Problema geral de otimiza c ao Restri c oes de igualdade Restri c oes de desigualdade Restri c oes

c� PAVF ��

Restri�c�oes de desigualdade

Teorema � Condi�c�oes necess�arias de �a� ordem �f� g � C�

Seja x� um m��nimo local de f sujeito a x � G e I�x�� ��fi � gi�x

�� � �g� Assuma que frgi�x��� i � I�x��g �e LI�Ent�ao existe um vetor � � Rp� � � tal que

�igi�x�� � �� i � �� �� � � � � p

rf�x�� �pX

i��

�irgi�x�� � �

Prova� Se d �e uma dire�c�ao fact��vel em x�� deve existir � � �tal que

gi�x� � �d� � �� i � I�x��

para � � � � �� Em s�erie de Taylor�

gi�x�� � �rgi�x��Td� o��� � �� i � I�x��

Para � � � sucientemente pequeno�

rgi�x��Td � �� i � I�x��

e se d �e fact��vel em x�� ent�ao d � D�x��� onde

D�x�� �� fd � Rn � rgi�x��Td � �� i � I�x��g

Page 17: Condi otimalidade e dualidade Problematiago/courses/otimizacao_nao... · dualidade Problema geral de otimiza c ao Restri c oes de igualdade Restri c oes de desigualdade Restri c oes

c� PAVF ��

Restri�c�oes de desigualdade

Nota

A condi�c�ao d � D�x�� �e necess�aria� Considere por exemplox� � ��� ���

g��x� � �x� � �

g��x� � �x� � �

g��x� � ���� x��� � x� � �

x�

x� � ��� x���

rg��x��rg��x��

rg��x��

Se x� � ��� ��� ent�ao I�x�� � f�� �g� Logo�

rg��x��Td � �d� � �� rg��x��Td � �d� � �

A dire�c�ao d � �d�� d�� � ��� �� satisfaz d � D�x��� mas oponto x� � �d �e infact��vel para qquer � � �

Page 18: Condi otimalidade e dualidade Problematiago/courses/otimizacao_nao... · dualidade Problema geral de otimiza c ao Restri c oes de igualdade Restri c oes de desigualdade Restri c oes

c� PAVF ��

Restri�c�oes de desigualdade

Quali�ca�c�ao de restri�c�oes

A condi�c�ao d � D�x�� �e necess�aria e suciente sob a seguintequalica�c�ao de restri�c�oes�

frgi�x��� i � I�x��g LI

Sob qualica�c�ao de restri�c�oes� se x� minimiza localmente fs�a x � G� ent�ao

rf�x��Td �

para todo d � D�x��

Lema de Farkas

Seja fv�� v�� � � � � vrg um conjunto qualquer de vetores� Ent�aoexistem escalares i �� i � �� �� � � � � r tais que

v �rX

i��

ivi

se e somente se vTd � para todo d tal que

�vi�Td �� i � �� �� � � � � r

Page 19: Condi otimalidade e dualidade Problematiago/courses/otimizacao_nao... · dualidade Problema geral de otimiza c ao Restri c oes de igualdade Restri c oes de desigualdade Restri c oes

c� PAVF ��

Restri�c�oes de desigualdade

Interpreta�c�ao

v�

v�

v � �v� � �v

�d

Seja f�rgi�x��� i � I�x��g� Ent�ao existem �i �� i �I�x�� tais que

rf�x�� � Xi�I�x��

�i��rgi�x���

se e somente se

rf�x��Td �

para todo d � D�x��� Denindo �i �� � se i �� I�x��� segueent�ao que

�igi�x�� � �� i � �� �� � � � � p

rf�x�� �pX

i��

�irgi�x�� � �

Page 20: Condi otimalidade e dualidade Problematiago/courses/otimizacao_nao... · dualidade Problema geral de otimiza c ao Restri c oes de igualdade Restri c oes de desigualdade Restri c oes

c� PAVF �

Restri�c�oes mistas

Problema

minimizar f�x� s�a x � S � G

f � Rn � R

S �� fx � Rn � h�x� � �gG �� fx � Rn � g�x� � �g

Ponto regular

x� � S � G �e um ponto regular se

frhj�x��� j � �� �� � � � �mg � frgi�x��� i � I�x��g

�e um conjunto LI

Teorema � Condi�c�oes necess�arias de �a� ordem �f� h� g � C�

Se x� �e um m��nimo local de f sujeito a x � S � G e umponto regular� ent�ao existem vetores � � Rm e � � Rp� � �tais que

�igi�x�� � �� i � �� �� � � � � p

rf�x�� �mXj��

�jrhj�x�� �pX

i��

�irgi�x�� � �

Page 21: Condi otimalidade e dualidade Problematiago/courses/otimizacao_nao... · dualidade Problema geral de otimiza c ao Restri c oes de igualdade Restri c oes de desigualdade Restri c oes

c� PAVF ��

Restri�c�oes mistas

Teorema � Condi�c�oes necess�arias de �a� ordem �f� h� g � C�

Se x� �e um m��nimo local de f sujeito a x � S � G e umponto regular� ent�ao existem vetores � � Rm e � � Rp� � �tais que

L�x�� � F �x�� �mXj��

�jHj�x�� �

pXi��

�iGi�x��

�e semi�denida positiva no subespa�co tangente �as restri�c�oes ati�vas em x�

Teorema � Condi�c�oes sucientes de �a� ordem �f� h� g � C�

Seja x� um ponto regular de S � G� Ent�ao x� �e um m��nimolocal estrito de f sujeito a x � S�G se existem vetores � � Rm

e � � Rp� � � tais que

�igi�x�� � �� i � �� �� � � � � p

rf�x�� �mXj��

�jrhj�x�� �pX

i��

�irgi�x�� � �

e se L�x�� � F �x�� �mXj��

�jHj�x�� �

pXi��

�iGi�x�� �e denida

positiva em

gM�x�� �� fy � Rn � rhj�x��Ty � �� j � �� �� � � � �m e

rgi�x��Ty � � p� i � gi�x�� � � e �i � �g

Page 22: Condi otimalidade e dualidade Problematiago/courses/otimizacao_nao... · dualidade Problema geral de otimiza c ao Restri c oes de igualdade Restri c oes de desigualdade Restri c oes

c� PAVF ��

Condi�c�oes de Kuhn�Tucker

Notas

� Condi�c�oes de otimalidade que envolvam restri�c�oes de desi�gualdade s�ao chamadas de Condi�c�oes de �Karush��Kuhn�Tucker

� Em princ��pios� as condi�c�oes de primeira ordem podem serresolvidas�

Vari�aveis� x �n�� � �m�� � �p�

Equa�c�oes�

�m� h�x� � �

�p� �igi�x� � �� i � �� �� � � � � p

�n� rxl�x� �� �� � �

� As condi�c�oes de �a� ordem podem ent�ao ser usadas paraanalisar a natureza dos pontos que resolvem o sistema deequa�c�oes

� A resolu�c�ao �e complicada pela condi�c�ao de complemen�tariedade �igi�x� � �� onde �i � se gi�x� � � e �i � �se gi�x� � � para i � �� �� � � � � p

� Se gi�x�� � � e �i � �� diz�se que gi est�a fortemente

ativa em x�� se �i � gi�x�� � �� ent�ao gi est�a fracamente

ativa ou degenerada em x�

Page 23: Condi otimalidade e dualidade Problematiago/courses/otimizacao_nao... · dualidade Problema geral de otimiza c ao Restri c oes de igualdade Restri c oes de desigualdade Restri c oes

c� PAVF ��

Condi�c�oes de Kuhn�Tucker

x�

f

Fortemente ativa

� � �� g�x�� � �

x�f

Fracamente ativa

� � �� g�x�� � �

x�

f

Inativa

� � �� g�x�� � �

Page 24: Condi otimalidade e dualidade Problematiago/courses/otimizacao_nao... · dualidade Problema geral de otimiza c ao Restri c oes de igualdade Restri c oes de desigualdade Restri c oes

c� PAVF ��

Condi�c�oes de Kuhn�Tucker

Formula�c�ao convexa

As condi�c�oes de Kuhn�Tucker s�ao necess�arias e sucientespara formula�c�oes convexas

minimizar f�x� s�a x � S � G

S � G � conjunto convexo

f � fun�c�ao convexa em S � G

Teorema �Suci�encia das CK�T

Assuma que

a� hj � j � �� �� � � � �m� ans

b� gi� i � �� �� � � � � p� convexas

c� f convexa em S � G

Se x� �e um ponto regular que satisfaz as condi�c�oes de Kuhn�Tucker de �a� ordem� isto �e� existem vetores � � Rm e � �Rp� � � tais que

�igi�x�� � �� i � �� �� � � � � p

rf�x�� �mXj��

�jrhj�x�� �pX

i��

�irgi�x�� � �

ent�ao x� �e um m��nimo global de f em S � G

Page 25: Condi otimalidade e dualidade Problematiago/courses/otimizacao_nao... · dualidade Problema geral de otimiza c ao Restri c oes de igualdade Restri c oes de desigualdade Restri c oes

c� PAVF ��

Condi�c�oes de Kuhn�Tucker

Prova� Considere hj�x� � ajx � bj� onde aj � R��n� bj �R� j � �� �� � � � �m� Para qquer d fact��vel em x� e qquer � � ��

hj�x� � �d� � aj�x� � �d�� bj � �� j � �� �� � � � �m

ou seja� ajd � �� j � �� �� � � � �m� Como d �e fact��vel se esomente se

rgi�x��Td � �� i � I�x��

pois x� �e um ponto regular� p�os�multiplicandorxlT por d � Rn�

obt�em�se

rf�x��Td�mXj��

�j�aj�d�

pXi��

�irgi�x��Td � �

e ent�ao

rf�x��Td � �pX

i��

�irgi�x��Td �

para qquer d fact��vel� condi�c�ao necess�aria para m��nimo local

Como f �e convexa em S � G �h�s lineares� g�s convexas� acondi�c�ao tamb�em �e suciente� x� �e um m��nimo local �globalde f em S � G �

Page 26: Condi otimalidade e dualidade Problematiago/courses/otimizacao_nao... · dualidade Problema geral de otimiza c ao Restri c oes de igualdade Restri c oes de desigualdade Restri c oes

c� PAVF ��

An�alise de sensibilidade

Problema param�etrico

minimizar f�x� s�a h�x� � c� g�x� � b

onde c � Rm e b � Rp� Assuma que

�� Para c � � e b � � existem vetores x� �ponto regular� �e � � satisfazendo as condi�c�oes de segunda ordem param��nimo local estrito

�� Nenhuma restri�c�ao ativa em x� �e degenerada� isto �e�

�i � � se gi�x�� � �� i � I�x��

Ent�ao

�� Para cada �c� b� � Rm�p numa regi�ao contendo ��� ��� exis�te uma fun�c�ao cont��nua x�c� b� tal que x��� �� � x�

�� A solu�c�ao x�c� b� �e um m��nimo local de f sujeito a h�x� �c� g�x� � b

��

rcf�x�c� b��j����� � ��

rbf�x�c� b��j����� � ��

Page 27: Condi otimalidade e dualidade Problematiago/courses/otimizacao_nao... · dualidade Problema geral de otimiza c ao Restri c oes de igualdade Restri c oes de desigualdade Restri c oes

c� PAVF ��

An�alise de sensibilidade

Restri�c�ao ativa

Neste caso� � � � e

rbf�x�b�� � �� � �

isto �e� f decresce se b aumenta e vice�versa

f

g�x� � b

g�x� � �

g�x� � �b

Restri�c�ao inativa

Neste caso� � � � e

rbf�x�b�� � �

isto �e� f �e invariante com b

Page 28: Condi otimalidade e dualidade Problematiago/courses/otimizacao_nao... · dualidade Problema geral de otimiza c ao Restri c oes de igualdade Restri c oes de desigualdade Restri c oes

c� PAVF ��

Exemplos

Exemplo � � Solu�c�ao de norma m��nima

minimizar�

�kxk�� s�a Ax � b

onde A � Rm�n� rank �A� � m� b � Rm

� Fun�c�ao lagrangeana�

l�x� �� ��

�xTx� �T �Ax� b�

� Condi�c�oes necess�arias�

�l

�x� x� AT� � � x � �AT�

�l

��� Ax� b � �

Solu�c�ao�

� � ��AAT ���b� x� � A�b

onde A� �� AT �AAT ��� �e a pseudo�inversa de A

As condi�c�oes s�ao tamb�em sucientes pois a formula�c�ao �econvexa� x� �e um m��nimo global �estrito� �

Page 29: Condi otimalidade e dualidade Problematiago/courses/otimizacao_nao... · dualidade Problema geral de otimiza c ao Restri c oes de igualdade Restri c oes de desigualdade Restri c oes

c� PAVF ��

Exemplos

Exemplo � Condi�c�oes sucientes de �a� ordem

maximizar x�x� s�a �x� � �x� � p

As condi�c�oes de �a� ordem fornecem x�� � x�� � p�

� Hessiana da lagrangeana�

L�x�� �

�� � �� �

��� Subespa�co tangente�

M�x�� � fy � y� � y� � �g

Para todo y �M�x��� y �� ��

yTL�x��y � y�y� � y�y� � �y�� � y�� � �

e portanto x�� � x�� � p� �e um m�aximo local estrito �

Exemplo � � Condi�c�oes de Kuhn�Tucker

minimizar �x� � x� s�a x�� � x�� � �� x� � x� � �

Page 30: Condi otimalidade e dualidade Problematiago/courses/otimizacao_nao... · dualidade Problema geral de otimiza c ao Restri c oes de igualdade Restri c oes de desigualdade Restri c oes

c� PAVF �

Exemplos

� Lagrangeana�

l�x� �� � �x� � x� � ���x�� � x�� � �� � ���x� � x� � ��

� Condi�c�oes de �a� ordem�

�� �� �� �� �

�� x�� � x�� � �� x� � x� � �

�� ���x�� � x�� � �� � �� ���x� � x� � �� � �

�� � � ���x� � ��� � ���x� � ��

�� ��� ��

��

� Hip�otese � � Restri�c�oes ativas

x�� � x�� � � � �� �� �

x� � x� � � � �� �� �

x� � � � x� �x� � ��� � x�� � � � �

x�� � x� � � � �

� Solu�c�oes� a� �x�� x�� � ��� �� e b� �x�� x�� � �������

� Substituindo em �� obt�em�se a� �� � ����� �� � ����e b� �� � ���� �� � ����� as restri�c�oes n�ao podem estarsimult�aneamente ativas

Page 31: Condi otimalidade e dualidade Problematiago/courses/otimizacao_nao... · dualidade Problema geral de otimiza c ao Restri c oes de igualdade Restri c oes de desigualdade Restri c oes

c� PAVF ��

Exemplos

� Hip�otese � Apenas x�� � x�� � � � � ativa

x�� � x�� � � � �� �� �

x� � x� � � � �� �� � �

Da condi�c�ao � �com �� � ��

x� � ��������� x� � ��������

e levando em conta que x�� � x�� � � � �� obt�em�se

�� �p��� � �� x� � ��p���� x� � �p���

A Hip�otese � �e verdadeira�

x� � x� � ��p��� �p��� � � ��� � ��

Conclui�se que x� � ���p�����p���� satisfaz as con�di�c�oes de �a� ordem de Kuhn�Tucker� Como a formula�c�ao �econvexa� x� �e um m��nimo global de f sujeito �as restri�c�oes

Note que

rf�x�� ��� ��

�� � ��p����

�� ��p�

�p�

�� � ���rg��x��

Page 32: Condi otimalidade e dualidade Problematiago/courses/otimizacao_nao... · dualidade Problema geral de otimiza c ao Restri c oes de igualdade Restri c oes de desigualdade Restri c oes

c� PAVF ��

Exemplos

� Interpreta�c�ao

� �

��

�x� � x� � � � �

x�

x�� � x�� � � � �

x� � x� � � � �

rfrg�

p��p�

x�

x�

� An�alise de sensibilidade

Considere

x�� � x�� � b�

x� � x� � b�

Neste caso�

�f

�b��x�b�� jb��� �p���

�f

�b��x�b�� jb���� �

Page 33: Condi otimalidade e dualidade Problematiago/courses/otimizacao_nao... · dualidade Problema geral de otimiza c ao Restri c oes de igualdade Restri c oes de desigualdade Restri c oes

c� PAVF ��

Dualidade

Motiva�c�ao

Sob hip�oteses de convexidade e de qualica�c�ao de restri�c�oes�e poss��vel caracterizar as solu�c�oes de problemas primais atrav�esde dualidade

Problema primal

�P minimizar f�x� s�a g�x� � �� x � �

g � Rn � Rp� g � �g�� g�� � � � � gp�

� � restri�c�oes simples

Seja a fun�c�ao lagrangeana

l�x� �� �� f�x� �pX

i��

�igi�x�� � �

Ponto de sela

Um ponto �x�� ��� com x� � � e �� � �e um ponto desela �ps� de l�x� �� se

l�x�� ��� � l�x� ��� para todo x � �

l�x�� ��� l�x�� �� para todo � �

Page 34: Condi otimalidade e dualidade Problematiago/courses/otimizacao_nao... · dualidade Problema geral de otimiza c ao Restri c oes de igualdade Restri c oes de desigualdade Restri c oes

c� PAVF ��

Dualidade

Interpreta�c�ao

−1

−0.5

0

0.5

1

0

0.5

1

1.5

2−3

−2.5

−2

−1.5

−1

−0.5

0

0.5

1

x�

l�x���

Teorema �Caracteriza�c�ao

Um ponto �x�� ��� com x� � � e �� � �e um ps de l�x� ��se e somente se

�� x� minimiza l�x� ��� em �

�� gi�x�� � �� i � �� �� � � � � p

�� ��i gi�x�� � �� i � �� �� � � � � p

Teorema �Suci�encia do ps

Se �x�� ��� �e um ps de l�x� ��� ent�ao x� resolve o problemaprimal �P

Page 35: Condi otimalidade e dualidade Problematiago/courses/otimizacao_nao... · dualidade Problema geral de otimiza c ao Restri c oes de igualdade Restri c oes de desigualdade Restri c oes

c� PAVF ��

Dualidade

Func�ao dual

A fun�c�ao dual

��� �� minx�

l�x� ��

�e denida em

� �� f� � Rp � � � e minx�

l�x� ��g

Teorema

�e c�oncava em qualquer subconjunto convexo de �

Se � for compacto� ent�ao

� � f� � Rp � � �g

Para cada � � �� obt�em�se um conjunto solu�c�ao�

���� �� fx � Rn � x � argminx�

l�x� ��g

Problema dual

�D maximizar ��� s�a � � �

Page 36: Condi otimalidade e dualidade Problematiago/courses/otimizacao_nao... · dualidade Problema geral de otimiza c ao Restri c oes de igualdade Restri c oes de desigualdade Restri c oes

c� PAVF ��

Dualidade

Exemplo

Considere o problema primal linear

minimizar cTx s�a Ax b� x �

Seja l�x� �� �� cTx� �T �b�Ax�� A fun�c�ao dual �e

��� �� minx��

fcTx� �T �b� Ax�g� min

x��f�c�AT��Txg� �T b

O dom��nio da fun�c�ao dual �e

� �� f� � � �� AT� � cg

Portanto

��� � minx��

f�c� AT��Txg� �Tb � �T b

e o problema dual correspondente seria

maximizar bT� s�a AT� � c� � �

Page 37: Condi otimalidade e dualidade Problematiago/courses/otimizacao_nao... · dualidade Problema geral de otimiza c ao Restri c oes de igualdade Restri c oes de desigualdade Restri c oes

c� PAVF ��

Dualidade

Teorema �Dualidade fraca

Sejam � e x quaisquer solu�c�oes dual e primal fact��veis� res�pectivamente� Ent�ao ��� � f�x�

Prova� ��� �� minx�

ff�x� � �Tg�x�g� f�x� � �Tg�x� para todo x � �

Para quaisquer � e x fact��veis� ��� � f�x� �

Notas

� Se infx�

f�x� s�a g�x� � � � ��� ent�ao �D �e infact��vel

� Se sup���

��� � ��� ent�ao �P �e infact��vel

Teorema �Dualidade forte

Se existem �� e x� solu�c�oes fact��veis dual e primal tais que���� � f�x��� ent�ao �� resolve �D e x� resolve �P

Prova� Do Teorema anterior�

���� � f�x�� � f�x� para todo x fact��vel

��� � ���� � f�x�� para todo � fact��vel �

Page 38: Condi otimalidade e dualidade Problematiago/courses/otimizacao_nao... · dualidade Problema geral de otimiza c ao Restri c oes de igualdade Restri c oes de desigualdade Restri c oes

c� PAVF ��

Dualidade

Teorema

Um ponto �x�� ��� com x � � e �� � �e um ps de l�x� ��sse x� resolve �P� �� resolve �D e ���� � f�x��

Prova� � Suponha que �x�� ��� �e um ps de l�x� ��� Ent�aox� e �� s�ao solu�c�oes fact��veis primal e dual� Al�em disso�

���� � l�x�� ��� � f�x�� � ����Tg�x��

� f�x��

e pelo Teorema anterior x� e �� resolvem �P e �D

��� Suponha que x� resolve �P� �� resolve �D e ���� �f�x��� Neste caso� x� � �� g�x�� � �� �� � e

���� �� minx�

f�x� � ����Tg�x�

� f�x�� � ����Tg�x�� � f�x��

Como ���� � f�x��� conclui�se que ����Tg�x�� � � e que

l�x�� ��� � f�x�� � ���� � minx�

f�x� � ����Tg�x�

o que completa a prova �

Page 39: Condi otimalidade e dualidade Problematiago/courses/otimizacao_nao... · dualidade Problema geral de otimiza c ao Restri c oes de igualdade Restri c oes de desigualdade Restri c oes

c� PAVF ��

Dualidade

Interpreta�c�ao �Bazaraa et al�� pg� ���

Seja

G �� f�y� z� � Rp�� � y � g�x�� z � f�x�� x � �g

a imagem de � gerada pelo mapeamento �g� f�

�y�� z��

y

z

G

��

������

Problema primal

Encontre �y� z� � G tal que y � � �isto �e� g�x� � � e quez �isto �e� f seja m��nimo� A solu�c�ao primal �e encontrada noponto �y�� z��

Page 40: Condi otimalidade e dualidade Problematiago/courses/otimizacao_nao... · dualidade Problema geral de otimiza c ao Restri c oes de igualdade Restri c oes de desigualdade Restri c oes

c� PAVF �

Dualidade

Fun�c�ao dual

A fun�c�ao dual pode ser reescrita na forma

��� �� minx�

f�x� � �g�x� � min�y�z��G

z � �y� � �

Para obter ���� move�se a reta z � �y na dire�c�ao contr�ariaao vetor normal ��� ��� at�e que z��y suporte G� A interse�c�aocom o eixo z vale ���

Problema dual

Encontre � � tal que a interse�c�ao com o eixo z sejam�axima� A solu�c�ao dual �e � � ��� levando a ���� � z� �f�x�� no ponto �y�� z��

Nota

Se �x�� ��� com x � � e � � �e um ps de l�x� ��� ent�ao Gadmite uma reta suporte em �y�� z�� com inclina�c�ao ���

Teorema �Exist�encia

Seja � � Rn convexo e f� g�� ��� gp fun�c�oes convexas em ��Suponha que g�x� � � p� algum x � �� Se x� resolve �P�ent�ao existe �� � tal que �x�� ��� �e um ps de l�x� ��

Page 41: Condi otimalidade e dualidade Problematiago/courses/otimizacao_nao... · dualidade Problema geral de otimiza c ao Restri c oes de igualdade Restri c oes de desigualdade Restri c oes

c� PAVF ��

Dualidade

Gap de dualidade

�P convexo e qualicado �e uma condi�c�ao suciente paraa exist�encia de um hiperplano suporte em �y�� z��

�y�� z��

y

z

G���

Se �y�� z�� n�ao admite um hiperplano suporte� ocorre um gapde dualidade� diferen�ca entre os valores �otimos de �P e �D

�y�� z��

y

z

G

���

Page 42: Condi otimalidade e dualidade Problematiago/courses/otimizacao_nao... · dualidade Problema geral de otimiza c ao Restri c oes de igualdade Restri c oes de desigualdade Restri c oes

c� PAVF ��

Dualidade

Exemplo �

minimizar �x� � x� s�a x�� � x�� � �� x� � x� � �

� Lagrangeana�

l�x� �� � �x� � x� � ���x�� � x�� � �� � ���x� � x� � ��

� Fun�c�ao dual�

��� �� minx

l�x� ��

� minxf�x� � x� � ���x

�� � x�� � �� � ���x� � x� � ��g

� minxf���x�� � x��� � �� � ���x� � ��� ���x�g � ���� � ���

� Dom��nio�

� �� f� � � �� minx

l�x� ��g� f� � � �� �� � �g

Para todo � � �� o m��nimo �e obtido quando

���x� � � � �� � �

���x� � �� �� � �

x� � �� � �����

� x� � ��� �����

Page 43: Condi otimalidade e dualidade Problematiago/courses/otimizacao_nao... · dualidade Problema geral de otimiza c ao Restri c oes de igualdade Restri c oes de desigualdade Restri c oes

c� PAVF ��

Dualidade

� Problema dual� maximizar

��� � ��� � ����

��� ��� ���

��� ��� � ��

em � � �

� Otimalidade de �� � �p���� ��

As dire�c�oes fact��veis em �� � �p���� �� s�ao

D���� � fd �

p�

�� �d� � �� d� �g

r��� �

��

�� � ����

����

��� ����

���� �

���� � ���

���

���� ���

��� �

��

Para toda dire�c�ao d � D�����

r����Td � �� �p�p

�d� � �

e portanto �� �e um m�aximo global de em � �

Page 44: Condi otimalidade e dualidade Problematiago/courses/otimizacao_nao... · dualidade Problema geral de otimiza c ao Restri c oes de igualdade Restri c oes de desigualdade Restri c oes

c� PAVF ��

Dualidade

Exemplo � �Gap de dualidade

minimizar � x� s�a �� �x � �� � � x � �

� Fun�c�ao dual�

��� � min��x��

�x� � ���� �x�

� min��x��

��x� ���x� �

� Solu�c�ao primal� x��� � � se � ���� e x��� � � se� � ����

��� �

�� �� se � � ������� �� se � ����

����

����

��

� Solu�c�ao dual� �� � ����� ���� � ����� Note que���� � ���� � ��� � f�x�� indica gap de dualidade �