i · ao prof. joão lizardo rochigues hermes de araújo pelo ... derivadas de qualquer ordem em...
TRANSCRIPT
PENALIZAÇ&O HIPERBOLICA
Adilson Elias Xavier
TESE SUBMETIDA AO CORPO DOCENTE DA COORDENAÇ&O DOS PROGRAMAS DE
JANEIRO COMO PARTE DOS REQUISITOS NECESSARIOS PARA A OBTENÇ&O DO
GRAU QE DOUTOR EM CIÊNCIAS EM ENGENHARIA DE SISTEMAS E
COMPUTAÇBO.
Aprovada por:
4-- -------I dos& Mario Marti-
Faulo Roberto Oliveira
J Antonio Alberto Fernandes de Oliveira
RIO DE JANEIRO, RJ - BRflSIL
Maio de 1992
XAVIER, ADILSON ELIAS
Penalização Hiperbólica
XII, 173 11. 29,7 cm (COPPE/UFRJ), D.Sc., Engenharia de Sistemas e
Computação.
Tese - Universidade Federal do Rio de Janeiro. Faculdade de Engenharia
1. Otiinização, Programação Não-Linear, Métodos das Penalidades,
Métodos Lagiangeanos
I. COPPE/UFRJ
11. Título (Série)
AGRADECIMENTOS
Ao Prof. Nelson Maculan Filho pelas inúmeras discussões e pela riqueza e
abrangência de orientação.
Ao Prof. João Lizardo Rochigues Hermes de Araújo pelo incentivo a resgatar a
pesquisa da Penalização Hiperbólica.
Ao Prof. Paulo Canedo de Magalhães pela confiança, pelo debate científico
permanente e pela oportunidade de poder usar os algoritmos de Penalização
Hiperbólica em aplicações hiperbólicas de grande porte.
Ao Prof. Clóvis Gonzaga pelas conversas descoinl>roinissadas das quais pude
tirar importantes ensinamentos teóricos.
Ao Prof. Paulo Roberto Oliveira pelos alertas oportunos e pela discussão
quotidiana.
A Daisy Lima Pierucci pela digitação esmerada, expedita e prestigiosa.
A Fernanda Rocha Tliomaz, Maria Helena Alves e Mário de Castro Andrade
Filho pelo cuidado e generosidade com que fizeram os desenhos.
Ao Eduardo dos Santos Pereira (Edu) pela viabilização do suporte financeiro
vit a1 à consecução desse trabalho.
Aos iiiúmeros colegas, dentre os quais nomeamos: Luis Amorim Carlos, Bryan
Ricliard Hall, Daniel Casalis, Ricardo Duarte Arantes e Oswaldo Alves de Souza pela
interação permanente, componente essencial da vida universitária.
Aos alunos do Laboratório de Hidiologia Otto Correa Rottuno Filho, Luciene
Pimentel da Silva, Mário de Castro Andrade Filho e Fernanda Rocha Thomaz que,
através de um uso extensivo além de permitirem uma validação segura do algoritmo
original, aduziram importantes elementos ao processo de desenvolvimento dos novos
algori t mos.
Aos Prof. Ana Regina Cavancanti de Souza e Jano Moreira de Souza pelo
apoio logístico e pelo incentivo.
Finalmente, aos meus filhos e à Solange pelo estoicisino.
Resumo da tese apresentada à COPPE/UFRJ como parte dos requisitos necessários
para a obtenção do grau de Doutor em Ciência (D.Sc.)
Adilson Elias Xavier
Maio de 1992
Orient ador : Nelson Maculan Filho
Programa: Programa de Engenharia de Sistemas e Computação
O método da Penalização Hiperbólica tem por objetivo a resolução do
problema geral de programação não-linear sujeito a rest rições de desigualdade. O
método trabalha com uma f~inção penalidade diferente das encontradas na literatura
que apresenta a singular característica de possuir perfeita continuidade em suas
derivadas de qualquer ordem em todo domínio dos reais, ou seja, é de classe Cw em
todo domínio real.
O método combina características tanto dos métodos do tipo penalização
exterior como do tipo penalização interior: para o conjunto de restrições violadas essa
função penalidade hiperbólica fuilciona siinilarmente à penalização exterior enquanto
para as restrições obedecidas funciona como penalização interior.
O presente trabalho apresenta o método na sua forinulação estrit ainente de
penalidade (XAVIER (1982a)). Ademais explora as ligações entre a função da
penalização hiperbólica e a função lagrangeana. E desenvolvida uma teoria de ponto
de sela que associa ao ponto ótimo do problema não-liiiear sujeito a restrições de
desigualdade um ponto de sela da função lagrangeana hiperbólica. E desenvolvida
vii
urna teoria de dualidade correspondente.
Baseado nesses resultados teóricos, é apresentado um novo método de
multiplicadores denominado Lagrangeano Hiperbólico que desfruta da mais completa
diferenciabilidade. O desempenho computacional do método é ilustrado na resolução
de um problema de grande porte conhecido na liteiatua.
Abstract of thesis presented to COPPE/UFRJ as partia1 fulfillment of the
requirements for the degree of Doctor of Science (D.Sc.)
HYPERBOLXC PENALTY
Adilson Elias Xavier
May, 1992
Chairman: Nelson Maculan Filho
Departmeiit : Departineiit of Systems Engineering and Computei Sciences
The liyperbolic penalty lias tlie purpose of solving tlie general nonlinear
prograrnming problem subject to iiiequality constraints. The method uses a function
that differs from the penalty functions found in the literature. It has the singular
characteristic of possessing contiiiuous derivatives of aiiy order in tlie whole real
domain.
The method combines features of both exterior and interior penalty methods:
with reference to violated coiistraints tlie hyperbolic function beliaves as an exterior
penalty, while it works as an interior penalty in relation to satisfied constraints.
This work introduces tlie inetliod witliiii tlie strict penalty framework.
Furthermore it studies tlie coniiections betweeii tlie hyperbolic penalty function and
the Lagrangean function. The tlieoretical basis for a new multiplier method are
developed: this method, besides beiiefiting from tlie complete differentiability in the
wliole space, does not suffer from a necessary ill-conditioning of the Hessian
Matrices.
Espaço Euclidiano n dimensional
Dimensão do espaço Euclidiano
Variável no espaço R11
Função objetivo
Vetor restrições de desigualdade
Restrição de desigualdade específica
fndice especificando restrição de desigualdade
Número de restrições de desigualdade
Vetor rest rições de igualdade
Restrição de igualdade específica
fndice especificando restrição de igualdade
Número de restrições de igualdade
Região viável
Ponto ótimo do problema de programação
Número de restrições de desigualdade ativas no ponto x*
Função objetivo modificada
Função objetivo modificada
Função penalidade hiperbólica
Função penalidade hiperbólica
Parâmetro da função penalidade liiperbólica (ângulo)
Parâmetio da função penalidade liiperbólica (distância)
Mult iplicador de Lagrange
Semi-eixo maior de hipérbole
Semi-eixo menor de hipérbole
Iteração
Ponto ótimo da função objetivo modificada na iteração k
V Gradiente
p # Referência a propriedade da função penalidade (# representa o
níimero de propriedade)
c # Referência a condição exigida do problema (# representa o número da
condição)
rnin Minimizar
max Maximizar
O objeto de consideração do presente trabalho é o problema geral de
programação não linear:
Consideraremos em particular o problema de programação não linear sujeito a
restrições de desigualdades:
min f(x)
s.a. g i ( x ) > O , i = l ,..., m
Com o objetivo de obter a solução do problema (1.2) apresentamos o método
de penalização hiperbólica originalmente descrito em XAVIER (1982a) e
posteriormente estendido em outros trabalhos XAVIER (l982b), XAVIER e
MACULAN (1984) e XAVIER (1986). Demonstraremos, outrossim, idéias mais
recentes que estabelecem uma ponte de ligação entre o método de penalização
hiperbólica e a função lagrangeana. Esse enfoque foi inicialmente apresentado em
XAVIER (lggl), sendo que agora novos resultados são acrescentados.
A apresentação do trabalho obedece à seguinte seqüência.
No Capítulo 11, é feita uma revisão bibliográfica dos métodos das penalidades.
É relatada a idbia geométrica sob a qual foi inspirada a função penalidade hiperbólica.
Finalmente, são descritas sucintamente as características da penalidade hiperbólica.
No Capítulo 111, é feita a descrição formal da função penalidade hiperbólica e
de suas características. É apresentado o algoritino de penalização liiperbólica na sua
formulação original (Algoritmo A l ) estritamente dentro de um enfoque característico
dos métodos das penalidades. É descrita a analogia geométrica que idealiza o seu
funcionamento. São especificadas as condições que o problema deve obedecer. São
estabelecidos uma série de resultados teóricos (Existência de Mínimo, Existência de
Mínimo Viável e Convergência) que levam à convergência do algoritmo. É mostrado
que à medida que o problema é resolvido, através de uma seqüência de minirnizações
irrestritas, é paralelamente gerada uma seqüência de valores que convergem para os
multiplicadores de Lagrange. É discutida a questão da taxa de convergência. É
apreseiit ado um exemplo comput aciona1 que ilustra sucintamente o funcionamento do
algoritmo. E, ademais, relatada a experiência computacional do algoritmo frente a um
conjunto de problemas difíceis da literatura. Finalmente, são discutidas as questões
da degenerescência da matriz hessiana e do uso de um inecaiiisino de extrapolação
para superar essas dificuldades.
No Capítulo IV, é apresentada a íntima ligação da função hiperbólica com a
função Lagrangeana, que permite um novo entendimento do método da penalização
hiperbólica já que o associa à família dos métodos dos inultiplicadores, também
conhecidos como métodos lagraiigeanos auinent ados.
No Capítulo V, é feita uma revisão bibliográfica dos métodos dos
multiplicadores.
No Capítulo VI, é feito o desenvolvimento de todo trabalho que apresenta o
método da peilalização hiperbólica dentro do enfoque dos métodos dos
multiplicadores. A esse eilfoque foi dada a denominação: Lagrangeano Hiperbólico.
Nesse capítulo, são apresentadas as novas condições que o problema deve
obedecer. É apresentada a fundamental propriedade, característica dos métodos dos
multiplicadores, estabelecendo que uma solução local do problema de programação
não linear se torna um ponto de inínirno da função lagraiigeana hiperbólica (função
penalidade hiperbólica). E feito o desenvolvimento de uma teoria de ponto de sela que
associa ao ponto ótimo do problema não linear sujeito a restrições de desigualdade um
ponto de sela da função lagrangeana hiperbólica. E desenvolvida a teoria de dualidade
correspondente. São apresentados a função dual, seu gradiente e sua matriz hessiana,
bem como, o problema dual. É deinoilstrado o fundamental teorema da dualidade
local que estabelece a equivalêiicia entre os problemas priinal e dual. Baseado nessa
propriedade é especificado um primeiro algoritmo Lagrangeaiio Hiperbólico
(Algoritmo A2) para o qual é demonstrada a convergência. É discutida a questão da
taxa de convergência. São apresentados os resultados computacionais obtidos na
resolução de um problema de grande porte considerado de elevado grau de
dificuldade.
A seguir, são analisadas as resoluções do problema linear e do problema
convexo. Os importailtes resultados teóricos obtidos permitem a especificação de um
novo algoritmo lagrangeailo (Algoritmo A3) particularmente adequado para o caso
em que seja feita a correta identificação do 'conjunto das restrições ativas.
Finalmente, é feita uma síntese de algoritmos que busca uma harmoniosa
articulação entre os algoritinos A1 e A3 de sorte a tomar partido das vantagens
específicas de ambos.
No Capítulo VII, é feita uma síntese dos principais resultados apresentados.
Assim, é feita uma avaliação global do método, onde são destacadas suas principais
características. Finalmente, são relacionadas novas linhas de estudo a serem
desenvolvidas, em particular, para explorar mais profundamente as ligações entre a
penalização hiperbólica e a função lagrangeana, que ora iniciamos.
CAPITULO 11
MÉTODOS DAS PENALIDADES
Dos métodos que tratam da resolução do problema (1.1) um bom número
pertence à família dos métodos das penalidades. Graças à propriedade de sua relativa
confiabilidade e, principalmente, da grande facilidade de sua programação, estes
métodos são uma ferramenta de uso corrente para a solução de problemas de
rninirnização com restrições.
A característica comum aos métodos das penalidades é a transformação do
problema de minimização com restrições no problema sem restrições
min F(x) = f (x) + P (x)
onde P(x), chamada função penalidade, incorpora convenientemente as restrições g(x)
e h(x).
A idéia intuitiva atrás de todos os métodos das penalidades é que a fiinção
penalidade possua o poder de aumentar fortemente os valores fora da região viável e
simultaneamente tenha a sua influência desprezível ou mesmo nula dentro desta
região, de modo tal que o ponto ótimo do problema modificado (11.1) esteja
aceitavelmente próximo do ponto ótimo do problema original.
A grande maioria dos métodos das penalidades obtém o ponto ótimo através
da solução de uma seqüência de problemas de ininimização obtida pela variação
controlada de um parâmetro externo, que faz com que se aumente gradativamente o
grau em que o problema sem restrições se aproxima do original. Atendidas certas
hipóteses, a correspondente seqüêiicia de pontos de mínimos converge para um ponto
viável do problema com restrições que satisfaz às condições de otimalidade.
Esses métodos, ditos paramétricos, são classificados, considerando-se
essencialmente as maneiras em que as funções penalidades são construídas, em dois
grandes e distintos grupos básicos: das penalidades exteriores e das penalidades
interiores.
Um histórico completo da evolução desses métodos é dada por FIACCO
McCORMICK (1968). Conforme citado nesta referência, bem como em AVRIEL
(1976), POLAK (1971) e LUENBERGER (1973) o trabalho pioneiro nos métodos das
penalidades exteriores foi proposto por COURANT (1943), enquanto no caso das
penalidades interiores os primeiros trabalhos são devidos a FRISH (1955) e CARROL
(1959). Entre os trabalhos posteriores destacamos basicamente os desenvolvidos por
três autores: FIACCO McCORMICH (1964, 1966, 1968)) ZANGWILL (1967) e
LOOSTMA (1967, 1968a) 1968b) 1968c, 1969, 1970, 1972). Embora representam um
pequeno subconjunto do que tem sido publicado, estes trabalhos contemplam as
principais questões inerentes aos rnétodos de penalidade paramétricos e constituem
referência obrigatória sobre o tema.
Nos métodos das penalidades exteriores as funções penalidades P(x)
prescrevem um alto custo para violações ' a restrições. A medida que o parâmetro
externo aumenta, a severidade desse efeito auinent a. Conseqüentemente se torna
progressivameilte mais e mais proibitivo se afastar da região viável. A Figura 11.1 dá
uma idéia visual deste mecanismo para o caso unidimensional.
8t Conjunto vldvel
m - a a w r r _ ~ ~ ~ ~ ~
Figura 11.1
Nestes métodos, a primeira solução viável é também ótima para o problema de
programação (1.1). Como quase nenhum problema surgido na prática tem seu mínimo
no interior da região viável, em geral a seqüência de pontos de mínimo sem restrições
vai gradativamente se aproximando da fronteira da região viável até atingi-la. Assim
os métodos das penalidades exteriores tem a marcante característica de seus pontos
seguirem uma trajetória de fora para dentro da região viável.
Nos métodos das penalidades interiores todo o processo se desenvolve
trabalhando-se exclusivamente com pontos viáveis. As funções penalidades tem a
característica de favorecer pontos interiores à região viável em relação àqueles da
fronteira, possuindo assim um poder de repulsão à fronteira. Por causa desta última
propriedade estes métodos são também .conliecidos como método das barreiras,
proporcionando um alto desestímulo à proximidade da fronteira. A medida que o
parâmetro externo aumenta, gradativamente diminui o custo de proximidade à
fronteira. A Figura 11.2 ilustra o funcionamento do método.
Na seqüência dos problemas sem restrições (II.l), em geral, a cada iteração o
ponto de mínimo vai gradativainente se aproximando da fronteira da região viável
até, no limite, atingi-la. Assim estes métodos tem a marcante característica de seus
pontos de mínimo seguirem uma trajetória de dentro para fora da região viável, sem
sairem dela.
Podemos ainda considerar os grupos dos métodos das penalidades mistas,
obtido pela combinação siinult ânea de duas técnicas acima apresentadas. Nestes
métodos, o conjunto das restrições é particionado em duas partes, sendo, então, uma
tratada por funções penalidades exteriores e a outra por penalidades interiores.
Um outro grupo de métodos é o dos métodos das penalidades livres de
parâmetros. Estes, da mesma forma que os anteriores, obtém o mínimo através da
solução de uma sequência de problemas de minimização sem restrições mas com a
característica de que os parâmetros são automaticamente dete~minados no desenrolar
do processo.
Como mostrado por LOOTSMA (1968a, 1968c, 1970, 1972), tanto os métodos
das penalidades interiores como os das penalidades exteriores podem ser modificados
de maneira a se transformar em métodos livres de parâmetros. Assim, por exemplo, o
muito conhecido método dos centros de HUARD (1967) é equivalente à programação
logarítinica (penalidade interior) proposta por FRISH (1955) e posteriormente
desenvolvida por LOOTSMA (1967). Entretanto, não apresentam qualquer vantagem
sobre os métodos anteriormente apresentados, pois a sua taxa de convergência é
muito baixa (LOOTSMA (1986~)).
Em todos os métodos até aqui referidos, a solução do problema foi obtida
através de uma sequência de problemas de ininiinização sem restrições. Existe um
outro grupo de métodos que tem a propriedade de obter esta solução através de uma
única minimização. São os chamados métodos das penalidades exatas.
Um dos primeiros destes métodos é devido a ZANGWILL (l967), usando uma
função penalidade exterior linear. Posteriormente Evails, Gould e Tolle (conforme
exposto em AVRIEL (1976)) desenvolveram uma teoria geral completa sobre
penalização exata para uma ampla classe de funções penalidades diferenciáveis por
partes. Entre as funções especificamente estudadas destaca-se uma função penalidade
exterior exponencial.
A aparente vantagem destes métodos desaparece quando consideramos que a
função penalidade não é diferenciável no ponto de ótimo. Conseqüentemente as
técnicas mais eficientes de minimização não podem ser utilizadas e a utilidade destes
métodos é, no mínimo, duvidosa.
Inicialmente, considerando problemas só com restrições de igualdade,
FLETCHER (1970) desenvolveu um elegante método para t ransformá-10s na
mirnimização de funções penalidades exatas diferenciáveis. O método trabalha com
uma função tipo lagrangeana em que os multiplicadores são calculados em cada ponto
x do espaço primal. O método se utiliza também de um parâmetro para proporcionar
convexidade à função objetivo. FLETCHER e LILL (1970) apresentam resultados
computacionais do método. Posteriormente, esse método foi estendido FLETCHER
(1973) para problemas com restrições de desigualdade. Entret ant o, as dificuldades
comput acionais desses métodos de FLETCHER (1 970, 1973) são agora bem maiores
já que para cada avaliação da função é necessário a solução de um problema
quadrático auxiliar (requerendo, portanto, a inversão de uma matriz a cada avaliação
da função). No Capítulo V voltaremos a considerar métodos de penalidade exata que
fazem uso de função lagrangeana.
Finalmente falta a referência aos métodos lagrangeanos. Neste grupo de
métodos, a solução do problema também é obtida via solução de uma seqüência de
rninimizações sem restrições. A função minimizada é igual à soma do lagrangeano
mais um termo que tem a finalidade de garantir que a função tenha um mínimo e não
um ponto estacionário qualquer. Os multiplicadores de Lagrange, a priori
desconhecidos, são atualizados após cada rniiiiinização. Os métodos de multiplicadores
de HESTENES (1969), de POWELL (1969) e de ROCKAFELLAR (1974) pertencem
a este grupo, que será tratado mais especificamente no Capítulo V.
O método de Penalização Hiperbólica que aqui desenvolveremos no Capítulo
111, a rigor, não pode ser classificado em qualquer dos grupos anteriormente referidos.
Entretanto tem características bastante comuns com os das penalidades exteriores, já
que trata pontos fora da região viável com uma ação idêntica a estes métodos. Da
mesma maneira, tem alguma semelhança aos métodos das penalidades interiores já
que a função penalidade usada possui um efeito de repulsão à fronteira, embora não
sendo propriamente uma barreira. De outro lado, estabelecida uma tolerância, é
possível obter uma boa aproximação para o mínimo em uma única iteração. Esta
propriedade de certa forma o aproxima dos métodos das penalidades exatas. Ademais,
como já ficará evidenciado no Capítulo VI, as fortes ligações com o Lagrangeano
poderia nos permitir também considerá-lo como um método Lagrangeano.
O método de Penalização Hiperbólica foi desenvolvido a partir da idéia
geométrica de se construir uma penalização que ficasse situada no intermédio entre a
penalização exterior e a penalização interior. A penalização dentro dessa idéia deveria
ter um formato semelliante a uma calha", conforme ilustra a Figura 11.3.
O método de Penalização Hiperbólica (XAVIER, 1982) resolve o problema
através da solução de uma seqüência de minimizações sem restrições. Ao contrário dos
outros métodos, que têm um único parâmetro, a seqüência de minimizações é obtida
pela variação de dois parâmetros, a saber: um ângulo a! e uma distância r. É natural
se supor, que a existência de dois parâmetros, além de complicar fortemente a
operacionalização do método, deveria comprometer o seu desempenho. Entretanto,
como será visto, esta coexistência não traz maiores problemas, uma vez que, os
parâmetros são manipulados separadamente em duas diferentes fases do algoritmo.
O método trabalha com uma função penalidade que apresenta a destacável
característica de ser completamente diferenciável. Outra característica importante, é
que qualquer ponto pode ser tomado como ponto inicial, assim como, não se faz
necessário qualquer controle sobre a localização dos pontos intermediários dentro de
cada minimização sem restrições. O método apresenta a vantagem de obter ao final
de cada iteração na segunda fase do algoritmo duas cotas que limitam o valor da
solução final do problema e que, por isso, se constituem num excelente critério para
parada do processo de rniniinizações. Além disso, é possível obter uma solução
aproximada, mas com uma pré-estabelecida precisão, em uma única iteração no
pasâmetro r. Finalmente, para problemas convexos, o método obtém pontos duais
viáveis. Os correspondentes valores da função dual convergem para o ótimo do prima1
(XAVIER, l982a).
A questão da inviabilidade é tratada através da solução de um problema
auxiliar intimamente articulado com o processo normal utilizado para a resolução do
problema original (XAVIER, l982a).
A seqüência de pontos de mínimo das minimizações sem restrições tem em
geral a seguinte trajetória. Inicialmente se aproxima da região viável até penetrá-la.
Em seguida, segue-se o movimento inverso no sentido da fronteira até, no limite,
atingi-la. Ou seja, o método proposto tem.a característica de seus pontos de mínimo
seguirem uma trajetória "de fora para dentro" numa primeira fase (igual aos métodos
das penalidades exteriores) e "de dentro para fora" na segunda fase (igual aos
métodos das penalidades interiores).
A fim de ilustrar todo o mecanismo de funcionamento do método e algumas de
suas características, são apresentados os result ados comput acionais para um pequeno
problema.
Como Última observação, deve ser dito que, quando o parâmetro r se iguala a
zero, o método proposto se confunde com o método de penalização exata de
ZANGWILL (1967), que se utiliza da seguinte função penalidade:
Com a ressalva de que a bibliográfica consultada não tenha sido completa, em
particular, em vista de sua enorme extensão, vale registrar que não nos foi possível
observar outra semelhança mais próxima, além da acima referida, entre o método
proposto e os inúmeros outros métodos da penalização aí descritos.
O algoritmo a seguir apresentado sepopõe a resolver o seguinte problema:
min f(x)
sujeito às condições gi(x) 2 O, i = 1, ..., m
sendo "f" e "g" funções quaisquer de x E R". Ou seja, trata-se da obtenção de solução
do Problema Geral de Programação Não-Linear sujeito unicamente a Restrições de
Desigualdade.
A solução é obtida através da solução de uma seqüência de rninimizações sem
restrições da função objetivo original f(x) acrescida de um termo penalidade
P(gi(x), a, T) para cada restrição. A função minimizada é, então, definida como:
onde P é uma função penalidade apropriada.
O método proposto no presente trabalho se inspirou na função hiperbólica
abaixo definida. Como ficará claro a seguir, o método é válido para uma classe bem
mais ampla de funções de penalidade,,
a! e r variando nos intervalos:
0 E [O, ~ 1 2 )
Na apresentação do trabalho, é coilvenieiite apresentar esta hipérbole numa
forma mais compacta:
Quando colocada em termos de seus dois serni-eixos a e b a hipérbole
apresenta a expressão:
onde:
A Figura (111.1) ilustra a função hipesbólica definida pela equação (111.3)
Propriedades da Função Penalidade
O método proposto está baseado em funções de penalização que apresentem as
propriedades abaixo:
PO: P ( y, a, r) é uma função contínua, bem como, continuamente diferenciável
em y para valores O < a < 1r/2 e T > 0.
P(y,a,r) é assintoticamente tangente às retas ri(y) = - y . t g a e
r2(y) = O para r > 0.
l i m P(y,a,r) = O para T > O e O < a < 1r/2 y-, +o3
l i m P ( y , a , r ) = + m para 7 2 0 e O < a < 1 r / 2 Y-' -cx>
P(O,a,r) = T para r > O e O 5 a < 1r/2
P(y,ak+l,r) <P(y,ak,r) p a r a y > O
P(y,ak+l,r) = P(y,ak,r) = r paara y = O
P(y,ak+l,r) > P(y,ak,r) para y < O
é uma função convexa e decrescente em y para r>O e o < a < Ir12
é uma função convexa e não crescente em y para r=0 e O < a < ~ / 2
é uma função con s t ante i gual a r par a a = O
para y > O , O < a < 7r/2 1 im P(y,a,r) = r+ 0 1" -ytga para y < 0 , 0 < a < 7r/2
P(y,a,r) > -ytga para Vy, O < a < d 2 , r > 0
para 'dy, 'dt, O < a, < 7r/2 e O ( rk+l < r k
PIO: P(g(x), @,r) é uma função convexa em x se g(x) for uma função côncava
P11: maxy(P(y,a,,fl) -P(y,a,+)) = 7 0 - ~ l e o c o r r e e i n y = O
para O < a, < 4 2 e O 5 71 < TO
P12: A derivada da função penalidade em relação a y, ou seja, P;(y,a,,r) é uma
função decrescente com r para pontos y > O (e é uma função crescente com r
par a pontos y < 0).
A função de penalidade P(y, a, r) definida em (111.3) satisfaz às 13
propriedades acima enunciadas. As quatro últimas propriedades por serem menos
evidentes vão demonstradas no Anexo 1.
Objetivando-se simplificar a linguagem e considerando-se o que foi dito
acima, chamaremos de "penalização hiperbólica" a qualquer função que satisfaça às
13 propriedades anteriormente enunciadas.
Graças a seu formato característico, particularmente devido às suas duas
assíntotas (propriedade Pl ) , a penalização liiperbólica viabiliza a concretização do
efeito "calha" conjecturado ao Capítulo 11. A Figura 111.2 a mostra o gráfico
resultante da hiperbólica aplicada a duas restrições: xI ( x < xS.
t I X
Figura II1.P - C o n o r e t l z i ~ ~ o do Etelto Calha
Algoritmo da Penalização Hiperbólica
Preliminarmente à apresentação do algoritmo da penalização hiperbólica
descreveremos uma analogia geométrica que fornece uma perfeita idéia do seu
funcionamento.
Inicialmente como mostra a Figura III.3a, aumenta-se o ângulo a da assíntota
a função penalidade, provocando, com isto, significativo aumento da penalização fora
da região viável, enquanto que, simultaneamente reduz-se a penalização para pontos
dentro da região viável. O processo continua até que se consiga um ponto viável.
mMELB- 1
V ir lqTo do ak mintando ?oon.tin ta
Flgura 111.88
Daí para a frente mantém-se a constante e diminui-se sequencialmente o
valor de T. Desta maneira, consegue-se que a penalização interior torne-se cada vez
mais irrelevante, mantendo-se o mesmo nível de proibitividade fora da região viável.
A Figura III.3b ilustra a segunda fase do processo.
Algoritmo A1
1) F a ç a k = O , d = o P , r 1 = 7 0 sendo 0 < @ < ~ / 2 e f l > O
Tome ponto inicial xo.
2) Faça k = k + 1
3) Resolva problema de minimização sem restrições da função:
a partir do ponto inicial xk-1 achando um ponto ótimo xk .
Teste se xk é viável
sim vá para o passo 6
vá para o passo 2
Regra de Parada: Se xk for aceitável. como solução: pare.
vá para o passo 2.
Alt eriiativainente podemos trat ar diret ameiite com os parâmetros r e r.
Assim, substituindo-se a, por r o algoritmo seria modificado nos passos 1 e 5,
por exemplo, da seguinte forma:
Condições do Problema
A fim de se provar a convergência do algoritmo, é necessário que se
estabeleçam algumas condições sobre o problema.
C1 - O conjunto viável S = {xIgi(x) 2 O , . i = 1, ..., m) é fechado e tem interior não
vazio
C2 - f(x) e gi(x), i = 1, . .., m são funções contínuas
Existem @€(O, 7r/2) e O< taisque:
Existe um r > O tal que o conjunto SE = {xlgi(x) ) - 6 , i = 1, ..., m} é
lirnit ado .
Essa condição especifica duas situações que devem ser observadas na fronteira
da região viável em qiialquer direção secante para fora de S
Consideremos um ponto X na fronteira de S e um ponto inviável w, tal que o
segmento que une x a w se situe inteiramente fora do conjunto viável S e a ele seja
secante.
Tomemos assim dois pontos:
x E Front(S)
w p l s
tal que segmento de reta definido por
v = (1-p) X + pw
seja secante a S. Vale dizer: 3 i < O tal que v E S para ( p 5 O e v j4 S para
O < p ( l .
C5.1 - As restrições ativas decrescem de valor na fronteira, ou seja: para toda
restrição l tal que gdx) = 0 3 6 > O tal que:
gA(1-p)X+pw)<O, O < p < 6
A função objetivo, bem como, as restrições são de variação limitada na
fronteira, ou seja: para V&' > O 3 O ( M < c r ~ tal que
If((1-p)?+pw)-f(?)I <MIp(&)I , O < p ( 6 '
I gi((1-p) X + PW) - gi(X) I ( M I /I(*:) I , i = 1, ..., m, O < p ( 6'
O objetivo da condição (35.1 é evitar situações como a configurada pela figura
abaixo.
Pelo fato das funções serem de variação limitada como especificado pela
condição C5.2, duas situações identicamente patológicas como abaixo ilustradas, são
evitadas .
Flguri 111.6
Se as funções f(x) e gi(x), i = 1, .. . , m forem diferenciáveis podemos definir as
condições C.5 de uma forma muito mais simples
C5.1 - Se se(;) = O então Vg@) # O
C5.2 - Se 2 E Front(S) então:
Deve ser observado que a condição C5.2 equivale à urna condição do tipo
Lipchit z comumente exigida.
Existência de Mínimo
Estabelecidas as condições básicas para o problema, vamos primeiramente
tornar mais amplo o campo de validade da condição C3.
Lema 3.1 (Existência de Mínimo) (XAVIER (1982a))
Se a condição C3 for obedecida, ou seja, se existir algum o10 e algum 70 tal que
i*xE~n F(x, O!, 70) = Fo > -w
e se, além disso, também as condições C1, C2 e C4 forem obedecidas, então, existirá
urn valor a" > o! tal que
MinxERn F(x, o!, r) = inf F(x, a,, r ) xcRn
para todo a, no intervalo a" < ol < 7 ~ / 2 e para todo T no intervalo O 5 T < 70.
Demonstração
Vamos calcular a diferença entre as funções objetivas modificadas para dois
valores de r, sendo 70 2 ri:
F(x, a", 70) = f(x) + P(x, a", 70)
F(x, a", 7-1) = f(x) + P(x, a", 71)
F(x, a", 70) - F(x, a", ri) = P(x, a", 70) - P(x, a", 71) 5 m(70 - 71) 5 mr0
pela propriedade P11 da função penalidade.
Sendo Fo, por definição, o valor ínfimo da função objetivo modificada
F(x, a", 70), estabelecido pela condição C3, podemos escrever a desigualdade acima
na seguinte forma:
Fo - 11170 5 F(x, a", r) = f(x) + P(x, a", r)
que é válida para todo r no intervalo O 5 r 5 70 e todo x E Rn.
Vamos agora estudar a variação do parâmetro a.
Primeiramente vamos nos ater aos pontos viáveis. Seja z um ponto viável
qualquer. Como o conjunto viável S é coinpacto (condições C1 e C4) e a função f(x) é
coiit ínua (condição C2), certamente t ereinos um valor máximo para f (x) neste
conjunto. Assim para todo O 5 r 5 70 e O < Q < ~ / 2 , devido às propriedades P3 e
P5 da função penalidade biperbólica, podemos escrever:
onde f(zM) representa o valor máximo de f(x) no conjunto S.
Ficam, então, estabelecidos os limites ilustrados pela figura abaixo:
Figura 111A
Consideremos agora os pontos inviáveis não pertencentes ao conjunto Se da
condição C4. Seja w um ponto inviável qualquer não pertencente a este conjunto.
Pela propriedades P6 e P7, podemos escrever:
para V0 < r 2 f l , sendo Il = {i I gi(w) < 0).
Somando e subtraindo o termo C (-tga")gi(w), esta desigualdade pode ainda i d l
ser escrita como:
F(w, a, r) > f(w) + C - (tga - t g d ) gi(w) + -tg& gi(w) i d 1 i d l
válida para todo r no intervalo O < r < 70.
De outro lado, pelas propriedades P1, P4 e P5, podemos escrever:
F(w, a", T) < f ( ~ ) + C (-tg@gi(w) + r) + C r < &I1 if11
que também é válido para T no intervalo O 5 T < 70.
Somando m70 a ambos membros da desigualdade (111.8) e usando os resultados
acima obtidos, temos:
F(w, a, r) + m70$ f(w) + C (tga- @a") gi(w) + C - t g d gi(w) + &I1 &I1
+ m702 F(w, d, T ) + C - (tga - t g d ) &(W) i d 1
Passando o termo m70 para o segundo membro, obtemos:
Usando o resultado (III.6), obtemos:
Fo - 2mro + (-(tga - t g d ) ) gdw))
que é válido para todo d ( a < 7r/2, sendo g&w) < gi(w) para todo i E 11.
Como por hipótese w é inviável e não pertence a Se, implica que ge(w) < - E e
por isto, a desigualdade acima pode ser escrita na forma:
F(w, a, r) > FO - 2m70 + (tga - t g d ) E
Analisando a expressão à direita da desigualdade acima, vemos que ela é uma
função ilimitadamente crescente com a no intervalo O < a < 7r/2. Assim certamente
haverá um valor & tal que esta expressão será maior que f(zM) + rn70 para todo a no
intervalo & ( a < n/2 e O < 7( 70. O valor de &, que satisfaz a estas condições, pode
ser facilmente calculado e é dado por:
Finalmente, levando em consideração (111.7) temos:
para quaisquer valores de a, e r nos intervalos a" ( a, < 7r/2 e O 5 r 5 70.
Desta maneira:
infxERli F(x, o, r) = min{inf F(x, a, r), inf F(x, a, r)} = x€S c "S
= infxES F(x, a,, r) €
Como SE é compacto pela condição C4 podemos substituir o ínfimo pelo
mínimo:
para a, e r nos intervalos: a" L a < r/:! e O < r - < 7-0.
Existência de Mínimo Viável
Os teoremas básicos da existência de ponto de mínimo do problema modificado
(111.2) pertencente ao interior da região viável So = {xlgi(x) > O, i = 1, ..., m) e de
sua convergência para o ponto ótimo do problema original podem agora ser
mostrados.
Teorema 3.1 (Existência de Mínimo Viável) (XAVIER (1982a))
Se as cinco condições C1, C2, C3, C4 e C5 forem obedecidas, existe &(TO) tal
que, para todo a, no intervalo a" < a < 7r/2 e para todo r no intervalo O ( r 70,
qualquer ponto de mínimo da função objetivo modificada F(x, a, r ) , que
denominaremos genericamente por x(a, r) , é viável.
Demonstração
Seja w um ponto inviável qualquer pertencente a Sc.
Vamos ligar este ponto w a um ponto v na fronteira de S = {xl gi(x) 2 0,
i = 1, ..., m) de uma maneira tal que a reta que os une seja secante a S, como ilustra
a figura 111.7 abaixo.
Sem perda de generalidade, vamos ordenar as restrições de tal sorte que se
i E I, j E I sendo I o conjunto das restrições I = (1, ..., m) e se i < j então:
Vamos considerar a função objetivo e as funções restrições restritas ao
segmento que une w a v.Convencionemos que p = O corresponde ao ponto v e p = 1 ao
ponto w. Deste modo, vamos definir:
Uma maneira natural de se provar o teorema é demonstrar a existência de um - - u tal que, para todo a no intervalo ( 0 < lr/2 e para todo O ( r ( 70, seja
verdadeira a relação
Vamos preliminarmente fazer uma reorganização das restrições ao longo do
segmento de reta de v a w.
Seja, por definição:
Pela definições de gi(P), i = 1, . . . , m é fácil ver que:
Como pela condição C2, todas as restrições gi(x), i = 1, ... , m são contínuas,
todas as funções gi(p), i = 1, . . . , m também serão contínuas.
Além disso, pela definição de gi(P), i = 1, .. . , m e pela ordenação dada às
restrições gi(x) em função dos seus valores no ponto v, temos:
Tomemos agora a diferença entre os valores da função objetivo modificada
assumidos num ponto do segmento e no ponto v.
Simplificando a notação e levando em consideração a construção das funções
gi(p), i = 1, ..., m, temos:
Como o segmento que une os pontos v e w é por hipótese secante a S, pela
condição C5, temos um decréscimo de &(p) quando aumentamos p a partir do ponto
p = o.
De outro lado, levando em consideração que todos os pontos no segmento são
inviáveis, temos :
Deste modo, é possível achar uma fuiição linear decrescente em p que seja
sempre superior a &(p) no segmento v a w, ou seja:
,Oi pertencendo ao intervalo O > ,& > - 71-12 conforme ilustra a Figura 111.8.
Pela continuidade das funções restrições, e pela condição C5, conforme ilustra
a Figura 111.8, também é possível construir funções lineares afins que sempre sejam
superiores às funções gi(p), i = 2, ... , m, ou seja:
sendo que @i, i = 2, ..., m, podem assumir qualquer sinal.
Similarmente, pela continuidade de f(x) e pela condição C5, podemos construir
urna função linear afim que sempre seja inferior a f(p) no segmento:
Usando todas as funções lineares acima definidas, e em vista da propriedade
P5, podemos escrever:
para Vy, Vt, O < a < r/2 e O 5 T 5 70 e levando em consideração que
&(p) < gi(v) = 0, que pela propriedade P5 'implica em
temos:
válido para todo O 5 T 5 70.
Vamos agora nos ater aos termos correspondentes ao somatório da
desigualdade (111.9) logo acima. Vamos supor o pios caso em que
Devido à convexidade da função penalidade (propriedade P5) podemos
escrever :
Em vista disto, temos:
Levando em consideração a propriedade P12 que a derivada P;(y, o!, r) é não
crescente com r para pontos y 2 0, será válida a relação:
para qualquer O 5 r < 70, uma vez que por construção gi(0) = gi(v) > 0,
i = l , 2 ,..., m.
Usando a relação acima, obtemos:
que é válida para qualquer O 5 T 5 70.
Substituindo a desigualdade acima em (111.9) e fazendo
Ki > 0, obtemos:
válida para O 5 T 5 r0 e O < p 5 1.
Analisando a expressão à direita da desigualdade acima, vemos que ela é
ilimitadamente crescente com a no intervalo O < a < ~ / 2 . Assim certamente haverá
um valor tal que esta expressão será positiva para todo a no intervalo - a < a < 7r/2 e O < T ( 70. Este édadopor
m
- -tg po + C Ki.tg Pi
- i=2 a = arc tg(
- t g p i 1
Finalmente, fazendo:
onde 2 é o valor limite estabelecido no Leina 3.1, provamos que:
infxERn F(x, a, r) = mins F(x, a, r)
- - para a, e r nos intervalos ao < a,< 7r/2 e O < r 5 70.
Convergência da Seqüência de Mi'nimos
Teorema 3.2 (Convergência) (XAVIER (1982a))
Se a seqüência {rk) é monotonamente decrescente tendendo a zero, ou seja,
1 i m r k = O, e se xk for sempre viável para a k = a (constante) sendo xk qualquer k+ w
ponto tal que F(xk, a k , r k ) = min, F(x, a k , r k ) , então existirá uma subsequência
convergente {xk) + Z e O limite de qualquer dessas subseqüêiicias é um ponto ótimo.
(Alternativamente, a seqüência xk converge para o conjunto de soluções ótimas do
problema com restrições).
Demonstração
As condições C1, C2 e C4 garantem que o problema de programação (111.1)
tenha pelo menos uma solução ótima desde que f(x) uma função contínua é definida
numa região viável S compacta.
Seja X* o conjunto de pontos ótimos do problema. Para qualquer ponto
X* E X* é observada a relação:
já que xk por hipótese é viável.
De outro lado, como xk é ótimo do .problema modificado (111.2) na iteração k,
temos:
Tomando o limite quando k -t co
-
l i m F(xk, G, r k ) 5 l i m F(x*, a, r k ) k-1 w k+ 00
m l i m (f(xk) i- . C P(gi(xk), Lu, r k ) ) ( k-t w 1=1
Como por hipótese {rk) -t O quaildo k -t KI e devido à propriedade P7 da função
penalidade, temos:
1 i m f (xk) 5 f (x*) k+ cx,
Comparando a expressão acima com (111.11) coiicluíinos que:
Como, pelas condições C1 e C4, o conjunto viável é compacto, certamente kl existirá uma sub-seqüência {x ) convergente a um ponto xl, onde teremos:
Convergência do Algoritmo
Demonstrados os dois teoremas básicos, podemos agora facilmente provar que,
obedecidas as condições previamente estabelecidas, o algoritino proposto converge.
Todavia, para efeitos teóricos da demonstração de convergência, o passo 6, regra de
parada, deve ser modificado para uma forma: se f(xk) for igual a f(x*), pare.
Teorema 3.3 (Convergência do Algoritmo) (XAVIER, 1 982a)
Obedecidas as condições C1, C2, C3, C4 e C5, o algoritmo A1 converge para o
valor ótimo c10 problema de programação (111.1).
Demonstração
Sempre que na iteração k o ponto ótimo x k não for viável, o ângulo olk'l é
aumentado por uma quantidade finita no sentido de ~ / 2 . Deste modo certamente
haverá uma iteração I< tal que o ângulo da próxima iteração a''" será maior ou
igual que o valor do ângulo Z ~ ( T I<+') conforme especificado no Teorema 3.1, ou seja,
Em função disso, os pontos xk serão sempre viáveis para todas as iterações
k >_ I<+1.
Temos, então, a partir da iteração K+1, o movimento de decréscimo
permanente do parâmetro T no sentido de O (zero)enquanto o ângulo a, é mantido
constante.
Como provado no Teorema 3.2, o valor da função objetivo modificada
convergirá para o valor ótimo do problema de programação original, ou seja:
Para usarmos na regra de parada qualquer critério a convergêiicia de pontos
{xk) necessariamente deveremos estabelecer uma coiidição adicional para garantirmos
a convergência do algoritmo para um único ponto. Esta condição poderia, por
exemplo, ser singelamente:
C0 - o ponto ótimo do problema de programação é único.
Vale observar que, lia seqüência de iniiliinizações, eilquanto o parâmetro a
estiver sendo alterado, durante a fase 1, a seqüência de pontos de mínimo {xk)
basicamente segue uma trajetória de fora para dentro da região viável, ou seja, o
método da penalização hiperbólica trabalha similarmente aos métodos de penalização
exterior. Ao passo que, enquanto o parânietro T estiver sendo diminuido durante a
fase 2, em geral a trajetória da seqüência {xk ) é no sentido de dentro para fora da
região viável, até o limite, atingi-la, ou seja, o método de penalização hiperbólica
trabalha similarmente aos métodos de penalização interior.
Além das questões teóricas relacionadas com a convergência do algoritmo
proposto, alguns outros aspectos, práticos e teóricos, foram tratados em XAVIER
(1982a). Assim é que foi examinado o tratamento de eventual inviabilidade no
problema original (111.1). Foi apresentada, outrossim, a possibilidade de alcançar uma
solução (aproximada) em uma única iteração. Finalmente, restringindo-se ao
Problema Convexo, foi mostrado que o algoritino proposto gera pontos viáveis do
problema, dual, que convergem, por seu turno, para a solução ótima do problema
primal.
Multiplicadores de Lagrange
Considerando que as condições CO-C5 sejam válidas para o problema, o
algoritmo gera uma seqüência de pontos de mínimo intermediários que convergem
para a solução do problema, ou seja, {xk) + x*. Uma característica comum aos
métodos de penalização é que paralelamente a esse processo é gerada uma seqüência
de valores que convergem para os multiplicadores de Lagrange (MINOUX (1986)).
Para procedermos à análise da questão dos multiplicadores de Lagrange
precisamos especificar mais duas condições ao problema: condição de
diferenciabilidade e condição de regularidade do ponto x*.
C2'- f(x) e gi(x), i = 1, . . . , in são funções difereiiciáveis
C6- (condição de regularidade). Os gradientes das restrições ativas no ponto de
ótimo x* são linearmente independentes.
As condições impostas ao problema implicam na existência de um único vetor
A*, vetor dos multiplicadores de Lagrange, que satisfaça às condições de
Karush-Kulin-Tucker :
Sem perda de generalidade convencionaremos que as restrições são organizadas
de tal forma que as primeiras m* são ativas, ou seja:
Um aspecto interessante do algoritmo proposto, comum aos métodos de
penalidade, é que à medida que o problema (111.1) é resolvido, através da sequência
de minimizações sem restrições, é paralelamente gerada uma seqüência de valores que
convergem para os multiplicadores de Lagrange. Usando de uma liberdade de
linguagem, por desempenharem papel similar aos multiplicadores de Lagrange, esses
valores são por estes nomes também denominados.
Num ponto de mínimo intermediário x k é observada a condição
Se fizermos
e considerarmos que
em virtude da continuidade de Vf e Vgi devemos ter
pois pela condição C5 os multiplicadoses são únicos e pela propriedades P5 e P7
pois gi(x*) > O, i = m*+l, ..., m..
Calculando, assim, a expressão das derivadas da função lipesbólica chegamos à
expressão desses multiplicadores:
Taxa de Convergência
Pela análise da convergência dos multiplicadores de Lagrange podemos derivar
o comportamento da taxa de convergência do algoritino à medida que o parâmetro
T + 0. Essa taxa será derivada segundo um esquema similar ao adotado em
McCORMICK e SOFEL (1988).
Três situações merecem ser consideradas separadamente: restrições ativas em
que é observada a condição de complementariedade estrita, ou seja, gi(x*) = O e
X i > 0, restrições ativas com multiplicadores de Lagrange associadas nulos e
restrições inativas.
Preliminarmente vamos proceder à simplificação da expressão (111.12) dos
multiplicadores para facilitar à manipulação.
Denominando
podemos facilmente transformar (111.12) para a expressão
onde I< é constante, pois a é mantido constante na fase final do algoritmo.
* Vamos analisar o primeiro caso: gi(x*) = O e X i > O. Na medida que
* l i m = A i k-t a2
devemos ter
Fazendo uso da notação adotada por HARDY (1952), em vista da condição C6
de regularidade, podemos escrever:
Levando em consideração que xk depende unicamente do parâmetro ~ k , as
expressões (III.15a) e (III.15b) acima podem ser colocadas sob uma forma mais
apropriada
As expressões (III.16a) e (III.16b) resultantes indicam assim uma convergência
linear com o parâmetro r das restrições ativas que tenham multiplicadores
estritamente positivos.
Vamos considerar agora a taxa de convergência para o caso degenerado em que *
gi(x*) = O e A i = O. Pela análise da expressão (III.13), devemos ter nessa situação:
Fazendo uso da notação adotada por Hardy
A expressão (111.17) acima indica assim uma baixíssiina taxa de convergência
para os problemas em que não seja observada a condição de folga complementar
estrita.
Para as restrições não ativas, raciocínio análogo ao empregado nos dois casos
anteriores, nos leva a concluir que
A expressão acima é natural pois gi(x*) > O para restrições inativas enquanto
rk + O. Embora aparentemente sem significado, essa expressão pode ser útil na
determinação prática do conjunto de restrições ativas.
Exemplo Ilustrativo do Uso do Algoritmo A1
A fim de ilustrar sucintamente o mecanismo de funcionamento do algoritmo
são apresentados os resultados computacionais obtidos na resolução de um problema
de pequeno porte.
O problema é muito siinples, pois é convexo com somente duas variáveis e
duas restrições. Trata-se de um problema teste apresentado por HIMMELBLAU
(1972), originalmente proposto por J. Bracken e G. P. McCormick, com o seguinte
enunciado:
min f(x) = (xi-2)2 + (x2-1)2
sujeito a gi(x) = -xs + x2 > O
g2(x) = - x1 - x2 $ 2 > o
que tem como solução ótima: x* = (1,1), f(x*) = 1, gl(x*) = g2(x*) = O e
A* = (213, 213).
Foram adotados os seguintes valores iniciais no passo 1 do algoritmo:
xo = (2,2), alo = 3.14159258132 e 70 = 1.
A miniinização sem restrições foi feita utilizando-se a rotina GIMIN que
basicamente implementa um particular método das secantes (FRIEDLANDER, A,,
MARTINEZ, J. M. and SCOLNIK, H. D. (1977)). Os seus parâmetros Critério de
Convergência e Passo de Discretização foram tomados constantes, respectivamente
com os valores 1.10-9 e 1.10-10.
Para a variação dos parâmetros a e r, respectivamente nos passos 5 e 7, foram
adotadas as seguintes regras: tg&+l = 2tgak e ++i= ~k/10, que é uma formulação
equivalente à originalmente est abelecida na apresentação do algoritmo Al.
Os resultados apresentados na Tabela 111.1 e a Figura 111.9 mostram a
mecânica de funcionamento do algorit mo.
Até a iteração 5, primeira fase do algoritmo, ocorre o aumento repetitivo do
ângulo a (vide Figura III.3.a). Essa variação tem o efeito de fazer com que o ponto de
ótimo do problema modificado x k seja gradativamente jogado para o interior da
região viável.
Nas iterações seguintes, segunda fase do algoritmo, se dá a diminuição do
pasâmetro T (vide Figura III.3.b). Essa variação basicamente tem o efeito de diminuir
a penalização em termos absolutos, porém mantendo o mesmo nível de proibitividade
(dado por a) fora da região viável. Assim o ponto xk pode se mover com mais
liberdade dentro da região viável na direção do ponto ótimo do problema original.
A convergência do processo pode ser vista em particular nas colunas f(xk),
F(xk, a, r k ) , P (xk, c@, rk), xk e g(xk). Na segunda fase do algoritmo, conforme
previsto pelas equações (III.16), os valores das restrições (ativas) apresentam uma
relação linear com o parâmetro r. É importante notar a coluna I V , F ( ~ k , a k , ~ k ) 1 2,
moda euclidiana do gradiente da função objetivo modificada, onde os valores a partir
da iteiação 12 indicam claramente o aumento da dificuldade de se achar um mínimo
preciso para valores pequenos de r . Essa dificuldade está associada à degenerescência
da matriz hessiana com a dimiiiuição do parâmetro r, como veremos logo a seguir.
Esclarecemos que a peníiltima coluna G(xk, Xk) corresponde aos valores da
função dual segundo a formulação de Wolfe (conforme por exemplo FIACCO
McCORMICK (1964) e ZANGWILL (1967)). A última coluna representa uma cota
inferior alternativa para o problema conforme desenvolvido em XAVIER (1982a).
Tabela III.1- Resultados computacionais para o problema 1 - Parte 112
ITERAÇÃO (k) ~k NO. DE PASSOS f(xk)
Tabela 111.1 - Resultados computacionais para o problema 1 - Parte 214
Tabela 111.1 - Resultados computacionais para o problema 1 - Parte 314
Tabela 111.1 - Resultados computacionais para o problema 1 - Parte 4/4
Experiência Computacional do Uso do Algoritmo A1
A despeito de todo arcabouço teórico provaido seu funcionamento e a despeito
de um conjunto de características que em tese lhe deveria conferir um bom
desempenho, fica sempre a dúvida sobre a iobustez (capacidade de resolver
problemas) e a eficiência (rapidez) apresentadas na prática pelo método.
Exatamente com objetivo de testar a sua robustez, o algoritmo A1 foi
submetido um conjunto de problemas testes, cujos resultados estão registrados em
XAVIER (1 986).
Os problemas selecionados fazem parte da bibliografia sobre o tema. Como
fonte básica foi usado o livro de HOCK e SCHITTKOWSMI (1981) em que são
apresentados 11 9 problemas testes. Dentre esses foram selecionados 5 problemas (de
números 95, 101, 116, 117 e 118) segundo um critério de maior grau de dificuldade de
resolução. Essa medida de dificuldade foi obtida através de uma avaliação do
desempenho de 6 consagrados códigos de utilização corrente a nível internacional
frente a esses problemas, conforme registrado em HOCK e SCHITTKO WSKI (1981).
Adicionalmente, foi escolhido um problema de grande porte e considerado difícil para
testar o algoritmo, problema 23 descrito em HIMMELBLAU (1972) (vide Anexo 2).
A precisão dos resultados obtidos frente a esses problemas considerados na
literatura de alta dificuldade constitui-se em um indicador da potencialidade e da
robustez do método.
Ademais, o método da Penalização Hiperbólica tem sido utilizado com sucesso
em aplicações práticas no campo da Hidrologia (CANEDO, SILVA e XAVIER
(1989)) e XAVIER, CANEDO e SILVA (1990)), onde resultados inauditos têm sido
alcançados.
A Questão da Hessiana e suas Implicações
A grande deficiência de todos os métodos das penalidades exteriores e
interiores decorre da estrutura da Matriz Hessiana tornar-se crescentemente
desfavorável a cada iteração. A medida que o parâmetro de controle destes métodos
tende a infinito, m* valores próprios desta matriz tendem a infinito, sendo m* igual
ao número de restrições ativas no ponto de ótimo do problema (conforme exposto por
exemplo em LUENBERGER (1973), LOOTSMA (1972), RYAN (1974) e AVRIEL
(1976)).
Este mau condicionamento da Matriz Hessiaiia como é sabido, pode dificultar,
ou até mesmo impedir, o sucesso da minimização sem restrições. Como registrado por
AVRIEL (1976) os mais eficientes métodos para minirnizações sem restrições, que
pertencem ao grupo dos métodos tipo Newton, Gradientes Conjugados e Métrica
Variável, ironicamente são os mais vulneráveis à principal desvantagem apresentada
pelos métodos das penalidades exteriores e interiores.
A exploração efetiva desses métodos, como observa LUENBERGER (1973),
requer que sejam inventados esquemas especiais que eliminem o efeito provocado
pelos valores próprios infinitos.
Similarmente aos métodos de penalidades exteriores e interiores, que
apresentam a matriz Hessiana da função objetivo modificada com m* valores próprios
infinitos (vide por exemplo, FIACCO e McCORMICH (1966), LOOSTMA (1968a),
LOOTSMA (1969) e LOOTSMA (1970)) o método da Penalização Hiperbólica, como
mostrado logo a seguir, apresenta idêntica característica. Assim tendo mau
condicionamento também eilfrent a as mesmas dificuldades descritas para os outros
métodos.
Preliminarmente ao estudo da matriz hessiana, devemos explicitar uma
condição que o problema também deve obedecer:
C7 - (Complementariedade Estrita). A solução não é degenerada, ou seja, se *
gi(x*) = O o multiplicador associado é estritamente positivo, A i > 0.
Em síntese, o conjunto de condições impostas ao problema (CO, C1, C2', C3,
C4, C5, C6 e C7) além de viabilizar a convergência do algoritmo da Penalização
Hiperbólica, garantem a unicidade de x* e A* e a complementariedade estrita.
Teorema 3.4:
A matriz Hessiana da função objetivo modificada apresenta m* valores
próprios infinitos quando T + 0.
Demonstração
Vamos, então, calcular a Matriz Hessiana para o nosso caso. Derivando a
expressões (111.2) e (111.3) em relação a x, temos:
sendo I< definido como
Derivando novamente temos:
onde v;f(x) e V;gi(x) representam respectivamente as Hessianas de f(x) e de gi(x). A
Última parcela pode ser substituída pelo produto entre as matrizes Vg(x) Q(x) vgT(x)
onde Q é uma matriz diagonal (m x m) definida como:
Na seqüência de minimizações sem restrições, vamos ver o que acontece com
este termo da diagonal quando T -1 O e a restrição é ativa, ou seja, gi(x(7)) -t O
= l i m I P
Podemos modificar a expressão dos multiplicadores de Lagrange (III.13),
colocando-a na forma:
* * Como a seqüência { X i ( ~ k ) ) converge para X i e como X i > 0, pela condição C7,
devemos ter:
1 i m # O 7-10 gi(x(7))
e deste modo
Substituindo (111.22) em (III.20), obtemos:
IG' 1 im P"(~~(x(T),Q,T) = l i m - w 7-1 o 2 3 2 3 3 1 2 - T+O ( K ~ W ~ I gi(x(T)) + T )
Desse modo, a matriz Q(x(T)) possui m* valores próprios que tendem a
infinito quando T -1 O. Os demais (m-m*) autovalores são iguais a zero (basta
considerar gi(x(r)) > O na expressão acima). Na composição da matriz hessiana
(11119) cada parcela P 1 ' ( g i ( x * ) , ~ ~ ) Vgi(x*) vTgi(x*), i = 1, ..., m* tem rank 1.
Como os gradientes Vgi(x*), i = 1, .. . , m* são linearmente independentes, pela
condição C7, resulta que a matriz resultante do somatório tenha rank m* e possua m*
autovalores iguais a m. Desse modo, a matriz hessiana também apresentará m* valores
próprios infinitos quando r -1 0.
Tendo em vista superar as dificuldades produzidas pela degenerescência da
matriz Hessiana, XAVIER e MACULAN (1984) desenvolveram um bem sucedido
esquema de extrapolação que se utiliza da sucessão dos valores intermediários
{xk, Ak) para estimar (x*, A*) com precisão.
No trabalho acima referido, foi analisado o comportamelito de x(rk) e A(7-k) na
segunda fase do algoritmo da penalização hiperbólica (ak é mantido constante). Foi
demonstrado que X(T) e X ( T ) são vetores continuamente diferenciáveis em relação ao
parâmetro T para r 2 0, sob o conjunto de condições anteriormente relacionadas
acrescida da condição de convexidade. Ademais, se as funções f(x), gi(x), .. ., g,(x)
admitirem derivadas de ordem mais elevada, X(T) e A(T) também as admitirão.
Os resultados de diferenciabilidade criam as condições necessárias que
viabilizam uma expansão de x(r) e X(T) em termos de r na vizinhança do ponto
r=O.
De uma maneira análoga, pode ser feita a mesma expansão para o vetor A. Na
expressão (IILB), os vetores a , . , a são desconhecidos. Entretanto, isso não
acarreta qualquer dificuldade, pois se for adotada a regra de variação do parâinetro
49 1 C T = q r , O < q < 1, estes vetores podem ser facilmente eliminados através do
esquema de Richaidson-Roinberg (vide por exemplo, HENRICI (1 977)), que se
utiliza dos L mínimos anteriores a fim de se estimar x*.
XAVIER e MACULAN (1984) apresentam um exemplo numérico em que para
se obter pela forma ortodoxa result ados tão precisos quanto aqueles produzidos
através do mecanismo de extrapolação, seria necessário um valor de r
aproximadamente 105 menor.
No capítulo anterior, o método da penalização hiperbólica foi analisado e
apresentado prioritariamente dentro do enfoque de penalidade. Análises e
coinparações foram desenvolvidas para situá-lo no contexto dos métodos de
penalização exterior e interior. Assim, foi mostrado que na sua primeira fase
(caracterizada pela manipulação do parâmetro a) a penalização hiperbólica se
comporta similarmente aos métodos de penalização exterior, como por exemplo, os
que usam a função de perda quadrática (FIACCO e McCORMICK, (1966, 1968)). Na
sua segunda fase (caracterizada pela manipulação do parâmetro r) o seu
comportamento se aproxima mais dos inétodos das barreiras, como a penalização
logarítmica (LOOTSMA 1967) ou a penalização dada pela função inversa (FIACCO e
McCORMICK 1964). Ademais, foi mostrado que nessa segunda fase, quando o
paiâmetro r -, O, o método da penalização hiperbólica assintoticamente se aproxima
do método da penalização exata de ZANGWILL (1967).
Iniciaremos nesse ponto, a exploração de uma importante ligação até então
pouco contemplada: a estreita ligação do método com a Função Lagrangeana e, por
conseqüência, com as condições de otimalidade.
Recapitulando, seja xk = x(ak, r k ) um ponto que resolve o subproblema na
iteração k, ou seja, rninimiza a função F(x, a k , r k ) definida pela expressão (111.2).
Pela condição necessária de primeira ordem, nesse ponto deveremos necessariamente
ter:
onde PI representa a derivada da função penalidade P(y, a, r) em relação a y.
Se definirmos
e compararmos com as condições de otiinalidade de Karusli-Kuhn-Tuclm, como foi
visto anteriormente no Cal~ít ulo 111, essas quantidades cuinprem um papel similar aos
multiplicadores de Lagraiige e, por isso, são chamados de multiplicadores de Lagiange
generalizados. No caso particular da função penalidade hiperbólica definida em
(III.3), temos a seguiilte expressão para esses multiplicadores:
onde gi denota gi(xk).
(IV. 2)
No Capítulo anterior, bem como nos trabalhos XAVIER (1982a) e XAVIER e
MACULAN (1984), o deseiivolvime~lto foi feito considerando um único par de
parâmetros (o, r) comum a todas as restrições do problema. Todavia, a teoria
anteriormente desenvolvida continua sendo válida se adotarmos um par (ai, ri) para
a penalização de cada particular restrição gi(x) > O, i = 1, ... , m. Nessa forma, a
função de penalização (111.3) assume a seguinte expressão:
(IV. 3)
onde gi denota a restrição gi(x).
Definindo:
(IV .4)
a expressão (111.2) para o caso da penalização liiperbólica pode ser colocada sob a
forma:
A Função Lagrangeana, como sabemos, é definida por:
Comparando (IV.5) e (5.6),vemos então que a função objetivo modificada
(111.2) pode ser colocada sob a forma:
e a função penalidade sob a forma:
(IV. 7)
(IV. 8)
Analisando a expressão acima podemos ver que a função objetivo modificada
associada à penalização hiperbólica pode ser decomposta como a soma da função
lagrangeana com um somatório de termos que contém quadrados dos produtos entre
os valores das restrições e seus correspondentes inultiplicadores (folgas *
complementares). Em qualquer ponto de ótimo (x*, A*) devemos ter A i gi(x*) = 0,
i = 1, ..., m e, por isso, nesse ponto o somatório assume um valor mínimo igual a in C Ti. Dentro dessa ótica, o somatório na expressão (IV.7), pode ser interpretado
i = l
como uma penalidade à não observância da condição de complementariedade das
folgas que é acrescentada à função lagrangeana.
Numa análise superficial, é possível perceber que, na composição da função
objetivo modificada, ao tentarmos ininimizar essa parcela, automaticamente *
estaremos buscando a solução ótima, onde prevalecem as igualdades A i gi(x*) = 0,
i = 1, ..., m.
Através da análise da expressão IV.7 podemos chegar a um novo entendimento
de penalização hiperbólica que a associa aos métodos dos inultiplicadores: a função
CAPITULO V
MÉTODOS DOS MULTIPLICADORES
Na bibliografia existe uma grande variedade de métodos denominados ora
lagrangeanos aumentados, ora métodos lagrangeanos modificados, ora métodos de
multiplicadores, que possuem estrutura similar a expressão (IV. 7). Conforme
destacado por POWELL (1978): "funções lagrangeanas são as bases de muitos dos
mais bem sucedidos métodos para resolução de problemas de otimização com
restrições".
Conforme registrado por MINOUX (1986): "hoje em dia é com justiça
reconhecido que os métodos de otimização para problemas com restrições baseados no
uso de lagrangeanos aumentados estão entre os mais eficientes e robustos métodos de
uso geral para a resolução de problemas de programação matemática com função
objetivo e funções restrições fortemente não lineares.
Os métodos de multiplicadoies surgiram originalmente destinados à resolução
do problema de programação não linear sujeito a restrições de igualdade:
min f(x)
s.a. h j ( x ) = 0 , j = l , ..., p
HESTENES (1969) propôs a forma:
onde pj corresponde aos multiplicadores de Lagrange e p é um parâmetro de
penalidade positivo.
POWELL (1969) independentemente propôs urna expressão quadrática
diferente, mas equivalente à função de Hest enes:
onde Bj é uma tolerância à violação a cada restrição e T é um parâmetro de
penalidade. Se na expressão (V.3) fizermos a mudança de variável pj =
derivaremos a função (V.2) proposta por Hestenes acrescida por um termo constante.
Pouco depois, HAARHOFF e BUYS (1970) produziram a terceira proposta
independente da mesma idéia.
Para o problema não linear sujeito a restrições de desigualdade (1.2)) a função
lagrangeana aumentada mais consagrada é devido a ROCKAFELLAR (1974)
ARROW, GOULD e HOWE (1973)) considerando uma classe geral de
Lagrangeanos aumentados para o problema de programação não linear (I. 1) fornecem
um conjunto de exemplos de funções que atendem ao modelo proposto. Para as
restrições de desigualdade são relacionadas, além da formulação de Rockafellar, as
funções penalidades:
sendo y número inteiro par;
As duas primeiras funções penalidades (V.5) e (V.6), segundo citado em
ARROW et alli (1973) foram respectivamente propostas por ARROW e HURWICH
(1956) e GOULD e HOWE (1971).
No mesmo trabalho, ARROW et alli (1973) consideraram para as restrições de
igualdade a mesma função (V.2) adotada por Hestenes-Powell.
MANGASARIAN (1975) associando uma ampla classe de lagrangeanos
aumentados ao problema geral de programação não linear (1.1) apresenta um
conjunto de exemplos de funções penalidades que satisfazem às condições do modelo
proposto. A função objetivo modificada é colocada sob a forma:
onde
MANGASARIAN (1975) relaciona as seguintes funções $:
1 $(C) =- IcIt, t inteiro, t 2 2 rt
2 $(c) = cosh 5 - L - 1
2
O uso da primeira função $ acima (V.8) com t = 2, na expressão (V.7) nos
conduz ao lagrangeano aumentado de Rockafellar (V.4).
KORT e BERTSEKAS (1976) propõem para o problema com restrições de
desigualdade a função penalidade de ordem t:
sendo t > 2.
Além dessa função, KORT e BERTSEKAS (1976) propõem uma função
penalidade que é duas vezes diferenciável. Destarte superam a principal desvantagem
da formulação de Rockafellar (V.4) por possuir descontinuidade da derivada segunda
no ponto gi(x) = Xi/p.
PIERRE e LOWE (1975) descrevem em seu livro específico sobre lagrangeano
aumentado as questões envolvidas nessa abordagem e sintetizam um algoritmo para
problemas simultaneamente com restrições de igualdade e desigualdade. Para as
restrições de desigualdade, é adotada a função penalidade:
Xigi(x) 4- ~ ( g i ( x ) ) ~ para X i > O
sendo w em princípio um níimero muito grande.
NAKAYAMA, SAYAMA e SAWARAGI (1975) propõe a função lagrangeana
aumentada:
definida para X 2 0, que combina ao mesmo tempo características tanto de métodos
de penalização interior como de exterior.
FLETCHER (1970, 1973) desenvolvem um elegante método que resolve o
problema (1.1) através de uma única minimização irrestrita de uma função
lagrangeana aumentada diferenciável. Outros trabalhos podem ser citados que
propõem diferentes funções lagrangeanas aumentadas exatas, como: MUKAI e
POLAK (1978), PILLO e GRIPPO (1979) e BOGGS e TOLLE (1980).
MIELE et alli (1971a, 1971b, 1972a, 1972b) registram uma ampla experiência
computacional do uso de métodos lagrangeanos aumentados.
As propriedades e características dos métodos lagrangeanos aumentados
podem ser vistas nos amplos levantamentos desenvolvidos por RYAN (1974))
FLETCHER (1974)) FLETCHER (1983), MINOUX (1986) e, em especial, o livro de
BERTSEKAS (1982), resultado da compilação e consolidação de importantes
trabalhos do autor BERTSEKAS (1975a), BERTSEKAS (1975b), BERTSEKAS
(1976a), BERTSEKAS (1976b) e KORT e BERTSEKAS (1976). Dentre os trabalhos
mais recentes, destacamos a importante tese de EL-ALEM (1988) onde é apresentada
uma abordagem integradora entre os métodos das penalidades, métodos dos
multiplicadores e métodos de região de confiança.
Deve ser contrastado que a função utilizada i10 presente trabalho (IV.7)) que
denominaremos função Lagrangeana Hiperbólica, possui a destacável propriedade de
ser continuamente diferenciável, qualquer que seja a ordem da derivada considerada
em qualquer das variáveis: y, X ou r. Vale dizer, a função Lagrangeana Hiperbólica é
de classe Cw nessas variáveis. Destarte F(x, A, r) será de classe Cw se as funções
envolvidas f(x) e gi(x), i = 1, ... , m também forem desta classe.
Diversamente, a função usada por ROCKAFELLAR (1974) possui as
derivadas segundas descontínuas no ponto gi(x) = Xi/p. A quase totalidade das
funções acima especificadas (exceção para a função (V.9) de Kort e Bertsekas que é
classe C2), adotadas para a resolução do problema com restrições de desigualdade,
igualmente apresentam tais descontinuidades que podem prejudicar o desempenho dos
algoritmos de minimização irrestrita mais eficientes que se utilizam direta ou
indiretamente das derivadas segundas, como os métodos de Newton, Quasi-Newton
ou Gradientes Conjugados.
Adicionalmente à singular característica de diferenciabilidade, a função
Lagrangeana Hiperbólica oferece a importante propriedade de permitir a obtenção da
solução do problema (1.2) com valores finitos para os parâmetros r, como a seguir
será demonstrado. Essa propriedade oferece a possibilidade de se poder evitar o mau
condicionamento da matriz hessiana.
Conforme conceituado por POWELL (1978), os métodos lagrangeanos
aumentados podem ser vistos como uma extensão da idéia de função penalidade que
evita a necessidade que o parâmetro de controle seja muito elevado.
,
Como registram GILL, MURRAY e WRIGHT (1981), os métodos
lagrangeanos aumentados podem ser construídos de diferentes pontos de vista. Uma
motivação constantemente associada com esses métodos é construir um subproblema
com uma função objetivo tal que:
- a matriz hessiana não seja necessariamente mal condicionada;
- a função seja continuamente diferenciável.
Por aquilo que até aqui foi relatado, a função lagrangeana hiperbólica
atenderia integralmente a esses requisitos fundamentais, o que será comprovado no
Capítulo VI. Todavia, inúmeras são as questões de ordem teórica e computacional
relacionadas aos métodos lagrangeanos aumentadas que devem ser estudadas, tais
como: convergência global e local, taxa de convergência, dualidade, especificação de
algoritmo, atualização dos multiplicadores e experimentação numérica. O próximo
capítulo tem como objetivo abordar essas questões relacionadas especificamente a
função lagrangeana hiperbólica.
CAP~TULO VI
LAGRANGEANO HIPERBÓLICO
Trataremos nesse capítulo de como se utilizar da função lagrangeana
hiperbólica como instrumento eficaz para resolução do problema (111. I) .
Devemos, agora, especificar mais precisamente o problema que estamos
tentando resolver. No Capítulo I11 foram descritas as condições necessárias para se
garantir que a seqüência dos valores gerados pelo método da penalização hiperbólica
convirja para uma solução do problema. Neste capítulo será sempre admitida a
existência de um ponto ótimo x*. Ademais será também válida a condição de
regularidade, condição C6, que estabelece a unicidade dos multiplicadores de *
Lagrange X i , i = 1, .. . , m*, correspondente às restrições ativas, tais que a equação:
seja satisfeira.
Novas Condições
Abaixo vamos relacionar mais quatro conclições que nos será íitil:
diferenciabilidade segunda, coinpacidade, convexidade e suficiência de 2a. ordem. A
condição de difeienciabilidade segunda sempre será suposta válida no decorrer do
capítulo, enquanto as demais serão eventualmente evocadas no desenvolviinento do
texto.
C2"- (Diferenciabilidade Segunda). As funções f(x) e gi(x), i = 1, .. ., m possuem
derivadas segundas contínuas.
C1'- (Compacidade). O conjunto viável S = {x 1 gi(x) 2 O , i = i, ..., m)) é fechado,
tem interior não vazio e é limitado.
C8- (Convexidade). As funções f(x) e -gi(x), i = 1, . .., m são convexas.
C8'- (Convexidade Estrita). A função. penalidade associada a uma restrição
P(gi(x), A i , r) é estritamente convexa para qualquer T > O e A i > O conforme
propriedade PIO. A condição C8 implica na convexidade de F(x,A,r). A
convexidade estrita segue quando f(x) foi estrit amente convexa ou quando
qualquer -gi(x), i = 1, . . . , m* for estritamente convexa ou quando existirem n
restrições lineares ativas linearmente independentes no problema.
C9 - (Suficência de 2% ordem). Sendo V2L(x*,A*) a Hessiana da função Lagreana na
solução ótima (x*, A*), é obedecida a relação:
yT V2L(x*, A*) y > O
para todo vetor y que satisfizer às condições
Resoluçá~ Ideal do Problema Convexo
Apresentaremos a seguir um resultado que mostra as possibilidades da função
lagrangeana liiperbólica caso se conhecesse a priori os valores dos multiplicadores de
Lagrange. Embora sendo uma situação ideal, esse estudo nos fornece elementos para
um melhor entendimento da estrutura subjacente ao lagrangeano hiperbólico.
Ademais, esclarece a ligação entre a penalização hiperbólica e o lagrangeano
hiperbólico.
Vamos admitir inicialmente a hipótese que haja um único ponto de mínimo.
Logo depois essa hipótese será relaxada.
Teorema 6.1
Suponhamos que o problema (111.1) satisfaça às condições de compacidade Cl ' ,
diferenciabilidade C2', convexidade estrita C8' e regularidade C6.
Se o problema (111.1) satisfizer às condições acima especificadas e se os ângulos *
ai, i = I , ..., m da função penalidade hiperbólica (111.3) forem escolhidos de sorte a
atender às igualdades:
então o problema será resolvido em uma única minirnização irrestrita para qualquer
T > O .
As condições impostas implicam na existência de uma solução f(x*) finita para
o problema num ponto de mínimo único x*. Adicionalmente a condição CG implica na
* existência de um único conjunto de multiplicadores A* e desse modo os ângulos ai,
i = 1, . . . , m são univocamente determinados.
Num ponto de mínimo x(a*, T) da função F(x, a*, T) uma condição necessária
é que o gradiente se anule:
VF(x(a*, r), a*, T) = 0
Considerando a igualdade (VI.l), essa condição pode ser escrita como:
(VI. 2)
Vamos analisar o que acontece se substituirmos nessa última expressão
x(a*, r) por x*, a solução do problema. Lançando mão das condições de
Karush-Kuhn-Tucker vemos que os dois primeiros termos se anulam pela hipótese de
otimalidade de (x*, A*). O último termo se anula pela condição de folga *
complementar (Ai gi(x*) = O, i = 1, ..., m) já que r > 0.
Como a função F é estritamente convexa, esse último fato implica que:
F(x*, a*, T) = F(x(a*, r), a*, T) (VI. 3)
e que
Teorema 6.2: Se o problema satisfizer às condições de diferenciabilidade C2',
convexidade C8, regularidade C6 e complementariedade estrita em todo ponto de
ótimo C7, as conclusões do Teorema 6.1 continuam válidas.
A ausência da condições de convexidade estrita elimina a certeza de ponto de
mínimo único x*. Sendo x(o*, r) qualquer ponto de iníilimo da função objetivo
modificada F(x, o*, r) a equação (VI.3) continua válida. Resta provar que
f(x(o*, r ) ) = f(x*) e que x(o*, r)) é um ponto viável. Primeiramente devemos
considerar que para as restrições não ativas:
por isso
que pela propriedade P5 determina:
P(gi(x),o*,~) = r, i = m * + 1, ..., m, paraVx~iRn
Como gi(x*) = O, i = 1, . .., m, pela propriedade P3 tem-se:
P(gi(x*),o*,~) = r, i = 1, ..., m*
Levando em consideração as duas últimas igualdades, chegamos à expressão:
F(x*, o*, r ) = f(x*) + m r (VI.4)
Utilizando-se novamente da convexidade, temos:
F(x(c~*,r),o*,r) = F(x*,o*,r) = F(&* + (1-0) x(o*,T), o*, r) =
sendo O 5 0 5 1.
Reagrupando a expressão acima e fazendo uso das igualdades anteriormente
obtidas chegamos à expressão:
m C P(gi(&* + (1-0) x(Q*,T)), o*, r) + (m-in*) r =
i= 1
= f(x*) + m r - f(&* + (1-0) x(o*, r))
Como a função f é convexa, o segundo membro da igualdade acima é uma
função côncava. De outro lado, o primeiro membro é uma função convexa pois é igual
a uma soma de funções convexas. A única hipótese possível para atender a esse
conflito é que ambos membros sejam constantes no inteivalo O 5 0 5 1, ou seja, que
f (x (2 , r)) = f(x*)
Resta provar que x(a*, r) é ponto viável, ou seja:
gi(x(&*, r)) > O, i = m* + 1, ..., m
Vamos supor por absurdo que gi(x(0*, r)) < O para todos i, i = m*+l, ..., m.
Ligando x(a*, T ) a um ponto ótimo qualquer x* haverá na fronteira um ponto X*, *
também ótimo, pois viável, com gi(x*) = O e X i = O para algum i no intervalo
m* + 1 1 i 1 m violando a hipótese de complementariedade estrita C7
Devemos neste ponto tecer alguns comentários sobre a abrangência do teorema
VI.2. A existência de mais de um ponto de rnínimo com a vigência da condição de
complementariedade estrita C7 em todo ponto de mínimo basicamente implica em um
espaço solução ilimitado. Ainda nos casos em que haja mais de um ponto de mínimo
mas onde o espaço solução seja limitado (e portanto sem condição C7), é possível
resolver o problema (111.1) em uma única iteração. Essa situação se configuia, por
exemplo, no caso de um problema de programação linear onde uma faceta (limitada)
seja solução.
Sendo x(a*, r) qualquer ponto de mínimo da função objetivo modificada
F(x, a*, r) as equações (VI.5) continuarão sendo válidas. Todavia, como vimos
acima, a dificuldade decorre da event.ua1 não observância das desigualdades
gi(x(a*, r)) > O, i = m*+1, ..., m pelas restrições não ativas, ou seja, x(a*, r) pode
ser não viável.
Essa dificuldade pode ser facilmente superada da seguinte maneira.
Primeiramente vamos associar às restrições não ativas os parâmetros:
sendo y um valor positivo qualquer.
Para as restrições ativas, como antes, mantemos o valor a dado pela expressão
(VI.l), enquanto que Ti, i = 1, ..., m* podem assumir qualquer valor positivo. O
vetor dos ângulos da penalidade hiperbólica 2 e o vetor dos parâmetros de
penalidade 7 resultantes dessas modificações serão, então, iguais a:
Dessa forma se tivermos um ponto v que satisfaça as três relações:
gi(v) < O para algum i = m* + 1, ..., m
teremos pela propriedade P7
e, definitivamente, o ponto v não pode ser ótimo.
O esquema recém-mostrado viabiliza a manutenção do efeito de penalização a
violações a qualquer restrição não ativa enquanto o efeito é nulo para pontos que
satisfaçam a essas restrições. Por isso, se configura numa atrativa estratégia para se
tratar computacionalmente as restrições consideradas redundantes.
Resolução Ideal do Problema Não Convexo
Para o caso convexo a função de Hestenes-Powell apresenta propriedade
idêntica à demonstrada pelos Teoremas 6.1. e 6.2, enquanto para o caso não convexo é
demonstrada a existência de um valor p tal que x* é um ponto de mínimo de
L,(x, A*, p) para todo p > i. Para a função Lagrangeana Hiperbólica podemos a
seguir demonstrar resultado equivalente.
Teorema 6.3
Seja x* um ponto de inínimo local de um problema (111.1) não-linear e seja A*
os multiplicadores de Lagrange correspondentes. Se forem observadas as condições de
regularidade C6 e de complementariedade estrita C7, então existirá um valor 7 tal
que para todo 0 < T 1 7, X* será ponto de mínimo do Lagrangeano Hiperbólico
L H ( ~ J * , d .
Demonstração
Sem perda de generalidade vamos assumir um valor de parâmetro T constante
para todas as restrições.
Primeiramente deve ser lembrado, como utilizado no Teorema 6.1, que:
Todavia para que o ponto x* seja mínimo é necessário que a matriz hessima
V2F(x*,a*, T) seja semi-definida positiva
Colocando a expressão acima sob uma forma matricial mais compacta e *
observando que no ponto (x*, A*) é observada a relação A i gi(x*) = O, i = 1, ..., m,
obtemos:
onde D é matriz diagonal (m x m)
sendo as primeiras m* componeiites estritamente positivas pela condição de
complement ariedade estrit a C7.
Como x* é por hipótese ponto de mínimo a condição necessária de segunda
ordem estabelece que a matriz Hessiana Lagrangeana V2L(x*, A*) é serni-definida
positiva no espaço tangente às restrições gi(x*) , i = 1, . . . , m* ou seja:
yT82~(x*, A*) y )_ o (VI. 6 )
para todo y tal que
y T ~ g i ( ~ * ) = O, i = 1, ..., m* (VI. 7)
De outro lado, a matriz Vg(x*) D V ~ ( X * ) ~ é definida positiva no espaço gerado
pelas restrições Vgi(x*), i = 1, ..., m*, ou seja, é definida positiva no espaço normal às
restrições gi(x*)), i = 1, ..., m*.
Como os termos da diagonal da matriz D são inversamente proporcionais a r,
existirá um 7 tal que para todo T 5 7 a soma das duas matrizes será semi-definida
positiva, como a seguir é detalhado passo a passo.
Seja z um vetor qualquer pertencente ao P. Vamos decompor z como a soma
de duas componentes: uma situada no espaço tangente e outra no espaço normal às
restrições gi(x*) = O, i = 1, ..., m*
onde Vga(x*) é matriz (n, in*) formada pelos gradientes das restrições ativas.
Vamos então calcular a expressão da forma quadrática com a matriz hessiana
do lagrangeano hiperbólico no ponto (x*, A*) eliminando os argumentos para
simplificar a notação:
Usando a equação (VI.7), obtemos:
Eliminando os termos nulos derivados da diagonal inferior da matriz D
* * onde A = diag(A,, ..., A,)
T Chamando AVga Vgau = w
Considerando que as restrições ativas são linearmente independentes no ponto
x* pela condição de regularidade C6, sabemos que se u # O implica em w # O.
Assim para valores pequenos de r, será válida a relação:
pois se u = O a relação (VI.6) prevalece e se u # O haverá um valor 7 tal que para 1 todo O 5 r 5 7 a parcela - 11 w1I2 justificará a desigualdade. r 2
Teoria de Ponto de Sela
Para o caso do problema convexo é conliecido que o ponto ótimo do problema
restrito corresponde ao ponto de sela da função lagraiigeana. Emiilados nesse
resultado, desenvolveremos nesta seção uma Teoria de Ponto de Sela. Para isso
adotaremos uma seqüência de teoremas semelhante a apresentada por ARRO W,
GOULD e HOWE (1973).
Tem-se como objetivo a caracterização do ponto ótimo do problema de
programação não linear sujeito a restrições de desigualdade (111.1)) em princípio não
convexo, como um ponto de sela da função lagrangeana hiperbólica.
Como registra ROCKAFELLAR (1974)) essa abordagem de ponto de sela
torna mais clara a estrutura dual subjacente ao problema (que é apresentado na
próxima seção).
O primeiro teorema mostra que, sob certas condiçóes,a função LH(x, h, r ) é
localmente convexa para pontos (x,h) próximos a (x*, h*) e portanto apresenta um
ponto de mínimo.
Teorema 6.4
Se adicionalmente às condições do Teorema 6.3 for obedecida a condição
suficiente de 2a. ordem C9 e se o valor do parâinetro T for suficientemente pequeno,
T < 7, então a matriz hessiana da função lagrangeana hiperbólica V2LH(x, A, T) é
definida positiva para qualquer par (x, h) suficientemente perto de (x*, A*).
Demonstração
Na seqüência da demonstração do Teorema 6.3 foi mostrado que V2LH(x*,h*,r)
é semi-definida positiva se T for suficientemente pequeno, ou seja, O < T 5 7.
De outro lado, a condição suficiente de 2a. ordem estabelece que
yTvL(x*, A*) y > o
para todo y tal que yT~gi(x*) = O, i = 1, ..., m*.
Usando novamente o mesmo raciocínio utilizado no Teorema 6.3 a partir da
equação V1.8, o estabelecimento dessa última condição, implica que V2LH(x*,X*,r*)
seja definida positiva para valores de T pequenos, O < T < 7.
Finalmente pela continuidade de todas funções envolvidas, V2LH(x,A,~) será
definida positiva para qualquer par (x,A) suficientemente próximo à solução (x*,A*).
O próximo teorema mostra a existência de uin ponto de sela da função
Lagrangeana Hiperbólica no par ótimo (x* ,A*).
Teorema 6.5
Se forem atendidas as condições especificadas para o Teorema 6.3 e se o
parâmetro T for suficientemente pequeno, O < T 5 7, então:
para todo x em alguma vizinhança B(x*, 6) de x* e para todo X >_ 0.
Demonstração
Pelo fato de x* ser ponto de mínimo de F(x,X*,r), como demonstrado pelo
Teorema 6.3, implica na existência de uma vizinhança B(x*,S) em que é válida a
primeira desigualdade.
* Desde que gi(x*) = O para i = 1, ..., m* e que A i = O para i = m*+l, ..., m,
pelas propriedades P5 e P8 da função penalidade, temos
(VI. 10)
Como gi(x*) > O , i = m*+l, ..., m pela propriedade P5 da função
penalidade, implica que:
Levando a desigualdade acima na expressão (VI.lO) e usando (VI.9) podemos
obter o resultado:
Inversamente, se tivermos um ponto de sela na função lagrangeana hiperbólica,
esse ponto de sela é solução local do problema de otimização (111.1) que estamos
considerando.
Teorema 6.6
Se a função objetivo modificada F(x,X,r) tiver um ponto de sela no ponto
(x*,,X*) sendo x pertencente a um conjunto convexo B(x*,,S) e X > O então x* será
solução do problema (111.1) sujeito adicionalmente à restrição x E B(x*, 6).
Demonstração
A hipótese fundamental do teorema estabelece que
(VI. 11)
para todos pontos x E B(x*,S) e X > 0.
Fazendo a transposição na desigualdade do lado esquerdo obtemos
diretamente:
Vamos definir:
Se pudermos provar que x* é um ponto viável e que A é não positivo para Qx
na interseção de B(x*, 6) com o conjunto viável o result ado será provado.
Analisando a desigualdade do lado direito na expressão (VI.ll) obtemos:
Como o lado direito na desigualdade acima é urna soma de funções de variáveis
independentes, essa desigualdade se estabelece para todo X 2 O se e somente se
for válido para todo X i L O , i = 1, ..., m.
Essas desigualdades só podem ser verdadeiras se
em vista da propriedade P3 da função penalidade liiperbólica, ou então se
(VI. 15)
em vista da propriedade P5 da função penalidade hiperbólica.
Em qualquer das duas alterilativas gi(x*) 2 0, i = 1, ..., m, ou seja, x* é um
ponto viável para o problema (111.1).
Na medida que as desigualdades (111.14) são válidas para Q X i 2 0, serão válidas
para o valor A i = O
* P(gi(x*), Ai, T) 2 P(gi(x*), 0, 7) = r (VI. 17)
Pela propriedade P5 da função penalidade, como gi(x*) 2 O , i = 1, . . . , m
Comparando as desigualdades (VI. 17) e (VI. l8), concluímos que:
As únicas possibilidades para a ocorrêiicia de (VI.19) são as situações
caracterizadas em (VI.15) e (VI.16). Dessa forma a condição de folga complementar é *
obedecida, ou seja, A i gi(x*) = O, i = 1, ..., m.
Substituindo (VI.19) em (VI.13) obtemos:
m A = C (P(gi(x), A*, T) - T)
i = l
Considerando uma vez mais a 'propriedade P5 da função penalidade
hiperbólica, para qualquer x pertencente à interseção de B(x*, 6) e o conjunto ativo
(gi(x) L O), é obedecida a desigualdade P(gi(x), A*, r) ( r e dessa forma A < 0.
Finalmente, levando esta última desigualdade em (VI. 12) obtemos a relação
procurada:
Função Dual
Como uma conseqüência direta e complementar à teoria de ponto de sela
apresentada na seção anterior, desenvolveremos a seguir a teoria de dualidade
correspondente.
Para valores X E Rm próximos ao ponto A* vamos definir a seguinte função
onde é entendido que o ponto de mínimo é tomado localmente em relação a x perto de
Devido a especular ligação existente entre a função QT(h) e o problema (III.l),
como a seguir mostrado, a essa função é designado o nome: função dual.
Gradiente da Função Dual
Chamando um ponto de iníilimo da função objetivo modificada de x(X)
podemos reescrever a função dual como:
Diferenciando em relação a A, a componente i do gradiente da função dual
assume o valor:
Como x(X) é ponto de ótimo, necessariamente deve ser obedecida a igualdade:
e portanto:
Matriz Hessiana da Função Dual
Vamos calcular o elemento ij da matriz hessiana V20r(X)
Eliminando o subescrito T para simplicar um pouco a notação:
onde o termo Sij representa o delta de Kronecker:
Sij = 1 se i = j
Reagrupando podemos chegar à expressão:
Para calcular o valor do termo na expressáo acima, vamos fazer uso da d X j
condição necessária de la. ordem necessariamente obedecida pelo ponto x ( X )
ou seja:
Diferenciando em relação a Xj, obtemos:
Simplificando, chegamos à expressão:
Substituindo a expressão acima em (VI.21), obtemos:
Pelo Teorema 6.3, x* é ponto de mínimo da função F(x,A*,r) para todo r ( 7,
ou seja, x(X*) = x*. Assim, no ponto A* podemos usar a condição de folga *
complementar A i gi(x*) = 0, i = 1, ..., m para se obter uma expressão da hessiana
mais simples:
* + ~ i ( x * ) bij V2@ij (A*) = - vgT(x*) [VF(x*, A*, r)]-' Vgj (X ) r
Sendo as primeiras m* restrições ativas, ou seja,
a matriz hessiana no ponto de ótimo assume a configuração:
-vTgi(X*) [V'F(X*, X*,r)]-'Vgj (x*) : -vTg i (x*) [ V F (x* , A* , ~)]-'Vgj (x*)
( i , j) E I* ~ E I * , j ~ ( 1 - I * )
(VI. 22)
onde I = (1, ..., m) e I* = {I, ..., in*)
Essa matriz tem algumas características interessantes. Considerando a
submatriz inferior à direita, de dimensão (m-m*, m-m*), podemos ver que para
valores pequenos de r, o termo na diagonal gS(x*)/r dominará completamente esta
submatriz. Assim os seus autovalores serão aproxiinadamente iguais a g;(x1)/r, e essa
submatriz será definida positiva para valores pequenos de r.
Analisando agora a primeira submatriz superior à esquerda de dimensão (m*,
m*) primeiramente, devemos notar que o termo V2F(x*,,X*,r) é uma matriz definida
positiva, conforme mostrado no Teorema 6.3. Usando urna notação matricial mais
compacta essa matriz pode ser escrita como -vTgTg.(x*) [v~F(x*,x*, r)]-1 Vg,(x*) , onde
Vg,(x*) é uma matriz (i1 x in*), cujas colunas são formadas pelos gradientes das
restrições ativas.
Supondo que seja obedecida a condição de regularidade C6, os gradientes
Vgi(x*), i = 1, ... , m* que formam a matriz Vga(x*) são linearmente independentes e,
por isso, devemos ter: Vga(x*) y = z # O se y # O. Assim:
vale dizer, essa submatriz é definida negativa.
Problema Dual
Vamos agora considerar o problema
Esse problema (VI.23) é denominado problema dual e está intimamente ligado
ao problema de miiiirnização (111.1) denominado problema priinal. O Teorema 6.7,
Teorema da Dualidade Local, a seguir apresentado, coloca de uma forma mais
explícita a ligação entre os dois problemas. Essa ligação, na verdade, já fora
estabelecida na seção anterior: Teoria do Ponto de Sela.
Preliminarmente vamos efetuar uma rápida análise do gradiente da função
$,(A) no ponto X = A*. Como sabemos, para valores T < 7, QT(X*) é resolvido no
ponto x = x*. Usando (VI.20) vemos que o gradiente neste ponto assume a expressão:
(VI. 24)
onde as primeiras componentes nulas correspondem às restrições ativas e as restantes
às não ativas.
A expressão (VI.24) nos indica que o ponto A* deve ser ponto de ótimo do
problema (111.1) pois as componentes de V@,(A*) diferentes de zero correspondem às
restrições do problema que estão no seu limite mínimo:
ou seja, não existe qualquer direção de decréscimo da função que seja viável.
Teorema Dualidade Local
Teorema 6.7
Suponhamos que o problema
rnin f(x)
tenha uma solução local num ponto x* com multiplicadores de Lagrange A*.
Suponhamos também que x* seja um ponto regular em relação às restrições
ativas, ou seja os vetores, Vgi(x*), i = 1, . . . , m* são linearmente independentes.
Suponhamos adicionalmente que T 5 7
Então, a função $r(A) apresenta um máximo local com respeito a A ) O no
ponto A*.
Demonstração
Primeiramente deve ser observado que $,(A*) é resolvido no ponto x = x*
porque
VF(x*) A*, r ) = 0
e porque V2F(x*) A*, r) é definida positiva, para todo r 5 7, logo x* é ponto de
mínimo.
Para provas que o ponto A* é um ponto de máximo vamos fazer uso das
condições suficientes de 2a. ordem. Estas estabelecem que para A*, ser um ponto de
máximo restrito do problema (VI.23) é suficiente que exista um vetor p E Rm tal que
e que a inatriz liessiana V2$T(A*) seja definida negativa no subespaço tangente as
restrições ativas em A*.
Como os gradientes das restrições são linearmente independentes em A*
podemos caracterizar o plano tangente R em termos dos gradientes das funções:
T R = {y ly ei = O, i = m*+l, ..., in)
onde ei são os vetores da base euclidiana do espaço iRm (iguais aos gradientes das
restrições ativas do problema dual).
Analisando a equação (V1.25~) podemos concluir que para obedecê-la no
presente caso, devemos necessariamente ter
tendo a primeira partição m* componentes e a segunda (m-m*) componentes.
É fácil ver que esse valor de p também atende às condições (VI.25a) e
(VI.25b).
Falta provar que V2@(A*) é definida negativa no espaço tangente. Pela análise
da definição do subespaço tangente (VI.26) podemos concluir que os vetores y que
satisfazem a essa especificação reduzem à forma
sendo o particionamento feito novamente com m* e (m-m*) componentes.
Usando desse particionameiito e fazendo uso da expressão (VI.22)
As colunas da matriz Vga(x*) são os gradientes das restrições ativas no ponto
x* que pela hipótese de regularidade CG são linearmente independentes. Dessa forma
temos que: Vga(x*) yl = O se e somente se yl = O. De outro lado sabemos pelo
teorema 6.3 que -zTv2~(x*, A*, r) z < O se r < 7 para qualquer z # O. Se esta
relação é válida, também será válida:
A prova é completa, bastando em (VI.28) fazer z = Vga(x*) yi.
Corolário do Teorema 6.7:
$T(A*) = f(x*) + inr
Demonstração
Usando o resultado do Teorema 6.7 anterior:
Qr(A*) = min F(x,A*,r) = F(x*,A*,r) = X
pelas propriedades P3 e P5 da função penalidade hiperbólica.
Pelo resultado mostrado no corolário acima, é fácil observar que
alternativamente à expressão (IV.8) poderíamos definir a função penalidade como:
produzindo, assim, a igualdade entre os valores ótimos do problema prima1 e do dual
(o que seria mais consentâneo com as definições usuais de funções duais !).
Resolução do Problema
Demonstrada a equivalência entre o problema (111.1) e o problema dual
(VI.23), abordaremos como podemos usar essa propriedade para a resolução do
problema original.
Obviamente, ao se usar na prática a função dual lagrangeana hiperbólica para
resolver o problema de programação não-linear (III.l), os multiplicadores de
Lagrange ótimos A* raramente são conliecidos a prioii. Dessa forma a função
LH(x,A,7) deve ser operada de alguma maneira sistemática a fim de encontrar valores
consistentes x* e A*, que satisfaçam às condições de otimalidade.
Como o condicionamento da matriz hessiana se degenera quando r diminui,
conforme demonstrado no Teorema 3.4, o ideal, segundo esse critério, seria tentar *
determinar os valores X i , i = 1, . .., m com valores ri os mais altos possíveis.
Similarmente a outros métodos baseados em lagrangeanos aumentados existem
muitas alternativas de se proceder nesse sentido. Uma estrutura muito comum aos
métodos de multiplicadores é a dada pelo algoritmo A2.
Algoritmo A2
1) Façak=O.
Tome valores iniciais xo, A 1 > O e r1 > 0.
2) Faça k = k + 1
C = 1
3) Resolva o problema de minimização sem restrições
min L,(x,Xk,rk) X
a partir do ponto inicial xk-1 obtendo um ponto ótimo intermediário xk.
4) Teste se o acréscimo do valor da função dual corrigida foi suficiente:
Se
[(L (xk,Xk, r k ) - mrk) - (LH(xk-1,Xk-1, rk-1) - inrk- i ) ] = H
sendo o E (O , 112)
faça:
e volte ao passo 3.
Regra de Parada: Se o pai (xk, Xk) é aceitável como ótimo: pare.
Atualização dos iniiltiplicadores de Lagraiige:
Atualização dos paiâmetros de penalização r:
Vá para o passo 2.
No Algoritmo A2, similarmente aos métodos de penalidade, a obtenção da
solução do problema (111.1) será efetuada através da resolução de uma seqüência de
minimizações irrestritas no passo 3. É suposto implicitamente que os valores
fornecidos no passo 1 (xo, Xl , 71) sejam tais que realmente produzam um ponto de
mínimo. Ademais, é suposto que o algoritmo de ininimização irrestrita possua todas
as salvaguardas para detecção de uma solução ilimitada.
Ao minimizarmos a função objetivo L,(x,Ak,rk) obtemos um ponto de mínimo
intermediário xk = x(Xk, r k ) em que
Entretanto as condições de otimalidade requerem que tenhamos
VL(xk, Xk) = O em vez da condição acima obtida. A idéia subjacente ao processo de
atualização dos multiplicadores de Lagrange dada no passo 6, pode ser sintetizada da
seguinte maneira: a fim de satisfazer à condição VL(xk,.) = O o procedimento adotado
pelo algoritmo consiste em reajustar o vetor de multiplicadores X de sorte que o novo
VL(xk, Ai<+') iguale o antigo VLH(xk, Ak, rk). Vale dizer, os multiplicadores são
atualizados de maneira a se obter:
VL(xk, A'+') = VL,(xk, A', r k ) = 0
A regra de atualização que satisfaz a equação acima é obtida imediatamente
pela comparação da expressão do gradiente do Lagrangeano VL com a expressão de
VL, dando origem à expressão (VI.29). (Na literatura essa atualização é conhecida
como de la. ordem por ser equivalente a um desenvolvimento até o 10. termo da série
de Taylor) .
Deve ser observado, como seria esperado, que essa expresão (VI.29) é
exatamente a estimativa dos multiplicadores de Lagrange dada pela expressão (111.12)
que fora obtida no desenvolvimento do método da penalização hipeibólica
apresentada no Capítulo I11 (basta fazer a substituição de X por a).
Uma característica importante da atualização dada por (VI.29) é que produz
urna direção de variação do vetor "A" que é uma direção de acréscimo da função dual
$&A). Isso pode ser facilmente visto fazendo uso da série de Taylor até o 10. termo:
Sendo o ponto X k não ótimo, i10 soinatório acima haverá pelo menos um termo
positivo (por ser produto de dois ilúmeros negativos) e por isso:
$ (Xk+l) - @ (Xk) > O + O((AXk)2) r r
ou seja, AXk é uina direção de acréscimo da função Qr(X).
Outra característica da atualização (VI.29) é que se Xk for ponto viável do
problema dual, Xk+l também será ponto viável, ou seja, se Xk >_ O implica que X k + l > 0.
Essa conclusão é imediata, pois basta observar que na expressão (VI.29) sempre é
mantida a desigualdade:
Xkg(xk) < I para T > 0
J ( Xkg (xk))2+ 72
Como no passo 1 foi tomado o valor inicial X l > O, o algoritino só gera pontos
duais viáveis.
O passo 4 do algoritmo tem por objetivo garantir permanentemente um
acréscimo suficiente da fiinção objetivo dual (corrigida) segundo um esquema tipo
Arrnijo (vide por exemplo, POLAM (1971)). A racionalidade do teste se fundamenta
no corolário do Teorema 6.7, de onde podemos derivar a relação
max [$T(A) - mr] = $T(X*) - m r = f(x*) X
válida para todo T 5 7. Assim, existe um valor limitante superior f(x*) independente
do valor de r. O teste garante um acréscimo suficiente na direção desse valor.
O passo 7 do algoritmo provoca um decréscimo constante dos parâmetros Ti,
i = 1, ..., m.
Antes de analisarmos mais detalhadaineiite o algoritmo A2, podemos notar de
início duas desvantagens:
- os parâmetros de penalidade são diminuidos até zero, perdurando destarte o
mau condicionainento da hessiana estudado no Capítulo 111;
- o uso da busca de Armijo, sob o ponto de vista prático, pode ser considerado
absolutamente fora de propósito. A sua inclusão decorre unicamente de
exigências de natureza teórica para se provar convergência, conforme
comentado por BERTSEKAS (1982) em relação a outros algoritmos de
multiplicadores.
Teorema 6.8
Seja o par (x*, A*) a solução ótima de um problema de programação não linear
em que sejam obedecidas as condições de convexidade estrita C8', regularidade C6 e
complement ariedade estrit a C7.
Nessas condições a seqüência de pontos gerados pelo algoritmo A2 converge
para a solução (x*, A*).
Demonstração
Para se analisar a convergência do algoritmo A2 nos fundamentaremos
basicamente em dois pontos: compacidade e acréscimo suficiente.
Consideraremos inicialmente a hipótese de que o parâmetio q no passo 7 do
algoritmo assuma o valor q = 1, e dessa forma, rk+l = r k (constante).
A referida compacidade decorre do fato que cada uma das componentes do
vetor X se situa num intervalo limitado
O < X ~ < X . SUP
Ao valor da expressão (111.10) no desenvolviinento do Teorema 3.1 - -
corresponde um valor X O em vista da estreita ligação entre a e X estabelecida pela
equação (IV.4).
- - Se numa iteração k tivermos por acaso Xf > A o teremos certamente gi(xk) > O
k + l e, por isso, a atualização (VI.29) nos fornecerá X i < A!.
- - Se A! < X O pode ocorrer gi(xk) < O, mas a forma de atualização (V1.29) nos
k+l garante que A i < 2~:.
De outro lado, no limite inferior, a atualização (VI.29) sempre nos garante que
A$ 2 o.
Assim, temos o valor X f situado no intervalo:
Vimos, então, que a sequência cle pontos gerada pelo algoritmo se situa num
conjunto compacto e, dessa forma, todo ponto de acumulação dessa sequência
pertence a esse conjunto compacto. Resta provar que qualquer um desses pontos de
acumulação é solução do problema.
Analisando o passo 4 do algoritmo, consideraremos primeiramente a hipótese
da sequência de direções AXk = X k + l - Xk representar uma direção de acréscimo de
QT(X) em todas iterações. Nesta hipótese o ângulo formado entre as direções AAk e
@,(Ai<) deve ser sempre menor que um ângulo P, sendo O < ,O < 7r/2, ou seja, deve ser
observada a relação:
sendo p > 0.
Nessas condições, o uso da busca de Armijo no passo 4 garante um acréscimo
suficiente a cada iteração do algoritmo e, como provado em BERTSEKAS (1982);
página 24, cada ponto de acumulação da sequência é um ponto crítico em que é
observada a relação
Pela análise da expressão (VI.20) de V@,(X), podemos concluir que a única
hipótese para que o gradiente da função dual se anule é que a correspondente
sequência {xk) gerada pelo algoritmo convirja para um valor 2 em que
- - No par (x, A) pela condição neces&xia de la. ordem deve ser obedecida a
relação:
VF(2, X, r) = 0
de onde, levando em consideração a expressão (VI.2), podemos facilmente derivar:
Vf(2) - C X i Vgi(2) = O (VI.32) i
Ademais, pela forma de atualização (V1.29) é garantida a desigualdade X i > 0.
Verificamos dessa forma que o par (x, X) satisfaz as condições necessárias de
primeira ordem de Karush-Kuhn-Tucker . Ademais, considerando as hipóteses
especificadas no enunciado do teorema de convexidade, regularidade e
complementariedade estrita devemos ter (X, X) = (x*, A*) solução do problema.
Alternativamente à hipótese (VI.31)) considereinos que precoceinente as duas
direções AAk e VOT(Ak) se tornem ortogoiiais, ou seja:
Como vimos anteriormente cada componente AAF Vi @,(Ak) > O e, por isso,
devemos ter:
ou seja:
Para a ocorrência da convergência acima duas hipóteses devem ser
consideradas:
Analisando a expressão VI.29 podemos facilmente ver que em ambas hipóteses
{AXk) + O, ou seja, a seqüência {Xk) + X. A correspondente sequência {xk), pela
convexidade estrita, deve coiivergir a um valor x. Ademais, por VI.2 podemos
concluir que a equação VI.32 também é obedecida.
k Se X i + O devemos ter gi(xk) -t g(k) > 0, desde que se por acaso numa iteração
k+l 1< tivermos gi(xk) < O, a regra de atualização determina A i > X f > 0, contrariando
completamente o sentido da convergência admitida por hipótese (A! + 0).
Em síntese, serão também obedecidas as coiidições de Karusli-Kuh-Tucltei e
pelas condições de convexidade, regularidade e complementariedade estrita teremos a
convergência {xk, Xk) -t (x*, A*) .
Consideremos agora o caso em que o parâmetro q do passo 7 do algoritmo seja
menor que 1 (q < 1) provocando destarte um decréscimo permanente do parâmetro
de penalidade r.
Em decorrência de (VI.30) a direção (Xk+l - Xk) produzida pela atualização do
passo 6 do algoritmo é uma direção de acréscimo de [$Tk(X) - rk] num ponto Xk não
ótimo. Havendo a redução de r k para r k t l a direção ( X k + l - Xk) continua a ser uma
direção de acréscimo de [QTk+,(X) - r k + l ] em relação a [QTk(Xk) - r k ] por duas razões.
Primeiramente a redução do parâinetro r, por si só, já representa um aumento
da função ( ( I ~ ( A ~ ) - T).
Ademais, sendo verdadeira a desigualdade (VI.31) teremos por uma questão de
continuidade uma vizinhança B ( T ~ , 6) tal que
P ( A ) . ( A ) > - para V T E B(+, 6)
2
Dessa forma, a busca de Armijo executada no passo 4 certamente encontrará
um valor ~ k + l dentro de B ( T ~ , 6) que produzirá um acréscimo suficiente que
viabilizará, como mostrado antes, a convergência do algoritino.
Sendo verdadeira a desigualdade (VI.33) para q < 1, exatamente como visto
no caso anterior, implica na convergência {AAk) + O que, por sua vez, determina a
observância da equação (VI.32) e a convergência da seqiiência {xk, Xk) para (x*, A*).
Taxa de Convergência
Analisaremos o comportamento da convergência segundo um esquema similar
ao adotado por McCORMICH e SOFEL (1988) considerando as duas opções
relevantes: q < 1 e q = 1.
* Se {A:) + A i > O necessariamente deve ser observada a convergência:
No primeiro caso, q < 1, o parâmetro de penalidade r sofre um decréscimo a
cada iteração em direção a zero. Sendo assim, se a restrição for ativa, ou seja, se *
X i > O e gi(x*) = 0, devemos ter:
(VI. 34)
Da expressão acima podemos concluir que a convergência da seqüência
{Xtgi(xk))} -i O deve ser muito mais rápida do que { rk} + O. Fazendo uso da notação
de Hardy podemos escrever:
ou seja, o termo XYgi(xk) é de uma ordem de grandeza inferior a r k , o que caracteriza
uma convergência superlinear com o parâmetro r. A equação acima implica em:
* Se a restrição for não ativa, ou seja; se A i = O e gi(xk) > O , e se q < 1, ou
seja, r k + 0, pela análise da expressão (VI.29) podemos concluir que pode haver a *
convergência {A;} + X i = O, i = m*+l, ..., m, mesmo no caso em que o limite na
expressão (VI.34) tenda a 1. Essa hipótese equivale à convergência r k + O ser mais
rápida do que a convergência X t gi(xk) + 0, quando então teríamos:
Embora sendo uma convergência muito baixa, não faz qualquer diferença em
termos computacionais, devido à propriedade P7 da função penalidade hiperbólica, já
que gi(x*) > O, i = in*+l, ..., m e r k -t 0.
No Capítulo I11 vimos que a convergência do algoritmo Al, caracterizado na
2a. fase pelo ângulo a fixo, é linear com r k , conforme a equação (111.15).
Estabelecendo uma comparação, o resultado (VI. 35) mostra uma nítida superioridade
do algoritmo A2 sobre o A1 no que se concerne a taxa de convergência. Todavia,
como r k -t O perduram as dificuldades provocadas pela degenerescência da matriz
hessiana da função objetivo modificada conforme anteriormente analisado.
Se alternativamente mantivermos o decréscimo dos parâmetros Ti, i = 1, ..., m
a um valor mínimo rmin, estratégia usualmente adotada como por exemplo PIERRE e
LOWE (1975), não teríamos de toda sorte superado todas dificuldades. Essa opção
tem uma equivalência ao caso abaixo considerado.
No segundo caso, q = 1, o parâmetro penalidade assume um valor constante
em todas iterações: r k = 71 para Vk. A convergência implica que tenhamos:
Para valores grandes de k, a atualização dos multiplicadores se aproxima de:
* Para as restrições não ativas, X i = O, i = m*+l, ..., m, teríamos próximo à
solução gi(xk) gi(x*).
Fazendo Bi = gi(x*)/~' chegamos a:
o que caracteriza uma convergêilcia excessivamente lenta próxima à solução.
Exemplo Ilustrativo do Uso do Algoritmo A2
A fim de ilustrar o desempenlio computacional do Algoritmo A2
apresentaremos os resultados obtidos na resolução de um problema de grande porte.
Trata-se do problema 23 descrito em HIMMELBLAU (1972) com 100
variáveis e 112 restrições. Esse problema, formulado originalmente por Richard Day
da USAF, é um exemplo clássico na literatura de problema de programação
não-linear de difícil resoliição, conforme regist rado, por exemplo, por FAN, SARK AS
e LASDON (1985).
A especificação do problema e os resultados são apresentados no Anexo 2.
Resolução do Problema Linear
Uma importante característica do método lagrangeano hiperbólico especificado
pelo algoritmo A2 é que sob a especial condição da correta identificação do conjunto
ativo resolve o problema linear não degenerado dual em uma única iteração.
Teorema 6.9
Seja o problema linear:
T min c x
s.a. Ax >_ b
em que c é um vetor com n componentes, A é matriz (m, n) e b é um vetor com m
componentes.
Suponhamos que o problema (VI.36) tenha solução finita e que a solução dual
seja não degenerada.
Suponhamos adicionalmente que numa iteração k do algoritmo A2 tenha sido
identificado o correto conjunto de restrições ativas com a conseqüente eliminação das
restrições não ativas, ou seja:
Atendidas as hipóteses especificadas, o problema linear é resolvido em mais
uma única iteração.
Demonstração
Pelas condições necessárias de Karush-Kuhn-Tucker devemos ter na solução
ótima:
Ao resolvermos o problema irrestrito k, obteremos pela condição necessária de
la . ordem:
Considerando a atualização dada pela fórmula (VI.29) do algoritino A2 a
expressão acima equivale a:
ou usando, a notação particular do problema linear (VI.36):
Comparando (VI. 39) com (VIXi'), obtemos:
onde o índice a que se refere às restrições ativas e o índice n se refere às restrições não
ativas.
Levando em consideração a hipótese de não degenerescência dual, a matriz A:
deve ter rank m* e dest arte devemos ter:
Assim ao resolvermos o problema k + 1, o ponto ótimo obtido x k + l deverá
reproduzir os valores ótimos para os niultiplicadores na iteração seguinte:
Considerando a atualização (VI.29) adotada, a ocorrência de (VI.40) implica
em:
ou seja, o ponto x k + l resolve o problema linear (VI.36).
Resolução do Problema Convexo
Consideremos o caso particular em que o problema não linear (111.1) é
convexo, ou seja, a função objetivo é função convexa e as restrições são funções
côncavas.
Tentaremos provar para esse caso particular, que o passo dado pela
atualização (V1.29) sempre provoca um acréscimo do valor da função dual OT(X) para
qualquer T finito. Para isso, usaremos o desenvolvimento de Taylor para derivar um
problema aproximado e, através de sua resolução, encontrar uma relação de acréscimo
do problema dual.
Teorema 6.10
Para o problema convexo, se o conjunto de restrições ativas for corretamente
estabelecido, se o número de restrições ativas m* for igual à dimensão do espaço n, se
os gradientes dessas restrições forem linearmente independentes em todo espaço Rn,
então a atualização dos multiplicadores através da expressão (VI.29) provoca um
aumento do valor da função dual $ T ( X ) para um valor do parâmetro da penalidade T
qualquer.
Demonstração
Sem perda de generalidade fixaremos Ti = r (constante), i = 1, .. . , m em todas
iterações.
Consideraremos preliminarmente a resolução do problema irrestrito na
iteração k destinado à miiiimização da fmção:
Consideraremos o desenvolviineiito das fuiições f(x) e gi(x), i = 1, ... , m em
séries de Taylor no entorno do ponto de mínimo xk encontrado nessa iteração k.
Levando em conta a natureza convexa do problema podemos escrever:
f (x) 2 f (xk) + vTf (Xk) (X-Xk) = f (x)
T gi(x) < gi(xk) + 'Vgi(xk)(x-xk) = g i ( ~ ) para W = 1, ..., m
Enfatizamos que as funções T(x) e gi(x), i = i, . . . , m são definidas
estritamente em torno do ponto xk, que é portanto imutável.
Como P(x,X,r) é função decrescente (propriedade P8) e devido à desigualdade
(VI.42):
Considerando (VI.41) e (VI.43), podemos escrever:
A desigualdade acima é válida para qualquer ponto x E IR11 em particular para
o ponto de mínimo iilterinediário xk+l:
Se conseguirmos provar que @(Xk+l) > @(Xk) o teorema também estará
provado.
A hipótese que o conjunto ativo tenha sido determinado significa que
A atualização dada pela expressão (VI.29) implica que
Analisando o problema min F(x ,x~+~,T) , onde a função F é definida em
(VI.44), podemos ver que esse problema corresponde à função objetivo modificada
associada a X k t l do problema linear
s.a.gi(x) 20 , i = 1, ..., m (VI. 48)
Como demonstrado pelo Teorema 6.9 a regra de atualização (VI.29) do
parâinetro X permite a resolução do problema linear (VI.48) em uma única iteração
desde que o coiijuiito ativo seja corretamente determinado, vale dizer, desde que
equações (VI.46) sejam válidas. Dessa forma deveremos ter
Usando (VI.42), temos
(VI.50)
As igualdades (VI.50) coiistitiiein um sistema de m* equações lineares com n
incógnitas representadas pelo vetor &+i. Pela hipótese que o número de restrições
ativas é igual à dimensão do espaço temos no presente caso m* = n. Assim, (VI.50)
representa um sistema linear (n x n).
Adotando a notação matricial onde o índice "a" se refere uizicamente às
restrições ativas, o sistema (VI.50) pode ser colocado sob a forma
Como por hipótese os gradientes das restrições ativas são linearmente
independentes no Rn, o sistema (VI.51) tem como solução:
Considerando as igualdades (VI.46) e (VI.49), pelas propriedades P3 e P5 da
função penalidade, temos
Substituindo (VI.41), (VI.44)) (VI.52) e (VI.53) em (VI.45), obtemos:
$ ( ~ k + l ) = F ( X k + l , ~ k + l , ~ ) = f(xk) + vTf(xk)(-vgi'(xk) ga(xk)) + m r
Vamos agora considerar o valor da função dual no passo k:
@(Xk) = f(xk) + P(g(xk),Xk,r)
Ademais pela coiidição necessária de otiinalidade e levando em consideração
(VI.46)
Usando (VI.54) e (VI.55) e levando em consideração (VI.46) podemos escrever:
Substituindo o valor de Vf(xk) pela expressão (VI.56) e adotando uma notação
matricial simplificada em que são eliminados os superescritos, pois todas as funções
envolvidas são avaliadas no passo k
T onde e = (1, . .. , 1) com dimensão (m* x 1.))
Fazendo as simplificações imediatas (VI.58) se transforina em:
$(xk+l) - Q ( x ~ ) = eT A ~ G ~ ( A ~ G Z + r21)-'J2 e + m*r - eT(i \2~2 + 721) 112
Nesse último somatório cada uma das parcelas é maior ou igual que - r, mas
pelo menos uma delas é maior que - r. (Se todas parcelas fossem iguais a - r,
necessariamente deveríamos ter Akgi(xk) = O, i = 1, . . . , m* e estaríamos no ótimo).
Dessa forma podemos concluir de (VI.59) que
No teorema anterior foi feita a hipótese de que m* = n. Todavia, podemos
estender os resultados do Teorema 6.10 ao caso em que in* < 11.
O sistema linear (VI.50) seria composto por m* equações e n incógnitas, sendo
m* < n. Para resolvê-lo poderíamos adotar a solução de mínima norma usando a
pseudo-inversa no lugar de vTg(xk), vide equação (VI.52). Essa a única diferença, as
demais passagens seriam as mesmas e continuariam válidas.
O Teorema 6.10 nos sugere uma simplificação elementar do algoritmo A2
através da simples eliminação da busca de Arinijo efetuada no passo 4. Dessa forma é
eliminada a principal desvantagem do algoritmo A2.
Algoritmo A3
Faça k = 0.
Tome valores iniciais xo, A 1 > O e r1 > 0.
Resolva o problema de rniniinização sem restrições
min LH(x,Xk,rk) X
a partir do ponto inicial xk-1 obtendo um ponto ótimo intermediário xk.
Regra de parada: Se o par (xk, Xk) é aceitável como ótimo: pare.
Atualização dos multiplicadores de Lagrange:
6) Atualização dos parâmetros de penalização T:
Vá para o passo 2. H
Podemos ademais eliminar a desvaiitagein da degenerescência da matriz
hessiana provocada pelo decréscimo T + O bastando para isso fixar q = 1 no passo 6 do
algoritmo A3. Outra alternativa é substituir a atualização de ~k pela fórmula:
onde Tmin representa um valor mínimo para o parâmetro de penalidade.
Convergência para o Caso Convexo
Obedecidas as hipóteses especificadas no Teoiema 6.10 para o problema
convexo o algoritmo A3 converge para a solução do problema.
Demonstração
A prova se baseia na compacidade do conjunto de pontos gerados pelo
algoritmo, exatamente dentro da mesma construção lógica utilizada no Teorema 6.8,
e nos recentes resultados do Teorema 6.10.
Como a sequência de pontos gerada pelo algoritmo se situa num conjunto
compacto, todo ponto de acumulação dessa sequência pertence a esse conjunto
compacto. Seja um desses pontos de acumulação {Xk} + gerada pela subseqüência
k E K. A correspondente sequência de pontos { ~ k ) ~ ~ deve convergir a um valor 2. Por
simplicidade de notação será omitido o índice I< relativo à subseqüência considerada.
O Teorema 6.10 estabelece que a seqüência dos valores {@(Xk)) é
monotonamente crescente e que
Na observância de (VI.60) se ocorrer a alternativa:
teríamos a convergência para a solução ótima, já que seriam observadas as condições
de Karush-Kuhn-Tucker e o problema é convexo.
Negando a hipótese (VI.61) vamos supor que haja convergência para um ponto
inviável (primal) :
{A!} + X i = O
i E Ii C I = (1, ..., in}
{gi(xk)}+ g i (X) < O
Na sequência {gi(xk)}, i E Ii a cada vez que ocorrer gi(xk) < 0, a regra de k+l
atualização (VI.29) determina o aumento do multiplicador associado A i > A! > O,
k contrariando completamente o sentido da convergência admitida {A i) + O. (Na
verdade, o aumento desse Ai continua até que se obtenha gi(xk) > 0).
Admitida, de toda sorte, a convergência (VI.62) haveria infinitas mudanças de
sinal de gi(A), i C Ii e por (VI.59) a função cresceria ilimitadamente, contrariando a
hipótese de existência de solução finita.
O algoritmo A3 se configura como uma boa opção para a resolução do
problema uma vez tenha sido determinado o conjunto ativo. Perdura todavia a
questão dessa determinação: a grande dependência do algoritmo A3.
No Capítulo 111, vimos que o algoritino A1 além de produzir estimativas dos
inultiplicadores de Lagrange apresenta uma excelente robustez.
Apresentaremos a seguir o algoritino A4 que representa uma síntese desses
dois algoritmos. O objetivo perseguido é o estabelecimento de uma articulação
harmoniosa desses dois algoritinos de sorte a aproveitar a vantagem de ainbas.
Algoritmo A4
1. Estabelecimento dos parâinetros iniciais.
Faça k = 1 e forneça parâmnetros iniciais do método do algoritmo Al : d, 71,
bem como, o ponto inicial xo.
2. Minirnização da função penalizada.
Resolva o subproblema sem restrições
m rninF(x,olk,rk) = f(x) + C P ( g i ( ~ ) , ~ k , ~ k )
i= 1
a partir do ponto inicial xk-1 obtendo um ponto de ótimo xk.
3. Regra de proximidade.
Se xk estiver pióxiino da solução:
- registre a estimativa do conjunto ativo e passe ao passo 4.
Senão:
- atualize conveiiienteineiite (ak, ~ k ) seguiido OS passos 5 OU 7 do algoritino
A l , faça k = 1<+1 e volte ao passo 2.
4. Regra de parada
Se xk for aceitável como solução: pare.
5. Atualização dos inultiplicadores de Lagrange
Faça I< = k+ l e recalcule as estimativas dos multiplicadores de Lagrange, A!,
i = 1, . .. , m* segundo o passo 5 do algoiitmo A3.
6. Minirnização da função Lagrangeana Hipeibólica
Resolva o subproblema sem restrições
a partir do ponto inicial xk-1 obtendo como solução um ponto xk.
7. Verificação do acerto do conjunto ativo estimado
Se houver detecção de erro de especificação do conjunto ativo:
- diminua r, recupere convenientemente a, faça k = k + l e volte ao passo 2.
Senão:
- volte ao passo 4.
Vamos dar uma idéia geral do algoritmo antes de descrevê-lo passo a passo e
de fornecer especificações adicionais.
O algoritmo tem duas fases. A primeira, que poderia ser denominada de
1 1 aproximação", é composta pelos passos 1 a 3, onde basicamente é implementado o
algoritmo A l . A fase final "resolução", composta pelos passos 4 a 6, coriespondeiite à
participação do algoritmo A3. O passo 7 é um passo de controle em que
permanentemente é verificado a correção da especificação do conjunto ativo. O
algoritmo, embora usando a mesma função de penalização, é híbrido, pois adota
formas diferentes para manipulação dos parâmetros em suas duas fases.
OSBORNE e RYAN (1972) adotam um interessante esquema similar ao
algoritmo proposto. Inicialmente todas as restrições são trat adas por penalização,
gradativamente, aquelas identificadas como ativas são tratadas com a função de
PO WELL (1969) e as consideradas redundantes (não ativas) são eliminadas.
BEST, BRAUNINGER, RITTER e ROBINSON (1981) igualmente usam
numa primeira fase um algoritmo de penalização culminando com a utilização do
algoritmo estabelecido por ROBINSON (1972), que resolve uma seqüência de
problemas com restrições lineares e que possui convergência quadrática.
Na fase de "aproximação" se busca um ponto xk adequadamente próximo da
solução x*. Significa também estabelecer o conjunto ativo, bem como, obter uma boa
estimativa inicial dos multiplicadores de Lagrange, questão vital para o bom
desempenho dos métodos de multiplicadores (GILL e MURRAY (lgí'g)). O ideal é
que essa fase se realize com valores dos parâinetros T ainda altos, tal que os
problemas de convergência na resolução dos subproblemas tenham sua dimensão
reduzida. De outro lado, para se efetuar uma aproximação adequada é preciso
diminuir esses parâmetros. A administração desse conflito é o dilema principal que se
apresenta. Julgamos que deve ser, em princípio, priorizada uma aproximação
suficiente para fornecer uma correta definição do conjunto ativo. Os algoritmos do
tipo Lagrangeano Aumentado enfrentam aí sua principal dificuldade. Conforme
comentado por GILL, MURRAY, S AUNDERS e WRIGHT (1989) : "existem grandes
dificuldades em se desenvolver um esquema geral que garanta que um dado conjunto
de restrições seja corretamente o conjunto ativo". Como a determinação desse
conjunto é um problema de natureza combinatorial, a eliminação de ciclos de busca
deve ser perseguida.
Na fase de "Resolução" se busca o refinamento da solução. Nesta fase é
adotada a função Lagrangeana Hiperbólica que, em princípio, não enfrenta os
conhecidos problemas de mau condicionamento da hessiana pois vai trabalhar com
valores altos dos parâmetros T utilizados na última iteração da fase anterior.
A seguir é dada uma descrição mais detalhada da racionalidade e do objetivo
de cada passo do algoritmo.
O passo 1 refere-se à especificação dos dados iniciais necessários a penalização
hiperbólica (algoritmo A l ) .
O passo 2 realiza uma iteração da iniiiiinização da função objetivo modificada.
O passo 3, regra de proximidade, é o ponto em que se efetua a passagem entre
as duas fases. O sucesso do algoritino depende essencialmente do acerto da decisão
tomada nesse passo. Uina aproximação precoce com altos valores de r pode levar a
uma especificação errada do conjunto de restrições ativas, o que compromete o
encadeamento normal do algoritmo.
Inúmeras são as formas que se pode especificar a regra de proximidade. Uma
alternativa natural seria:
-Se IAxkI = Ixk-xk+i -t 1 '1 Ponto xk é próximo
Se o teste acima for positivo, a especificação do conjunto ativo pode seguir a
seguinte regra:
- se gi(xk) + O e A: + Xi > O : restrição gi(x) é considerada ativa
- se gi(xk) + Ri > O e Xf + O : restrição gi(x) é considerada redundante
- se qualquer restrição não atender aos dois critérios é rejeitada a hipótese de
proximidade.
Com a adoção dos testes para especificação do conjunto ativo, acima descritos,
implicitamente se espera que o problema satisfaça às condições de
complementariedade estrita (coildição C7) e regularidade (condição C6). Assim, duas
situações patológicas podem ocorrer em que, mesmo para valores pequenos de r, esses
critérios de classificação não seriam adequados. Seria o caso em que a condição de
complementariedade estrita não fosse verdadeira, quando deveria ocorrer gi(xk) + O e
X:+O para algum i. Seria, também, o caso ein que a condição de
ICarush-Kuhn-Tucker não fosse satisfeita com gi(xk) + O e A: + m para algum i.
Afinal, se xk for considerado próximo da solução nesse passo 3, passa-se para a
segunda fase do algoritmo dentro do eilfoque da função lagrangeana hiperbólica,
somente com o conjunto ativo. Caso contrário, faz-se a atualização de (L$, r k )
dentro do enfoque do algoritmo da penalização hiperbólica (algoritmo Al).
O passo 4 é a regra de parada, onde se testa se xk é aceitavelmente o ponto
ótimo.
O passo 5 efetua a atualização dos multiplicadores de Lagrange.
Uma alternativa natural é dada pela fórmula (VI.29). Como visto, essa forma
de correção é chamada de la. ordem. HESTENES (1969) e POWELL (1969) adotam
igualmente correções de la. ordem. Existe todavia a possibilidade de se adotar
atualizações de 2a. ordem decorrentes de um desenvolvimento do valor da função
objetivo modificada em termos de X até o 20. termo da série de Taylor. FLETCHER
(1981) registra que as duas formas de atualização são eficazes, mas atualizações de 2a.
ordem são um tanto mais eficientes.
O passo 6 simplesmente minimiza a função Lagrangeana Hiperbólica
trabalhando exclusivamente com o conjunto de restrições considerado ativo.
O passo 7 tem o propósito de salvaguardar os eventuais erros na definição do
conjunto ativo.
A idéia central desse passo é verificar o acerto feito na classificação das
restrições. Caso o erro seja identificado é efetuada a volta à fase inicial para se efetuar
urna aproximação mais precisa do ótimo.
Uma forma natural é controlar permanentemente a violação às restrições
consideradas não ativas.
Outra forma é adotar o seguinte teste derivado diretamente da expressão
(VI.59):
Se:
então a classificação vigente do conjunto ativo é rejeitada.
Se qualquer dos dois testes acima for positivo deve-se voltar à fase de
aproximação (passo 2). Preliminarmente é procedida a diminuição do parâmetro T
para forçar uma definição mais clara do conjunto ativo. Quanto a a, uma atualização
natural seria o resgate dos últimos valores utilizados na fase de aproximação.
Convergência do Algoritmo A4
Teorema 6.12
O algoritmo A4 converge para um ponto satisfazendo as condições de
Karusl-i-ICuhn-Tuclter .
Demonstração
Se o algoritmo ciclar entre os passos 2 e 3 do algoritmo, teremos a
convergência pois nesse trecho está implementado o algoritmo A1 que pelo Teorema
3.3 converge.
Se o algoritmo ciclar entre os passos 4 e 7 (algoritmo A3) teremos a
convergência de uma forma análoga a mostrada pelo Teorema 6.11. O teste (VI.63)
garante o acréscimo da função dual a cada iteração e o teste de observância ,às
restrições não ativas garante a viabilidade.
Destacamos que o algoritmo A4 representa unicamente uma possibilidade para
se combinar as naturezas de penalidade e lagrangeana contidas na função penalidade
hiperbólica. Dentre as inúmeras possibilidades, uma interessante alternativa seria
adotar um esquema similar ao de OSBORNE e RYAN (1972) em que é feita uma
classificação permanente das restrições com vistas a especificação do conjunto de
restrições ativas. Todavia, essas investigações devem ficar relegadas para futuros
desdobramentos do presente trabalho.
Ao final do trabalho, julgamos conveniente fazermos preliminarmente uma
pequena síntese dos principais pontos apresentados.
Em relação aos trabalhos originais em que foram estabelecidos os fundamentos
da Penalização Hiperbólica XAVIER (1982a) e XAVIER (1982b), bem como, aos
trabalhos subseqüentes XAVIER e MACULAN (1984), XAVIER (1986) e XAVIER
(1991), foram acrescentados resultados que dão uma nova dimensão ao método e que,
por via de conseqüência, criam novas possibilidades de sua utilização prática.
O estabelecimento da ligação da Penalização Hiperbólica com a função
lagrangeana oferece um novo e amplo campo de estudos. Explorando essas ligações,
foi desenvolvida uma teoria de ponto de sela que associa ao ponto ótimo do problema
não linear sujeito a restrições de desigualdade um ponto de sela de função lagrangeana
hiperbólica. Dessa maneira, foi possível construir uma teoria de dualidade em torno
da penalização hiperbólica.
Esses resultados forneceram o arcabouço teórico necessário à construção de um
conjunto de novos algoritmos para os quais demos a denominação genérica de
Lagrangeanos Hiperbólicos. Completando o desenvolvimento, foi demonstrada a
convergência dos algoritmos propostos.
E natural que nesse ponto façamos uma avaliação global do método. Neste
sentido destacaremos sinteticamente o que julgamos serem as suas principais
características.
Diferenciabilidade
A função hiperbólica utilizada neste trabalho P(y, A, r ) , equação IV.8 (ou sob
a forma original, equação III.3), possui a singular propriedade de ser continuamente
diferenciável qualquer que seja a ordem da derivada considerada e segundo quaisquer
das variáveis consideradas: y, X ou r. Em outras palavras a função penalidade
hiperbólica é de classe Cw. Destarte F(x, A, r), equação IV.7, será de classe Cw se as
funções envolvidas f (x) e gi(x), i = 1, . . . , m t ainbém o forem.
Sob o ponto de vista computacional, esta é uma destacável propriedade. O
bom comportamento da função objetivo modificada oferece a possibilidade das
melhores técnicas de minimização sem restrições, que se utilizam das derivadas de
segunda ordem, funcionarem com a máxima eficiência. Atribuimos a essa propriedade
a razão do bom desempenho dos algoritinos frente a problemas considerados difíceis
na literatura.
Diversamente, a imensa maioria dos métodos das penalidades ou de
inultiplicadores trabalha com funções que apresentam descontinuidades de alguma
ordem, fato que acaba prejudicando o perfeito desempenho dos métodos de
rninimização irrestrita.
Ponto Inicial
Uma grande facilidade apresentada pelo método é em relação ao ponto inicial.
Não existe necessidade de qualquer ponto especial para inicio do processamento do
algoritmo, como acontece, por exemplo, no caso dos métodos das penalidades
int eriores.
Da mesma forma, dentro do processo interno de rninirnização sem restrições,
não se faz necessário qualquer controle sob a localização dos pontos intermediários.
A teoria da dualidade desenvolvida além de permitir a especificação dos
algoritinos Lagrangeanos Hiperbólicos oferece, através dos resultados do Teorema 6.7
e seu corolário, a desigualdade:
Se o ponto de mínimo intermediário x k for viável temos dois valores limitando
o valor da solução do problema:
Esse resultado se apresenta como um excelente critério para regra de parada.
Robustez e Precisão
Embora a experiência computacional não tenha sido muito extensiva, se
concentrou em problemas considerados difíceis, vis a vis o desempenho de consagrados
códigos de programação não linear frente aos mesmos, problemas de números 95, 101,
116, 117 e 118 de HOCK e SCHITTKOWSKI (1981) e problema 23 de
HIMMELBLAU (1972).
Em síntese devemos destacar:
- A solução obtida para qualquer dos.problemas de HOCK e SCHITTMOWSKI
(1981) foi tão boa quanto a melhor apresentada por qualquer dos seis códigos
nesta referência (vide XAVIER (1986)).
- A solução do problema Hirnmelblau 23 foi consideravelmente melhor que
aqueles obtidos por Holzman e por Bracken e McCormick conforme
reproduzido em HIMMELBLAU (1972). As soluções obtidas pelos algoritmos
A1 e A2 foram rigorosamente iguais e coincidem com aquela de MURTAGH e
SAUNDERS (1978).
Ademais, o método tem sido utilizado com sucesso, CANEDO, SILVA e
XAVIER (1989) e XAVIER, CANEDO e SILVA (1990) em aplicações hidrológicas
consideradas de grande dificuldade pela literatura (HENDRICKSON, SOROOSHIAN
e BRAZIL (1988)).
Assim, esses resdt ados preliminares têm demonstrado inelutavelmente
robustez (capacidade de resolver problemas) e precisão do método. Embora os
problemas tenliam sido submetidos basicamente ao algoritmo Al, dada à natureza dos
algoritmos Lagrangeanos Hiperbólicos terem uma estrutura muito semelhante àquela
do algoritmo Al, acreditamos que esses problemas sejam igualmente resolvidos por
esses últimos algoritmos, como o foi o problema Himmelblau 23 (provavelmente o
mais difícil).
Condicionamento da Matriz Hessiana
Similarmente aos métodos de penalidades exteriores e interiores o método da
penalização hiperbólica na formulação do algoritino A1 apresenta a propriedade de
m* valores próprios da matriz hessiana da função objetivo modificada tenderem a
infinito quando o parâmetro T tende a zero.
Todavia, as dificuldades decorrentes do mau condicionamento da matriz
hessiana, como mostrado no Capítulo VI, podem ser evitadas pelo método na
formulação denominada Lagrangeano Hiperbólico (algoritmos A2 a A4).
Para o método da penalização hiperbólica na formulação do algoritmo A1 foi
feito o desenvolvimento teórico (XAVIER e MACULAN (1984)) que mostra a
viabilidade de se usar mecanismos de extrapolação para se estimar o par ótimo
(x*, A*). Ademais, na prática o uso da extrapolação se mostrou numa estratégia
muito eficaz.
Dadas as características de diferenciabilidade apresentadas pelo Lagrangeano
Hiperbólico, os mecanismos de extrapolação também podem ser usados nos algoritmos
que adotam essa formulação (algoritmos A2 a A4).
Facilidade de Implementação
Todos algoritmos apresent ados possuem a característica de serem facilmente
programáveis, o que viabiliza a sua utilização por qualquer usuário menos experiente.
Restrições de Igualdade
No desenvolvimento deste trabalho foi sempre considerado o problema de
programação linear sujeito unicamente a restrições de desigualdade (1.2). Para a
resolução do problema mais geral (1.1) poderíamos adotar a penalização hiperbólica
para as restrições de desigualdade combinada com diversas alternativas descritas na
bibliografia para tratamento de restrições de igualdade. Todavia vamos preferir
apresentar dois encaminhamentos dentro da mesma elaboração da penalização
hiperbólica.
Uma primeira estratégia, muito simples, que tem sido implantada com sucesso
absoluto à nível experimental é desdobrar cada restrição de igualdade em duas
desigualdades:
Ademais, é dada uma folga flutuante para cada uma das desigualdades acima,
ou seja, a cada iteração "k" do algoritino Al, cada restrição hj(x) = O, j = 1, ..., p é
substituída por:
k -k onde E . e são respectivamente as folgas inferiores e superior específicas para a
-J
restrição de igualdade j na iteração k.
Ao final da iteração k, ao se obter o ponto de mínimo intermediário xk,
reduzimos a folga correspoiideilte ao sentido em que a restrição lij(xk) = O é violada
enquanto a outra é mantida constante. Vale dizer, as folgas são atualizadas da
seguinte forma:
Uma outra estratégia, complementar à primeira, é substituir cada restrição de
igualdade unicamente por uma restrição de desigualdade definida pela escolha de um
dos lados das desigualdades (VII. 1).
Essa abordagem está baseada na hipótese da correta determiaação do sinal do
multiplicador de Lagrange associado à cada restrição de igualdade. Nesse sentido é
similar ao método de multiplicadores de Hestenes-Powell.
Esse enfoque poderia, outrossim, ser classificado dentro da linha de
determinação do conjunto ativo. Dentro das hipóteses do teorema 6.10 (se o conjunto
de restrições ativas for corretamente estabelecido e se o problema resultante for
convexo) o algoritmo A3 resolve o problema (1.1).
Novas L i a s de Estudo
Embora importantes poiitos teóricos tenham sido desenvolvidos, est amos longe
de esgotar os estudos. Na verdade as ligações da penalização liiperbólica com a função
lagrangeana ampliam ainda mais as fronteiras de novas linhas a serem pesquisadas.
Abaixo listamos um conjunto de áreas a serem consideradas nesses estudos futuros,
sendo que em algumas delas, resultamdos preliminares já nos indicam possibilidades
concretas de serem bem sucedidas.
- Resolução do problema com restrições de igualdade
Esses trabalhos compreendem a formalização e o aprofundamento das
propostas acima alinhavadas.
- Resolução aproximada do problema dual
LUENBERGER (1973), estudando o método de multiplicadores de
HESTENES (1969) e POWELL (1969) para resolução do problema não linear sujeito
a restrições de igualdade, apresenta uma interessante abordagem em que, via
utilização de um método Newton Aproximado, deriva a atualização de la. ordem dos
multiplicadores de Lagrange. Possuímos resultados preliminares que nos inclicam que
seja possível adotar essa mesma abordagem para a penalização hiperbólica.
- Condicionamento do problema dual
Através do estudo da estrutura da matriz hessiana da fuilção dual é possível se
fazer um balaiiceainento das restrições com o sentido de equilibrar os autovalores
dessa matriz. Inspirados nos trabalhos de MURRAY (1971) e FLETCHER (1975) e
na tese de LOOTSMA (1970) já obtivemos resultados que demonstram claramente
essas possibilidades.
- Conexão com problema perturbado
O ponto de mínimo da função objetivo modificada pode resolver um problema
restrito obtido pela modificação do original. Essa linha de estudo compreende, a
formalização dessas conexões com o problema perturbado.
- Experimentação comput aciona1
Embora os resultados preliminares tenham sido satisfatórios, muito mais deve
ser feito em termos de experimentação prática, como por exemplo: teste com um
número maior de problemas, estudos de eficiência medida em tempo de CPU ou
número de iterações e comparação com outros algoritmos alternativos.
- Atualização de 2a. ordem dos multiplicadores de Lagrange
Todo o desenvolvimento do Lagrangeano Biperbólico foi construído a partir de
uma atualização de la. ordem dos multiplicadores. Similarmente a outros trabalhos,
como por exemplo: HAARHOFF e BUYS (1970) e MIELE, MOSELEY, LEVY e
COGGINS (1972b) a atualização de 2a. ordem deve ser considerada.
- Problema de programação linear
Uma linha natural de pesquisa é o uso da penalização hiperbólica explorando a
estrutura particular de certos problemas, dentre esses se configura interessante e
promissor o problema de programação linear, em particular adotando-se a abordagem
de GILL, MURRAY, SAUNDERS, TOMLIN e WRIGHT (1986).
- Resolução do sistema de equações lineares
E possível a resolução de um sistema de equações lineares usando-se a
penalização hiperbólica. Apesar desse enfoque não ser competitivo com as consagradas
técnicas para resolução de sistemas lineares, uma atraente linha de estudo é analisar
as características do mesmo.
- Programação Quadrática Sequencial
Uma possibilidade concreta que se apresenta é o uso da função penalização
hiperbólica como função mérito de um método de programação quadrática sequencial,
segundo metodologia descrita em GILL, MURRAY, SAUNDERS e WRIGHT (1986).
- Estudo da liessiana do problema dual
O objetivo deste estudo é, através do conhecimento das características da
matriz hessiana do problema dual e da articulação entre os problemas prima1 e dual,
buscar uma melhoria do desempenho do método, seguindo abordagem originalmente
apresentada em LUENBERGER (1973).
- Estudo da taxa de convergência
A idéia é desenvolver um estudo de taxa de convergência ligando a
convergência de {xk) + x com a de {Ak) + A*, emulando-se no trabalho de
BERTSEKAS (1976a) para o método de inultiplicadores de Hestenes-Powell.
Resultados experimentais indicam uma relação linear entre as duas convergências,
exatamente igual ao resultado encontrado por Bertsekas.
- Especificação de novos algoritmos lagrangeanos hiperbólicos
Os algoiitmos lagrangeanos hiperbólicos apresentados representam uma
pequena parcela das possibilidades do uso da penalização hiperbólica dentro do
enfoque dos métodos de multiplicadores. Iiiúineras são as alternativas possíveis.
- Combinação da penalização liiperbólica com outros algoritmos
E possível a combinação da penalização liiperbólica com outras técnicas de
programação matemática. Como exemplo, pode-se citar: o tratamento das restrições
lineares via algum método projetivo.
- Estudo de conexões com outros métodos
O principal objetivo desse estudo seria a busca de conexões do método da
penalização hiperbólica com outros métodos tendo em vista o estabelecimento de uma
abordagem integradora entre os mesmos, à imagem de trabalhos tais como os de
POWELL (1978), TAPIA (1978) e EL-ALEM (1988).
- Síntese de algoritmo
A existência de uma multiplicidade de algoritmos lagrangeanos liiperbólicos é
por tudo desaconsell-iável. O ideal é, através dos dois ítens anteriores, sintetizar um
único algoritmo que alie da forma mais convenieiite os quesitos: robustez, precisão e
velocidade.
Esses são alguns dos caminhos que naturalmente deverão seguir este trabalho.
BIBLIOGRAFIA
ARROW, I<. J., F. J. GOULD e S. M. HOWE (1973) - "A General Saddle Point
Result for Constrained Optirnization", Matliematical Programming, Vol. 5,
pp. 225-234.
AVRIEL, M. (1 976) - "Nonlinear Programrning Analysis and Met hods" ,
Prentice-Hall, Englewood Cliffs.
BERTSEKAS, D. P . (1975a) - "Combined Priinal Dual and Penalty Methods for
Constrained Minimization" , SIAM J. Control, pp. 521-544.
BERTSEKAS, D. P . (1975b) - "On the Method of Multipliers for Convex
Programrning", IEEE Trans. Automatic Control, No. 3, pp. 385-388.
BERTSEKAS, D. P . (1976a) - " 0 n Peilalty and Multiplier Methods for Constrained
Minimization", SIAM J. Control and Optimization, Vol. 14, pp. 216-235.
BERTSEKAS, D. P. (1976b) - "Multiplier Methods: A Survey", Autoinatica, pp.
133-143.
BERTSEKAS, D. P . (1982) - Constraiiled Optimization and Lagrange Multiplier
MethodsI1, Acadernic Press, San Diego.
BEST, M. J., BRAUNINGER, J., RITTER, I<. e ROBINSON, S. M. (1981) - "A
Globally aiid Quadratically Convergent Algoritm for General Nonlinear
Programming Problems", Coinputing, Vol. 26, pp. 141-153.
BOGGS, P. T. e TOLLE, J. W. (1980) - "Augmented Lagrangians Which are
Quadratic in the Multiplier", Jouinal of Optirnization Theory and
Applications, Vol. 33, no. 1, pp. 17-62.
BYRD, R. H. (1978) - "Local Convergente of the Diagonalized Method of
Multipliers", Journal of Optimization Theory and Applications, Vol. 26, no. 4,
pp. 485-500.
CANEDO MAGALHÃES, P., SILVA, L. P. e XAVIER, A. E. (1989) - "Calibração
Automática de Modelos Chuva-Vazão por Meio de Técnicas de Suavização",
Anais do 111 Siinpósio Luso-Brasileiro de Reciusos Hídricos, Lisboa, Portugal,
junho de 1989, pp. 277-287.
CARROL, C. W. (1961) - "The Cieated Response Surface Technique for Optimizing
Nonlinear Restrained Systems" , Operations Researcli, Vol. 9, pp. 169-184.
COURANT, R. (1943) - "Variationa1 Methods for the Solutioil of Problems of
Equilibrium and Vibiations", Bdl. Ann. Math. Society 49, 1-23.
DAVIES, D. e SWANN, W. H. (1969) - "Review of Constrained Optimization", in
Optirnization, Fletcher R. (ed.), Academic Press, London.
EL-ALEM, M. M. (1988) - "A Global Coilvergence Theory for a Class of Trust
Region Algorithms for Constrained Optirnizationi', Ph.D. Thesis, Rice
University , Houston, Texas.
FAN, Y., SARKAS, S., LASDON, L. (1985) - "Eqeiiments with Sucessive
Quadratic Programning Algoiithins" Worlting Paper Department of General
Business - College of Business Administration - University of Texas, Austin.
FIACCO, A. V. e McCORMICK, G. P . (1964) - "The Sequential Unconstrained
Minimization Technique for Nonlinear Prograrnming: A Prima1 Method",
Management Science, Vol. 10, pp. 360-364.
FIACCO, A. V. e McCORMICK, G. P. (1966) - "Extensions of SUMT for Noiilinear
Programining: Equality Constraints and Extrapolation", Management Science,
Vol. 12, pp. 816-828.
FIACCO, A. V. e McCORMICK, G. P . (1968) - "Nonlineai Programining:
Sequeiitial Unconstrained Miniinization Techniques", John Wiley, New York.
FLETCHER, R. (1970) - "A Class of Methods for Nonlinear Programming witli
Termination and Convergence Properties", in Integer and Nonlinear
Programming (Abadie J. ed.), North Holland Publishing Coinpany,
Amsteidam.
FLETCHER, R. e LILL, S. A. (1970) - "A Class of Methods for Nonlinear
Prograrnming I1 Computational Expeiience", in Nonlinear Programming,
(Rosen, J. B., Mangasarian, O. L. and Ritter, K.), Academic Press, New York,
London.
FLETCHER, R. (1973) - "An Exact Peilalty Function for Nonlinear Programining
with Iilequalities" , Matliematical Programming, Vol. 5, pp. 129-150.
FLETCHER, R. (1974) - "Methods Related to Lagrangian Functions" in Numerical
Methods for Coiistrained Optimization (Gill, P. E. e Murray, W., editores),
Academic Press, London e New York, pp. 219-240.
FLETCHER, R. (1975) - "An Ideal Penalty Function for Constrained
Optimization" , Journal of t he Institute of Mathematics and Its Applications,
Vol. 5, pp. 319-342.
FLETCHER, R. (1981) - "Practical Metliods of Optimization", Vol. 2, Constrained
Optimization", John Wiley & Sons, New York e Toronto.
FLETCHER, R. (1983) - "Penalty Functions" in Mathematical Programming - The
State of Art (A. Bachen, M. Grotschel e B. Komte, editores),
Springer-Verlag , Berlin, pp. 87-144.
FRIEDLANDER, A., MARTINEZ, J. M. e SCOLNIK, H. D. (1977) - "Generalized
Inverses and a New Stable Secant Type Miniinization Algorithm", Proceedings
of the 8th IFIP Conference on O pt imization, Wurzburg , September 5-9.
FRISH, R. (1955) - "The Logarithmic Potential Method for Solving Linear
Progiammiiig Problems", The University Institute of Economics, Oslo,
Memoraudum, May 7.
GILL, P. E. e MURRAY, W. (1979) - "The Computation of Lagrange Multiplier
Estimates for Constrained Minimization", Mathematical Programming, Vol.
17, pp. 32-60.
GILL, P. E., MURRAY, W., SAUNDERS, M. A. e WRIGHT, M. H. (1989) -
I ' Const rained Nonlineas Programining I ' in Optiinizat ion (Nemhauser , G. L.
Rinnooy Kan, A. H. G. e Todd, M. J., editores) - North-Holland,
Arnsterdam.
GILL, P. E., MURRAY, W. e WRIGHT, M. H. (1981) - "Practical Optirnization",
Academic Piess, London e New York.
GILL, P . E., MURRAY, W., SAUNDERS, M. A. e WRIGHT, M. H. (1986) - "Some
Theoretical Properties of an Augmented Lagrangian Merit Function",
Technical Repoit SOL-886-6, Department of Operations Research, Stanford
University, Stanfoid, California.
GILL, P . E., MURRAY, W., SAUNDERS, M. A.; TOMLIN, J. A. e WRIGHT, M.
H. (1986) - "On Piojected Newton Bariiei Methods for Linear Piogramming
and Equivalence to Marmarkar's Projective Metliod", Mathematical
Piogramming, Vol. 36, pp. 183-209.
GLAD, S. T. (1979) - "Pioperties of Updatiiig Methods for the Multipliers in
Augmented Lagrangians" , Jouinal of Optiinization Tlieory and Applications,
Vol. 28, no. 2, pp. 135-156.
GLAD, S. T. e POLAK, E. ( 1979) - "A Multiplier Method with Automatic
Lirnitation of Penalty Growth" , Mathematical Piogramming, Vol. 17, pp.
140-155.
HAARHOFF, P. C. e BUYS, J. D. (1970) - "A New Method foi the Optimization of
a Nonlinear Function Subject to Nonlinear Constiaints", The Computei
Journal, Vol. 134, no. 2, pp. 178-184.
HARDY, G. H. (1952) - "A Course of Puie Mathematics", Cambridge University
Press, 10th edition, Cambridge.
HENDRICKSON, J. D., SOROOSHIAN, S. e BRAZIL, L. E. (1988) - "Compaiison
of Newton-Tyoe and Diiect Search Algoiitins foi Calibratiou of Conceptual
Rainfall-Runoff Models" , Water Resouices Research, l4(5), pp. 691-700.
HENRICI, P. (1977) - " Applied and Computational Complex Analysis" , Vol. 2, John
Wiley & Sons, New York.
HESTENES, M. R. (1969) - "Multiplier and Gradient Methods", J. Optirnization
Theor. Appl., Vol. 4, pp. 303-320.
HIMMELBLAU, D. M. (1972) - "Applied Noalinear Programming", McGraw-Hill,
New York.
HOCK, W. e SCHITTI<OWSI<I, I<. (1981) - "Test Examples for Nonlinear
Programming Codes " , Pringer Verlag, Berliii e Heidelberg.
HUARD, P. (1967) - "Resolutioii of Mathematical Prograinming with Nonlinear
Constraints by Method of Centres", ia: Nonlinear Programming (J. Abadie
ed. ), Nort h-Holland Publishing Company, Ainsterdam, pp. 206-219.
KORT, B. W. e BERTESEMAS, D. P. (1976) - "Combined Piimal Dual and
Penalty Methods foi Convex Progiamrning", SIAM Journal Control and
Optimization, Vol. 14, pp. 268-294.
LOOTSMA, F. A. (1967) - "Logarithmic Programming: A Method of Solving
Nonliaear Programming Problems", Phillips Res. Repts pp. 328-344.
LOOTSMA, F. A. (1968a) - "Extrapolation in Logarithmic Prograinming", Philips
Res. Repts. 23, pp. 108-116.
LOOTSMA, F. A. (1968b) - "Constiained Optimization Via Penalty Functions",
Philips Res. Repts. 23, pp. 408423.
LOOTSMA, F. A. (1968~) - "Constrained Optiinization Via Pasameter Fiee
Penalty", Philips Res. Repts. 23, pp. 424437.
LOOTSMA, F. A. (1969) - "Hessian M.atrices of Peiialty Functions foi Solving
Constrained Optimization Probleins" , Philips Res. Repts., vol. 24, pp.
322-330.
LOOTSMA, F. A. (1970) - "Boundary Properties of Penalty Functions foi
Constiained Minimization", Ph.D. Thesis, Technological University
Eiiidhoven, Philips Res. Repts. Suppl., no. 3.
LOOTSMA, F. A. (1972) - "A Survey of Methods foi Solving Constrained
Minimization Problems Via Uiiconstiained Minimization", in Nuinerical
Methods for Nonlinear Optimization (L. A. Lootsina, editor), pp. 313-347,
Academic Press e New York.
LUENBERGER, D. G. (1973) - "Introduction to Linear and Nonlinear
Progiamming", Addison-Wesley, Menlo Paik.
MANGASARIAN, O. L. (1975) - "Unconstrained Lagrangians in Nonlinear
Piogramining", SIAM J. Control and Optiinization, Vol. 13, no. 4, pp.
McCORMICK, G. P. and SOFEL, A. (1988) - "The Revised SUMT Method for
Convex Programming", a aparecer no Mathematics of Operations Research.
MIELE, A., GRAGG, E. E., IYER, R. R. and LEVY, A. V. (1971a) - "Use of the
Augmeiited Penalty Function in Matheinatical Programming Problems",
Journal of Optimization Theory aiid Applications, Vol. 8, no. 2, pp. 115-130.
MIELE, A., GRAGG, E. E. e LEVY, A. V. (1971b) - "Use of the
Augmented Penalty Function in Matliematical Prograinming Problems, Part
2Ii, Journal of Optimizatioii Theory and Applications, Vol. 8, no. 2, pp.
131-153.
MIELE, A., MOSELEY, P . E. e CRAGG, E. E. (1972a) - "A Modification of the
Method of Multipliers for Matheinatical Piograrnrning Problems", in
Teclmiclues of Optimization (Balakrislinaii A. V. ed.), pp. 247-260, Academic
Piess, New Yorlc.
MIELE, A., MOSELEY, P. E., LEVY, A. V. e COGGINS, G. M. (1972b) - "On the
Method of Multipliers for Mathematical Piogramrning Problems", Journal of
Optimization Tlieory aiid Applications, Vol. 10, no. 1, pp. 1-33.
MINOUX, M. (1986) - "Mathematical Programming Theory and Algoiitlims", John
Wiley and Sons, Chicllester.
MUKAI, H. e POLAK, E. (1978) - "A Second-Order Method for the General
Nonlinear Programming Problem", Journal of Optimization Tlieory and
Applications, Vol. 26, no. 4, pp. 515-532.
MURRAY, W. (1971) - I ' Analytical Expressions for the Eigenvalue and Eigenvectors
of the Hessian Matrices of Barrier and Penalty Functions", Journal of
Optimization Theory and Applications, Vol. 7, no. 3, pp. 189-196.
MURTAGH, B. A. e SAUNDERS, M. (1978) - "Large Scale Linearly Constrained
Optimization", Mathematical Piogramming, Vol. 14, pp. 41-72.
NAKAYAMA, H., SAYAMA, H. e SAWARAGI, Y. (1975) - "A Geneialized
Lagrangian Function and Multiplier Metliod", Jouinal of Optirnization Theory
and Applications, Vol. 17, nos. 314, pp. 211-227.
OSBORNE, M. R. e RYAN, D. M. (1972) - "A Hybiicl Algoritlim for Nonlinear
Programming" , in Numerical Methods for Nonlinear Optimization (L. A.
Lootsma, editor), pp. 395410, Academic Press, London e New Yoik.
PIERRE, D. A. e LOWE, M. J. (1975) - "Mathematical Programming Via
Augmented Lagrangians - An Introduction With Computer Programs",
Addison-Wesley, Reading.
PILLO, G. DI e GRIPPO, L. (1979) - "A New Class of Augmented Lagrangians in
Nonlinear Programming", SIAM J. Contiol and Optimization, Vol. 17, no. 5,
pp. 618-628.
POLAK, E. (1971) - "Computational Methods in Optimization: A Unified
Approach" , Acadernic Press, New York.
POWELL, M. J. D. (1969) - "A Metliod for Nonlinear Constraints in Minimization
Problems", in Optirnization (Fletcher R. ed.), pp. 283-298, Academic Press,
London.
POWELL, M. J . D. (1978) - "Algoritlims for Nonlinear Constraints that Use
Lagrangian Functions", Mathematical Prograinming, Vol. 14, pp. 224-248.
ROBINSON, S. M. (1972) - "A Quadratically Convergent Algorithm for General
Nonlinear Programining Problems", Mathematical Programrning, vol. 3, pp.
145-156.
ROCKAFELLAR, R. T. (1973) - "The Multiplier Method of Hestenes and Powell
Applied to Convex Programming", Journal of Optiinization Theory and
Applications, Vol. 12, no. 6, pp. 555-562.
ROCKAFELLAR, R. T. (1974) - "Auginented Lagrangians Multiplier aild Duality in
Nonconvex Programrning", SIAM Journal on Control, Vol. 12, pp. 268-285.
ROCKAFELLAR, R. T. (1976) - "Augmeiited Lagrangians and Applications of
Proximal Point Algorithin iii Coiivex Programming", Mathematics of
Operations Resarch, Vol. 1, no. 2, pp. 97-116.
RYAN, D. M. (1974) - "Penalty and Barrier Functions", in Numerical Methods for
Constrained Optimization (Gill, P . E. e Murray, W., Editores), Academic
Press, London e New York, pp. 175-190.
TAPIA, R. A. (1978) - "Quasi-Newton Metl-iods for Equality Constrained
Optirnization: Equivalente of Existing Metliods and a New Impleinentation",
in Nonlinear Programming 3 (Mangasarian O. L., Meyer R. R. and Robinson
S. M. eds.), pp. 125-164, Acaclemic Press, New York.
WATANABE, N., NISHIMURA, Y. e MATSUBARA, M. (1978) - "Decomposition
in Large System Optimization Using the Method of Multipliers", Journal of
Optimization Theory and ~ ~ ~ l i c a t i o n s , Vol. 25, no. 2, 181-193.
XAVIER, A. E. (1982a) - "Penalização Hiperbólica - Um Novo Método para
Resolução de Problemas de Otimização", Tese de M.Sc., COPPE/UFRJ, Rio
de Janeiro.
XAVIER, A. E. (198213) - "Penalização Hiperbólica", Anais do I Congresso Latino
Americano de Pesquisa Operacional e Engenliaiia de Sistemas, Rio de Janeiro,
pp. 468482.
XAVIER, A. E. e MACULAN, N. (1984) - "Extrapolação em Penalização
Hiperbólica", I1 Congresso Latino 'Americano de Investigation Opeiativa e
Ingenieria de Sistemas (trabalhos selecionados), Buenos Aires, pp. 24-38.
XAVIER, A. E. (1986) - "Penalização Hiperbólica: Resultados Computacionais", I11
Congresso Latino Americano de Investigación Operativa e Ingenieiia de
Sistemas, Santiago do Chile.
XAVIER, A. E., CANEDO MAGALHÃES, P. e SILVA, L. P. (1990) - "Calibração
Automática de Modelos Cliuva-Vazão: Um Método Assintótico", Pesquisa
Operacional, Vol. 10, Número 1, Rio de Janeiro.
XAVIER, A. E. (1991) - "Penalização Hiperbólica: Uma Abordagem Lagrangeana",
trabalho apresentado no XVI CNMAC, Friburgo, 2 a 6 setembro.
ZANGWILL, W. I. (1967) - I ' Non-Linear Prograinrning Via Penalty Functions" ,
Manageinent Sciences, Vol. 13, pp. 344-358.
ANEXO 1
Proposição 1
Propriedade P9 ( Contração da Função Penalidade)
- -
Sejam y e t dois pontos quaisquer. Façamos olk = &+i = a, ol E (0, 7r/2) e
O < r k + l < r k . Então é observada a seguinte propriedade da função penalidade:
Demonstração
Sem perda de generalidade vamos considerar y < t , que pela propriedade P5
implica em que P ( y, a, r) > P (t , &,r).
Vamos então calcular a diferença entre os valores de função penalidade nos
pontos "y" e "t" usando para isso a sua expressão (111.4) em termos dos parâmetros r
e r.
Assim:
Pela expressão (III.5), como a por hipótese é constante, r também é constante.
Pela simplicidade vamos, então fazer:
Substituindo (A.2) em (A.l) temos:
Para analisarmos o comportamento da função (A.3) em relação ao parâmetro
r, vamos calcular a sua derivada em relação a r.
Como a varia no intervalo O < a < ~ / 2 implica que r > 1 e conseqüentemente
que I< > 0.
Então, como "I<" e "r" são positivos e por hipóteses y < t, podemos
facilmente observar que sempre a íiltima expressão é positiva, e dessa forma:
a - I P(y,&,r) - P(t,a)r) I > O ar
Ou seja, é uma função monotonamente crescente com T o que implica que com
Proposição 2
Propriedade P10 (Preservação de Convexidade)
Se g(x) é uma função côncava, então P(g(x) ,a ,~) será urna função convexa
para a no intervalo O < a < e T > 0.
Demonstração
Sejam xl e x2 dois pontos quaisquer.
Devemos demonstrar que:
onde p está compreendido no intervalo O L p 5 1.
Como g(x) por hipótese é uma função côncava, temos:
Devido à desigualdade (A.4) e levando em consideração a propriedade P5 que
P(y,a,p) é uma função sempre não crescente com y, temos:
Proposição 3
Propriedade Pl 1: (Diferença Máxima)
A diferença máxima entre duas funções penalidades, para dois diferentes
valores do parâmetro r e com mesmo parâmetro a, se dá no ponto y = 0.
Demonstração
Sejam 70 e 7-1 OS dois valores do parâmetro T, sendo 70 > 7 1 > 0.
Vamos tomar a diferença entre as duas funções, usando para isso a expressão
(111.4) da penalização hiperbólica:
Derivando em relação a y, temos:
a - (p (y, u, 70) - P (y, u,r')) = L- (A ay r2-1 1-
r2
Analisando a expressão acima, vemos que a diferença entre as duas funções
assume um valor extremo no ponto y = O. Além disto, este extremo é claramente um
máximo, que por sua vez é único. Assim:
Propriedade P12: (Variação da Inclinação)
A derivada da função penalidade em relação a y, ou seja, PY(y,n,r) é uma
f~mção decrescente com T para pontos y > O (e é inversamente uma função crescente
com T para pontos y < O) e para T > 0.
Demonstração
Primeiramente vamos calcular a derivada da função penalidade em relação a y,
usando para isto a equação (111.4):
Para analisar o comportamento de PY(y,ai,r) em função do parâmetro r vamos
calcular a sua derivada em relação a r:
Como r > 1 e r > O, a expressão acima assume o sinal contrário de y. Deste
modo, a derivada P;(y,ai, r) é decrescente com o parâinetro T para pontos y > 0.
ANEXO 2
DESCRIÇÃO DO EmMPLO DO USO DO ALGORITMO A2
O problema 23 de HIMMELBLAU (1972) utilizado neste exemplo tem a
seguinte especificação:
A Tabela A2-1 apresenta os valores dos parâmetros usados para o problema.
A minimização sem restrições no passo 3 do Algoritmo A2 foi feita
utilizando-se a rotina VAI 3C da Harwell Subroutine Library que basicamente
implementa o método Quasi-Newton com atualização BFGS (Bioyden
Fletcher-Goldfarb-Shanno) (vide por exemplo GILL, MURRAY e WRIGHT
(1981)).
Tabela A2.1- Dados para o problema Himmelblau 23
Foram adotados os seguintes valoies iniciais no Passo 1 do algoiitmo:
Foi adotada a seguinte atualização dos parâmetros r no passo 7 do algoritmo:
Os resultados apresentados na Tabela A2-2 mostram uma síntese dos
resultados. A coluna TEMPO especifica o tempo de CPU em segundos gastos em
cada iteração em um computador IBM 4381122.
TABELA A2-2 - Síntese dos resultados computacionais
Iteração NO. de Passos Tempo fkk>
Deveremos registrar que a so1uçã.o obtida pelo algori tino A2 coincide
int egralmente com aquela obtida pelo algoritino A1 conforme regis trado em XAVIER
(1986). Além disso, o valor encontrado para a função objetivo coincide integralmente
com aquele obtido pelo algoritmo MINOS conforme MURTAGH e SAUNDERS
(1978) onde está consignado:
A Tabela A2-3 apresenta o ponto x produzido através do arredondamento do
ponto final obtido pelo Algoritino A2 (iteração 5) para o inteiro mais próximo, ou
seja, de acordo com a seguinte regia:
Devemos primeiramente comentar que o ponto final arredondado é viável.
Ademais, oferece um valor para a função objetivo
que é melhor que aqueles obtidos por Holzman e por Bracken e McCorrnick também
para valores arredondados, respectivamente: -1731.805 e -1732.443, conforme
reproduzido em HIMMELBLAU (1972).