Uma Arquitetura de Controle para SistemasComplexos de Visão Computacional.

Reinaldo A. C. Bianchi IAnna Helena Reali Costa Rillo 2

'Divisão de Automação e Inteligência Artificial - Laboratório de Sistemas Integráveis2Departamento de Engenharia de Computação e Sistemas Digitais

Escola Politécnica da Universidade de São Paulo - EPUSPAv. Prof. Luciano Gualberto, Travessa 3, nU 158. 05508-900 São Paulo - SP - Brasil

arillo@pcs.usp.br

Abstract: According to new approaches to complex computer vision systems, vision should not beconsidered as a self-contained system, but as a system interacting with its environment throughperception and action. In the past years some architectures (top-down, bottom-up, etc.) has beenfrequently used to control this c1ass of systerns. This paper briefly reviews these architectures andpresents a heterarchic , multi-agem purposive architecture for the control of complex computer visionsystems.

Resumo: Atualmente, visão tem sido abordada como sendo um sistema que interage com o ambienteatravés de percepção e ação e não mais como um sistema contido em si mesmo. Algumas arquiteturas(top-down, bottoni-up. etc.) foram tradicionalmente usadas para o controle de sistemas de visãocomputacional. Este artigo faz uma breve revisão destas arquiteturas, para então apresentar. umaarquitetura com abordagem heterárquica, multi-agentes e propositada para o controle de sistemascomplexos de visão computacional.

1. IntroduçãoDentro das novas abordagens para a construção desistemas de visão computacional complexos , visãonão é mais vista como um problema contido em simesmo, mas sim como um sistema que interage como ambiente através de percepção e ação. Para isso,torna-se necessário que o sistema tenha seu laço decontrole fechado, adotando abordagens ati vas oupropositadas, com diferentes demandas temporais ecomputacionais.As arquiteturas tradicionalmente usadas parasistemas de visão computacional têm se mostradoinsuficientes para atender os requisitos dessas novasabordagens.Este artigo revisa algumas arquiteturas tradicionais,classificando-as de acordo com a estratégia decontrole e sua forma de computação. Assim, tem-se:controle hierárquico versus controle heterárquico ecomputação serial versus distribuída. Baseado nesseestudo, este artigo propõe uma nova arquitetura,seguindo uma abordagem heterárquica, multi-agentes e propositada para o controle dos sistemasde visão computacional complexos.

2. Arquiteturas para Sistemas de VisãoComputacionalO sucesso de um sistema de visão computacionaldepende em grande parte da adoção de uma arquiteturaadequada. Esta seção discute as arquiteturas e estratégiasde controle tradicionalmente usadas nos sistemas devisao computacional e sua adequação às novasabordagens para a solução do problema de visão .Primeiramente, a análise será . feita sob o .foco daestratégia de controle utilizada, iniciando pelo controlehierárquico e suas formas.As arquiteturas de controle hierárquico são aquelas ondeo fluxo de informações está estruturadohierarquicamente, de forma que somente módulos entreníveis consecutivos da hierarquia podem trocarinformações entre si. Dessa forma, pode-se dividir ocontrole hierárquico em bottom-up, top-down e misto, deacordo com o sentido que as informações fluem nosistema (figura I).Segundo [Ballard e Brown, 1982], as arquiteturas decontrole bottom-up, também chamadas data-driven, sãoaquelas onde o processo de interpretação inicia com aconstrução da imagem generalizada, gerando entãoestruturas segmentadas e finalmente descrições,

94

r '''[S) '''0 ···w .. Base de'"" . Conhecimento

...[5] ..Módu!odoSistema

···0 ..@]-. = dados

I (c) mista I (d) ., ... . .. . . . = conhecimento

Figura I - Esquema do fluxo de dados, do fluxo de controle e do uso do conhecimento em várias arquiteturas .

Nestas arquiteturas, os projetistas procuramdesenvolver algoritmos e estruturas de dadosgenéricos, buscando independência do domínio dosistema, além de utilizar o conhecimento somenteno último estágio de interpretação da cena. A figuraI (a) esquematiza o uso do conhecimento e o fluxode informação em uma arquitetura bottom-up.Um exemplo típico de sistema de visaocomputacional que usa a arquitetura bottom-up é osistema de rotulação de linhas proposto por [Waltz ,1975], cujo objetivo consiste em produzir umainterpretação para as linhas em imagens de cenascompostas por poliedros, através de uma rotulaçãoque identifique a origem e as propriedades físicasde cada linha na imagem. Os rótulos indicam se alinha é gerada por um objeto ocludente, por umaborda côncava, convexa ou por sombras.Para gerar essa rotulação, o sistema faz um pré-processamento da imagem para encontrar as linhas,um agrupamento para reunir as linhas pertencentesa um mesmo objeto e, finalmente, é usado umalgoritmo de propagação de restrições que , a partirde uma tabel a de junções possíveis e de restriçõesfísicas , encontra uma descrição plausível para aslinhas do objeto.A arquitetura bottom-up, apesar de largamenteutilizada e com êxitos reconhecidos em sistemassimples e bem estruturados, é de difícil aplicaçãoem sistemas com ciclos percepção-ação emambientes complexos, por exigir algoritmosrobustos e genéricos o suficiente em cada módulo.Nas arquiteturas top-down,. também chamadasarquiteturas model-driven, "modelos de alto nívelem uma base de conhecimentos geram hipóteses ouprevisões de estruturas geométricas, segmentadasou generalizadas da imagem de entrada, sendo que 'a interp retação desta imagem resulta da verificaçãodessas predições" [Ballard e Brown, 1982].As arquiteturas top-down são, portanto, fortementebaseadas no conhecimento do domínio do sistema.Assim, o projetista utiliza este conhecimento para

direcionar os tratamentos dos dados e construiralgoritmos, visando otimizar o funcionamento dosistema. A utilização do conhecimento no sistema se dá,geralmente, em todos os estágios de interpretação dacena, de maneira implícita e/ou explícita. A figura l(b)esquematiza o uso do conhecimento e o fluxo -deinformações em uma arquitetura top-down .Muitos sistemas que utilizam o controle top-down sãoaplicados no campo da visão de máquina para aplicaçõesindustriais. Isto porque, nesta área, o domínio deaplicação dos sistemas geralmente é simples eestruturado (ou pode se tornar simples por manipulaçãodo ambiente) e bem conhecido, com tarefas dereconhecimento visual sobre objetos bem definidos.Buscando arquiteturas com organizações mais flexíveis,incorporando as abordagens top-down e bottom-up como 'forma de melhor adequação às tarefas visuais mais 'complexas, arquiteturas mistas são utilizadas.Os sistemas com arquitetura de controle mista (figura lc)possuem iriformações fluindo em ambos os sentidos entreos níveis de representação. Por exemplo, o sistemaprocura de maneira top -down uma região de interesse emuma imagem e depois processa esta região seguindo umaestratégia bottom-up, 'um exemplo de sistema misto é oalgoritmo de detecção .de tumores pulmonares emimagens radiográficas proposto por [Ballard, 1976]. Osistema trabalha em 3 passagens: na primeira, encontra asfronteiras do pulmão seguindo um controle top-down; nasegunda, procura candidatos a tumores de maneirabottom-up; encontrados os cand idatos, estes sãoanalisados novamente seguindo uma estratégia top-down.As arquiteturas de controle heterãrquicas(figura ld) são

Iaquelas 'onde o fluxo de informações não está estruturadohierarquicamente, de forma que a troca de informaçãoentre módulos em quaisquer níveis é permitida.Com relação à forma de computação, as arquiteturaspodem ser seriais ou distribuídas. Na serial todas asoperações são realizadas seqüencialmente no tempo,desconsiderando o fato de serem independentes ou não.Nas arquiteturas distribuídas (ou paralelas) existe o usoda concorrência em suas computações, onde, por

95

exemplo, diferentes partes de uma imagem podemser tratadas ao mesmo tempo. O amplo uso daconcorrência é a solução preferida pela evoluçãodos sistemas biológicos; por exemplo, a visão debaixo nível é altamente paralela.Entre as várias maneiras conhecidas de implementaras arquiteturas distribuídas, duas são maisutilizadas: blackboard e Multi-Agentes.As arquiteturas blackboard são compostas pordiversos módulos de processamento que utilizamuma área comum, chamada de quadro-negro, paracompartilhar o conhecimento necessário.Um exemplo da implementação de uma arquiteturablackboard é o trabalho de [Elfes, 1986]. Nestetrabalho, um sistema é dividido em níveis deprocessamento (controle robótico, aquisição deinformação sensorial, interpretação sensorial,integração sensorial, etc.) que se comunicamatravés de um blackboard.Diferentemente da arquitetura blackboard, umsistema Multi-Agentes pode ser visto como umacomunidade de especialistas, chamados agentes ,cooperando, coabitando ou competindo em umasociedade. Cada agente realiza uma tarefa e interagecom os outros agentes quando necessário. Acomunicação tanto de dados quanto de controleentre os agentes é feita de maneira direta e oconhecimento é distribuído entre os agentes.Um dos problemas centrais para a construção desistemas complexos que interagem com o ambienteatravés de percepção e ação é a organização e ocontrole dos módulos do sistema. Dentre todas asabordagens vistas para o controle de um sistema devisão computacional, a que possibilita uma melhorsolução para esse problema é a multi-agentespropositada.O paradigma propositado para a visãocomputacional [Rillo , A. et. AI., 1996; Aloimonos,1994] considera a visão dentro de um contexto detarefas que um agente deve realizar, retirando dospropósitos do agente as restrições para solucionar oproblema de visão . Desta forma, este paradigmaleva a soluções de tarefas específicas e não de usogeral, sendo que uma visão genérica (multi-purpose) surge da organização de diversas soluçõesdedicadas a diferentes tarefas visuais, tornando umatendência natural a implementação deste paradigmaem uma arquitetura multi-agentes, onde oprocessamento distribuído, aliado às restriçõesadvindas do controle dos sensores e da tarefa a serrealizada, permite alcançar a eficiência necessáriano desempenho de sistemas complexos de ação-percepção.

3. Uma Arquitetura Multi-AgentesA arquitetura multi-agentes proposta consiste numasociedade de agentes autônomos (AAs) , comunicandoentre si através de uma rede de comunicaçãodescentralizada e totalmente conectada (figura 2), sendocada qual responsável por um comportamento diverso,organizados segundo regras de comportamento eestrutura de autoridade.

Comunicação

Figura 2 - Topologia da arquitetura proposta.

Nesta arquitetura, a definição da sociedade de agentesé dinâmica, podendo os AAs serem inseridos ou retiradosda sociedade durante a operação do sistema, segundo ocontrole de um ou vários agentes desta sociedade. Assim ,caso se deseje criar um sistema auto-gerenciado e multi-propósito, basta definir os agentes necessários para cadapropósito e criar um agente que controle a troca depropósitos, com a função ainda de gerenciar os AAsnecessários a cada propósito. Os agentes autônomos serelacionam com as camadas da Subsumption Architecturede [Brooks, 1986], pois percebem e agem diretamente nomundo e podem suprimir as ações uns dos outros.A estrutura de autoridade da sociedade é o que tornapossível a decisão sobre como os recursos do sistemadevem ser alocados, decidindo qual agente deve ter ocontrole de um recurso em um determinado momento. Amaneira pela qual esta decisão é tomada depende dasregras de comportamento definidas para a sociedade emuma implementação específica e pode ser, por exemplo,o resultado de uma competição entre agentes .Um recurso é definido como sendo parte do sistema comuso compartilhado pelos agentes e que pode sercontrolada por somente um agente em um determinadomomento. Por exemplo, um manipulador robótico emuma célula de montagem é um recurso e o sistema dedireção de um robô móvel, outro; por outro lado, umacâmera fixa (e seu hardware e software de aquisição dedados) não é um recurso, pois todos os agentes podem tera imagem capturada ao mesmo tempo. Caso esta câmerafaça parte de um sistema de visão ativa, ela torna-se umrecurso, uma vez que os agentes competem pelo controledo processo de aquisição de dados .A estrutura de autoridade de um sistema possui umaprofunda relação com a precedência e a dependênciaentre as ações dos comportamentos dos .agentes presentes

96

na sociedade, e sua definição deve ser feita a partirde um estudo da Iinearização de um plano deatividades, que tem nos agentes autônomos seusoperadores e cujo objetivo é o de realizarintenções do sistema. Vale notar que é esta estruturaque relaciona a arquitetura proposta à de Brooks,permitindo que os agentes autônomos inibam esuprimam uns aos outros, retirando os recursos quenecessitam.

3.1 Agentes Autônomos (AAs)Os agentes autônomos constituem uma dasprincipais características da arquitetura proposta,sendo modelados com base na teoria de DAI-MASe possuindo fortes raízes no trabalho [Boissier eDemazeau , 1994]. Define-se um AA como:<Agente> :: = <regras> <agentes> <estado>

<linguagem de comunicação><capacidades decisórias>

Onde:<regras> são as regras de comportamento da

sociedade na qual o agente está inserido;<agentes> são os agentes na sociedade e a estrutura

de autoridade entre eles; .<estado> é a descrição do estado dos elementos

pertinentes que façam parte do domínio, assimcomo da alocação e do estado dos recursos dasociedade;

<linguagem de comunicação> é a descrição dalinguagem de comunicação usada pelos agentes;

<capacidades decis ârias» são as capacidades queum AA possui que o tornam apto a decidir qualagente deve ter o controle de um recurso em umdeterminado momento, baseadas, entre outros,na estrutura de autoridade.

Cada agente autônomo é ainda dividido em 5módulos, que são : Sensor, Atuador, Comunicação,Decisão e Racioc ínio, apresentados na figura 3.

Decisão IComunicaçãoIt t

+-+ I Raciocínio

se.::1 [;;dO' IFigura 3 - Modelo de um agente autônomo.

Exemplificando a interação entre estes módulos,caso necessite de um recurso, o módulo deraciocínio o pede para seu módulo de comunicação .Este comunica aos outros agentes a requisição do

recurso. O agente que tem o recurso recebe o pedido emseu módulo de comunicação e, junto com o modulo dedecisão, decide se interrompe o seu trabalho e cede crecurso. Se o agente requisitante conseguir o recurso, eleavisa o seu módulo de raciocínio, que então passa autilizá-lo, mas checando a cada utilização se ele não operdeu para outro agente, o que lhe é indicado pelomódulo de comunicação.Com este modelo não é .necessário interromper aexecução do comportamento a cada mensagem recebida,além de permitir que os módulos de comunicação edecisão sejam definidos e" implementados da mesmamaneira para todos os agentes . Finalmente, dispensa oconhecimento da sociedade no módulo de raciocínio, quesó precisa conhecimento ·sobre os recursos.Outra característica essencial relacionada aos agentes emum ambiente multi-agentes é a sua capacidade decomunicação. Isto torna a definição da linguagem decomunicação a ser usada um tópico fundamental.

3.2 A Linguagem de Comunicação dosAAsCom base na linguagem de comunicação descrita em[Boissier e Demazeau, 1994], foi definida a seguintelinguagem de interação entre os agentes autônomos dosistema:

<interação> ::= <tipo><conteúdo>onde:<tipo>é o tipo da comunicação;<conteúdo> é o conteúdo da comunicação.A implementação dos elementos da linguagem decomunicação depende das regras de comportamento dasociedade de AAs de um sistema, porém existem algunstipos básicos necessários:adição de novo agente (addAgent): usado para adicionarum agente à sociedade;

remoção de agente (deleteAgent) : usada para retirar umagente da sociedade;

informação (inform) : envia informações sobre asociedade para um novo agente;

.confirmação (acknowledge): usada para que todos osoutros agentes confirmem que receberam a mensagemde adição ou remoção.

requisição (request): usado por " um agente pararequisitar o controle de um recurso do sistema a outroagente;

transferência (transfer) usado para transferir o controlede um.recurso de um AA para outro.

liberação ifree): usado por um agente para avisar aosoutros que ele não mais necessita o controle de umrecurso;

A tabela 1 resume a linguagem de comunicação definidapara os agentes autônomos.

97

três regra s decompetir pelo

definidos trêscorrespondendo a

<tipo> <conteúdo>

addAgent <nome do novo agente> <nova estruturade autoridade>

deleteAgent <nome do agente>

inform {crecursoc- <ocupadol1ivre><agentecontrol ador> }

acknowledge <nome do agente>

request <nome do agente> -crecurso»

transfer <agente destino> <recurso> [estado]

free <recurso>

Tabela I - Linguagem de comunicação.

4. Uma implementação da arquitetura.A arquitetura aqui proposta está sendoimplementada em uma Célula Flexível deMontagem [Rillo, M. et aI., 1992], da Divisão deAutomação e Inteligência Artificial do Laboratóriode Sistemas Integráveis da Escola Politécnica daUniversidade de São Paulo, que é composta porvárias estações de trabalho, câmeras de vídeo eplacas digitalizadoras, dois manipuladoresrobóticos de 5 graus de liberdade, com todos oscomputadores interligados por uma rede ethernetlocal, em um sistema realizando tarefas demontagens simples e visualmente guiadas .

Figura 4 - A Célula Flexível de Montagem.

o 'sistema atualmente utiliza somente um dosmanipuladores e uma câmera e está sendoimplementado em várias estações de trabalho daCélula e em um microcomputador (para o controledo manipulador), onde os agentes serão executadoscomo processos independentes e paralelos,comunicando-se através da rede da célula.Apesar do domínio da implementação ser o de umacélula de montagens , a arquitetura pode ser aplicada

em outros domínios, como o dos robôs móveisautônomos.Para a implementação, foramcomportamentos diferentes, cada umum agente autônomo :

I. Agente Montador (Assembler): ele deve realizaruma montagem pegando peças na área de trabalho com omanipulador e colocando-as nas posições desejadas. Oobjetivo da montagem e a forma e tipo das peças podemmudar, por exemplo, de uma montagem de um objetoconhecido para a seleção de peças por forma ou cor. Paraisso, o agente tem que ser capaz de planejar as atividadesenvolvidas na montagem. Este planejamento pode sersimples ou complexo, reativo ou temporal , dependendoda complexidade que se deseja do sistema. No estadoatual, o agente não possui capacidades de planejamentoautomático de atividades, sendo o plano, por isso,previamente definido . .

2. Agente Desobstrutor (Cleaner) : este agente devedesobstruir a área de trabalho. A área de trabalho é umespaço, previamente definido como importante para amontagem. Assim, objetos não desejados que uma pessoaou outro manipulador possam ter colocado nesta áreadevem ser retirados pelo agente .

3. Agente Evitador de Colisões (Collision avoider):este agente deve evitar colisões do manipulador comobjetos que se movam na área de trabalho (outromanipulador, uma mão), com o objetivo de preservar aintegridade física do sistema.Os recursos são definidos, conforme dito anteriormente,como sendo as partes do sistema compartilhadas pelosagentes e que podem ser controlados por apenas umagente em um determinado momento; desse modo,definiu-se que o único recurso do sistema atual seria omanipulador, pois todos os agentes podem usar a câme raao mesmo tempo, já que nesta implementação a câmeranão é usada de modo ativo.Ainda , a sociedade dos agentes possuicomportamento, que fazem os mesmoscontrole do recurso do sistema:Regra # 1: somente um agente pode controlar o

manipulador em um determinado momento.Regra # 2: qualquer agente pode requisitar o controle do

manipu lador para um agente com menor autoridadeque ele, em qualquer momento.

Regra # 3: um agente só pode requisitar o controle domanipulador para um agente de maior autoridade seeste estiver cedendo o controle.

A estrutura de autoridade definida para os agentes édefinida da seguinte maneira: o agente Evitador deColisões é o agente com maior autoridade, .0

Desobstrutor é o segundo e o Montador é o agente commenor autoridade. Pode-se notar flue a estrutura deautoridade tem por objetivo principal a preservação daintegridade física do sistema e, secundária, a tarefa globala ser realizada. Quando um sistema cresce, a estrutura émodificada para incorporar mais agentes.

98

Abaixo é apresentado um exemplo dofuncionamento do sistema (exemplo 1) quedescreve, em uma linguagem baseada em LISP, aseqüência de mensagens que são trocadas quandoalgum objeto é colocado na área de trabalho duranteuma montagem. Inicialmente, o agente Evitadorrequisita o controle do sistema ao agente Montador,para evitar uma colisão; o agente Montado rtransfere o controle ao agente Evitador; ao final deperigo de colisão, o agente Evitador de colisão cedeo controle do sistema, que é requisitado pelosagentes Desobstru tor e Montado r; o agenteEvitador transfere o controle ao de maiorautoridade, o Desobstrutor; ao terminar dedesobstruir a área de trabalho, o Desobstrutor cedeo controle do ' sistema; finalmente, o agenteMontador requisita o controle, que é transferidopelo Desobstrutor para ele, que pode então retornarao seu trabalho.

c omen t ár i o: o controle e s tá c om Assembl er .(request (c o lli s i onAvo i der ) (ma n i pula t or)(trans fe r (collisionAvoider ) (mani pul a t o r )

(piece in grip ) )comentário : a col isão é e v i t ada .(free (manipulator))(request (a s semble r) (manipula t or) )(r equest (c l eaner ) (manipu lator) )( t r ans f e r (c leaner ) (manipulator) (p iece i ngrip) )

comentário : o objeto é removido .{free (c leaner) (man i pu l a t o r )(request (assembler) (manipulator))(trans fer (a s s embl e r ) (manipulator) (piecein grip) )

Exemplo 1 - Troca de mensagens durante ainterrupção 'de uma montagem.

No exemplo 2, é apresentada a troca de mensagensque ocorre durante a adição de um novo agente nasociedade. O nome do novo agente é NovoAgente,sendo inserido na estrutura de autoridade acima dosagentes Desobstrutor e Montador e abaixo doEvitador de Colisões .

(addAgent (newAgent ) (col l is ionAvoidernewAgent assembler cleaner))

(acknowle dge (c o ll i s i onAvoide r) )(a c know ledge (clea n e r) )(a cknowle dge (a s s emble r))(acknowl e dge (newAgent ) )

Exemplo 2 - Troca de mensagens durante a adiçãode um novo agente.

5. ConclusãoVisão computacional é considerada, segundo ooaradigma propositado, dentro de um contexto de.arefas que um agente deve realizar, retirando dosoropósitos do agente as restrições para solucionar oproblema de visão. Desta forma, este paradigma

leva a soluções de tarefas específicas, executadas poragentes que exibam determinados comportamentos.A organização dos diversos comportamentos dedicados adiferentes tarefas exige uma arquitetura distribuída emodular, tornando ·uma tendência natural aimplementação deste paradigma proposi tado em umaarquitetura multi-agentes, onde .0 processamentodistribuído, aliado às restrições advindas do controle dossensores e da tarefa a ser realizada, permite alcançar aeficiência necessária no desempenho de sistemascomplexos de ação-percepção, facilitando adecomposição de cada propósito do sistema em umconjunto de comportamentos e explicitando a interaçãoentre estes comportamentos para atingir seus propósitos.

6. ReferênciasALOIMONOS , Y. What I have learned. CVGIP:

Image Understanding, v.60, n.L, p .74-85 , July1994.

BALLARD, D. H. Hierarchic Recognition ofTumor inChest Radiographs. Basel , Birkhauser-Verlag,1976.

BALLARD, D. H.; BROWN, C. M. Computer Vision.Englewood Cliffs, Prentice-Hall, 1982.

BOISSIER, O; DEMAZEAU , Y. ASIC: An architecturefor social and individual control and its applicationto Computer Vision. In: EUROPEANWORKSHOP ON MODELING AUTONOMOUSAGENTS IN A MULTI-AGENT WORLD, 1994.Proceedings. 1994. p.107-18.

BROOKS, R. A. A robust layered control system for amobile robot. IEEE Journal of Robotics andAutomation, VRA-2, n.l , p.14-23 , March 1986.

ELFES, A. A distributed control architecture for anautonomous mobile robot. Artificial Intelligence,Computational Mechanics Publications, V.1.n2,1986, p I35-44.

RILLO, M.; RILLO, A.H.R.C.; COSTA, L.A.R. The LSIassembly cell. In: IFACIIFIPIIFORS/ IMACSIISPESymposium on information control problems inmanufacturing technology, 7°, Toronto , 1992.Proceedings. IFAC, 1992. p.361-5 .

RILLO, A. H. R. c., BIANCHI , R. A. C., MOREIRA Jr,B., FERRAZ, F. "Integrando Visão eComportamento: Uma aplicação de 'reconstruçãopropositiva". XI. Congresso Brasileiro deAutomática, São Paulo, 2-6 Set., 1996. SBA, pp.573-578.

WALTZ, D. I. "Generating semantic descriptions fromdrawings of scenes witn shadows" . In ThePsicology of Computer Vision. New York,McGraw-Hill , 1975.

99