Sistema de Visão Computacional Inteligentepara Robôs de Soldagem

Adolfo Bauchspiess'Sadek C. Absi Alfaro2

Wolfgang Trier3

Paul Drews3

GRACOlUnB - Grupo de Automação e Controle'Depto. Eng . Elétrica e 2Depto. Eng . Mecânica

Universidade de Brasília709 10-900 - Brasília / DF - BRAZIL

adolfo@graco .unb .br, sadek@graco.unb.br

2European Mechatronik Center - APS,RWTH - Univerity of Aachen

Reutershagweg 4, Aachen - Germanytrier@aps .rwth-aachen.de, drews@aps.rwth-aachen .de

Abstract: A vision system is described in this pape r that permits to to automate robot welding cells . The chosenstrategy of processing for obtaining the needed results in real-time will be explained. To improve the reliability ofthe system, Fuzzy Logic components have been applied to produce a decision variable that acts as an 'internalsupervisor, judging the quality and reliability of the systern's calculated output data. Is has proven to be asuccessful way of controIling a production proccess by supplying both geometric and process information. It is::--implemented on a homogeneous transpu ter network.

Key Words: Computer Vision, Fuzzy Logic, Welding Robots, Automation

Resumo: Um sistema de visão é descrito neste artigo que permite automatizar processos de soldagem com robôs.A estratégia de processamento para obter resultados em tempo real é descrita. Para melhorar a confiabilidade do

é utilizada Lógica Fuzzy. Esta produz uma variável decisória sobre a qualidade dos dados processadosconvencionalmente. Foi implementado com sucesso um sistema que controla tanto variáveis geométricas obtidasde imagens como variáveis do processo de soldagem. O sistema foi implementado sobre uma rede homogênea detransputers .

Palavras Chave: Visão Computacional, Lógica Fuzzy, Robôs de Soldagem, Automação

1. IntroduçãoA o bte n ç ã o de informações de processos

industriais por meio de sensores ópticos e sistemas devisão, bem como detecção de objetos e de trajetóriassão de grande importância para a automação industrialcom robôs industriais . Muitas aplicações requeremmedições em tempo real da geometria e da posição departes do processo.Para processos industriais a necessidade da

automação flexível e econômica demanda sensoresque ofereçam consideráveis recursos para o auxilio daprogramação de robôs, quer off-line quer utilizando"teach-in". Um sistema de sensores adequado pode

fornecer informações para o posicionamento fino, orastreamento de trajetórias e adaptação dos parâmetrosdo processo, baseando-se para isto nas variações dageometria e da posição da peça de trabalho.

2. Automação da SoldagemEste artigo apresenta um sistema de visão com

capacidade de processamento em tempo realescalonável para a automação da soldagem. O sistemautiliza transputers para implementar uma arquiteturade processamento paralelo. Os principais elementossão: uma câmera de vídeo CCD acoplada à tocha desoldagem do robô ("eye-in-hand configurationry, umaunidade de processamento e um monitor de

64

Figura 3: imagem do poço de fusão com indicaçãoda.segmentação para extração de parâmetros.

Figura 4: Parâmetros geométricos típicos do poço defusão .

·· 1

X, ...

___..2<::.----\

r

O parâmetro geométrico mais importante é adiferença entre Xcw (posição central do arame em x) e

Todos estes dados devem ser processados emtempo real. A Figura 3 mostra uma imagem típica dopoço de fusão pelo câmera CCD do sistema devisão.

No centro da imagem pode ser vista a ponta doarame de solda sendo alimentado para dentro do poçode fusão. Ali o arame é consumido pelo plasma. Noalto da imagem pode ser vista uma borda da tocha eem baixo nota-se um acentuado "bico", caracterizandoa junção das duas Pl?ças a serem soldadas. Oparâmetros geométricos utilizados neste trabalho quedevem ser extraídos de uma imagem típica estãomostrados na Figura 4.

Figura 2: Tocha de soldagem e a disposição da câmerade vídeo

Figura i: Tocha de soldagem e sistema de visão.

visualização . A câmera CCD obtém imagensdiretamente do poço de fusão, distante apenasaproximadamente 15 em da câmera. Este sistema écompletamente independente de quaisquermecanismos de sincronização (como contatoselétricos, que são utilizados para o controle da "alturade vôo" da tocha de soldagern via medição daresistência elétrica) . A figura 1 mostra esquema-ticamente a construção e disposição do sensoracoplado à tocha de soldagem. O esquema da figura 2destaca as principais partes do sistema óptico.

Para controlar o processo de soldagem o robôprecisa que o sistema de visão forneça as seguintesinformações:-posição absoluta do arame de solda e da junção a

ser soldada,-distância relativa entre a junção e o arame,-distância entre a tocha de soldagem e a superfície aser soldada,

-dimensões do poço de fusão.

65

xcs (posição central da junção em x). Este valor forneceo deslocamento que deve ser efetuado pelo TCP (ToolCenter Point) do robô em direção àjunção. Isto é, estaé a distância que deve ser minimizada pelo sistema decontrole do robô para que a tocha de soldagempermaneça sobre a junção. Outras medidasimportantes para o controle do processo de soldagem(tensão e corrente elétricas) são )'Iw (comprimento doarame) e ()'s - )'0 + )' )w) . Esta última representa adistância vertical entre a ponta do arame e a peça detrabalho. Pode assim ser utilizada para adaptar tanto aaltura da tocha como os parâmetros do processo desoldagem.

3 . Processamento Distribuído de Tarefas

As principais dificuldades encontradas para op'rocessamento das informações do robô de soldagemguiado por sensor são:• rápidas mudanças de contraste,• respingos de solda do poço de fusão,• complexidade do processamento de imagem,• necessidade de obter a posição da junção com ai taconfiabilidade.

Entre imagens capturadas (a cada 60ms) o

de limiares de níveis de cinza. O próprio processo desoldagem pede estar instável e neste caso produzirrespingos aleatórios de metal líquido ejetados do poçode fusão . O sensor e o algoritmo de interpretação daimagem deve portanto ser altamente imune arespingos . Para obter as informações geométricas e decorreção da trajetória uma série de operaçõescomplexas precisam ser realizadas em tempo real. Istonão pode, em geral, ser obtido com arquiteturas decomputadores convencionais. Assim uma estratégia deprocessamento foi concebida para explorar ao máximoo potencial de paralelização deste sistema de visãocomputacional. A Figura 5 mostra a distribuição detarefas entre os processadores utilizada neste trabalho.Cada bloco representa um transputer.

O ponto central na paralelização deste problema éa obtenção rápida de informações que permitamsegmentar a imagem ern diversas áreas de interesse(cinco neste caso). Cada segmento contem padrõescaracterísticos e permite assim o subseqüenteprocessamento independente. Ao final os resultadosindividuais são novamente agrupados, verificadosquanto a plausibilidade e transmitidos a um módulogerenciador. Neste os parâmetros geométricos sãotransformados em comandos de correção e enviadospara o controlador do robô.

r

n

d

o

a1

q

Sensor 3

cá

D-IAM

c

I-D-IA cdo Robô

n

11í1o

Sensor 2-D-I G eda Junta

r

= ""

e

o

s

Sensor 1

-D-I Interfacecf Usuá

rC?-O bI Poço de Fusão

I'--------+1-0-

IG ede Dados

9

t Ft'J!ura Distribuição de tarefas ellíre os sete uás da rede de transputers.con ras -e poue var i a r consrüe'rúve mente. lS-[Oinviabiliza a utilização de valores fixos ou anteriores

66

4. ConfiabilidadeAté este es tág io o desempenh o qu e ha via si do

ob ti do era d e 'l àms por ima ge m util izando 6transputers. Isto compreende da aqui sição da imaz em

, b

ate qu e os dados com as informa ções de correç ãoes tejam disp on íveis para o co ntrolado r do robô. Aes tab ilidade alcançada pelo sis tema fo i muito boa.Eve ntuais problemas devido s a resp ingos e instabil i-dades do proce ss o de soldagem for am eliminadosessencia lme nte utili zando veri ficaçõ es de plausi-bilidade. Este procedimento adicional não representouum "overhead" significativo, não restringindo assim aoperação em tempo real do sistema.

flulllFigura 5: Em cima: tocha sobre a j unta.em baixo: tocha

fora da junta.

Um problema, no entanto, não pôde ser resolvidocom estas técnic as. Isto se refere a um parâmetro queserá aqui denominado "co nfiabilidade da junta". Esteparâmetro represent a o grau de confiança, com o quala j unta "detec tada" pelo sensor é de fato ajunção dapeça de trabalho. Em certas condições do proc esso eda peça d e tr ab alh o o s is te ma pode ter sidoco nfund ido . Isto acontece tipi camente qu ando oprocesso de so ldagem se torna instável, e isto ocorreju stamente quando a tocha de soldagem do robô deixaa junta. Como o sistema "perde" este ponto (supressãode dados não confi ávei s neste momento) há poucachance de detectar esta situação com as rotinas atéentã o utiliz ada s de verifi cação de plausibilidade. Paraaumentar a confiabilidade do sistema como um todoeste problema deve ser resolvid o.

Antes de encontrar um algoritmo de detecçãocritérios qu e detectem esta situação

parti cul ar devem ser formulados . A Figura 5 mostracenas de situações típicas de solda sobre a junta e foradel a , como obtidas pela câmera CCD . Note que aF igura 5 mostra cenas praticamente ideais . Asdiferenças entre a tocha sobre e fora da junta não são ,tipicamente, tão óbvias . Para distinguir todos os casosde uma forma confiável as seguintes três variáveispodem ser consideradas:

• grau de inclinação (S),• máxima curvatura do bico (B),• derivada rio tempo da inclinação (dS/dt).

Uma c e n a de soldagem sobre a junta écaracterizada por uma inclinação S entre média e altacom uma curvatura máx ima no bico B entre média ealta . Como o robô não pode saltar , sem pre deveráhaver uma pequena variação interframe na deri vadatemporal da inclinação (dS/dt). Sempre que o sistemaco meça a se afastar da junç ão , dS/dt aumentaconsideravelmente. Isto significa que cada valor muitoa l to d e dS/dt indica um processo em tr ansição.Durante um rastreamento estáve l fora da junta, dS/dtserá pequ eno com S algumas vezes alto. A máximacurvatura no bico será neste caso tipicamente baixa, jáque o rob ô estará sobre uma superfície geralmenteplana da peça de trabalho.

A análise das três vari áveis ac ima mencionadasdevem fornecei" uma deci são sobre a "confiabilidadeda junta" . Para obter esta decisão foi utilizado ummódulo base ado na Lógica Fuzzy . Cada variável deentrada forma uma variável linguística e érep resentada pela sua função de pertinência. Valores"exa tos" são assim transformad os em graus depertinência às classes small, medium e big, variandoentre Oe 100%.

5. Conjunto de RegrasUtil iza r LógicaFuzzy si gn ifica fazer uso de

conhecimento especialista sobre o funcionamento dopr o c e s so para obter a variá vel de decisão"confia bi li dade da j unta" . Em Lóg ica Fuzzy oconhec imento é armazenado em um conjunto deregras. Par a o pr oblema de scr ito ne ste artigo foiestabeleci do um conj unto de regras plausíveis . Trêsdestas regras estão ilustradas a seguir:

regra a:se a inclinação é big ANDse a curvatura é big ANDse a derivada ,da curvatura é big ,.THENconfiabilidade da junta é high (com

segurança).regra b:

67

' .ru "Iopc $1':1;)/01 AND tu M nd 8=l1ledluf71) ANO (11 THEN

-txJ_· .- r: ® ==> f1';::.•. ® I ,\ 1\ :UJ J.Ji... _ .. . ." -í--L-D- " . '

h::L,,:1)11("trr ==>:taJl(11 AND (11 ANO fU' THEN

se a inclinação é big ANDse a curvatura é medium ANDse a derivada da curvatura é small,THEN confiabilidade da junta é high (com

segurança e muita segurança).

contribui com 60% para o estado da variável decisória"com segurança" e "com muita segurança" .

6. Fluxo da InformaçãoDo conce ito proposto par a o sistema de visão, a

informação visual ini cialmente disponibilizada pelacâmera CCD, passa por tr ês blocos principais deprocessamento:

A segunda linha mostr a a regra c (medium, small,smal! => ·muito inseguro). Com os valores assumidospara S, B e dS/dt S contribuirá com 40% para medium,B com 0% para small e dS/dt com 80% para small .Novamente utilizando o operador AND obteremos oresult ado como a menor entrada. No caso desta regr acom os valores fornecido s teremos o val or 0%. Aregra c portanto contribu i com 0% (nada) para o valorda variável decisória "muito inseguro".

Aplicando as 27 regras (3 vari áveis com 3 estadospossíveis cada) obtem-se 27 estados pos síveis para avariável decisória. Todos estes podem ser combinadossomando-se "g raficamente" as funções individuais .Uma maneira de transferi r o resultado fuzzy de voltapara uma representação "precisa" é pelo c álculo docentro de gravidade da soma de funções e então ler ovalor numérico no eixo das ordenadas da função depertinência anteriormente definida.

A grande quantid ade de cálculos que é necessáriaquand o da ap l ic aç ão dest e pro cedimento écompensada por uma avali ação muito mais coerenteda situação real. O sistema produz c omandossignifi cativamente mais confiáveis para o sistema decontrole do robô. Com a arquitetura de computadoresbasead a em transputers proposta o processamentopode ser feito em tempo real.

... ali (27) ru les ....

. 'nn=:" r -;::. transformation<== ... <==

, - ..read crisp

value

regra c:se a inclinação é mediurn ANDse a curvatura é smal!ANDse a derivada da curvatura é sma ll,THEN co nfi a bi lidade da j unta é low (mui to

inseguro) .

A combinação de todas estas regras , com os seusgraus de pertinência às classes , indic am desta formavalor da vari ável deci sória "confiabilidade da junta" .Apen as quando a confiabilidade da junta é high (comsegurança e/ou com muita seguraça) o sistema utilizaráos valores geométricos calculados anteriormente eenviará comandos de correção ao sistema de controledo robô . Uma repre sent ação gráfica do procedimentode det erminação e combinação de tod as as regras émostrado na Figura 6.

Figura 6: Repres enta ção gráfica do process o d eavaliação da variável decisória.

Seja o seguinte conjunto de valores exatos para S,B e dS/dt e seus correspondentes valores Fuzzy :

• processamento paralelo "convencional",.processamento paralelo baseado no conhecimento

(sistema especialista).controle de processo associativo e basead o no

conhecimento.O termo processamento paralelo "convencional"

foi escolhido para expressar a exploração do potenci alde paralelização do problema da:do aplicando-sealgoritmos padrões a pa rtes do problema ou pelaadequação de algoritmos a estruturas paralelas (fourier/ butt erf1y etc.). Neste caso foram utilizadas apenastécn icas simples e "stra ight forward " par a a deteçã o,segmentação e reconhecimento de padrões (módulo 1).

Os valores do módulo I (distância do bico de soldana peça de trabalho, desvio lateral , área do poço defusão, forma do contorno e variação da forma ao longodo tempo) são utilizados como entradas tanto para ocontrole do processo (isto é manipulação de variáveisdo processo) como para a avaliação da confiabilidade(módulo 2). As variáveis de decisão obtidas neste

0 % small, 40% medium,

0 % small, 100% medium,• curvatura B=y 10% big,

• dS/dt=zl 80% smal!, 20% medium, 0% big,

• inclinação S=x160% big

A primeira linha mostra graficamente a regra b (big,medium, smal! => com segurança e muita segurança):S contribui com 60% para big, B contribui com 100%para medium e dS/dt contribui com 80% para small .Como o operador é afunção AND, o resultado será odo menor valor de entrada, neste caso 60%. Destaforma encontramos um resultado par a a regra b que

68

bl oco são utili zad as para de cidir se os resul tad osobtido s pel o módulo I são con fiávei s ou se dev em se rdescartados . Desta fo rma o processam ento basead o noco nhec ime nto do módulo 2 (essenc ialme nte aplicando-se a L ógi ca F uzzy) repre s enta uma es p éc ie dejulgamento s up e r v isó r io para o de sempenho domódulo I .

As saídas d o módul o I (va lo res d iscretos) e domód ulo 2 (var iá ve is deci sóri as ) são en tra das pa ra omódul o 3, que in ic ia ações corre tivas tanto para oprocesso de so lda como para o co ntro le de movimen todo robô .

O flux o da informação atr avés dos três módulos e asa ída de cad a módulo é mostrad o na figura 7 .

7 o ConclusãoFo r am m ostrad o s neste a rt ig o as pr incipai s

v ant ag en s d a int e gr a ção d o s is te m a d e vi sãocom p u tac io n a l utilizand o diferentes técnicas eprin cípi os de processam ento de dados em uma red e detran sputers , ist o é, pr ocessam ento hete rogên eo so breuma plataforma homogênea de hardware. Ist o forneceua base para um a impl ementação efic iente de soluçõesp a r a um vas to espe c t ro de apl i c a ç õ e s d eprocessamento da informação .

Agradecimentos: Os autores agradecem ao apoioobtido através do convênio APS/Aachen-GRACO/UnBf in anciado pelo DAAD-Alemanha e p el a CAPES-Brasil que tornou este trabalho possível.

Referências[ I] Alfaro, S.C.A .; Bauchspiess, A.; Casanova AlcaIde,

V.H.; van Eis, R. H.; Soares lI', L.R.; Su guieda, M.H.:Conception and development of an integrated weldingcell, 10M-S - Eight Intern ational Con ference on thel oining of Materials, Helsinger, Denmark , May 11-14 ,1997

[2] Bauchspiess, A.: "Prãdikti ve sens orgesteuerte Bahn-fü hrun g von Handhabun ssyst emen" , PhD Thesis ,University Erlangen-Nbg, 1995

[3] Drews, P . ; Willms , K.: "Mult isenso rsys te m zurE rf a s sun g de r Pr o z e s sum welt be imSchutzgasschwe issen", Bãnder Blech e Rohre , 1/2-1996

[4] Drews, P. ; Wehninck, F. 1. S.: "Senso rges tütz tesSchwe iBen mil Einbindung von PlanungsB undPrograrnmiersysternen", Flexible Handhabungsgerãte imMaschinenbau , VCH - DFG, pp. 264-3391996

Co11verrtiomuParallet Processiuq

KrwwIed!1é- Baseâ ProcessinqbT'F1I7.:T.y •

Klw"t'r'ledgeProcesscon rrol

::-y.:l('onlr(.l (Ircurrcnt and

+evaluation of voltage by•c:k tcctíon, "seam . rcliabiliry'', . associative- tabilit)'''o rncmory (neural J --'I'

osegiTIcntatl.)n, -!,...•plausibiliry L'hcd, a f ---------values coltlp;lTcd lo control of robot

• featu 'rl: each othcr, posí tion P.ot<ltextraction,

vall1c.:s compared to (Desígned by r

<>4nltoJtime .

Imags Evaluatiou oi Processotueasuring relia biliry control

nIR I

----- · distance from workpicce · "Seam i· lateral deviation - "Process-stability",

.CcrJ · area of the wd inz pool · tolcrance bandof 1;1 tl:rtllC*'1i\". - :;}J;A\>C of contour, <Iévj,-.tion,

- change of :-;h(lp,= by lime, · tolcrance band of dlstancc, oO=l-

para robôs de soldagem.qu e s iga os preceitos aqui apresentados, se rá capaz de"crescer" com o problema e fornecer assim aquilo qu eé de fato a principal vantagem do uso de transputers:capacidade de processamento escalonável.

69