22 SIMPÓSIO BRASILEIRO DE AUTOMAÇÃO INTELIGENTE CEFET·PR, 13 a 15 de Setembro de 1995 Curitiba Paraná

Arquitetura Paralela Multi-thread para Processamento de Imagens:

RESUMO:

ArqMDSP (*)

Saito, José Hiroki, Mucheroni,Marcos Luiz e

Romão, Aldo José Spanghero

GAPIS-Grupo de Arquitetura e de Processamento de Imagens e Sinais Departamento de Computação

Universidade Federal de São Carlos

Endereço: Rodovia Washington Luiz, Km 235 13565-905 - São Carlos - SP Emai1: djhs@power.ufscar.br

Neste trabalho descreve-se o projeto de uma arquitetura para processamento de imagens, mu/ti-thread baseada no processador digital de sinais (DSP) TMS320C40. Um dos aspectos importantes desse processador é a alta conectividade, através dos 6 portos de comunicação, de 8 bits, com fila de entrada e saída, e do coprocessador de DMA interno ao chip, capacitado para autoiniciação, sem interferência da CPU. Explorando essas características apresenta-se um modelo de processamento paralelo mu/ti-thread , exemplificando a sua aplicação no processamento de imagens, através do operador Laplaciano com a divisão em sub-imagens, alocadas em processadores paralelos. É apresentado um estudo de desempenho da arquitetura, levando-se em conta o exemplo de aplicação e os mecanismos de transferência de mensagens.

I.INTRODUÇÃO

o presente trabalho é baseado no processador digital de sinais (DSP) de alto desempenho e alta conectividade, denominado TMS320C40 da Texas Instruments, que tem seis portos de comunicação de oito bits, permitindo a sua interconexão estática a seis outros processadores. Neste projeto apresenta-se uma possibilidade de implementação de arquiteturas paralelas usando esses componentes, em formato padrão industrial TIM-40, de cartões de circuito impresso, contendo o processador e a memória principal externa à CPU. É apresentado um modelo de processamento dirigido a mensagens, apropriado para programação mu/fi­thread, que faz com que seja otimizado o desempenho global do sistema, através do esquema de múltiplos contextos.

Como exemplo de aplicação é mostrado o processamento de imagem, através de operador Laplaciano. A imagem é dividida em sub-imagens para que o processamento paralelo e a análise de desempenho sejam possíveis.

2.PRINCIPAIS CARACTERÍSTICAS DO PROCESSADOR

o TMS320C40, processador digital de sinais da Texas Instruments, usado neste projeto, é um processador super-escalar, apresenta alto desempenho de 275 MOPS (milhões de operações por segundo) e 320 Mbytes/s de throughput, tamanho de palavra de 32 bits, espaço de endereçamento efetivo de 16 Gbytes, em dois dutos de memória · independentes, denominados de duto global e duto local. As operações de soma/subtração inteiras e lógicas são de 32 bits e as de ponto flutuante, 40 bits~ as multiplicações são para números inteiros de 24 bits, e para números ponto flutuante, de 32 bits. As operações aritméticas são executadas num único ciclo.

Os 6 portos de comunicação bidirecionais de alta velocidade, 20 Mbytes/s por porto, de 8 bits, se associam a canais de DMA, contendo uma fila de entrada e uma de saída. Um coprocessador atua no processa-

(*) ArqMDSP: Arquitetura Multiprocessadora Usando DSPs - Projeto parcialmente financiado pelo CNPq, ProTeM-CC-fase 2.

~2'~

21 SIMPÓSIO BRASILEIRO DE ~ 18 AUTOMAÇAO INTELIGENTE

mento de operações relativas aos canais de DMA aliviando o proce~sador. A transferência de dados pelo DMA é feita de forma concorrente em relação ao processador, sendo que o coprocessador tem a capacidade de autoiniciação, após o fim da execução de transferência de um bloco de dados, sem a interferência da CPU [Texas, 91].

O coprocessador de DMA tem barramento de endereçamento e de dados dedicados que permite acesso à memória independentemente da CPU. O controle de transferência de blocos de dados pelo DMA é baseado num conjunto de registradores de operação, que ficam mapeados na memória. Para cada um dos seis canais de DMA são definidos os seguintes registradores de operação, de 32 bits, em endereços subsequentes: 1) Registrador de Controle do Canal~ 2) Endereço do Originário~ 3) Endereço do Índice do Originário~ 4) Contador de Transferência de Saída~ 5) Apontador de Enlace 1 ~ 6) Endereço do Destinatário~ 7) Endereço do Índice do Destinatário~ 8) Contador de Transferência para Entrada~ e 9) Apontador de Enlace 2.

O primeiro registrador apresenta diversos parâmetros de programação para o funcionamento do canal. Os três registradores seguintes são delimitadores para os dados do canal para a operação de saída, onde os dados são lidos da memória e enviados para a fila de saída. O registrador seguinte, Apontador de Enlace . 1, refere-se ao endereço de memória onde se localiza a descrição da próxima operação do coprocessador. A autoiniciação refere-se ao carregamento dessa descrição para a área de registradores de operação. Os quatro registradores restantes definem o funcionamento do canal para a operação de entrada, em que os dados são lidos da fila de entrada para a memória.

O coprocessador de DMA, após uma operação de transferência de bloco, carrega os novos valores de descrição para os seus registradores de operação. Os apontadores de enlace especificam o endereço de descrição para a carga dos novos valores de registradores de operação do DMA, que tem endereço fixo na organização de . memória do TMS320C40.

Por exemplo, sob autoiniciação, os passos para o carregamento dos registradores do canal de DMAO, o primeiro dos seis canais, seguem o seguinte algoritmo: Algoritmo 1: 1) Ler o apontador de enlace pra a próxima operação de DMA. O apontador é o endereço de memória

contendo a descrição do primeiro registrador de operação do canal de DMA; 2) Ler esse conteúdo apontado e escrevê-lo no endereço 01000AOh (endereço do primeiro registrador de controle do canal de DMA O); 3) Incrementar o apontador de enlace; 4)Buscar a próxima palavra e escrevê-la no próximo endereço (01000A1h); e 5) Repetir o procedimento até o carregamento do bloco inteiro de registradores do canal de DMA.

3. ARQUITETURA PARALELA - ArqMDSP

A arquitetura proposta é escalável e tem uma estrutura genérica, uma vez que a sua implementação depende das necessidades de aplicação. Ao mesmo tempo, o uso do padrão TIM-40 de módulos processador/memória, facilita a essa implementação.

Nas extremidades são acoplados os dispositivos periféricos e na parte central, a estrutura de elementos processadores constituídos de módulos TIM-40. A topologia de interconexão depende do número de processadores, podendo variar desde uma totalmente conexa, até malhas multi-dimensionais. Os dispositivos periféricos referidos podem ser unidades de armazenamento de dados como discos magnéticos, estações de trabalhoSUN ou IBM AT, captadores e digitalizadores de imagens, visualizadores de imagens e acesso a redes locais Ethemet. O único dispositivo periférico necessariamente presente em todos os protótipos é uma estação de trabalho para servir de interface homem/máquina do sistema. Para aplicações de processamento de imagens, os dispositivos de captação, digitalização e visualização de imagens são frequentes.

4. ArqMDSP: COMUNICAÇÃO ENTRE OS PROCESSADORES

Existem basicamente duas formas de transmissão de mensagens através de multi-computadores: a) store-and-forward em que a mensagem em forma de pacote, transmitido pelo originálio, passa de processador a processador, que recebe o pacote inteiro, e depois retransmite para o próximo processador, até que o pacote seja transmitido ao destinatário~ e b) wormhole em que a mensagem é dividida em pequenos segmentos denominadosjlits e são transmitidos segmento a segmento, de processador a processador, sincronamente, numa feição pipeline, através de um hardware específico de comunicação [Dally, 90], [Dally, 92]. A Figura 1 ilustra a estrutura de uma mensagem e os dois esquemas de roteamento.

2! SIMPÓSIO BRASILEIRO DE AUTOMAÇAO INTELIGENTE

(8) ESTRUTURA DA MENSAGEM

(b) ROTEAMENTO STORE-AND­FORWARD

(c) ROTEAMENTO WORMHOLE

TEMPO

,

I

19

MENSAGEM

"'J I 1[:: ____ _ PACOTE ""<0 FLlT

II III IIII II

N01 N02 NOD+1

,

TEMPO

II II NO 1

I1 I I N02

II I I NOD+1 ,

TEMPO

Figura 1. a) a estrutura básica de uma mensagem, pacote eflit; b) esquema de roteamento store-and-forward; e c) esquema de roteamento wormhole.

Explorando os conceitos de pipeline, a transmissão do tipo wormhole apresenta uma latência de comunicação independente da distância entre os processadores envolvidos, no caso em que o comprimento do flit é bem menor que o comprimento do pacote [Hwang, 93].

Seja L o comprimento do pacote em bits~ Wa taxa de transmissão do canal em bits/s~ D a distância ( número de nós participantes menos 1) e F o comprimento doflit (em bits). A latência de comunicação Tsfpara o esquema store-and-forWard é expressa por:

Tsf= (L / W) . (D + 1) (Equação 1) enquanto que a latência Twh para o esquema wormhole é expressa por:

Twh = (L / W) + (F / W) . D (Equação 2) A latência Tsf é diretamente proporcional a D e a latência Twh = L / W se L "> > F. Assim, a distância é desprezível na latência de roteamento no esquema wormhole.

A definição de flits em blocos de tamanho fixo, faz com que a transferência por autoiniciação sincronizada pela CPU permita uma eficiência acima do roteamento por store-and-forward. Isso porque através do sincronismo de transferência de blocos flits pode-se implementar um esquema pipeline de transmissão desses blocos ao longo da estrutura de processadores paralelos. Diversos blocos de flits podem ser transferidos de um processador para outro simultaneamente fazendo com que para o caso em que o tamanho do pacote seja muito grande em relação aos blocos, o tempo de transferência seja independente da distância entre os processadores.

5. MODELO DE PROCESSAMENTO MULTI-THREAD PARA O ArqMDSP

Um thread é uma sequência de instruções que são executadas num processador e que pertencem a um mesmo contexto. O modelo de arquiteturas multi-thread permite a mudança de contexto num mesmo processador, fazendo com que trechos de contextos diferentes sejam alternados durante o processamento. Existem as seguintes possibilidades de critérios de alternância [Hwang, 93]: a) alternância no cache miss; b) alternância em cada load; c) alternância a cada instrução~ e d) alternância a cada bloco de instruções.

Um processador multi-thread pode ser implementado usando o modelo de processamento dirigido por mensagens. O processador abstrato desse modelo tem uma fila de ativação, ativador e executor de thread. Um thread é invocado pelo ativador, que recebe como entrada os elementos: 1) P - identificação do processador destino~ 2) 1 - apontador de instrução ~ e 3) D - ponteiro de dados. Os elementos 1 e D identificam o ponto de início para o thread. A fila de ativação mantém os elementos identificadores de ativação esperando pelo

20 2! SIMPÓSIO BRASILEIRO DE AUTOMAÇAO INTELIGENTE ~

2'~

disparo. O executor executa as instruções de um certo thread, determina a criação de um novo ativador e termina o thread corrente [Sakai, 94], [Dally,92].

Para a implementação de um sistema mu/ti-thread usando o TMS320C40, a fila de ativação é controlada pelo coprocessador de DMA. O ativador e o executor devem ser implementados pela CPU. Essa implementação deve gerar um overhead uma vez que os mecanismos de alternância dos contextos é assistida por software, porém, o paralelismo de operações da CPU e do coprocessador de DM~ faz com que esse overhead seja mínimo. A Figura 2 mostra o modelo de processador dirigido por mensagens. Nesse modelo é também mostrada a função de fork para a criação de uma nova ativação, que é enviada à fila de ativação, invocando um novo thread .

FORK

EXECUCAO DE

THREAD

FILA DE ATlVACAO

j

1

ATlVADOR DETHREAD

TERMINO DOTHREAD

Figura 2. Modelo de processador dirigido por mensagens.

DE OUTRO NO

')

P/OUTRO NO

6. DETERMINAÇÃO DO DESEMPENHO NUM EXEMPLO DE APLICAÇÃO

O exemplo de aplicação escolhido, serve para medir o desempenho ideal da arquitetura paralela. Um operador, constituído de 9 elementos dispostos em matriz 3 x 3, para obtenção de um ponto da imagem final processada é feita através da multiplicação elemento a elemento dessa matriz Laplaciano pelos pixels correspondentes da imagem original de 1024 x 1024 pixels, 8 bits por pixel. Os resultados das multipHcações são acumulados para resultar no valor final do pixel processado, correspondente ao ponto central da matriz [Galbiati, 90], [Romão,94]. Como o TMS320C40 tem a capacidade de realizar as operações de multiplicação e acumulação num ciclo, a obtenção de um valor final processado é obtido em 9 ciclos, um para cada multiplicação/acumulação. Desprezando os overheads devido ao tempo de execução de instruções de controle~ considerando-se que o tempo de comunicação sejam desprezíveis devido à operação paralela entre a CPU e o coprocessador~ que o tempo de ciclo de uma instrução do TMS320C40 é de 20 ns~ e finalmente o tempo de ciclo de transferência de um byte de 50 ns~ foram obtidos os seguintes resultados de desempenho, para: a) Tabela 1, para roteamento store-and-forward e b) Tabela 2, para roteamento wormhole.

Tabela 1. Resultado de cálculos usando o roteamento Store-and-forward. Num Quantidade Tempo Tempo Tempo Speed- Log Proc de Dados Proc. Transf. Total Up n (n) (ms) (ms) (ms)

1 1.048.576 188,74 - 188,74 1 1 4 262.144 47,18 26,21 73,39 2,5 2

16 65.536 11,79 13,10 24,89 7,5 4 64 16.384 2,94 6,55 9,40 20,0 8

256 4.096 0,73 3,27 4,00 47,1 16

'<-, • • • •.

0. . ~

," f ..

21 SIMPÓSIO BRASILEIRO DE AUTOMAÇAO INTELIGENTE

Tabela 2 Resultado de cálculos usando o roteamento Wormho/e Num Quantidade Tempo Tempo Proc deDados . Proc. Transf. (n) (ms) (ms)

1 1.048.576 188,74 -4 262.144 47,18 13,10

16 65.536 11,79 3,27 64 16.384 2,94 0,81

256 4.096 0,73 0,20

21

Tempo Speed- Log Total Up n (ms)

188,74 1 1 50,28 3,7 2 15,06 12,5 4 3,75 50,3 8 0,93 202,9 16

A Figura 3 mostra os gráficos de S'peed-up versus número de processadores, para os dois esquemas de roteamento. Nota-se que no roteamento store-and-forward foi considerado o tempo de transferência de log(n). Observa-se que no esquema de roteamento, da Tabela 1 o speed-up é perto do logaritmo do número de processadores, enquanto que no esquema da Tabela 2, esse valor é próximo do número de processadores.

256

SPEED-UP ,

1.92

128

64

/' /'

416

,

"///,/'~'/,/

/////' STEP-AND-FORWARD

64

__ ______ ___ -------------~~~(N)

256

NUM. DE PROCESSADORES

Figura 3. Gráfico de Speed-Up, para os dados representados nas Tabelas 1 e 2.

7. ArqMDSP: IMPLEMENTAÇÃO

A implementação de uma arquitetura paralela usando TMS320C40 é facilitada pelo uso de módulos TIM-40 que incorpora num cartão de circuito impresso processador/memória e outros dispositivos . . Esses módulos medem 4.2" x 2.5" (106,7 mm x 63,5 mm). Esses módulos são usados em cartões portadores (mainboards) com as funções básicas de alimentação e reset, bem como fiações de interconexões e testes.

Os módulos TIM-40 possibilitam implementações de arquiteturas paralelas. Existem, também, projetos . específicos de cartões TIM-40, como os de captura e visualização de imagens, onde é essencial o acoplamento forte entre a memória de vídeo e o processador.

O desenvolvimento de arquiteturas paralelas ArqMDSP está sendo implementado numa estação de trabalho SUN, no Departamento de Computação da Universidade Federal de São Carlos, DC/UFSCar. Outros três protótipos baseados em IBM AT estão sendo desenvolvidos pelo CNPDIAlEMBRAPA, DC/UNESPlBauru e LAC/UFPRlCOPEL [Saito,94].

A Figura 4 ilustra o exemplo de aplicação mostrando um processamento usando quatro processadores.

8. CONCLUSÕES

O presente trabalho procura descrever os principais aspectos do desenvolvimento de protótipos das arquiteturas paralelas ArqMDSP.

22 ~2·~. 1 2! SIMPÓSIO BRASILEIRO DE AUTOMAÇAO INTELIGENTE

Devido ao alto desempenho da CPU e do sistema de interconexão pelo coprocessador DMA. foram analisados os aspectos de roteamento e de modelos de processamento dirigido a mensagens. A análise desses aspectos através de uma aplicação de processamento de imagens mostra que numa situação ideal, a arquitetura apresenta um desempenho alto, com speed-up próximo ao número de processadores. Porém, para se obter esse resultado, e para que a aplicação seja de uso geral, devem ser implementados os sincronismos de roteamento e o modelo de processamento dirigido por mensagens para permitir o processamento de multi-threads de programas e de atendimento ao roteamento.

Figura 4. Diagrama ilustrativo da aplicação usando o operador Laplaciano, e 4 processadores.

9. AGRADECIMENTOS

o autores agradecem o apoio do CNPq, através do projeto Protem-CC, fase 2, denominado: ArqMDSP­Arquitetura Multiprocessadora Usando DSPs.

10. REFERÊNCIAS

[Dally, 90] - Dally, W.J. - "Performance Analysis ofk-ary n-cube interconnection Networks". IEEE Trans. on Computers, 39(6): 775-785, 1990. [Dally, 92] - Dally, W.J. et Ali - "The Message-Driven Processor: A Multicomputer Processing Node with Efficient Mechanisms", IEEE Micro, 12(2): 23-39, abril 1992. [Hwang,93] - Hwang, K. - Advanced Computer Architecture: Parallelism, Scalability, ProgrammabÚity. USA, MacGraw-Hill, 1993. [Galbiati.90] - Galbiati Jr.,L.J. - ''Machine Vision and Digital Image Processing Fundamentais". New Jersey, Prentice-Hall, 1990. [Romão,94] - Romão, A.J.S. & Mucheroni, M.L. - "Construção de Gerador de Códigos de Processadores com interface Gráfica do Usuário para Vídeos". Anais do XIII Congresso de Iniciação Científica e Tecnológica em Engenharia - CICTE. São Carlos-SP, dezembro de 1994. [Saito, 94] - Saito,J.H.~ Ferasoli Filho,H. & Pegoraro, R. - "A Image Parallel Processing Architecture Using Digital Signal Processors", Proceedings of Sixth IASTED/lStvIM International Conference on Parallel and Distributed Computing and Systems, Washington DC, pp. 451-454, outubro de 1994. [Sakai,94] - Sakai,S. - "RWC Jviassively ParaUel Computer Pr~iect - RWC Architecture".Proceeding of Fifth Annua! NEC Research Symposium, 1994. [Texas, 91] - Texas - TMS320C4X User's Guide. Texas lnstruments, 1991.