A PRODUÇÃO DE SENTIDO VIA “TRANSDUÇÃO” SIGNO VERBAL - IMAGEM NO

TEXTO MULTIMODAL

Maria Conceição Alves de LIMA

UEMS/UNA

Resumo: Atualmente, os enunciados (principalmente os digitalizados) costumam projetar os seus sentidos através de uma multimodalidade discursiva orientada para um novo “design textual” não exclusivamente pautado sobre signos alfabético. Partindo do pressuposto de que a simples justaposição da palavra e da imagem não garante a plena funcionalidade comunicativa do enunciado e tomando como fundamento a teoria do discurso multimodal de Kress e Van Leeuwen (1996) e Kress (2005), (que postula a idéia de que os diferentes modos de representação não existem como domínios autônomos do cérebro ou como recursos autônomos na cultura, mas estão intrinsecamente ligados numa nova “semiótica da sinestesia”), neste trabalho analisamos o grau de interatividade palavra - imagem em enunciados multimodais, valendo-nos, também da posição de Fortune (2005) de que não seria adequado tratar dicotomicamente a relação signo verbal-imagem (a imagem apenas para “ilustrar” o texto verbal e/ou este para “explicar” a imagem), visto não haver apenas uma tradução de um modo de linguagem para outro, mas uma “transdução”, em que o cérebro decodifica simultaneamente a linearidade da palavra e a espacialidade da imagem. Como pano de fundo, esperamos contribuir para que o entendimento desse fenômeno cognitivo se traduza em novas estratégias de letramento, visto que o “produtor” e o leitor de enunciados precisam ter conhecimento dos modos a ele disponíveis para a construção de sentidos.

Palavras-chave: multimodalidade textual; “transdução” signo verbal – signo imagético; interação palavra - imagem; letramento multimodal.

Abstract: Nowadays speeches (specially the digital ones) use to project their meanings through multimodality formats by using a new textual design no more based on alphabetic signs exclusively. By the assumption that the merely proximity between words and images no longer grantees the plenty functionality of language communication, and by admitting the Kress & Van Leeuwen´s (1996) and Kress´(2005) multimodal discourse theory (that assumes the idea that different signs do not exist in mind or in culture in a free way but they are essentially linked themselves) in this work we intended to analyze the interactivity level of word – image conjunction, by admitting also Fortune´s (2005) position that it would be not correct to hand up dually verbal and non-verbal signs relationship (as the use of image only “to illustrate” word or the usage of word only “to explain” image) cause it does not exist as a merely translation from one to another sign but it becomes a kind of “transduction” event, where the brain try to decode both signs simultaneously. By the way, we intended to contribute of understanding the way this phenomenon of cognition can help school education to hand up better with literacy strategies, in order to increase reading and writing abilities in creating language meanings.

Key words: textual multimodality; “transduction” between verbal and non-verbal signs; interaction between word and image; multimodal literacy.

1. Introdução

Atualmente, os enunciados escritos (principalmente os digitalizados) costumam

projetar os seus sentidos através de uma multimodalidade discursiva orientada para um novo

design textual não exclusivamente pautado sobre signos alfabéticos, em que, pelo contrário, a

linguagem escrita vem sofrendo um progressivo “apagamento” ou, pelo menos, uma paulatino

“empurramento” em favor da imagem. Martine Joly (1996) nos fala de uma inversão

histórica, em que a imagem já não ilustra a palavra: esta (a palavra) é que, numa espécie de

“vingança” da imagem, freqüentemente se torna uma mensagem “parasita” que sobrecarrega

o “visual”.

Tendo em vista, porém, que os diversos modos de linguagem não traduzem o mesmo

significado de uma mesma maneira (ou nem mesmo transmitem o “mesmo” significado),

tomamos como objetivo, neste trabalho, a análise de algumas conjunções signo verbal-

imagem, procurando fundamentar a hipótese de que a simples justaposição de múltiplos

modos linguageiros não garante a plena funcionalidade comunicativa de cada sistema de

signo utilizado, tecendo considerações sobre a importância de uma efetiva interatividade

palavra - imagem no ato da construção de sentidos por parte dos interlocutores. Por fim, é

preciso levar em conta não somente os elementos culturais e sociais envolvidos na

multimodalidade enunciativa, mas também as tecnologias digitais que permeiam a maioria

dessas produções, visto que esse novo suporte linguageiro é diretamente responsável pela

“imagetização” do texto acima mencionada.

Por outro lado, verifica-se que, na Educação Básica, o ensino de produção textual

tradicional sofre de um visível analfabetismo visual, especialmente por parte dos professores

de linguagem. A análise da imagem ainda não aparece como componente curricular dos

cursos de Letras, sendo privilégio tão-somente dos profissionais da área de publicidade. Dessa

forma, como pano de fundo, esperamos contribuir para que o entendimento desse novo

paradigma lingüístico se traduza em novas estratégias de letramento, visto que o “produtor”

de enunciados precisa ter conhecimento dos modos a ele disponíveis para a projeção de

discursos, bem como o leitor deve estar apto a interpretá-lo, tudo isso em benefício de uma

renovação pedagógica que se pretende essencial à educação cidadã num futuro que já se faz

presente.

2. Fundamentação teórica

- Relações signo verbal - imagem.

Uma primeira questão teórica que se nos apresenta é aquela suscitada pela ótica em

que se deva encarar o contraponto palavra - imagem quando de sua conjunção num texto

multimidiático: se de um ponto de vista analítico predominantemente lingüístico ou se de um

ponto de vista que encara de modo distinto a análise do imagético. Nesse aspecto, deparamo-

nos, atualmente, com duas posições teóricas distintas. A primeira segue a linha preconizada

2

por Roland Barthes, que propõe uma “leitura” da imagem em função da palavra. Embora

reconhecendo que é impossível, para a palavra, duplicar a imagem, Barthes (1984) observa

que todas as imagens da mídia são acompanhadas de mensagens lingüísticas (como legenda,

título, diálogo etc.). Para o autor, o texto verbal enfatiza as conotações já presentes na

imagem, ou inventa novas conotações ou produz uma conotação “compensatória”.

De acordo com esse enfoque, Barthes propõe duas funções básicas para a mensagem

verbal na relação palavra – imagem: ancoragem e etapa, que podem coexistir dentro de um

mesmo conjunto icônico. Na ancoragem, a palavra ajudaria o leitor a escolher o “bom nível

de percepção”, guiando-lhe a interpretação para um sentido antecipadamente escolhido,

limitando o poder projetivo da imagem e afastando sentidos desagradáveis. Na função etapa,

palavra e imagem estão em relação complementar, como fragmentos de um mesmo sintagma

mais geral. Essa função é rara na imagem fixa, mas essencial na imagem animada, pois coloca

na seqüência das mensagens sentidos que não se encontram na figura estática.

De outro lado, Souza (2001), embora reconhecendo (da mesma forma que Barthes) o

emprego da imagem também como cenário ou ilustração (o uso da palavra na “domesticação”

da imagem) propõe que o signo imagético deva ter o status específico de linguagem. Para

Souza, o verbal e o imagético devem merecer igual atenção na nova materialidade

multimodal, ou seja, que não se atribua à imagem uma posição apenas caudatária em relação

ao signo lingüístico. Dessa maneira, não é mais possível a interpretação da imagem apenas

através da palavra (como queriam Barthes e seus seguidores). Segundo Souza (não paginado),

“ler uma imagem (...) é diferente de ler a palavra: a imagem significa, não fala, e vale

enquanto imagem que é”. A autora enfatiza, ainda, a idéia de que, ao se interpretar o

imagético tão-somente através do verbal, incorre-se num reducionismo que atinge a própria

concepção atual de linguagem:

Ao se pensar a imagem através do verbal, acaba-se por descrever, falar da imagem, dando lugar a um trabalho de segmentação da imagem em unidades discretas. A palavra fala da imagem, a descreve e traduz, mas jamais revela a sua matéria visual. Por isso mesmo, uma “imagem não vale mil palavras, ou outro número qualquer”. A palavra não pode ser a moeda de troca das imagens. É a visibilidade que permite a existência, a forma material da imagem e não a sua co-relação com o verbal (não paginado, grifos da autora).

3

Para Souza, ocorre aí a redução da imagem a um dado complementar, a acessório (ou

cenário), descaracterizando-a como texto, como linguagem, de vez que “a imagem, ao ser

traduzida através da sua verbalização, se apaga como elemento que pode se tornar visível. É o

verbal que se superpõe ao não-verbal” (SOUZA, 2001, não paginado). Dentro dessa

perspectiva “verbalizadora”, as imagens acabam por não significar por si mesmas, enquanto

imagens que são. A visibilidade do conteúdo que as mesmas veiculam termina ofuscada pela

forma como são verbalizadas, numa espécie de silenciamento da imagem do ponto de vista

ideológico.

Assim, a proposta de Souza é a “leitura” da imagem da mesma forma que se faz com

a leitura do signo lingüístico. Essa também é a orientação de Vilches (1991), que nos fala de

um outro projeto de semiótica, o qual abandona a leitura da imagem centrada no signo e busca

a leitura dessa imagem enquanto texto e no qual se inscrevem unidades visuais diferentes das

categorias lingüísticas do signo verbal. As “marcas” dessas “unidades visuais” também não

devem ser pensadas como “vozes” (polifonia), “porque analisar o não-verbal pelas categorias

de análise do verbal implicaria na redução de um ao outro” (Souza, 2001, não paginado).

Surge, então, por associação ao conceito de polifonia, a formulação do conceito de

policromia1 (SOUZA, 1997), que busca uma análise da imagem de forma mais pertinente,

estabelecendo a relação de complementaridade entre o polifônico (o verbal) e o policrômico

(o não-verbal), contemplando esses dois planos discursivos como autônomos no ato da

produção de sentidos.

O jogo entre polifonia e policromia permite pensar numa intertextualidade que

relaciona o verbal e o não-verbal, não uma intertextualidade direta (impossível em tal

contraponto), mas um processo de paráfrase, em que há uma espécie de “disciplinização” da

interpretação da imagem através do texto verbal. Instaura-se, assim, um texto paralelo –

implícto – que constitui outra forma subliminar, um outro campo de significação.

- A “transdução” signo verbal-imagem

A partir do contraponto palavra – imagem acima explicitado, uma outra questão se

nos apresenta como básica neste trabalho: a teoria do discurso multimodal de Kress e Van

1 Segundo Souza (1997), o radical -cromo foi utilizado com o sentido aproximado de cromolitografia (arte de estampar em relevo figuras coloridas), recobrindo o jogo de imagens, cor, luz e sombra, etc presente no signo imagético.

4

Leeuwen (1996) e Kress (2005), que postula a idéia de que os diferentes modos de

representação não existem como domínios autônomos do cérebro ou como recursos

autônomos na cultura, mas estão intrinsecamente ligados numa nova “semiótica da

sinestesia”. Da mesma forma, procuramos valer-nos da posição de Fortune (2005), de que não

seria adequado tratar dicotomicamente a relação signo verbal-imagem, visto que não haveria

apenas uma tradução de um modo de linguagem para outro, mas uma “transdução”, em que o

cérebro decodificaria simultaneamente a linearidade do signo verbal e a espacialidade da

imagem, numa lógica cognitiva própria, vinculada a processos cognitivos e biológicos,

imposta pela co-presença, arranjo e disposição de todos esses elementos (a leitura da palavra

pede uma direcionalidade linear enquanto que a imagem é multidirecionada, dependendo do

olhar de cada leitor).

O termo “transdução”2 foi tomado à Física e generalizado de tal forma, que hoje já se

estendeu, metaforicamente, para a maioria das demais áreas do conhecimento, sendo usado

indistintamente para qualquer tipo de “transcodificação” ou “conversão”. Assim estendido,

o termo abrange a conversão de quaisquer informações não disponíveis aos órgãos dos

sentidos em outras formas que, somente assim, passariam a estar disponíveis à compreensão,

dando lugar a mudanças e ao acesso a experiências que, de outra maneira, não estariam

disponíveis ao indivíduo. “Transduzir” não significa, pois, induzir e nem deduzir. Não se trata

de mensagem previamente codificada em separado; transdução é uma interconexão flutuante

entre os meios.

Dessa forma, em termos especificamente linguageiros

(www.jayrus.art.br/arquivox/orfeuspam_2/page6.html), transduzir pode significar

o processo de recriação intersemiótica dum texto numa outra língua ou linguagem em que se leva em conta os aspectos formais e subliminares do texto, numa recriação descompromissada e bem livre dos aspectos semânticos, dominada por um jogo de refazer em que a co-autoria tende a ser uma atitude paródica ou parafrásica (não paginado).

Embora reconhecendo que a variedade de fatores da esfera individual, social e

cultural possa dificultar a explicação do modo como as conversões se dariam (já que os

modos e meios semióticos não são neutros, cultural, política e socialmente), é fundamental

compreender como o signo verbal e a imagem se “transduzem” entre si na construção dos

2 Na Física, denomina-se “transdução” o processo de conversão de uma forma de energia em outra (ondas sonoras em sinal elétrico e vice-versa).

5

efeitos de sentido. Em primeiro lugar, é importante ter em mente que cada meio tem seus

códigos e que essa multiplicidade de códigos e de processos de decodificação é que origina,

necessariamente, a transcodificação entre os meios.

3. Metodologia

Tendo em vista o objetivo de analisar a efetividade da interação palavra – imagem na

construção de sentidos, selecionamos quatro enunciados multimodais que, a nosso ver,

transitam entre uma escassa e uma alta relevância atribuída à seleção de cada um dos tipos de

código disponibilizados nesses enunciados sob efeito da transdução pretendida. O critério

básico para tal avaliação fundamentou-se na propriedade essencial do processo de transdução,

qual seja o de produzir um efeito de sentido que seria impossível obter utilizando-se apenas

um dos códigos isoladamente, possibilitando, assim, interpretações cujas marcas não estariam

disponíveis ao interpretante caso a respectiva modalidade semiótica estivesse ausente. Uma

das formas mais simples de operacionalizar esse critério consistiu em adotar-se a noção de

implícito formulada por Ducrot (1982), que permite deixar entender sem ter propriamente dito

(palavra) ou mostrado (imagem).

4. Análise e Resultados

- Enunciado 1

6

Fonte: REVISTA VIVER MENTE & CÉREBRO, Ano XIV, nº 57, fev. 2006, p. 42.

O conjunto icônico a ser interpretado diz respeito à imagem mostrada e ao segmento

lingüístico “brinquedos coloridos, rodas e escada”. Tomando como ponto de partida a legenda

verbal explicitada pelo autor, verificamos, nesse conjunto, um baixo grau de implicitude

imagética, isto é, a imagem é redundante e pouco acrescenta ao significado que o texto já

traduz claramente, podendo, inclusive, ser perfeitamente dispensada pelo leitor. Se o texto já

“traduz” o sentido desejado pelo autor, pouco resta ao processo de transdução palavra-

imagem fazer pelo leitor.

- Enunciado 2

Fonte: REVISTA VIVER MENTE & CÉREBRO, Ano XIV, nº 57, fev. 2006, p. 26 – 27.

7

BRINQUEDOS coloridos, rodas e escadas aumentam ramificações neurais no córtex cerebral

COMO O CÉREBRO DECIDE O QUE É OU NÃO INTRESSANTE? ESTUDOS RECENTES MOSTRAM QUE, PARA CHAMAR A ATENÇÃO DA CONSCIÊNCIA CÉLULAS NERVOSAS DISPARAM JUNTAS EM COMPASSO ACELERADO

O conjunto icônico acima já é bem mais complexo que o anterior, embora um pouco

disjunto, ou seja, para estabelecer uma interação entre as respectivas palavras e a imagem é

preciso lançar mão de um processo analógico (metafórico), em que a idéia de “sintonia

neuronal” expressa pelas palavras é comparada com a “harmonia vegetal” expressa pela

imagem. Essa metáfora soa-nos, entretanto, como um tanto aleatória ou “forçada”, o que

prejudica a interatividade signo verbal – imagem, em termos da construção de um sentido

coeso e funcionalmente comunicativo.

- Enunciado 3

Fonte: LIMA, M.C.A.L. Poemas completos (digitado).

No poema acima, a imagem acrescenta novas significações às palavras. Por exemplo,

a face “em metade” parece conotar uma vida sempre pela metade, quer na primeira fase da

8

DESALENTO

Metade da vidaVivi ferida...

A outra metade,Ferindo...

E entre a dorE o desamor,

E S V A I U –se-me

O tempo... E a FELICIDADE !...

(M.C.Lima)

“dor” (“viver ferida”), quer na fase do “desamor” (viver ferindo). As lágrimas que “ornam”

perceptivelmente a imagem, levam-nos a considerar que, mais do que um simples

“desalento”, há um profundo “sofrimento” implícito também no ato de “viver ferindo” (da

mesma forma que expressamente denotado pela expressão “vivi ferida”. As próprias cores

“sombrias” da imagem (azul-escuro sobre negro) reforçam o “desalento”, o “bizarro” dessa

vida dividida. Pode-se afirmar, portanto, que, sem a imagem, o poema perde muito em

“profundidade” e “bizarrice” do binômio “dor/desamor”, que o perpassa em todos os sentidos.

- Enunciado 4

9

Fonte: http://mail.google.com/mail/?

attid=0.1&disp=inline&view=att&th=11291a88e4b714c0www.

Dentre os enunciados expostos neste trabalho, o conjunto icônico acima é o que

melhor usa a interação palavra – imagem para compor a mensagem que o autor quer repassar

ao leitor. Note-se que ambos os sistemas sígnicos são absolutamente indispensáveis à

construção do sentido do enunciado: tome-se tão-somente a imagem e teremos uma

representação corriqueira da Praça dos Três Poderes em Brasília; considere-se tão-somente o

10

texto verbal e o enunciado ficará completamente descontextualizado e destituído, portanto, do

sentido que se deseja obter. Apenas a junção de ambos – palavra e imagem – confere ao texto

a carga significativa pertinente ao potencial criativo-humorístico que o singulariza.

5. Conclusões

Quando se opta por construir um texto multimodal, há que se fazê-lo de modo a

plenificar a construção de sentidos e não apenas por modismo ou “facilidade digital”.

Qualquer modalidade textual clama por esse princípio básico de respeito à inteligência do

leitor. O uso discursivo da imagem, juntamente com as palavras, abre maiores possibilidades

de uma plenificação semântica (e, portanto, comunicativa), possibilitada pela capacidade de

transdução cerebral, que nenhum sistema de signo isoladamente pode oferecer.

Entretanto, para que isso ocorra de modo cabal, é preciso propiciar o pleno uso

interativo da palavra e da imagem nos textos multimodais, descartando-se o tratamento

meramente “justapositivo” de uma e de outra, que nada acrescenta à vocação linguageira de

ambos os sistemas sígnicos. Dessa forma, há que se promover também o letramento

multimodal e combater o analfabetismo tanto lingüístico quanto visual desde a Educação

Básica, propiciando uma aprendizagem que leve em conta, de fato, essa transdução palavra -

imagem, plenificando a contribuição de uma e de outra para uma nova possibilidade de

construção multissemótica de sentidos, característica da cibercultura e da Sociedade do

Conhecimento deste novo milênio.

Referências Bibliográficas

BARTHES, R. A mensagem fotográfica. In: O óbvio e o obtuso. Lisboa: Edições 70, 1984.

DUCROT, O. O dizer e o dito. São Paulo, Pontes, 1987.

FORTUNE, R. You’re not in Kansas anymore: interactions among semiotic modes in

multimodal texts. In: Computers and composition, v. 22, n. 1, 2005, p 49 - 54.

11

KRESS, G; LEEUWEN, T. van. Reading images: the grammar of visual design. London:

Routledge, 1996.

KRESS, G. Gains and losses: new forms of texts, knowledge and learning. In: Computers and

Compositions. V. 22, n. 1, 2005, p. 5 - 22.

JOLY, M. Introdução à análise da imagem. Campinas: Papirus, 1996.

SOUZA, T. C. C. Discurso e imagem: perspectivas de análise do não-verbal. Conferência no

2º Colóquio de Analistas del Discurso, Universidad del Plata, Instituto de Lingüística da

Universidad de Buenos Aires, La Plata e Buenos Aires, 1997.

_____. A análise do não verbal e os usos da imagem nos meios de comunicação. In:

Ciberlegenda, n. 6, 2001. Disponível em: <http://www.uff.br/mestcii/tania3.htm>. Acesso em:

18 jul/2007.

Transduzir. Disponível em: <http://www.jayrus.art.br/arquivox/orfeuspam_2/page6.html>.

Acesso em: 18 jul/2007.

VILCHES, L. La lectura de la imagen. Buenos Aires: Paidos, 1991.

12