aulas 13-14. a multimodalidade

Aulas 13-14. A multimodalidade: interação entre o verbal e o visualPaulo Roberto Gonçalves-

Segundo (USP)

FLC0115: Introdução ao Estudo da Língua Portuguesa II

Docente

Paulo R. Gonçalves-Segundo

[email protected]

Estagiária

Cláudia Castanheira Cardoso

[email protected]

Monitor

Rodrigo Possert C. Pacheco

[email protected]

A perspectiva textual-interativaFatores Textuais

A multimodalidade: interação entre o verbal e o visual

mailto:[email protected]

Paulo Roberto Gonçalves-

Segundo (USP)Aulas 13-14. A multimodalidade: interação entre o verbal e o visual

O estudo sistemático dos enunciados visuais e verbo-visuais, no âmbito dos Estudos da Linguagem,é recente e deriva, inicialmente, de reflexões da Semiótica e dos trabalhos de Roland Barthes(1964).

A Semiótica Social europeia, que se desenvolve como desdobramento dos Estudos Críticos doDiscurso e da aplicação de teorias funcionalistas ao estudo do texto, passa a assumir, nos anos1990, uma posição de vanguarda neste campo. A obra seminal consiste no livro Reading Images:The Grammar of Visual Design, de Gunther Kress & Theo van Leeuwen, originalmente publicadoem 1996, e republicado, de forma expandida e revista, em 2006. Os autores propõem umagramática para a compreensão da configuração das imagens a partir de um decalque da propostasistêmico-funcional de Michael Halliday (2004 [1985]) para a compreensão da linguagem verbal.

A partir daí, a obra torna-se referência tanto em termos de desenvolvimento, refinamento eevolução do paradigma, quanto em termos de contestação – não raro, no seio do mesmo grupoteórico. Destacam-se, nesse processo, autores como Kay O’Halloran, Paul Thibault, John Bateman,David Machin, Carmen Rosa Caldas-Coulthard; no Brasil, os trabalhos de Viviane Heberle, JosêniaVieira, dentre outros.

A problemática do estudo da imagem e da interação entre o verbal e o visual



A problemática do estudo da imagem e da interação entre o verbal e o visual

Após o boom da visualidade, começam as reflexões acerca das interações entre o verbal e o visual.Uma vez que já se dispõe de teorizações que permitem sistematizar a análise em ambas asmodalidades, como lidar com as formas por meio das quais ambas se relacionam? Autores comoMartinec & Salway (2005), Unsworth (2006), Kong (2006), bem como o recente Bateman (2014),debruçam-se sobre o tema, inescapável no âmbito da comunicação digital contemporânea. Nocampo brasileiro, não só os Estudos Críticos do Discurso e a Semiótica Social se dedicam a isso,mas, recentemente, os Estudos Bakhtinianos também têm se ocupado de refletir sobre o tema.

Neste curso, vamos nos centrar na abordagem da Semiótica Social, que tem sido uma das maisinfluentes e aquela em que outras perspectivas também têm bebido – seja de forma complacente,seja de forma resistente.



Organização da discussão 1. Integração multimodal (adaptado de Unsworth, 2006; Bateman, 2014; Isola-Lanzoni, 2019)

a. Homoespacialidadeb. Heteroespacialidade

2. Combinação verbo-visual (adaptado de Yus, 2019; Isola-Lanzoni, 2019*). Aplica-se àheteroespacialidade.a. Ilustração

i. Verbalmente construídaii. Imageticamente construída

b. Adiçãoi. Verbalmente construídaii. Imageticamente construída

c. Equivalênciad. Paralelismo (ou Divergência)e. Interdependênciaf. Encaixamento*

3. Ciclo Intermodal de Leitura (Unsworth, 2006)

4. Metáfora Multimodal (Forceville, 2007; Gonçalves-Segundo, Isola-Lanzoni, Weiss, no prelo)



Definição dos processos de combinação verbo-visualIlustração: uma das modalidades não aparentaacrescentar significados que ampliem ainterpretação do enunciado da modalidadedominante.

Adição: uma das modalidades apresentaelementos que acrescentam significados àinterpretação do enunciado da modalidadedominante. Isso pode ser feito por meio deinformações contextualizadoras, por precisãoreferencial, delimitação de público-alvo, ampliaçãode efeitos patêmicos (emotivos), dentre outraspossibilidades.

Equivalência: ambas as modalidades apresentamenunciados cujos significados parecem reiterar-se.

Paralelismo (ou Divergência): as modalidadesaparentam apresentar orientações de significadoopostas ou não relacionadas.

Encaixamento: as duas modalidades parecemconstruir juntas um único evento. Fica no limiteentre a heteroespacialidade e ahomoespacialidade.

Interdependência: as duas modalidades interagemde tal forma que nenhuma delas, sozinha, poderiagerar o significado que emerge de suacombinação. Em geral, interdependência envolvemais de um ciclo de leitura.



A questão da integração multimodal

En MasseProdução: clockblock

http://designbeep.com/2010/01/28/35-examples-of-creative-and-meaningful-typography-art/

Campanha Todo mundo já foi ator um diaProdução: Agência Escala (set. 2009)Cliente: Teatro Procópio Ferreira.https://www.adsoftheworld.com/media/print/procopio_ferreira_beer

Homoespacialidade:

“[...] as duas modalidades se

integram de modo a construir

uma única entidade

espacialmente homogênea”

(Isola-Lanzoni, 2019, p. 108)


https://www.adsoftheworld.com/media/print/procopio_ferreira_beer




En MasseProdução: clockblock


Campanha Todo mundo já foi ator um diaProdução: Agência Escala (set. 2009)Cliente: Teatro Procópio Ferreira.https://www.adsoftheworld.com/media/print/procopio_ferreira_beer

Homoespacialidade


https://www.adsoftheworld.com/media/print/procopio_ferreira_beer




Heteroespacialidade:

“[...] as modalidades interagem, mas não compõem uma única entidade homogeneamente interligada” (Isola-

Lanzoni, 2019, p. 108)



http://www.estadao.com.br/ - acesso em 11/05/2018

É relevante considerarmos, na análise da combinaçãoverbo-visual, a modalidade dominante de uma dadaplataforma e de um dado gênero discursivo.

No caso de notícias online, divulgadas em redes sociais,parece que o prototípico é a modalidade dominante ser averbal. Isso contribui – não determina – para que serealizem leituras ilustrativas do imagético, ainda que nãoseja suficiente.

No caso, o fato de o enunciado verbal apresentar umsujeito oracional (Lesão no joelho) que corresponde aoelemento mais saliente da imagem fortalece a leiturailustrativa.

Combinação verbo-visual: Ilustração (imageticamente construída)

Como nada é tão simples, é possível que se interprete Adição,pensando, por exemplo, que o imagético acrescenta ascircunstâncias da lesão.

Dada a modalidade dominante ser a verbal, contudo, eu nãoargumentaria para o fato de o verbal adicionar a consequênciada lesão mostrada imageticamente, ainda que isso seja real.

http://www.estadao.com.br/



Fonte: https://www.instagram.com/p/B2ggO10HeiE/

Combinação verbo-visual: Ilustração (verbalmente construída)

O enunciado verbal da legendada postagem, É bem assim!, atuano sentido de reiterar a validadeda crítica às políticasuniversitárias e/ou às atitudesdocentes que já emerge dainterpretação da tirinha(hipocrisia). No caso, é importantedestacar que a tirinha em si é umtexto multimodal.

Logo, sua função não parece sera de agregar novos significados àtirinha nem reapresentarverbalmente o que foi construídono texto à esquerda. Vê-se,assim, um caso de Ilustração(verbalmente construída).

https://www.instagram.com/p/B2ggO10HeiE/



Combinação verbo-visual: Adição (verbalmente construída)



Combinação verbo-visual: Adição (verbalmente construída)No Instagram, a modalidadedominante é, certamente, aimagética. O mesmo pode serdito de quadros/pinturas emexposições, como ocorre noMASP. Os enunciados verbais queacompanham a imagemadicionam informaçõesrelacionadas à obra,contextualizando sua produção eapresentando dados da autora.

Logo, a combinação é de Adição(verbalmente construída).



Combinação verbo-visual: Adição (imageticamente construída)O enunciado verbal parece serdominante nesta campanha contraa dengue, uma vez que nele sedesenvolve o núcleo do processoargumentativo. Contudo, oenunciado imagético fornece pistaspara delimitar tanto o potencialreferencial da vítima familiar,quanto o público-alvo dacampanha, agregando afetividadecomo meio de persuasão.

Nesse sentido, ele parece adicionarinformações que permitemespecificar os objetos-de-discurso.Logo, temos uma Adição(imageticamente construída).Oeste Paulista

(SP) – 2015



Combinação verbo-visual: EquivalênciaEsse texto foi extraído de umslideshow de imagens deprotesto do UOL Notícias. Nessecaso, a modalidade dominante éa imagética (visual). Logo, overbal tende a assumir naturezamais ilustrativa.

Tal leitura, porém, parece sersobrescrita pela interpretação deEquivalência, considerando o altograu de repetição entre o eventoverbal e o evento pictórico.

PM espirra spray de pimenta em manifestante durante protesto no Rio

Fonte: https://noticias.uol.com.br/cotidiano/ultimas-noticias/2013/06/18/veja-as-principais-imagens-que-resumem-os-protestos-pelo-brasil.htm

Seria possível também propor quehá Adição de circunstância espacialno verbal, embora isso não mepareça central na interação.

https://noticias.uol.com.br/cotidiano/ultimas-noticias/2013/06/18/veja-as-principais-imagens-que-resumem-os-protestos-pelo-brasil.htm



Nesse caso, vemos que a personagem Sheldon, do seriadoThe Big Bang Theory, está se valendo de um spray – uminseticida ou um aerossol – para espantar um inseto oueliminar o mau cheiro causado por um dado “alvo” – no caso,o objeto-de-discurso Homens se vestindo de dona de casausando “bela, recatada e do lar”.

Não sei se é possível, considerando a pluralidade de práticasdiscursivas no Twitter, determinar qual seria a modalidadedominante, ainda que acredite que a verbal prepondere emdeterminados perfis. No caso de textos da campanha#belarecatadaedolar, certamente o imagético domina.

Ocorre Encaixamento, na medida em que o verbal e oimagético constroem um único evento, no qual Sheldon é oAgente, o spray é o Instrumento, e os homens são o Paciente.

Combinação verbo-visual: Encaixamento

Tweet contrário à participação masculina na campanha #belarecatadaedolar

Fonte: https://twitter.com/lennapalooser/status/723279949172490241Um exemplo simples dessa combinação seria o seguinte:

https://twitter.com/lennapalooser/status/723279949172490241



Combinação verbo-visual: InterdependênciaNo post Sensacionalista, ao lado, é pela junçãodos enunciados verbal e imagético que emergeo efeito crítico-humorístico possivelmentevisado.

A analogia entre Gilmar Mendes e o super-herói Batman é algo que emerge dessa relação;dela também advém projetar Paulo Preto comouma “vítima” que precisa ser salva. O Bat-Sinal,de alguma forma, sinaliza que o PSDB – ocomissário Gordon (às avessas?) – tem ummétodo já consolidado de salvar seus membrosda punição.

Assim, vemos que o verbal e o visual estãomuito mais entrelaçados nesse caso para aconstrução de um sentido que deriva, de fato,da junção das duas modalidades, de forma quenem uma nem outra sozinha poderia suprir oque a outra faz. Trata-se da Interdependência.



Ciclo Intermodal de Leitura (Unsworth, 2006)Ciclo Intermodal de Leitura (Unsworth, 2006, p. 1174, trad. nossa)

“uma unidade intermodal de análise abarca todos os ciclosintermodais que um leitor pode realizar entre uma imagem e oelemento verbal relacionado”.

Ciclos intermodais de leitura podem alterar:

1. o papel exercido por elementos imagéticos ou verbais em termosde Figura e Fundo, redirecionando focos de atenção;

2. a dominância de uma modalidade em relação a outra;

3. o tipo de combinação verbo-visual que se instaura a cada novociclo.

Fonte: https://www.facebook.com/sudaka.sdk/posts/2393682930714996

https://www.facebook.com/sudaka.sdk/posts/2393682930714996



Ciclo Intermodal de Leitura (Unsworth, 2006)O enunciado verbal gera uma expectativa de que o imagético apresenteuma relação de Equivalência em relação ao verbal. Não argumentaria porIlustração, tendo em vista que o enunciador chama atenção para o imagético, o que fazcom que ele seja um elemento significativo na construção de sentido, ganhandosaliência.

A leitura da imagem, entretanto, rompe com a expectativa, uma vez quenão se visualizam tatuagens, o que favorece, neste primeiro ciclo, umaleitura de Paralelismo, ou seja, de que há divergência entre a significaçãoverbal e imagética.

Essa quebra de expectativa pode levar a um segundo ciclo, no qual oimagético passa a ser considerado ponto de partida para uma releitura doverbal. Nesse ciclo, assumindo-se o imagético como real, é possível que oleitor depreenda o efeito de sentido “satírico” (crítico-humorístico), namedida em que passa a reler que a extensão máxima do conjunto deinstâncias possíveis do núcleo projetos, ativada por todos, é, na verdade,zero, dado que o conjunto é vazio. Parece-me que, neste ciclo, ocorreuma leitura de Interdependência.Fonte: https://www.facebook.com/sudaka.sdk/posts/2393682930714996

https://www.facebook.com/sudaka.sdk/posts/2393682930714996



Metáfora Multimodal



Metáfora MultimodalA. “O segundo é que, a partir da observação das respostas dele, você saberá se vale continuar investindono romance.” [Atrevida, 07/14, p. 73]

B. “Depois, investir suas emoções em um cara comprometido, em geral, é uma canseira danada.” [Atrevida,03/15, p.29]

C. "Vale a pena investir...nesse boy?" [Título - Atrevida, 03/2015, pg. 26-27]

D. "Se chegar à conclusão de que é muito esforço, é melhor investir nos meninos da sua turma." [Atrevida,03/2015, pg.29]

E. "O geminiano pode querer ficar com várias garotas ao mesmo tempo. Pense bem se vale a pena investir,hein?" [Capricho, 07/2014, p. 111]

Domínio-Fonte:Investimento

Domínio-Alvo:Relacionamento

Investidor → Garota

Capital aplicado → Emoções

Tipo de investimento → Romance/Boy

Rendimento → Relacionamento

Domínio-Fonte:Investimento

Domínio-Alvo:Relacionamento

Riscos

→ Compromisso com outra garota

→ Diferença de idade

→ “Libertinagem” do garoto



Metáfora Multimodala. Croft & Cruse (2004: 193)

“Metáfora envolve a interação entre dois domínios construídos a partir de duas regiões designificado, e o conteúdo do domínio-fonte consiste em um ingrediente do alvo, construído por meio deprocessos de correspondência e mesclagem [...] Na metonímia, a função do veículo é meramenteidentificar a construção do alvo”.

b. Ferrari (2011: 92; 102)“[...] a metáfora é, essencialmente, um mecanismo que envolve a conceptualização de um

domínio da experiência em termos de outros [...] a projeção metonímica envolve só um domínio, aocontrário da metáfora, que se dá entre dois domínios”.

c. Ruiz de Mendoza (2006)A metáfora prototípica é predicativa e envolve a projeção entre domínios, permitindo-nos

compreender e raciocinar sobre o alvo a partir dos conhecimentos e das experiências acerca da fonte, aopasso que a metonímia prototípica é referencial, viabilizando que façamos referência a uma entidade emum domínio ao sinalizarmos outra no mesmo domínio.

Metáforas são representadas pela fórmula: DOMÍNIO-ALVO É DOMÍNIO-FONTE

Metonímias são representadas pela fórmula: FONTE POR ALVO



Metáfora Multimodal

Fonte: @memesposgraduação.

https://www.instagram.com/p/BzI5ly8FRW3/

https://www.instagram.com/p/BzI5ly8FRW3/



Fonte: http://g1.globo.com/ - acesso em 11/05/2018

Combinação verbo-visual: exercícios

http://g1.globo.com/



Combinação verbo-visual: exercícios

aulas 13-14. a multimodalidade

Documents