Aula 13/08/2020

Multiplicação de significado: relação entre imagem e texto em postagens multimodais

Segundos os estudos de Julia Kruk et al ( 2019)

Uma legenda pode evocar um contraste irônico com a imagem, portanto, nem a legenda nem a imagem são mera transcrição uma da outra. Em vez disso, eles se combinam - por meio do que foi chamado multiplicação de significado Bateman ( 2014 ).

Para criar um novo significado que tenha uma relação mais complexa com os significados literais do texto e da imagem.

Três taxonomias:

1- a intenção autoral por trás do par imagem-legenda, 2- a relação contextual entre os significados literais da imagem-

legenda,3- relação semiótica entre os significados da imagem - legenda.

O ganho com a multimodalidade é maior quando a imagem e a legenda divergem semioticamente

Redes sociais: criadores de conteúdo combinem modalidades visuais e textuais.

Mas o trabalho anterior sobre pares imagem-texto geralmente foi assimétrico, considerando a imagem ou o texto como o conteúdo principal e o outro como mero complemento. Estudiosos da semiótica, bem como da ciência da computação, apontaram que isso é insuficiente; muitas vezes, o texto e a imagem não são combinados por uma simples adição ou interseção dos significados dos componentes

Multiplicação de Significado de ( Bateman , 2014 ): a criação de um novo significado por meio da integração de imagem e texto.

A multiplicação de significado inclui a interseção ou concatenação de significado simples (uma imagem de um cachorro com o rótulo “cachorro” ). Mas também inclui tipos mais sofisticados de composição, como ironia ou indireta, onde a integração texto + imagem requer inferência que cria um novo significado. Por exemplo em:

uma foto de uma jovem fumando recebe duas legendas hipotéticas diferentes que resultam em diferentes significados:

1- nada como um trago após um longo turno de trabalho. Nicotina resgata a vitalidade. ( usado para realçar o relaxamento através do fumo).

2- ninguém que fuma por muito tempo tem uma aparência legal. ( usa a tensão entre sua imagem e as implicações de suas ações para destacar os perigos de fumar)

Para entender melhor a intenção do autor dada essa multiplicação de significado, criamos três novas taxonomias relacionadas à relação entre texto e imagem e sua combinação / multiplicação em postagens do Instagram

Mostramos que a combinação de texto e imagem leva a uma melhor classificação, especialmente quando a legenda e a imagem divergem.

Para o nosso modelo de intenção do falante, nos baseamos no conceito clássico de atos ilocucionários ( Austin , 1962 ) para desenvolver uma nova taxonomia de atos ilocucionários focada nos tipos de intenções que tendem a ocorrer nas redes sociais. Por exemplo, raramente vemos postagens comissivas no Instagram e no Facebook ....

É difícil definir exatamente como as palavras mudaram a imagem, mas sem dúvida mudaram. (Berger, 1972, p. 28 )

Propomos três taxonomias na tentativa de responder à pergunta implícita de Berger, duas (contextual e semiótica) para capturar diferentes aspectos da relação entre a imagem e a legenda e uma para capturar a intenção do falante

TAXONOMIA DE INTENÇÃO/ ILOCUCIONÁRIO ( atos de fala)

Desenvolvemos um conjunto de oito intenções ilocucionárias ... #hashtags que defendem e abrangem ideologia política ou social.

1 defensor: defender uma figura, ideia, movimento, etc.

2 promotivo: promover eventos, produtos, organizações etc.

3 exibicionista: criar uma auto-imagem refletindo a pessoa, estado etc. para o usuário usando self , fotos de casas (por exemplo, animais de estimação, roupas) etc.

4 expressivo: expressar emoção, apego ou admiração por uma entidade ou grupo externo.

5 informativo: transmitir informações sobre um assunto ou evento usando linguagem factual.

6 entretenimento: entreter usando arte, humor, memes, etc.

7 provocativa / discriminação: atacar diretamente um indivíduo ou grupo

8 provocativo / controverso: ser chocante

TAXONOMIA CONTEXTUAL/ LITERAL

A taxonomia de relacionamento contextual captura a relação entre os significados literais da imagem e do texto. Baseamo-nos nas três categorias segundo o estudo de Marsh e DomasWhite ( 2003 ). Taxonomia, que distingue: imagens minimamente relacionadas com o texto, altamente relacionadas com o texto e relacionadas, mas indo além dele.

Relação mínima: Os significados literais de a legenda e a imagem se sobrepõem muito pouco.

Embora tal legenda concisa transmita muitas informações, ela ainda deixa de fora detalhes como a localização, a descrição da cena, etc.

Uma linda paisagem

Relação próxima: Os significados literais do a legenda e a imagem se sobrepõem consideravelmente. Por exemplo, o self de uma pessoa em uma cachoeira cheia, com a legenda

Uma self de um dia lindo e ensolarado com uma cachoeira transbordando com suas águas violentas

Relação transcendente: O significado literal de uma modalidade capta e expande o significado literal da outra.

“ Uma self na cachoeira do Urubu em um dia ensolarado . As quedas estão um local popular que podemos fazer piqueniques e conversar com amigos. Há trilhas para caminhada e ciclismo, e um ótimo restaurante”

Observe que, embora os rótulos "mínimo" e "próximo" possam ser considerados como situados em uma escala contínua indicando sobreposição semântica, o rótulo "transcendente" indica uma expansão do significado que não pode ser capturado por tal escala contínua.

TAXONOMIA SEMIÓTICA

A taxonomia contextual descrita acima não lida com as formas mais complexas de "multiplicação de significado".

Para classificar a relação semiótica dos pares imagem / texto

Divergente: A relação ocorre quando a semiótica da imagem e do texto se desloca em direções opostas, criando uma lacuna entre os significados sugeridos pela imagem e pelo texto.

(Muitos posts irônicos e humorísticos exibem relações semióticas divergentes.)

(meme clássico: o foco está na imagem e a legenda não tem nenhuma relação com a imagem).

A relação é divergente - não há elementos semânticos comuns na imagem e na legenda

Paralelo: relação ocorre quando a imagem e o texto contribuem independentemente para o mesmo significado.

Aditivo: a relação ocorre quando a semiótica da imagem e do texto se amplifica ou se modifica.

“Bom dia” é um exemplo de relação semiótica divergente dentro de uma postagem intenção exibicionista e contextual transcendente.

A classificação semiótica nem sempre é homóloga à contextual. Por exemplo, a imagem de uma mãe alimentando seu bebê com uma legenda “Minha nova pequena empresa precisa de muito carinho ”, teria uma relação contextual mínima. No entanto, porque ambos significam cuidado amoroso e a imagem intensifica o sentimento da legenda, a relação semiótica é aditiva.

“Minha nova pequena empresa precisa de muito carinho”

Ou uma cena de despedida formal num aeroporto com a legenda:

"A despedida é uma doce tristeza"

Tem uma relação contextual próxima por causa da alta sobreposição no significado literal, mas a semiótica seria aditiva, não paralela, uma vez que a imagem mostra apenas a despedida, enquanto a legenda sugere amor (ou a irônica falta dele) pela pessoa que está partindo.

Imagem-legenda é classificado como exibicionista, seguido de perto por expressivo; é uma foto da casa de alguém com uma legenda que descreve uma experiência doméstica. A relação semiótica é classificada como aditiva; a imagem e legenda juntos significam o conceito de passar o inverno em casa com animais de estimação com lareira. A relação

contextual é classificada como transcendental; a legenda vai muito além da imagem.

Para entender melhor o papel da multiplicação de significado, consideramos a mudança nas relações de intenção e semióticas quando a mesma imagem da Família Real Britânica é combinada com duas legendas diferentes.

Em ambos os casos, a relação semiótica é paralela, talvez devido à correspondência entre a configuração do retrato de várias figuras e a palavra família. Mas as outras duas dimensões mostram diferenças. Quando a legenda é “família real”, nosso sistema classifica a intenção como entretenimento; presumivelmente, essas imagens e pares de legendas costumam aparecer com a intenção de entreter. Mas quando a legenda é “minha família feliz” a intenção é classificada como expressiva, talvez devido ao orgulho familiar expresso na legenda.

Nas três taxonomias, adaptadas da mídia e da literatura semiótica, permitem que a relação literal, semiótica e ilocucionária entre texto e imagem seja codificada.