pesquisa em libras - ppgi.di.ufpb.br · pdf filepesquisa em libras dr. guido lemos de souza...

19
Pesquisa em LIBRAS Dr. Guido Lemos de Souza Filho Felipe Herminio Lemos Danilo Assis Nobre Laboratório de Aplicações de Vídeo Digital Departamento de Informática Universidade Federal da Paraíba “LibrasTV: Geração Automática da Janela de LIBRAS no SBTVD”

Upload: vodat

Post on 07-Feb-2018

240 views

Category:

Documents


10 download

TRANSCRIPT

Page 1: Pesquisa em LIBRAS - ppgi.di.ufpb.br · PDF filePesquisa em LIBRAS Dr. Guido Lemos de Souza Filho ... Dicionário de LIBRAS •Primeiros passos: –Entender a linguagem LIBRAS e identificar

Pesquisa em LIBRAS

Dr. Guido Lemos de Souza Filho

Felipe Herminio Lemos

Danilo Assis NobreLaboratório de Aplicações de Vídeo Digital

Departamento de Informática

Universidade Federal da Paraíba

“LibrasTV: Geração Automática da

Janela de LIBRAS no SBTVD”

Page 2: Pesquisa em LIBRAS - ppgi.di.ufpb.br · PDF filePesquisa em LIBRAS Dr. Guido Lemos de Souza Filho ... Dicionário de LIBRAS •Primeiros passos: –Entender a linguagem LIBRAS e identificar

Introdução

• No contexto da TV, a utilização de língua de sinais nos dias de hoje, ainda é limitada aos dispositivos manuais:

– Janela com um intérprete acompanhando o vídeo do programa

Page 3: Pesquisa em LIBRAS - ppgi.di.ufpb.br · PDF filePesquisa em LIBRAS Dr. Guido Lemos de Souza Filho ... Dicionário de LIBRAS •Primeiros passos: –Entender a linguagem LIBRAS e identificar

Introdução

• Essa solução possui alguns problemas:

– Necessita de um intérprete 24/7

– Tem altos custos operacionais

• Geração e produção (câmera, estúdio, etc);

– Pode ser incômodos para ouvintes e deficientes auditivos:

• Não é possível desabilitar a janela;

• O tamanho da janela é limitado e não pode ser modificado;

Page 4: Pesquisa em LIBRAS - ppgi.di.ufpb.br · PDF filePesquisa em LIBRAS Dr. Guido Lemos de Souza Filho ... Dicionário de LIBRAS •Primeiros passos: –Entender a linguagem LIBRAS e identificar

Introdução

• Para contornar esses problemas uma solução seria:

– Gerar a janela de LIBRAS de forma automática

– Combinando...

• Tradução automática (Português->LIBRAS) – LIBRAS possui uma gramática própria;

– Ex: “O livro foi pego por mim” (Em Português)

“ LIVRO PEGAR” (LIBRAS)

• Computação Gráfica: – Representação dos sinais por um Avatar-3D;

Page 5: Pesquisa em LIBRAS - ppgi.di.ufpb.br · PDF filePesquisa em LIBRAS Dr. Guido Lemos de Souza Filho ... Dicionário de LIBRAS •Primeiros passos: –Entender a linguagem LIBRAS e identificar

Objetivos

• O objetivo do projeto, é utilizar as características da TVpara gerar a janela de LIBRAS de forma automática

– Possibilidade de habilitar/desabilitar a janela de LIBRAS;

– Redimensionar e reposicionar a janela;

Page 6: Pesquisa em LIBRAS - ppgi.di.ufpb.br · PDF filePesquisa em LIBRAS Dr. Guido Lemos de Souza Filho ... Dicionário de LIBRAS •Primeiros passos: –Entender a linguagem LIBRAS e identificar

LibrasTV

Page 7: Pesquisa em LIBRAS - ppgi.di.ufpb.br · PDF filePesquisa em LIBRAS Dr. Guido Lemos de Souza Filho ... Dicionário de LIBRAS •Primeiros passos: –Entender a linguagem LIBRAS e identificar

Gerador de LIBRAS

• Responsável por gerar um fluxo elementar (elementary stream - ES) de LIBRAS a partir do texto no closed caption (CC);

• Requer um passo anterior de tradução (texto em Português para gramática de LIBRAS);

Page 8: Pesquisa em LIBRAS - ppgi.di.ufpb.br · PDF filePesquisa em LIBRAS Dr. Guido Lemos de Souza Filho ... Dicionário de LIBRAS •Primeiros passos: –Entender a linguagem LIBRAS e identificar

Protocolo de Codificação

• Dois tipos de mensagens

– LibrasControlMessage e LibrasDataMessage;

– Encapsuladas em Seções Privadas

• APIs para manipulação de pacotes PES no Ginga

– Sinalização do ES na tabela PMT do serviço

Page 9: Pesquisa em LIBRAS - ppgi.di.ufpb.br · PDF filePesquisa em LIBRAS Dr. Guido Lemos de Souza Filho ... Dicionário de LIBRAS •Primeiros passos: –Entender a linguagem LIBRAS e identificar

Dicionário de LIBRAS

• Armazena uma representação visual dos sinais;

• Cada sinal é representado por um arquivo de vídeo (representado através de um avatar-3D)

Sinal Animação

amanhã

estudar

medicina

Page 10: Pesquisa em LIBRAS - ppgi.di.ufpb.br · PDF filePesquisa em LIBRAS Dr. Guido Lemos de Souza Filho ... Dicionário de LIBRAS •Primeiros passos: –Entender a linguagem LIBRAS e identificar

Dicionário de LIBRAS• Primeiros passos:

– Entender a linguagem LIBRAS e identificar seus parâmetros (QUEREMAS)

• Configuração das Mãos

• Orientação

• Ponto de Articulação

• Tipo de Movimento

• Expressão Facial

– Modelar uma linguagem expressiva que represente um sinal em LIBRAS

– Implementar um PARSER que analise a estrutura gramatical de um documento que represente um sinal em LIBRAS e que permita a manipulação dos dados contidos no mesmo

Page 11: Pesquisa em LIBRAS - ppgi.di.ufpb.br · PDF filePesquisa em LIBRAS Dr. Guido Lemos de Souza Filho ... Dicionário de LIBRAS •Primeiros passos: –Entender a linguagem LIBRAS e identificar

WikiLIBRAS

• Para construir o dicionário, a idéia e construir um sistema Web Colaborativo denominado WikiLIBRAS;

Configurações de Mão Pontos de Articulação

Page 12: Pesquisa em LIBRAS - ppgi.di.ufpb.br · PDF filePesquisa em LIBRAS Dr. Guido Lemos de Souza Filho ... Dicionário de LIBRAS •Primeiros passos: –Entender a linguagem LIBRAS e identificar

WikiLIBRAS

Tipos de Movimento Expressões Faciais

Page 13: Pesquisa em LIBRAS - ppgi.di.ufpb.br · PDF filePesquisa em LIBRAS Dr. Guido Lemos de Souza Filho ... Dicionário de LIBRAS •Primeiros passos: –Entender a linguagem LIBRAS e identificar

WikiLIBRASConfigurações das Mãos

Page 14: Pesquisa em LIBRAS - ppgi.di.ufpb.br · PDF filePesquisa em LIBRAS Dr. Guido Lemos de Souza Filho ... Dicionário de LIBRAS •Primeiros passos: –Entender a linguagem LIBRAS e identificar

WikiLIBRASPontos de Articulação

• Subdivididos em Cabeça, Tronco, Braços, Mão e Perna

Tipos de Movimento

• Contorno ou Forma Geométrica:

• Retilínio, helicoidal, semi-circular, sinuoso, angular, pontual;

• Interação: Alternado, de aproximação, de separação, de inserção, cruzando;

• Contato: de ligação, de agarrar, de deslizamento, de toque, de esfregar, de riscar, de escovar ou de pincelar;

Page 15: Pesquisa em LIBRAS - ppgi.di.ufpb.br · PDF filePesquisa em LIBRAS Dr. Guido Lemos de Souza Filho ... Dicionário de LIBRAS •Primeiros passos: –Entender a linguagem LIBRAS e identificar

WikiLIBRASTipos de Movimento

• Torcedura de pulso: rotação, com refreamento;

• Dobramento de pulso: para cima, para baixo;

• Interno da mãos: abertura, fechamento, cuvarmento e drobramento (simultâneo/gradativo)

Expressões Faciais

• Sobrancelha franzida, Olhos arregalados, Lance olhos, Sobrancelha levantada, Bochecha inflada, Bochecha contraída, Lábios contraídos, Língua, Bochecha direita inflada, Testa franzida

Page 16: Pesquisa em LIBRAS - ppgi.di.ufpb.br · PDF filePesquisa em LIBRAS Dr. Guido Lemos de Souza Filho ... Dicionário de LIBRAS •Primeiros passos: –Entender a linguagem LIBRAS e identificar
Page 17: Pesquisa em LIBRAS - ppgi.di.ufpb.br · PDF filePesquisa em LIBRAS Dr. Guido Lemos de Souza Filho ... Dicionário de LIBRAS •Primeiros passos: –Entender a linguagem LIBRAS e identificar
Page 18: Pesquisa em LIBRAS - ppgi.di.ufpb.br · PDF filePesquisa em LIBRAS Dr. Guido Lemos de Souza Filho ... Dicionário de LIBRAS •Primeiros passos: –Entender a linguagem LIBRAS e identificar

GINGA LibrasTV App

• Testes no Openginga – Implementação de código aberto do middleware Ginga

– http://dev.openginga.org

Page 19: Pesquisa em LIBRAS - ppgi.di.ufpb.br · PDF filePesquisa em LIBRAS Dr. Guido Lemos de Souza Filho ... Dicionário de LIBRAS •Primeiros passos: –Entender a linguagem LIBRAS e identificar

Conclusões• A geração automática da janela de LIBRAS é uma

importante inovação na TV Digital

– Torna viável a geração da janela de LIBRAS 24 h/dia;

– Reduz os custos de geração da janela;

– Possibilita habilitar/desabilitar, redimensionar e reposicionar a janela de LIBRAS;

• Criação de um sistema colaborativo WikiLibras

– Criação de um banco robusto de sinais

– Interação com toda a comunidade interessada