1 Aplicações e investigação de base – Desafios multidisciplinares
António TeixeiraDep. Electrónica Telec. Informática, Universidade de
AveiroIEETA
& SIG - IL
2Nossa visão Centrada nos
Humanos (antropomórfica) Dos Humanos
Dados, teorias Modelos
Para os Humanos sistemas
Interdisciplinar Para Português
essencialmente
Humanos
Síntese de Voz
DadosTeorias
Patologias
Sistemas(robôs, computadores
Inspira
Medições
usam...
ajudam
3
I - Aplicações Interfaces Humano-Computador
Aplicações na área da Saúde
4Desafio
É crítico para a área ter exemplos de aplicações actuais e futuras que atraiam investimentos, empresas, alunos e o público em geral
Exemplos de áreas de aplicação em que considero ser relevante apostar: Saúde Interfaces Humano-Máquina / Acesso Universal
Incluindo Robótica
5
“Ubiquitous computing - access to all information for anyone, anywhere, at any time - relies on speech for those whose eyes or hands are directed to other tasks (such as driving ...) or for those who cannot read or type (such as children, the blind, or the disabled).”
Nass & Brave, in Wired for Speech
6Porquê Fala/Voz ? A nossa forma natural de comunicar
Interesse crescente em estender o seu uso a interacção com máquinas
O HAL era fluente … em Inglês !!! Mãos e visão livre
Permite interacção a alguma distância Pode ser usada mesmo sem contacto visual
Não é necessário aprender a “linguagem” de interacção
Permite acesso remoto através do telefone
7
Robôs de Serviço – Robôs Pessoais A próxima geração precisa de ser:
Animada Respondendo a alterações no ambiente
Acessível Ex: Ser capaz de explicar as suas intenções Em muitos casos implicará o uso de interfaces
usando fala Adaptável
A diferentes utilizadores e ambientes Implica aquisição de conhecimento sobre ambiente,
utilizadores e tarefas
8O robô Carl Objectivo:
Desenvolver um robô capaz de aprender através da interacção com interlocutores humanos
1.1 m de altura ~10 anos Pioneer 2-DX
Da Activemedia Computador portátil Array de microfones 2 câmaras, sonares ...
Infelizmente fala Inglês !
9Outras aplicações A Fala deve desempenhar um papel principal nas
“Tecnologias Assistivas” (Assistive Technologies) Ver DSAI 2009 “position paper” Exemplos:
Domótica para tetraplégicos Comunicação Alternativa para Paralisia Cerebral
A integração de tecnologias de fala nas interfaces em geral deve ser promovida Interfaces Multimodais
10
Ciências da Fala e da Audição
Aplicações em Audiologia
Terapia da Fala
11Desafio(s)
Análise instrumental e quantitativa da voz Criação de novos instrumentos de intervenção
e avaliação Novas tecnologias para sistemas aumentativos
Como Geração de Linguagem Natural para interface com sistemas de síntese
Inclusão na formação profissionais desta área de conhecimentos sobre Processamento de Fala
12
Exemplo: SSW para Português
Staggered Spondaic Word Test (SSW) Teste dicótico Desenvolvido por Jorge Humberto
Martins, MCFA, 2007
13
II - Estudos sobre o Português
Fonética ExperimentalUso intensivo de tecnologias
Muito ainda para investigar …
14Desafio Ter informação detalhada sobre a produção do
Português Usar medição o mais directa possível Contemplar os aspectos temporais e de
sincronização Muito pouco contemplados!
Áreas prioritárias: Nasalidade Laterais Vibrantes Produções “patológicas”
fenda palatina, problemas auditivos, doenças neurológicas …
15
Exemplo:Ressonância Magnética
[i] [e] [E]
[i] [e] [E]
16
Exemplo 2:Coarticulação nas Laterais
Lateral [l] Lateral [L]
17Outro Desafio
Reduzir ou eliminar a necessidade de gravação de voz de um humano para a criação de sistemas de conversão texto-fala (TTS)
18Texto -> Gestos -> Voz
Proc. Linguístico(acento, sílaba ...
Modelo Gestual
Sintetizador(articulatório)
“Task dynamics”
Base dadosGestos
Info sincronização
mínimo
(m-i1_) (n-i0_)(m-u_)
Movimento articuladores
Pauta gestual
19
Exemplo de Síntese (com
SAPWindows)
20
Para além da LinguísticaEmoção
Identidade
21Desafio
Voz transmite informação linguística mas também emoção, identidade, dialecto …
Necessidade da inclusão de reconhecimento e expressão de emoções pela voz em sistemas de interacção Humano-computador
22
Primeiro problema: falta de dados
Não existência de um corpus de voz emocional disponível para o Português
Dificuldade de obter amostras de voz emocional espontânea
23Resultados recentes para PE
Raiva diferindo da Neutra no 4 parâmetros analisados
Desespero também diferindo nos 4 parâmetros, mas menores diferenças
Tristeza essencialmente diferente nas irregularidades
Medo similar a desespero e com HNR próximo da Neutra
Alegria, uma emoção positiva, apenas diferindo da neutra pelos valores de f0
Angerf0mean
jit
shim
HNR
Dispairf0mean
jit
shim
HNR
Sadnessf0mean
jit
shim
HNR
Fearf0mean
jit
shim
HNR
Neutralf0mean
jit
shim
HNR
Joyf0mean
jit
shim
HNR
Shimmer
HNR
NeutraMedo
Raiva
Jitter
F0 média
Desesp Tristeza
Alegria
24
III - A família da nossa língua
ISCA Special Interest Group on the Iberian Languages SIG-IL
25Objectivos SIG-IL Fórum de discussão de investigação e aplicações na
área das tecnologias da fala; Promoção a adequada referência pela comunidade
internacional a trabalhos publicados pelos seus membros;
Organizar/apoiar conferências, escolas e workshops;
Divulgar publicações relacionadas com as línguas Ibéricas
Promover a colaboração entre a indústria e academia
Promover o uso de tecnologias da fala na edução
26
SIG-IL ISCA Special Interest Group on the Iberian Languages
Primeira Direcção (Board) Nestor Yoma, Rubén San-Segundo, Andréia Rauber,
Plínio Barbosa,
Direcção actual A. Teixeira (PT), Juan Nolasco Flores (MX), Aldebaro
Klautau (BR), Rubén San-Segundo (SP)
Possibilidade de ter massa critica ?
27Membros do SIG-IL Brasil Portugal Espanha Cuba Chile Argentina
Alemanha EUA Japão Países Baixos Reino Unido
28Ideias e próximo evento Ter repositório de teses, artigos Ter revista com impacto
Parabéns para a recém lançada linguaMatica
Ter projectos conjuntos Um pouco de publicidade
29
Principais desafiosPrefiro usar desafios aos habituais “Problemas”
30Desafios Arranjar formas de superar a não continuidade de
financiamento
Conseguir o reconhecimento efectivo por parte das diversas entidades da grande relevância do Português
Ir diminuindo a incompreensão para as grandes especificidades da investigação nesta área Exemplos:
Dificuldades de comparar resultados por inexistência de conjuntos de teste;
Publicações ISI
31
Obrigado pela atenção!