Introdução  

Sistema  VITHEA  

Amostra   Metodologia  

Conclusão  

Bibliografia  

0  

2  

4  

6  

8  

10  

1   2   3   4   5   6   7   8  

9  

4  

9   9   9   9  

4  5  

Escolaridade  

0  

20  

40  

60  

80  

1   2   3   4   5   6   7   8  

65  57  

62   60  52  

44  

74  

52  

Idade  

Afasia  é  uma  perturbação  adquirida  da   linguagem  após  uma   lesão  cerebral,   sendo  que  a  sua  etiologia  mais  comum  é  o  acidente  vascular  cerebral.  Calcula-­‐se  que  a  incidência  de  AVCs  em  Portugal  ronde  as  15.000  pessoas/ano  e  em  cerca  de  1/3  delas  surjam  alterações  de  linguagem  (Pedersen  et  al.,  1995).  A  afasia  caracteriza-­‐se  por  dificuldades  de  expressão  oral,  de  compreensão  auditiva,  de  leitura  e  de  escrita.  A  manifestação  mais  persistente  é  a  dificuldade  de  evocar  o  nome  de  um  determinado  objecto.  A   terapia   da   fala   tem   demonstrado   ser   eficaz   no   tratamento   da   afasia   (Poeck   et   al.,   1989;   Basso,   1992;  Mazzoni,   1995)   sendo   confirmada  em  estudos  de   imagem   funcional   (Small  et   al.,   1998;  Musso  et   al.,   1999;  Léger  et  al.,  2002;  Peck  et  al.,  2004),  salientando-­‐se  a  importância  da  intensividade  do  tratamento  (Bhogal  et  al.,  2003).  Desde   a   década   de   80   que   se   tem   vindo   a   implementar   a   introdução   de   programas   informáticos   para  reabilitação  da  afasia  (Seron  et  al.,  1980;  Colby  et  al.,,  1981;  Katz  e  Nagy,  1992;  Petheram,  1996;  Deloche  et  al.,  2003).  Apesar   da   perturbação   do   discurso   ser   uma   constante   neste   tipo   de   doentes,   as   dificuldades   técnicas   de  reconhecimento  de  fala  têm  impedido  que  os  programas  terapêuticos  informáticos  tenham  enveredado  para  esse  fim  (Fonseca  et  al.,  1997).  Apresenta-­‐se   um   programa   de   reabilitação   da   linguagem   (VITHEA),   inovador   a   nível   internacional,  vocacionado   unicamente   para   as   dificuldades   anómicas   de   expressão   oral   de   doentes   afásicos   (https://vithea.l2f.inesc-­‐id.pt/wiki/index.php/Main_Page).  Este  programa  recorre  a  técnicas  de  reconhecimento  automático  de  fala  em  língua  portuguesa  com  características   ímpares  na  capacidade  de  reconhecimento  de  fala  patológica.  

• Basso,  A.  (1992).  Prognostic  factors  in  aphasia.  Aphasiology,  6  (4),  337-­‐348.  • Bhogal,  S.K.,  Teasell,  R.,  &  Speechley,  M.  (2003).  Intensity  of  aphasia  therapy,  impact  on  recovery.  Stroke,  34  (4),  98-­‐993.  • Colby,  K.M.;  Christinaz,  D.;  parkinson,  R.C.;  Graham,  S.  &  Karpf,  C.  (1981).  A  word  finding  computer  program  with  a  dynamic  lexical-­‐semantic  memory  for  patients  with  anomia  using  an  intelligent  speech  prosthesis.  Brain  and  Language,  14,  272-­‐281.  • Deloche  G,  Dordain  M  and  Kremin  H.  (1993).  Rehabilitation  of  confrontation  naming  in  aphasia.  Relations  between  oral  and  written  modalities.  Aphasiology,  7,  2,  201-­‐216.  •   Fonseca,  J;  Leal,  G.;  Farrajota,  L.;  Carneiro,  J.  &  Castro  Caldas,  A.  (1997).  “Lisling  –  Multimedia  program  for  aphasics  training”,  in  Proc.  AAATE’97,  Chalkidike,  Greece.  • Katz,  R.C.  &  Nagy,  V.T.  (1992).  Computerised  hierarchical  reading  treatment  in  aphasia.  Aphasiology,  6  (2),  165-­‐177.  • Léger,  A.;   Démonet,   J-­‐F.;   Ruff,  S.;  Aithamon,   B.;  Touyeras,   B.;   Puel,  M.;   Boulanouar,   K.   &  Cardebat,   D.   (2002).   Neural   substrates   of   spoken  language  rehabilitation  in  an  aphasic  patient:  An  fMRI  study.  NeuroImage,  17,  174-­‐183.  • Marujo,  L.;  Lopes,  J.;  Mamede,  N.;  Trancoso,  I.;  Pino,  J.;  Eskenazi,  M.;  Baptista,  J.  &  Viana,  C.  (2009).  Porting  REAP  to  European  Portuguese.  In  Proc.  ISCA  Workshop  on  Speech  and  Language  Technology  in  Education  (SLaTE).  • Meinedo,  H.;  Viveiros,  M.  &  Neto,  J.P.  (2008).  Evaluation  of  a  live  broadcast  news  subtitling  system  for  Portuguese.  In  INTERSPEECH  -­‐2008,  pag.  508-­‐511.  • Musso,  M.;  Weiller,  C.  Kiebel,  S.;  Müller,  S.P.;  Bülau,  P.  &  Rijntjes,  M.  (1999).  Training-­‐induced  brain  plasticity  in  aphasia.  Brain,  122,  1781-­‐1790.  • Mazzoni,   M.;   Vista,   M.;   Pardosi,   L.;Ávila,   L.;   Bianchi,   F.   &   Moretti,   P.   (1995).   Spontaneous   evolution   of   aphasia   after   ischaemic   stroke.  Aphasiology,,  6  (4),  387-­‐396.  • Peck,  K.K.;  Moore,  A.B.;  Crosson,  B.A.  Gaiefsky,  M.;  Gopinath,  K.S.;  White,  K.  &  Briggs,  R.W.  (2004).  Functional  Magnetic  Resonance  imaging  before  and  after  aphasia  therapy:  shifts  in  hemodynamic  time  to  peak  during  an  overt  language  task.  Stroke,  554-­‐559.  • Pedersen,   P.M.;   Jorgensen,   H.S.;   Nakayama,   H.;   Raaschou,   H.O.   &  Olsen,  T.S.   (1995).  Aphasia   in   acute   stroke:   Incidence,   determinants   and  recovery.  Annals  of  Neurology,  38,  659-­‐666.  • Seron,   X.;   Deloche,   G.;   Moulard,   G.   &   Rouselle,   M.   (1980).   A   computer-­‐based   therapy   for   the   treatment   of   aphasic   subjects   with   writing  disorders.  JSHD,  45,  45-­‐48.  • Small,  S.L.;  Flores,  D.K.  &  Noll,  D.C.  (1998).  Different  neural  circuits  subserve  reading  before  and  after  therapy  for  acquired  dyslexia.  Brain  and  Language,  62,  298-­‐308.  

Na   área   das   tecnologias   da   fala   e   linguagem,   uma   das   disciplinas   que   tem   tido   maior  incremento  é  a  do  reconhecimento  automático  de  fala.  Trata-­‐se  do  processo  de  converter  em  texto  o  que  é  dito  oralmente  pelos  falantes.  O  reconhecimento  de  fala  pode   ir  desde  a  capacidade  de  compreender  palavras   isoladas  ou  números   (resposta   interactiva   de   voz)   em   que   a   comunicação   ocorre   entre   humanos   e  computadores,  até  ao  reconhecimento  de  fala  contínua,  tais  como  os  sistemas  de  ditado.  As  aplicações  de  reconhecimento  automático  de  fala  têm  tido  diversas  aplicações,  tais  como:  sistemas  de  ditado  aplicados  à  telemática  –  sistemas  de  navegação  de  veículos  –   interacção  multimodal,   computação   por   mãos-­‐livres,   robótica,   transcrição   de   notícias   televisivas  (Meinedo,  2008),  avaliação  da  pronúncia  em  aplicações  de  aprendizagem  de  línguas  (Marujo,  2009),  tradução  automática,  domótica,  etc.  Os  humanos  quando  escutam  alguém  falar,  usam  para  além  do  que  ouvem,  o  conhecimento  que   têm   do   falante   e   o   conhecimento   que   têm   do   assunto.   As   palavras   não   têm   uma  sequência  arbitrária,  existe  uma  estrutura  gramatical  que  as  pessoas  usam  para  preverem  o  que  se  segue.  Os  sistemas  de  reconhecimento  automático,  usam  unicamente  o  sinal  de  fala,  apesar   de   utilizarem   no   modelo   uma   estrutura   gramatical   e   informação   estatística,   como  forma   de   melhorar   a   predicção,   mas   é   impossível   inserir   no   modelo   o   conhecimento   do  mundo,  o  conhecimento  do  falante  e  a  situação  contextual.  

O  sistema  VITHEA  é  composto  por  um  Módulo  de  Administração  e  um  Módulo  de  Utilizador.  O  Módulo  de  Administração,  destina-­‐se  aos  terapeutas  da  fala  e  tem  como  objectivo  permitir  a  modificação  dos  exercícios  propostos.  O  Módulo  de  Utilizador,  monitoriza  a  frequência  de  uso  por  parte  dos  doentes,  dos  exercícios  utilizados  e  dos  resultados  alcançados.  Este  módulo  foi  implementado  através  da  integração  de  uma  aplicação  Flash  que  permite  a  utilização  de  qualquer  meio  multimedia.  

Módulo  Administração  

Sub-­‐Módulo  Criação  de  Exercícios   Sub-­‐Módulo  Gestão  de  Doentes  

Módulo  Utilizador  

Tipos  de  Exercícios  •   Avaliação  •   Nomeação  de  Objectos  -­‐  30  Fotos  de  Objectos  •   Nomeação  de  verbos  -­‐  30  Fotos  de  Acções  •   Geração  de  Verbos  -­‐  30  Fotos  de  Objectos  

•   Nomeação  de  imagens  de  objectos  •   Nomeação  de  verbos  com  videos  •   Nomeação  de  verbos  com  imagens  de  objectos    •   Responsive  naming  •   Completar  provérbios  •   Associação  parte-­‐todo  (A  que  pertence?)      •   Que  nome  se  dá  •   Designação  genérica  (o  que  têm  em  comum?)  •   Nomeação  pela  função  (O  que  usa  para)  

Após  a  escolha  do  nome  do  doente,  o  sistema  VITHEA  propõe  a  escolha  de  uma  série  de  exercícios  semânticos  ou  de  um  Teste  de  Avaliação.  O  Terapeuta  Virtual  sugere  que  o  doente  responda  oralmente  ao  estímulo  apresentado.  A   resposta   é   gravada,   codificada   e   enviada   via   network   para   o   servidor   onde   vai   ser   processada.   Se   seguida   é  enviado  um  feedback  positivo  ou  negativo  ao  doente.  

8   sujeitos   (4   homens   e   4  mulheres)   com   alterações   adquiridas   da   linguagem   (6   com   afasia   e   2   com   apraxia   do  discurso).  

A  média  da  idade  é  de  58,3  anos  (52  -­‐  74  anos)  e  da  escolaridade  de  7,3  anos  ((4  –  9  anos).  

Resultados  

Pediu-­‐se  aos  8  doentes  que  nomeassem  oralmente  as  103   imagens  da  versão  portuguesa  do  teste  de  nomeação  oral  de  Snodgrass  e  Vanderwart.  As  respostas  foram  gravadas  num  microfone  vulgar  e  gravadas  digitalmente  num  computador  portátil.  As  imagens  surgiam  no  écran  com  um  intervalo  de  15  segundos  e  com  uma  ordem  constante.  Foi  feita  a  transcrição  e  segmentação  das  produções  orais,  totalizando  996  segmentos,  com  uma  duração  total  do  corpus  de  1  hora  e  20  minutos.  Calculou-­‐se,  por  sujeito,  o  número  de  detecções  correctas  feitas  pelo  sistema  e  através  da  avaliação  humana.  Utilizou-­‐se  como  critério  de  acerto  a  produção  correcta  da  palavra  estímulo,  mesmo  que  fossem  feitas  correcções,  repetições     silêncios   prévios   ou   posteriores     ou   a   produção   de   sinónimos   ou   diminuitivos.   Este   é   um   critério  terapêutico  e  não  de  avaliação.  O  total  de  possibilidades  de  resposta  passou  a  ser  de  252  palavras  por  doente.  

O   score   de   nomeação   na   avaliação   automática   e   humana   foi   obtido   através   do   cálculo   de   respostas   positivas  divididas  pelo  número  total  de  itens  do  teste.  

A   correlação   entre   a   avaliação   humana   e  automática   é   de   0,9043.     Trata-­‐se   de   uma  correlação  positiva  e  muito  alta.  

Analisou-­‐se,   individualmente,   o   número   de  falsas   detecções   e   de   falsas   rejeições   na  avaliação  automática.  

Calibrou-­‐se  o  reconhecedor    automático  de  palavras  de  forma  a  optimizar  ao  mínimo  as  falsas  detecções  ocorridas  nos  sujeitos  2,  3,  4,  5  e  8  e  as  falsas  rejeições  ocorridas  nos  sujeitos  1,  6  e  7.  

A  correlação  entre  a  avaliação  humana  e  automática  passou  para  0,9652.    Os  resultados  entre  as  falsas  detecções  e  falsas  rejeições  ficou  mais  balançada  para  a  maioria  dos  sujeitos.  

A   tecnologia  de   reconhecimento  automático  de   fala  permitiu  a  construção  de  um  sistema  que  poderá   funcionar  como  um  terapeuta  da  fala  virtual,  isto  é  funcionar  como  um  facilitador  da  recuperação  de  pessoas  com  alterações  adquiridas  da  linguagem  (afasia).  Na   construção   do   sistema  VITHEA   teve-­‐se   em   atenção   o   desenvolvimento   de   design   de   interface   de   modo   a  reduzir   ao   máximo   a   necessidade   de   interferência   motora,   devido   à   presença   significativa   de   hemiparésia   ou  hemihipostesia  nos  doentes  afásicos.  O  sistema  pertime  muito  facilmente  a  modificação  do  material  que  compõe  os  exercicios  de  modo  a  torná-­‐los  o  mais  próximo  possível  dos  interesses  dos  doentes.  Os  primeiros  resultados  levaram  à  calibração  de  reconhecedor  automático  de  fala  e  à  obtenção  de  scores  bastante  promissores.  Trata-­‐se  de  uma  ferramenta  de  distribuição  online  e  portanto  permite  a  sua  utilização  em  qualquer  lugar  e  durante  o  tempo  que  se  pretender,  aumentando  o  tempo  de  tratamento  e,  assim,  maximizar  a  recuperação  da  linguagem.  

Página  web  do  Sistema  VITHEA  

Projecto  financiado  pela  FCT:  RIPD/ADA/109646/2009