projeto: anÁlise de experimentos estatÍsticos fatorial para sistemas de reconhecimento de fala...
TRANSCRIPT
PROJETO: ANÁLISE DE EXPERIMENTOS ESTATÍSTICOS
FATORIAL PARA SISTEMAS DE RECONHECIMENTO DE
FALA
UNIVERSIDADE FEDERAL DE SANTA CATARINA - UFSC
CENTRO TECNOLÓGICO - CTC
DEPARTAMENTO DE AUTOMAÇÃO E SISTEMAS - DAS
Por: David Daniel e Silva, Doutorando - DAS
Orientador: Prof. Marcelo Ricardo Stemmer, Dr
Motivação
ESTADO DA ARTE
DISCIPLINA DE ANÁLISE DE EXPERIMENTOS
POSSIBILIDADE DE CONTRIBUIÇÃO NOS
PROJETOS DE SISTEMAS DE REC. DE FALA
Introdução( APRESENTAÇÃO DO TRABALHO )
Reconhecimento de Fala
Conceito e Aplicações; Características; Dificuldades/Problemas; Soluções; Modelos; Comentários; Projeto de Análise de Experimentos Estatístico
Aplicado ao RF.
Reconhecimento de Fala( CONCEITO E APLICAÇÕES )
ConceitoProcesso de conversão de um sinal acústico, capturado por um microfone ou dispositivo transdutor similar, para um conjunto de palavras.
AplicaçõesA palavra reconhecida pode ser o resultado final, para aplicações de controle ou dados de entrada. (Interface homem-máquina).
Reconhecimento de Fala( CARACTERÍSTICAS )
PARÂMETROS / FATORESOs sistemas de reconhecimento de fala podem ser caracterizados por muitos parâmetros que o afetam...
ALGUNS PARÂMETROS FAIXA/TIPOModo de Fala Isolada
Contínua Estilo da Fala Lida
Expontânea
Vocabulário Simples ( < 20 )
Grande ( > 20K )
Reconhecimento de Fala( CARACTERÍSTICAS )
PARÂMETROS / FATORES( CONTINUAÇÃO )
ALGUNS PARÂMETROS FAIXA/TIPOLocutor Dependente
Independente
Modelo de Linguagem Estados finitos Sensível ao contexto
Perplexidade Pequena ( < 10 ) Grande ( > 100 )
Transdutor Microfone sem ruído Telefone
RSR(Razão Sinal Ruído) Alta ( > 30 db ) Baixa ( < 10 db )
Reconhecimento de Fala( DIFICULDADES DOS SISTEMAS DE REC.)
FORÇA MUSCULAR
T
T
NARINAS
TRATO NASAL
PULMÕES
PALATO MOLE
TRAQUÉIACORDAS VOCAIS
BOCA
TRATO VOCAL
MODELO DO SISTEMA DO TRATO VOCAL
Reconhecimento de Fala( DIFICULDADES DOS SISTEMAS DE REC.)
Reconhecimento de fala geralmente é mais difícil de ser realizado quando os vocabulários são grandes e/ou tem muitas palavras com sons similares.
O reconhecimento de fala é um problema difícil devido às várias fontes de variabilidade associadas ao sinal de voz.
Reconhecimento de Fala( DIFICULDADES DOS SISTEMAS DE REC.)
VARIABILIDADE FONÉTICA
a acústica dos fonemas (menor unidade sonora na composição de uma palavra), é altamente dependente do contexto em que aparecem.
Reconhecimento de Fala( DIFICULDADES DOS SISTEMAS DE REC.)
VARIABILIDADE FONÉTICA
Nas fronteiras entre palavras, as variações contextuais podem tornar-se bem mais acentuadas fazendo, por exemplo, com que a frase “a justiça é...” seja reconhecida como “ajusticé...”
Reconhecimento de Fala( DIFICULDADES DOS SISTEMAS DE REC.)
VARIABILIDADES ACÚSTICAS
Podem resultar de mudanças no ambiente assim como da posição e características do transdutor.
Reconhecimento de Fala( DIFICULDADES DOS SISTEMAS DE REC.)
VARIABILIDADES INTRA-LOCUTOR
Podem resultar de mudanças no estado físico/emocional dos locutores, velocidade de pronúncia ou qualidade de voz.
Reconhecimento de Fala( DIFICULDADES DOS SISTEMAS DE REC.)
VARIABILIDADES ENTRE-LOCUTORES
Podem resultar das diferenças na condição sócio-cultural, dialeto, tamanho e forma do trato vocal para cada uma das pessoas. Um exemplo: “O caminho está iluminado” - “O caminho está alumiado”.
Reconhecimento de Fala( SOLUÇÕES DAS DIFICULDADES DOS SISTEMAS DE REC.)
SOLUÇÕES
Em termos fonéticos acústicos, a variabilidade dos locutores é tipicamente modelada usando técnicas estatísticas aplicadas a grandes quantidades de dados de treinamento.
Também tem sido desenvolvidos algoritmos de adaptação ao locutor que adaptam modelos acústicos independentes do locutor para os do locutor corrente durante o uso.
Reconhecimento de Fala( SOLUÇÕES DAS DIFICULDADES DOS SISTEMAS DE REC.)
SOLUÇÕES
As variações acústicas são tratadas com o uso de adaptação dinâmica de parâmetros, uso de múltiplos microfones e processamento de sinal.
Na parametrização dos sinais, os pesquisadores desenvolveram representações que enfatizam características independentes do locutor, e desprezam características dependentes do locutor.
Reconhecimento de Fala( SOLUÇÕES DAS DIFICULDADES DOS SISTEMAS DE REC.)
SOLUÇÕES
Os efeitos do contexto linguístico em termos fonético-acústicos são tipicamente resolvidos treinando modelos fonéticos separados para fonemas em diferentes contextos, isto é chamado de modelamento acústico dependente do contexto.
Reconhecimento de Fala( SOLUÇÕES DAS DIFICULDADES DOS SISTEMAS DE REC.)
SOLUÇÕES
A diferença de pronúncias das palavras são processadas de forma que alternativas mais comuns de cada palavra, assim como os efeitos de dialeto e sotaque são tratados ao permitir aos algoritmos de busca encontrarem caminhos alternativos de fonemas através de redes dessas alternativas.
Reconhecimento de Fala( SOLUÇÕES DAS DIFICULDADES DOS SISTEMAS DE REC.)
SOLUÇÕES
Modelos estatísticos de linguagem, baseados na estimativa de ocorrência de seqüências de palavras, são geralmente utilizados para guiar a busca através da seqüência de palavras mais provável.
Reconhecimento de Fala( MODELOS DE RECONHECIMENTO DE FALA )
MODELOS
Atualmente, os algoritmos mais populares na área de reconhecimento de fala baseiam-se em métodos matemáticos e estatísticos. Dentre estes, dois métodos tem se destacado:
ANN´s - Artificial Neural Networks
HMM - Hidden Markov Models
Reconhecimento de Fala( MODELOS DE RECONHECIMENTO DE FALA )
MODELO - ANN´s
ARTIFICIAL NEURAL NETWORKS
Método Baseado no Sistema Neuronal Humano (Neurônio).
Teoria combatida por Minsky e Papert que publicaram um
livro em 1969 e provocou a não aceitação das RNA`s entre
os pesquisadores.
Atualmente, muitas pesquisas estão sendo feitas com o
uso de avançados modelos de redes neurais baseados
nas mais recentes descobertas do comportamento do
neurônio humano.
Reconhecimento de Fala( MODELOS DE RECONHECIMENTO DE FALA )
MODELO - ANN´s
ANN - ARTIFICIAL NEURAL NETWORKS
Boa Capacidade de Generalização;
Certo Grau de Robustez Para Reconhecimento de Padrões;
Função de ativação;
Teoria bem definida (base na matemática);
Reconhecimento de Fala( MODELOS DE RECONHECIMENTO DE FALA )
MODELO - HMM
HMM - Hidden Markov Models
Método é definido como um par de processos estocásticos (X, Y). O processo X é a medida linear de primeira ordem, e não é diretamente observável, quando o processo Y é uma seqüência de variáveis randômicas de valores tomados de parâmetros acústicos, ou observações.
Reconhecimento de Fala( MODELOS DE RECONHECIMENTO DE FALA )
MODELO - HMM
HMM - Hidden Markov Models
Boa Capacidade de seleção;
Certo Grau de Robustez Para Reconhecimento de Padrões; Comparações estatísticas de probabilidade com base em um conjunto de amostra;
Teoria bem definida (base estatística e matemática);
Reconhecimento de Fala( MODELOS DE RECONHECIMENTO DE FALA )
MODELO MAIS RECENTE - SVM
SUPPORT VECTOR MACHINE
Método Baseado na Teoria de Vapnik (1995)
The Nature of Statistical Learning Theory.
Reconhecimento de Fala( MODELOS DE RECONHECIMENTO DE FALA )
MODELO MAIS RECENTE
SVM - SUPPORT VECTOR MACHINE
Diferentes núcleos caracterizam seu modo de reconhecimento de padrões. A correta definição de seus parâmetros implica em alta influência nos resultados obtidos por uma SVM.
Elevada Capacidade de Generalização;
Robustez em Grandes Dimensões (imagens);
Convexidade da função objetivo, implicando na otimização de uma função quadrática, que tem apenas um mínimo (vantagem sobre as RNA´s);
Teoria bem definida (Base na estatística e matemática);
Reconhecimento de Fala( COMENTÁRIO )
COMENTÁRIO
Tanto HMM, como SVM e demais algoritmos para reconhecimento de fala, usam técnicas estatísticas, levando em consideração ocorrências de palavras, fonemas, etc.
Reconhecimento de Fala( COMENTÁRIO )
COMENTÁRIO
As variáveis que influenciam no processo de reconhecimento de fala são em quantidade razoavelmente grandes e de difícil controle.
QUE TAL ENTÃO UMA AJUDA...?
DA ESTATÍSTICA....?
Projeto e Análise de Experimentos Estatísticos Fatorial Para Reconhecimento de Fala
( CONCEITO DE EXPERIMENTO )
Experimento Estatístico
Literalmente: um teste.
Formalmente: série de testes em que manipula-se as variáveis de entrada de um processo ou sistema para identificar as razões que afetam a saída .
Onde: x1, x2, ..., xn são fatores controláveis;
z1, z2, ..., zm são fatores não controláveis.
Projeto e Análise de Experimentos Estatísticos Fatorial Para Reconhecimento de Fala
( MODELO GERAL DE UM PROCESSO OU SISTEMA )
Saída
z1 z2 . . . zm
EntradaSISTEMA
x1 x2 . . . xn
Projeto e Análise de Experimentos Estatísticos Fatorial Para Reconhecimento de Fala
( CONCEITO DE PROJETO FATORIAL )
Muitos experimentos, envolvem o estudo de efeitos de dois ou mais fatores.
Por projeto fatorial, entendemos que em cada teste completo ou replicação do experimento todas as possíveis combinações dos níveis dos fatores são investigadas.
Projeto e Análise de Experimentos Estatísticos Fatorial Para Reconhecimento de Fala
( EXEMPLO DE PROJETO FATORIAL )
Exemplo:
Seja A - Fator 1 com a níveis;
B - Fator 2 com b níveis;
Cada replicação contem todas as combinações dos ab tratamentos.
O efeito do fator é definido pela mudança na resposta produzida pela variação no nível do fator.
Projeto e Análise de Experimentos Estatísticos Fatorial Para Reconhecimento de Fala
( EXEMPLO DE PROJETO FATORIAL )
Efeito Principal - A , B
Efeito da Interação - AB
Projeto e Análise de Experimentos Estatísticos Fatorial Para Reconhecimento de Fala
( EXEMPLO DE PROJETO FATORIAL COM DOIS FATORES A DOIS NÍVEIS )
Para dois níveis (alto ou baixo) em A e B, pode-se considerar os efeitos de cada um como sendo a diferença entre a resposta média do nível alto para o nível baixo do fator.
EfA = A+ - A-
EfB = B+ - B-
Projeto e Análise de Experimentos Estatísticos Fatorial Para Reconhecimento de Fala
( EXEMPLO DE PROJETO FATORIAL COM DOIS FATORES A DOIS NÍVEIS )
Numericamente:
EfA = A+ - A-
EfB = B+ - B-
EfA = (40 + 52)/2 - (20 + 30)/2 = 21
EfB = (30 + 52)/2 - (20 + 40)/2 = 11
30 52
20 40Baixo (-)
Alto (+)
Fator A Alto (+)Baixo (-)
Fator B
Projeto e Análise de Experimentos Estatísticos Fatorial Para Reconhecimento de Fala
( EXEMPLO DE PROJETO FATORIAL COM DOIS FATORES A DOIS NÍVEIS )
EfA = (40 + 52)/2 - (20 + 30)/2 = 21
EfB = (30 + 52)/2 - (20 + 40)/2 = 11
Os resultados acima indicam que incrementando o nível do fator A do baixo para o alto, causa um incremento de 21 unidades na resposta.
Projeto e Análise de Experimentos Estatísticos Fatorial Para Reconhecimento de Fala
( EXEMPLO DE PROJETO FATORIAL COM DOIS FATORES A DOIS NÍVEIS )
Quando passa-se do nível baixo de B para o nível alto, não afetando o comportamento da resposta para o fator A, sugere-se uma não interação entre os fatores.
P/ B-
A = 40 - 20 = 20
P/ B+
A = 52 - 30 = 22
30 52
20 40Baixo (-)
Alto (+)
Fator A Alto (+)Baixo (-)
Fator B
Projeto e Análise de Experimentos Estatísticos Fatorial Para Reconhecimento de Fala
( EXEMPLO DE PROJETO FATORIAL COM DOIS FATORES A DOIS NÍVEIS )
Quando passa-se do nível baixo de B para o nível alto, afetando o comportamento da resposta para o fator A, sugere-se uma interação entre os fatores.
P/ B-
A = 50 - 20 = 30
P/ B+
A = 12 - 40 = -28
40 12
20 50Baixo (-)
Alto (+)
Fator A Alto (+)Baixo (-)
Fator B
Projeto e Análise de Experimentos Estatísticos Fatorial Para Reconhecimento de Fala
( EXEMPLO DE PROJETO FATORIAL COM DOIS FATORES A DOIS NÍVEIS )
Com Interação
60
50
40
30
20
10
B-
B+
B+B-
- Fator A +
Resposta
60
50
40
30
20
10
B-B+
B+
B-
- Fator A +
Resposta
Sem Interação
AB = (-28 - 30)/2 = -29
AB = (AB+ - AB-)/2
Projeto e Análise de Experimentos Estatísticos Fatorial Para Reconhecimento de Fala
( EXEMPLO DE PROJETO FATORIAL COM DOIS FATORES A DOIS NÍVEIS )
Supondo Valores Quantitativos
Modelo de Regressão Linear
y = 0 + 1x1 + 2x2 + 12x1x2 +
Onde:
y é a resposta;
´s são valores correspondentes aos efeitos;
x1 é a variável que representa o fator A, x2 o fator B e é um erro devido ao processo aleatório.
Projeto e Análise de Experimentos Estatísticos Fatorial Para Reconhecimento de Fala
( EXEMPLO DE PROJETO FATORIAL COM DOIS FATORES A DOIS NÍVEIS )
Para os fatores A e B sem Interação:
y=35.5 + 10.5x1 + 5.5 x2 + 0.5 x1x2
OU
Curva de resposta
y=35.5 + 10.5x1 + 5.5 x2
Resíduo
Projeto e Análise de Experimentos Estatísticos Fatorial Para Reconhecimento de Fala
( EXEMPLO DE PROJETO FATORIAL COM DOIS FATORES A DOIS NÍVEIS )
-1 -0,6 -0,2 0,2 0,6 1
59
49
39
29
19
y
-1
0,6
-0,6-0,2
0,2
1
Resposta da superfície do modelo de regressão.x1
x2
Projeto e Análise de Experimentos Estatísticos Fatorial Para Reconhecimento de Fala
(DOIS FATORES )
Problema:
Um experimento é feito para verificar a taxa de acerto de sistemas computacionais de reconhecimento de fala com 4 replicações. Um locutor diferente é sorteado para cada ensaio. A taxa de acerto dos sistemas é verificada frente a dois fatores: 1) quantidade de palavras faladas; 2) Tipo do sistema usadoOs dados de resposta são mostrados na tabela abaixo. a) Faça a análise de variância e diga se o sistema usado e o número de palavras influenciam na taxa de acerto das palavras; b) Plote o gráfico para os resíduos e analise o modelo.
Projeto e Análise de Experimentos Estatísticos Fatorial Para Reconhecimento de Fala
(DOIS FATORES )
Dados do experimento
2 4 6 8 10ANN 90 87
89 9185 8684 84
80 7876 92
80 8075 90
80 8275 76
HMM 91 9090 93
88 8486 90
80 9190 88
80 8987 92
90 7880 79
HMM/ANN 97 9996 98
96 9793 98
95 9397 95
96 9590 91
93 9195 90
No de Palavras
Tipo deSistema
i..yNo PalavrasTipo de
Sistema2 4 6 8 10
ANN
HMM
HMM/ANN
90 8789 9189,25 81,6 81,25
91,00 87,00 81,75
97,50 95,00 92,25
.j.y
...y
92,58 89,25 87,87
108,44
118,44
110,215
ij.y
85 8684 84
80 7876 92
80 8075 90
80 8275 76
91 9090 93
88 8486 90
80 9190 88
80 8987 92
90 7880 79
97 9996 98
96 9793 98
95 9397 95
96 9590 91
93 9195 90
84,75 78,25
87,0087,00
93,0096,00
87,08 84,08
103,78
Hipótesesyijk = + i + j + ( )ij + ijk
H0: Não há diferença entre os sistemas.
1 = 2 = ... = a = 0
H0: O No de palavras não afeta o grau de acerto do sistema.
1 = 2 = ... = b = 0
H0: A iteração entre os fatores não afetam a resposta. ( )ij = 0 para todo i, j.
ANOVA
Fonte de variação
Soma dequadrados
gl Quad. médio
F
Sistema 1.438,0 2 719,0 49,23 0,000000
No Palavras 463,1 4 115,8 7,93 0,000063
Sist.*Palavras 64,6 8 8,1 0,55 0,809907
Erro 657,3 45 14,6
Total 2623 59
P
Conclusão I
Rejeita H0 : O sistema e o número de palavras afetam a resultado.
Aceita Ho para a iteração entre eles.
Gráfico de médiasSistema; LS Means
Current effect: F(2, 45)=49,229, p=,00000Effective hypothesis decomposition
Vertical bars denote 0,95 confidence intervals
1 2 3
Sistema
78
80
82
84
86
88
90
92
94
96
98
Ace
rto
Gráfico de médias
Palavras; LS Means
Current effect: F(4, 45)=7,9262, p=,00006Effective hypothesis decomposition
Vertical bars denote 0,95 confidence intervals
2 4 6 8 10
Palavras
80
82
84
86
88
90
92
94
96
98
Ace
rto
Gráfico de médias
Sistema*Palavras; LS Means
Current effect: F(8, 45)=,55316, p=,80991Effective hypothesis decomposition
Vertical bars denote 0,95 confidence intervals
Palavras2 Palavras4 Palavras6 Palavras8 Palavras10
1 2 3
Sistema
70
75
80
85
90
95
100
105
Ace
rto
Gráfico de médias
Sistema*Palavras; LS Means
Current effect: F(8, 45)=,55316, p=,80991Effective hypothesis decomposition
Vertical bars denote 0,95 confidence intervals
Sistema1 Sistema2 Sistema3
2 4 6 8 10
Palavras
70
75
80
85
90
95
100
105
Ace
rto
Gráfico de Resíduos
Normal Prob. Plot; Raw Residuals
Dependent variable: Acerto(Analysis sample)
-10 -8 -6 -4 -2 0 2 4 6 8 10 12 14
Residual
-3,0
-2,5
-2,0
-1,5
-1,0
-0,5
0,0
0,5
1,0
1,5
2,0
2,5
3,0
Exp
ect
ed
No
rma
l Va
lue
,01
,05
,15
,35
,55
,75
,95
,99
Histograma de ResíduosHistogram of Raw Residuals
Dependent variable: Acerto(Analysis sample)
-12 -10 -8 -6 -4 -2 0 2 4 6 8 10 12 14
X <= Category Boundary
0
2
4
6
8
10
12
14
16
18
20
No
. o
f o
bs.
Conclusão II
O gráfico dos resíduos x preditos mostram comportamento dos pontos aleatórios.
Os pontos dos resíduos mostram uma curva normal.
Logo, o modelo é adequado.
Projeto e Análise de Experimentos Estatísticos Fatorial Para Reconhecimento de Fala
(2k-p )
CONSIDERAÇÃO AO PROJETO FATORIAL
PARA RECONHECIMENTO DE FALA
perplexidade = Modelo de Linguagem x Vocabulário
Considerando 8 fatores...
Resolução Tratamentos
2v8-2 64
2iv8-3 32
2v8-4 16 (menos custo)
FatoresA-Transdutor B-Vocabulário C- Modo de Fala D- Estilo de Fala
E- Modelo Linguagem F-RSR G- Sistema H-locutor
Resolução 2v8-4 = 16 Tratamentos
ConfusõesE = BCD F = ACD G= ABC H = ABD
A-Transdutor B-Vocabulário C- Modo de Fala D- Estilo de Fala
E- Modelo Linguagem F-RSR G- Sistema H-locutor
E = BCD F = ACD G= ABC H = ABD
TABELA PARA O PROJETO FATORIAL 28-4
A B C D BCD ACD ABC ABD-1 -1 -1 -1 -1 -1 -1 -1
-1 +1 -1 -1 +1 -1 +1 +1
+1 -1 -1 -1 -1 +1 +1 +1
1
2
3
4
5
6
7
8 +1 +1 +1 +1 +1 +1 +1 +1
Y
Y - R
ES
PO
ST
A
REFERÊNCIAS BIBLIOGRÁFICAS
[01] Douglas C. Montgomery. “Design and Analysis of Experiments”. Sixth Edition, Arizona State University, 2005.
[02] Editorial Board: Ronald A. Cole; Joseph Mariani; Hans Uszkoreit; Annie Zaenen and Victor Zue. “Survey of the State of the Art in Human Language Technology”. National Science Foundation Directorate XIII-E of the Commission of the European Communities Center for Spoken Language Undertanding, Oregon Graduate Institute, November 1995.
[03] Sujun Huan and Zhirong Sun. “Support Vector Machine Approach for Protein Subcellular Localization Prediction” Institute of Bioinformatics, Department of Biological Sciences and Biotecnology, Tsinghua University, China. April 2001.
[04] Klaus-Robert Müller, Sebastian Mika, Gunnar Rätch, Koji Tsuda, and Bernhard Schölkopf . “Na Introduction to Kernel-Based Learning.” IEEE Transaction on Neural Networks, vol. 12, No. 2 March 2001.
[05] Marcelo C. Medeiros; Timo Teräsvirta and Gianluigi Rech. “Aspectos Estatísticos da Modelagem de Redes Neurais em Séries Temporais”. DEE, PUC - RJ.
Projeto e Análise de Experimentos Estatísticos Fatorial Para Reconhecimento de Fala
FIM
FELIZ NATAL E 2006 CHEIO DE...
SAÚDE E PAZ!!!!