algoritmo em portugues
Post on 14-Jun-2015
100 Views
Preview:
TRANSCRIPT
Algoritmo EM
Manuel Ramón Vargas Avila
Introdução
Algoritmo EM definição:Trata-se de um método geral para encontrar o estimador de máxima verossimilhança dos parâmetros de uma distribuição de probabilidades. A situação em que o algoritmo EM prova sua potência é nos problemas de dados incompletos, onde a estimação de máxima verossimilhança resulta difícil devido a ausência de alguma parte dos dados.É usado em problemas de: clustering, reconhecimento de padrões, modelos ocultos de Markov, entre outros. Aplicações em quase todos os contextos estatísticos e em quase todos os campos onde técnicas estatísticas foram aplicadas: imagens médicas, exames de correção, a epidemiologia, e treinamento de redes neurais artificiais, entre outros.
O algoritmo EM consiste em duas etapas: etapa-E e etapa-M. A etapa-E é para gerar dados para conseguir um problema de dados completos, usando o conjunto de dados observados do problema de dados incompletos e o valor atual dos parâmetros, de modo que o cálculo da etapa-M seja mais simples ao poder ser aplicado a este conjunto de dados completo e retangular.
Derivação do algoritmo EM
Para isto é utilizado o logaritmo da equação de verossimilhança
X vetor aleatório de uma família parametrizada.
O que se deseja: tal que P(X|) é um máximo.
Derivação do algoritmo EM
• A estimação atual de é dada por depois da enésima iteração.
• Objetivo L(), calcular um estimador atualizado talque L()> L()
Isto é equivalente a:
Equação 2
Derivação do algoritmo EM
• Supõe-se que o conhecimento das variáveis ocultas fará que a maximização da função é mais fácil.
• Z vetor aleatório oculto e elementos z, a probabilidade total em termos de z é:
• Equação 3
Derivação do algoritmo EM
• Equação 3 em 2: equação 4
• Desigualdade de jensens
Derivação do algoritmo EM
• Analogamente aplicando para equação 3
Derivação do algoritmo EM
Por conveniência
Interpretação de uma iteração do algoritmo
delimitada por
Expectation
Maximization
Processo• Inicialização:
• Execução:Etapa E:
Etapa M:
Iterar ate a convergência ou condição de terminação (não garantia de máximo global)
Exemplo #1Queremos classificar um grupo de pessoas em dois grupos alta ou baixa
Para isso contamos com o modelo estatísticoMisturas finitas.
Misturas finitas
Para avaliar plenamente este modelo deve-se determinar os cinco
parâmetros
Media Equa: 1
VarianzaEqua: 2
ProbabilidadeDo Grupo AEqua: 3
Função Normal
Xi= dado
Wai= Probabilidade que o dado i pertence ao grupo A
PG1 é sorteado aleatoriamente
INICIALIZAÇÃO
• Passo M:Calculamos os 5 parâmetros com as equações 1, 2, 3 onde 1 e 2 podem ser aplicadas para o grupo B.
Passo ECalcula-se para cada dado e grupo
Normalizando
Condição de terminaçãoIterar ate que a diferencia de log probabilidade global seja menor a 0,01 para 3 iterações sucessivas.
Resultado Final
Exemplo #2: Mistura de gaussianas
Suma ponderada de K gaussianas
Onde
Parâmetros a estimar
Exemplo #2: Mistura de gaussianas
Se X é um conjunto de n mostras I.I.D
Então
Dadas n mostras i.i.d
Tomadas de uma misturaDe gaussianas com parâmetros:
Definimos a probabilidade de que a i-ésima mostra faz parte da j-ésima gaussiana como
Satisfaze
probabilidad de que la i-ésima muestra pertenezca a la j-ésima gaussiana
• Considere uma mistura de gaussianas 2D com parametros
Solução
Depois da terça iteração
Obrigado!!
top related