Algoritmo EM

Manuel Ramón Vargas Avila

Introdução

Algoritmo EM definição:Trata-se de um método geral para encontrar o estimador de máxima verossimilhança dos parâmetros de uma distribuição de probabilidades. A situação em que o algoritmo EM prova sua potência é nos problemas de dados incompletos, onde a estimação de máxima verossimilhança resulta difícil devido a ausência de alguma parte dos dados.É usado em problemas de: clustering, reconhecimento de padrões, modelos ocultos de Markov, entre outros. Aplicações em quase todos os contextos estatísticos e em quase todos os campos onde técnicas estatísticas foram aplicadas: imagens médicas, exames de correção, a epidemiologia, e treinamento de redes neurais artificiais, entre outros.

O algoritmo EM consiste em duas etapas: etapa-E e etapa-M. A etapa-E é para gerar dados para conseguir um problema de dados completos, usando o conjunto de dados observados do problema de dados incompletos e o valor atual dos parâmetros, de modo que o cálculo da etapa-M seja mais simples ao poder ser aplicado a este conjunto de dados completo e retangular.

Derivação do algoritmo EM

Para isto é utilizado o logaritmo da equação de verossimilhança

X vetor aleatório de uma família parametrizada.

O que se deseja: tal que P(X|) é um máximo.

Derivação do algoritmo EM

• A estimação atual de é dada por depois da enésima iteração.

• Objetivo L(), calcular um estimador atualizado talque L()> L()

Isto é equivalente a:

Equação 2

Derivação do algoritmo EM

• Supõe-se que o conhecimento das variáveis ocultas fará que a maximização da função é mais fácil.

• Z vetor aleatório oculto e elementos z, a probabilidade total em termos de z é:

• Equação 3

Derivação do algoritmo EM

• Equação 3 em 2: equação 4

• Desigualdade de jensens

Derivação do algoritmo EM

• Analogamente aplicando para equação 3

Derivação do algoritmo EM

Por conveniência

Interpretação de uma iteração do algoritmo

delimitada por

Expectation

Maximization

Processo• Inicialização:

• Execução:Etapa E:

Etapa M:

Iterar ate a convergência ou condição de terminação (não garantia de máximo global)

Exemplo #1Queremos classificar um grupo de pessoas em dois grupos alta ou baixa

Para isso contamos com o modelo estatísticoMisturas finitas.

Misturas finitas

Para avaliar plenamente este modelo deve-se determinar os cinco

parâmetros

Media Equa: 1

VarianzaEqua: 2

ProbabilidadeDo Grupo AEqua: 3

Função Normal

Xi= dado

Wai= Probabilidade que o dado i pertence ao grupo A

PG1 é sorteado aleatoriamente

INICIALIZAÇÃO

• Passo M:Calculamos os 5 parâmetros com as equações 1, 2, 3 onde 1 e 2 podem ser aplicadas para o grupo B.

Passo ECalcula-se para cada dado e grupo

Normalizando

Condição de terminaçãoIterar ate que a diferencia de log probabilidade global seja menor a 0,01 para 3 iterações sucessivas.

Resultado Final

Exemplo #2: Mistura de gaussianas

Suma ponderada de K gaussianas

Onde

Parâmetros a estimar

Exemplo #2: Mistura de gaussianas

Se X é um conjunto de n mostras I.I.D

Então

Dadas n mostras i.i.d

Tomadas de uma misturaDe gaussianas com parâmetros:

Definimos a probabilidade de que a i-ésima mostra faz parte da j-ésima gaussiana como

Satisfaze

probabilidad de que la i-ésima muestra pertenezca a la j-ésima gaussiana

• Considere uma mistura de gaussianas 2D com parametros

Solução

Depois da terça iteração

Obrigado!!