UFAL - Universidade Federal de AlagoasUFAL - Instituto de Computacao

Naive Bayes

Jonathas Magalhaesjonathas@ic.ufal.br

Magalhaes, J.J. IA – 2013 1

Naive Bayes

Baseado no Teorema de Bayes:

P(A|B) =P(B|A) ∗ P(A)

P(B). (1)

Seja X (A1,A2, ...,An,C ) um conjunto de dados de treinamento;

Onde C1,C2, ...,Ck sao classes dos possıveis valores de C ;

R e um novo registro que deve ser classificado.

Os valores que R assume em X sao a1, a2, ..., an.

Magalhaes, J.J. IA – 2013 2

Naive Bayes

Passos do algoritmo:

1 Calcular a probabilidade P(C = Ci |R), i = 1, 2, ..., k ;

2 A saıda e a classe Cj tal que P(C = Cj |R) seja maxima.

A probabilidade de uma instancia pertencer a uma classe e dada por:

P(C = Ci |A1 = a1,A2 = a2, ...,An = an) =

P(A1 = a1|C = Ci ) ∗ P(A2 = a2|C = Ci ) ∗ ...∗P(An = an|C = Ci ) ∗ P(C = Ci ).

(2)

Magalhaes, J.J. IA – 2013 3

Naive Bayes – Exemplo

Considere os seguintes dados:

X1 : Tempo de utilizacao X2 : Numero postagens Y : Passou na disciplina

2 4 Nao

3 6 Nao

4 8 Nao

4 4 Nao

5 7 Nao

6 5 Nao

6 6 Sim

6 5 Sim

7 7 Sim

8 5 Sim

8 6 Sim

10 10 Sim

Magalhaes, J.J. IA – 2013 4

Naive Bayes

Discretizando os valores:

Baixo: {0, 1, 2, 3}Medio: {4, 5, 6, 7}Alto: {8, 9, 10, 11}

Magalhaes, J.J. IA – 2013 5

Naive Bayes

Dados discretizados:

Magalhaes, J.J. IA – 2013 6

Naive Bayes

Deseja-se predizer se um aluno (instancia R) com...

Um numero medio de postagens (Postagens = medio), e;

Um numero medio de tempo de utilizacao (Tempo = medio).

...Ira passar de ano ou nao (Passar = ?).

Magalhaes, J.J. IA – 2013 7

Naive Bayes

Calculando (Passar = sim | R):

P(passou = sim | tempo = medio, postagens = medio) =P(postagens = medio | passou = sim) * P(tempo = medio |passou = sim) * P(passou=sim).

P(postagens = medio | passou = sim) = ?P(tempo = medio | passou = sim) = ?P(passou=sim) = ?

Magalhaes, J.J. IA – 2013 8

Naive Bayes

P(postagens = medio | passou = sim) = 56 = 0.83

Magalhaes, J.J. IA – 2013 9

Naive Bayes

Calculando (Passar = sim | R):

P(passou = sim | tempo = medio, postagens = medio) =0.83 * P(tempo = medio | passou = sim) * P(passou=sim).

P(postagens = medio | passou = sim) = 0.83P(tempo = medio | passou = sim) = ?P(passou=sim) = ?

Magalhaes, J.J. IA – 2013 10

Naive Bayes

P(tempo = medio | passou = sim) = 36 = 0.5

Magalhaes, J.J. IA – 2013 11

Naive Bayes

Calculando (Passar = sim | R):

P(passou = sim | tempo = medio, postagens = medio) =0.83 * 0.5 * P(passou=sim).

P(postagens = medio | passou = sim) = 0.83P(tempo = medio | passou = sim) = 0.5P(passou=sim) = ?

Magalhaes, J.J. IA – 2013 12

Naive Bayes

P(tempo = medio | passou = sim) = 612 = 0.5

Magalhaes, J.J. IA – 2013 13

Naive Bayes

Calculando (Passar = sim | R):

P(passou = sim | tempo = medio, postagens = medio) =0.83 * 0.5 * 0.5 = 0.21.

P(postagens = medio | passou = sim) = 0.83;P(tempo = medio | passou = sim) = 0.5;P(passou=sim) = 0.5.

Magalhaes, J.J. IA – 2013 14

Naive Bayes

Calculando (Passar = nao | R):

P(passou = nao | tempo = medio, postagens = medio) =0.5 * 0.67 * 0.5 = 0.17.

P(postagens = medio | passou = nao) = 0.5;P(tempo = medio | passou = nao) = 0.67;P(passou=sim) = 0.5.

Magalhaes, J.J. IA – 2013 15

Naive Bayes

Classificando a instancia:

(Passar = nao | R) = 0.17;

(Passar = sim | R) = 0.21;

Como (Passar = sim | R) > (Passar = nao | R), logo a predicaosobre o aluno e que ele passara na disciplina.

Magalhaes, J.J. IA – 2013 16

Perguntas?

Magalhaes, J.J. IA – 2013 17