ni semana4

81
Natureza da Informação David Correa Martins Jr [email protected] Semana 4: Teoria da informação

Upload: rbsrbs7

Post on 15-Jan-2016

261 views

Category:

Documents


0 download

DESCRIPTION

natureza da Informacao UFABC

TRANSCRIPT

Page 1: NI Semana4

Natureza da Informação

David Correa Martins [email protected]

Semana 4: Teoria da informação

Page 2: NI Semana4

Como medir a quantidade de

informação?

Page 3: NI Semana4

Entropia de Boltzmann

S=k log W• Inscrição na lápide de

Boltzmann: S = k log W

• Boltzman não especificou a

base do logaritmo.

• Contudo a fórmula

independe da base porque:

Wk

Wa

k

a

Wk

WkS

b

b

bb

b

a

log

logloglog

log

log

′=

==

==

Page 4: NI Semana4

Entropia de Boltzmann (metáfora da sinuca)

• Entropia de Boltzmann: mede o

quão uniforme os moléculas de um

gás se distribuem ao longo de um

ambiente

• Suponhamos um tabuleiro de

sinuca (ambiente) com quatro bolas

de cores diferentes (moléculas).

• O tabuleiro está dividido em duas

partes: a parte direita e a parte

esquerda.

• Existem 16 possíveis formas de

colocar as bolas

Page 5: NI Semana4

EDEDEDEDEDEDEDED

E

DE

DE

DE

DE

DDE

DE

D

EEEEDDDDEEEEDDDD

EEEEEEEEDDDDDDDD

E

0 0 0 00 0 0 10 0 1 00 0 1 1

1 1 1 1

0 1 0 00 1 0 10 1 1 00 1 1 11 0 0 01 0 0 11 0 1 01 0 1 11 1 0 01 1 1 01 1 0 1

16 possibilidades ou combinações ou estados possíveis

Page 6: NI Semana4

1/16 4/16 6/16 4/16 1/16

S1=kLog(1)

S2=kLog(4)

S3=kLog(6)

S4=kLog(4)

S5=kLog(1)

Page 7: NI Semana4

• Se quisermos calcular a entropia de todo o

conjunto de possíveis combinações (16) e

decidirmos utilizar na fórmula de Boltzman,

com k=1 e a base do logaritmo igual a 2, a

entropia termodinâmica seria:

S = k log2W = 1 log216 = 4

Page 8: NI Semana4

EDEDEDEDEDEDEDED

E

DE

DE

DE

DE

DDE

DE

D

EEEEDDDDEEEEDDDD

EEEEEEEEDDDDDDDD

E

16 combinações

6 com 2 bolas na direita

e 2 na esquerda

Entropia do arranjo da coluna central do histograma

0 0 0

0 0 10 1 0

0 1 1

1 0 1

1 0 0Somente precisamos de 3 bits para nomear as 6 possíveis combinações

Page 9: NI Semana4

• Se quisermos calcular a entropia do arranjo

onde têm duas bolas a direita e duas a

esquerda (6 combinações):

S = k log2W = 1 log26 =

log106 0,7782

log102 0,3010= = 2,585

Page 10: NI Semana4

Entropia de Boltzmann (Termodinâmica)

Entropia de Shannon (Informação)

Page 11: NI Semana4

Claude Elwood Shannon (1916-2001)

• Trabalhava nos

Laboratórios Bell

• Quanta informação pode

passar por uma linha de

telefone?

• Inventou o termo bigit ou

bit

• Toda informação pode ser

representada por uma

cadeia de bits

Page 12: NI Semana4

Modelo de sistema de comunicação

� Modelo completo

Entrada

(símbolos)

Codificadorde fonte (Arrays

de bits)

Canalruidoso

(Arraysde bits)

Decodificadorde fonte

Saída

(símbolos)

Compressor(Arraysde bits)

Expansor

Codificadorde canal

Decodificadorde canal

(Arrays

de bits)

Arrays

de b

its

Arrays

de bits

Modelo de sistema que lida com informação

• Símbolos de uma entrada são codificados em bits,

• Bits são enviados por um “canal”até um receptor e

• São decodificados em símbolos

Page 13: NI Semana4

Componentes

� Fonte (entrada)� Modelar em termos de distribuições de

probabilidade

� Função da fonte: prover um código a um conjunto de símbolos� Experimento

� Ex.: jogar moeda ou dado

� Observação de ações

� Representação de um objeto� Ex.: caracteres de texto, pixels de imagem

Page 14: NI Semana4

Fonte

� Consideraremos número finito de símbolos� E mutuamente exclusivos

� Só um pode ser escolhido a cada instante

� Cada escolha = um “resultado”� Objetivo: rastrear a sequência de resultados

Page 15: NI Semana4

Fonte

� Sabendo o resultado, como denotá-lo?� Fornecendo sua denominação (codificação)

� E se não sabemos ainda o resultado, ou estamos incertos sobre ele?� Como expressar conhecimento sobre ele se há

incerteza?� Usar probabilidades

� Estudar Teoria de Probabilidades no final dos slides (Apêndice)

Page 16: NI Semana4

Informação

� Queremos expressar a informação (ou falta dela) a respeito da escolha de um símbolo� Conhecida a resposta, não há incerteza sobre o

símbolo escolhido

� E antes da seleção ser feita ou de sabermos a resposta?� Temos incerteza

� Quanta?

Page 17: NI Semana4

Quantas perguntas preciso fazer para saber qual número você

pensou dentre este conjunto de números?

1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16

� Um dos alunos pensa um número

� O professor faz as perguntas e anota 1 no quadro branco se a resposta for sim e 0 se a resposta for não

Um método simples para medir a informação:

Page 18: NI Semana4

Supor que o aluno pensou no número 5

� O número é maior do que 8? Não 0

� O número é maior que 4? Sim 01

� O número é maior que 6? Não 010

� O número é maior que 5? Não 0100

Então é o 5

� Se as questões estão corretamente formuladas, épossível identificar o número somente com log2(16)=4 questões ou 4 bits

Um método simples para medir a informação:

Page 19: NI Semana4

Permite identificar qualquer magnitude em

termos de sim e não

� Para identificar número entre 1 e n, precisaríamos realizar log2(n) questões bem formuladas

� Bem formuladas: cada resposta tenta sempre dividir o espaço pela metade (em duas partes iguais)

� Exemplo: para identificar um átomo no meio do universo que tem 1080 átomos� Precisaríamos de log2(1080) = 266 perguntas bem

formuladas (cujas respostas consigam dividir o espaço em 2 partes aproximadamente iguais)

Codificação Binária (0 e 1)

Page 20: NI Semana4

O Bit

� Grau de imprevisibilidade� Bit é a quantidade de informação necessária

para tomar uma decisão perante duas opções igualmente prováveis

� Calcular grau de imprevisibilidade (em bits) segundo a fórmula de Boltzmann� S = k log(W)� W são possíveis configurações que toma um

determinado arranjo de particulas� k = 1

Page 21: NI Semana4

Informação

� Informação é medida em bits� Como tamanho em metros e tempo em segundos

� Quantidade de informação aprendida ao conhecer o resultado é o número mínimo de bits que seriam usados para especificar cada símbolo

Page 22: NI Semana4

A informação é medida em bits

)(log2 nS =

bitsS 58,2)6(log2 ==

bitsS 1)2(log2 ==bitsS 0)1(log2 ==

Supondo que semprefaz sol no

Deserto do Saara

Page 23: NI Semana4

Quantificando informação

� Supor situação com várias saídas possíveis

� Ex.: jogar uma moeda� 2 saídas possíveis: cara ou coroa

� Ex.: selecionar uma carta de um baralho� 52 possibilidades

Quão compactamente Alice pode contar a Bob a saída de alguma dessas situações?

Page 24: NI Semana4

Quantificando informação

� Jogando uma moeda

� Alice deve comunicar a Bob o resultado:� Assumindo codificação de tamanho fixo, deve-se

transmitir a mesma quantidade de informação, para falar cara ou coroa (0 ou 1)� Informação transmitida é de um bit por resultado (seja ele

cara ou coroa)

Page 25: NI Semana4

Quantificando informação

� Jogando duas moedas

� Para falar uma das quatro possibilidades:� Falar 0 ou 1 duas vezes (2 bits)

� Experimento com oito possibilidades� Pode ser transmitido com 3 bits

� 2n possibilidades: n bits Quantidade de informação = log2WW = número de possibilidades

Page 26: NI Semana4

Transmitindo informação

• Transmissão de informação requer duas fases:– Fase setup:

• Alice e Bob concordam sobre o que vão comunicar – e o que cada sequência de bits significa

• Ou seja, eles estabelecem um código (convenção)– Ex.: transmitir naipe de uma carta de um baralho

11

10

01

00

Paus

Espada

Ouros

Copas

Page 27: NI Semana4

Transmitindo informação

• Código– Ex.: transmitir naipe de uma

carta de um baralho

– Note que o primeiro bit informa a cor do naipe• Vermelho (0), Preto (1)

– E o segundo bit informa qual é o naipe dado que o primeiro bit já foi recebido

11

10

01

00

Paus

Espada

Ouros

Copas

Page 28: NI Semana4

Transmitindo informação

• Transmissão de informação requer duas fases:– Fase de comunicação:

• Envio das sequências de 0 e 1– Dos dados

Page 29: NI Semana4

Transmitindo informação

� Após Bob saber que uma carta é retirada, ele se encontra incerto sobre o naipe� Incerteza (ou falta de informação) também pode

ser expressa em bits

� Escutando o resultado, incerteza é reduzida� Pela informação recebida

Incerteza de Bob aumenta na fase de setup e édiminuída durante a fase de comunicação

Page 30: NI Semana4

Resumindo

� Informação pode ser aprendida por observação, experimento ou medida

� Informação pode ser perdida� Por perda dos dados

� Por perda do código

� Forma física de informação está localizada no tempo e espaço� Informação pode ser enviada de um local para outro

� Informação pode ser armazenada e recuperada depois

Page 31: NI Semana4

Exemplo

� Sinais do truco� Piscar um olho = Zap (manilha de paus)

� Subir as sobrancelhas = Copeta (manilha de copas)

� Fazer um montinho na bochecha usando a língua = Espadilha (manilha de espadas)

� Mostrar a ponta da língua = Pica Fumo (manilha de ouros)

� Levantar um ombro = Três

� Levantar dois ombros = duas cartas “Três”

� Encher as bochechas de ar = duas ou mais manilhas

� Colocar as cartas na mesa = nada de bom

Page 32: NI Semana4

Lula apresentando alguns sinais do “truco”

Page 33: NI Semana4

S=log2W

• Se W é o numero de diferentes mensagens

equiprováveis que precisamos transmitir, o código mais

enxuto é aquele que tem log2W bits.

• No caso do truco, podemos transmitir a informação de

manilha (4 possibilidades) com 2 bits, sendo suficiente

usar os dois olhos

• olhos fechados

• olho esquerdo fechado

• olho direito fechado

• olhos arregalados

Page 34: NI Semana4

Exercício

� O jogo de truco consiste de um jogo onde 3 cartas são distribuídas para cada participante. Usando as próprias cartas da mão, onde cada carta pode estar deitada de cabeça para baixo na mesa ou na mão (em pé), é possível projetar um código para representar os sinais de truco descritos anteriormente? Caso afirmativo, determine uma possível codificação para esses sinais.

Page 35: NI Semana4

Informação

� E quando os eventos têm probabilidades diferentes?� Aprendemos diferentes quantidades de

informação� Se resultado era provável, aprendemos menos do que

se ele era improvável

� Informação ganha por uma resposta i é log2(1 / p(Ai))� = - log2(p(Ai))

Page 36: NI Semana4

Exemplo

� Classe de 32 alunos: 2 mulheres e 30 homens� Um aluno é escolhido

� Objetivo é saber qual

� Incerteza inicial é de 5 bits� Necessário para especificar o resultado

� Escolha aleatória ⇒ probabilidade de cada um ser selecionado é 1/32� Mulher: p(M) = 2/32

� Homem: p(H) = 30/32

Page 37: NI Semana4

Exemplo

� Classe de 32 alunos: 2 mulheres e 30 homens� Quanta informação ganhamos sabendo que a

escolha é de uma mulher, sem saber qual?� Incerteza é diminuída de 4 bits para 1 bit

� Necessário para especificar qual das duas mulheres� Ganhamos 4 bits de informação!

� E se for homem?� Reduz incerteza de 5 a 4,91 bits (log230)

� Aprendemos 0,09 bits de informação

Page 38: NI Semana4

Informação

� No caso dos sinais do Truco � Sinais não são equiprováveis!� No Truco, existem 40 cartas (incerteza inicial = log2(40) =

5,32 bits)� Probabilidade de uma determinada carta ser manilha =

4/40 = 10% (informação ganha = - log2(4/40) = 3,32 bits)� Probabilidade de uma determinada carta ser um Zap =

1/40 = 2,5% (informação ganha = - log2(1/40) = 5,32 bits = incerteza inicial! temos certeza de qual é a carta!)

� Probabilidade de uma determinada carta ser um 3 = 4/40 = 10% (informação ganha = - log2(4/40) = 3,32 bits)

� Probabilidade de uma determinada carta não ser boa (não é 3 e nem manilha) = 32/40 = 80% (informação ganha = -log2(32/40) = 0,32 bits)

Page 39: NI Semana4

� Numa sequência binária, se todos são um, não há incerteza (-log2(100%) = -log2(1) = 0)� 1111111111

� Mas se o número 1 aparece 10% das vezes:� Ex: 0001000000� Neste caso, o número 1 possui -log2(1/10) de

informação ou:

–log2(p) = -log2 (0,1) = log2 (10) = 3,3219 bits

� Enquanto que o número 0 possui:

–log2(p) = -log2 (0,9) = log2 (10/9) = 0,152bits

Uma interpretação da fórmula:

informação = -log(probabilidade)

Page 40: NI Semana4

� Então, quanta informação temos nesta mensagem?

0000010000

A entropia ou informação total da mensagem seria:

Htotal=9x(informação do zero)+1x(informação do 1)=

=9x0,15+1x3,32= 4,67 bits (ao invés de 10 bits)

Poderia pensar que como temos 10 dígitos, teríamos 10 bits de informação, mas na verdade cada 0 vale 0,15 bits porque tem pouca incerteza

(imprevisibilidade ou surpresa), enquanto que o único 1 carrega muita informação (3,32 bits)

Page 41: NI Semana4

Informação

� Se queremos quantificar nossa incerteza antes de saber uma resposta� Média ponderada sobre as quantidades de

informação de todos os possíveis resultados

� Informação média:� Soma da multiplicação da informação de cada evento Ai

pela probabilidade p(Ai)

H = - Σ p(Ai) log2(p(Ai))

Entropia de uma fonte (Entropia de Shannon)Fundamental para caracterizar informações de fontes

Page 42: NI Semana4

Informação

� Atenção: cuidado quando probabilidade de um evento é 0� - log(0) = infinito

� Embora tenha quantidade de informação infinita, a probabilidade de ocorrência é zero

� Ou seja: se P(X) = 0, então H(X) = - 0 log(0)

� - 0 log(0) é indeterminado (0 multiplicado por infinito)

� Mas H(X) = 0

� X é um evento inexistente� Não entra na conta da entropia

Page 43: NI Semana4

Verdadeira contribuição de Shannon

� Quanta informação cabe numa mensagem?

� Como arranjar melhor a informação para que a mensagem seja mais enxuta?� Exemplo de aplicação: compressão de dados

� Veremos nas próximas aulas

Page 44: NI Semana4

� Ex.: Informação contida na jogada de uma moeda alterada para cair 60% das vezes em cara e 40% em coroa

44

bitsH 97,0)4,0(log)4,0()6,0(log6,0 22 =−−=

Informação

Page 45: NI Semana4

Propriedades da informação

� É conveniente pensar em informação como quantidade física com dimensões� Ex. como velocidade: tamanho/tempo (m/s)

� Menos natural, uma vez que probabilidades não possuem dimensão

� Mas fórmula usa log2

� Informação em log de base 2 é expressa em bits� Poderia usar outras bases

� logk(x) = log2(x) / log2(k)

Page 46: NI Semana4

Propriedades da informação

� Se há dois eventos com probabilidades p e (1-p), a informação por símbolo é:� H = - p log2(p) - (1-p) log2(1-p)

Entropia de uma fonte com 2 símbolos como função de p

Entropia (Shannon):

É maior (1 bit) quando p = 0,5 (probabilidade dos dois eventos é igual)

É 0 para p = 0 e p =1 (nestes casos, resposta é certa e nenhuma

informação é ganha conhecendo-a)

Page 47: NI Semana4

Propriedades da informação

• Ex.: moedap(cara) + p(coroa) = 1

))(1(log))(1(())((log)(

))((log)())((log)(

22

22

carapcarapcarapcarap

coroapcoroapcarapcarapH

−−−−

=−−=

Quando ambas possibilidades têm a mesma probabilidade de acontecer,

p(cara) = p(coroa) = 0,5 e a entropia ou imprevisibilidade é máxima, e igual

a 1 bit

Page 48: NI Semana4

Propriedades da informação

� Para partições com mais de dois eventos, a informação por símbolo pode ser maior� Se há n possíveis eventos, a informação por

símbolo situa-se entre 0 e log2n bits� Valor máximo H = log2(n) quando todas as

probabilidades são iguais (eventos equiprováveis)

( )nnn

nppH

inp

ii

i

222 log1

log1

log

,/1

=

−=−=

∀=

∑i = 1

n

Page 49: NI Semana4

Exemplo

49

Um emissor que fornece sempre a mesma mensagem, fornece 0 bits de informação(enquanto o conteúdo informativo de uma mensagem pouco previsível é grande)

� Supondo que sempre faz sol no deserto do Saara� P(sol) = 1

� Há apenas um estado possível: sol

� Não há informação em “amanhã fará sol no Saara”� Entropia = 0 (incerteza nula)

Page 50: NI Semana4

50

bitsH 0)1(log1 2 =⋅−=

ii ppH 2log∑−=

Um único evento com probabilidade = 1

Page 51: NI Semana4

Exemplo

51

� 1 bit – dois estados igualmente prováveis

� Precisamos transmitir um bit para informar sobre o estado da moeda

� Mas sabemos que só pode ser cara ou coroa� Um bit resolve

Page 52: NI Semana4

52

bit

pppp

ppppH

coroacoroacaracara

i

i

iii

15,05,02log5,02log5,0

))2/1(log5,0)2/1(log5,0

5,0log5,05,0log5,0

loglog

loglog

22

22

22

22

2

1

22

=+=+=

=−−=

=−−=

=−−=

=−=−= ∑∑=

Dois eventos (cara e coroa), cada um deles com probabilidade 0,5

Page 53: NI Semana4

Exemplo

53

� Dado: 6 estados

� 2 bits não são suficientes

� 3 bits: “sobram” 2 estados

Page 54: NI Semana4

54

( ) ( ) ( ) ( ) ( ) ( )

( ) ( ) ( ) ( ) ( ) ( )

( ) ( ) ( )bits

pppppp

pppppp

ppppH i

i

iii

58,2

6log32,36logloglog6

logloglog

logloglog

logloglog

logloglog

loglog

10261

261

261

61

261

61

261

61

261

61

261

61

261

61

261

626525424

323222121

6

1

22

=

===−=−=

=−−−

−−−=

=−−−

−−−−=

=−=−= ∑∑=

Seis eventos 1,2,3,4,5,6 cada um deles com probabilidade 1/6

Page 55: NI Semana4

Informação transmitida, It

� É a diferença entre o grau de entropia ou imprevisibilidade inicial (H) e a imprevisibilidade final Hm obtida após o envio da mensagem m

55

It

H Hm

Page 56: NI Semana4

Informação transmitida It

� H é a entropia (ou incerteza) inicial da fonte de informação� Representa também a capacidade potencial (ou

máxima) de informação que pode ser fornecida por um determinado arranjo ou dispositivo no instante inicial

� It: Informação transmitida

� Hm é a entropia (ou incerteza) final, depois da mensagem “m” ter sido transmitida

Page 57: NI Semana4

Exemplo:� Jogar uma bola em uma

matriz com 16 buracos� Ela cairá em qualquer um

dos buracos com igual probabilidade (1/16)

� Quais são as entropias (incertezas) inicial e final?

� Qual seria a quantidade de informação fornecida pela bola?� Ou seja, Hinicial – Hfinal?

Page 58: NI Semana4

Exemplo:

� Entropia inicial: Hinicial = log2(16) = 4

Page 59: NI Semana4

Exemplo:

� Entropia final: Hfinal = log2(15)

� Informação: diferença de entropias:

� I = Hinicial – Hfinal

� I = log2(16) – log2(15) = = log2(16/15) = 0,09 bits

Page 60: NI Semana4

Para a próxima aula

� Aula de exercícios� Estudar e fazer os exercícios da Semana 4

� Teoria da Informação� Tidia, seção Repositório->Aulas->Semana 4� TIdia, seção Repositório->Exercícios->Lista - Semana 4

� Não precisa entregar, mas é fundamental fazer os exercícios para estudar e se preparar para as aulas� e consequentemente para as provas

Page 61: NI Semana4

Apêndice

Revisão sobre Teoria das Probabilidades

Page 62: NI Semana4

Probabilidades

• Ex.: características dos estudantes MIT– 2007

1038465523832Total estudantes

615242361916Pós-graduação

423223161916Graduação

1078596482Calouros

TotalHomensMulheresTipo/número

Page 63: NI Semana4

Probabilidades

• Ex.: características dos estudantes MIT

calouros

Mulheres Homens

Mulheres Homens

Graduação

Pós

Page 64: NI Semana4

Probabilidades

� Ex.: características dos estudantes MIT� Supor que um calouro é selecionado

� Símbolo = um estudante individual

� Conjunto de possíveis símbolos = 1078

� Não sabendo qual foi, é homem ou mulher?� Como você caracteriza o seu conhecimento?

� Qual é a probabilidade de uma mulher ter sido selecionada?

Page 65: NI Semana4

Probabilidades

� Ex.: características dos estudantes MIT� Supor que um calouro é selecionado

� Qual é a probabilidade de uma mulher ter sido selecionada?� 45% dos calouros são mulheres (482 / 1078)

� Se todos têm mesma probabilidade de serem escolhidos, probabilidade de selecionar mulher é 45%

� E se seleção é feita no corredor de um dormitório feminino?

� Probabilidade será maior que 45%

Page 66: NI Semana4

Eventos

� Resultado: algo que segue como consequência� Símbolo selecionado, conhecido ou não para nós

� Evento: subconjunto dos possíveis resultados de um experimento � Quando seleção é feita, há vários eventos

� Um é o próprio resultado: evento fundamental

� Outros: seleção de símbolo com propriedade particular� Por simplicidade, as seleções serão chamadas eventos

Page 67: NI Semana4

Eventos

� Ex.: um calouro do MIT é selecionado� Resultado é a pessoa em específico selecionada

� Evento fundamental� Outros eventos:

� Seleção de uma mulher� Seleção de alguém da California� Seleção de alguém maior de 18 anos� Seleção de mulher do Texas� Seleção de qualquer pessoa

� Evento universal� Seleção de nenhum símbolo

� Evento nulo� etc.

Page 68: NI Semana4

Eventos

� Diferentes eventos podem ou não se sobrepor� Ocorrem para o mesmo resultado

� Conjunto de eventos exaustivo: ao menos um deles ocorre quando um símbolo é escolhido� Ex.: aluno escolhido tem:

� Evento 1: menos que 25 anos� Evento 2: mais que 17 anos

� São exaustivos, mas não são mutuamente exclusivos

Eventos que não se sobrepõem: mutuamente exclusivosEx.: aluno selecionado ser homem ou mulher

Page 69: NI Semana4

Eventos

� Partição: conjunto de eventos mutuamente exclusivos e exaustivos� Ex.: Eventos “mulher” e homem” formam uma

partição

� Partição fundamental: contém todos os eventos fundamentais� Ex.: Eventos fundamentais associados a cada

uma das 1078 pessoas formam partição fundamental

Page 70: NI Semana4

Resultados conhecidos

� Sabendo um resultado, é fácil denotá-lo� Especificando o símbolo que foi selecionado� Sabe então que eventos ocorreram� Mas deve conhecer o resultado

� Enquanto não é conhecido, não é possível expressar dessa forma

� Outra forma de denotar: probabilidades� Generalizável a situação em que resultado ainda

não é conhecido

Page 71: NI Semana4

Resultados conhecidos

� Seja i um índice dentro de uma partição� De 0 a n -1 (n é o número de eventos na partição)

� Para qualquer evento particular Ai

� p(Ai) = 1 se resultado correspondente éselecionado

� p(Ai) = 0 caso contrário� Partição ⇒ será 1 para exatamente um evento i e 0

para demais eventos� Ex. p(evento universal) = 1 e p(evento nulo) = 0

Mesma notação se aplica a eventos A quaisquer (não necessariamente em uma partição)

Page 72: NI Semana4

Resultados desconhecidos

� Se símbolo ainda não foi selecionado, o resultado não é conhecido� Então cada p(A) pode ter um valor entre 0 e 1

� Valores maiores = maior crença de que o evento vai ocorrer

� Valores menores = menor crença de que o evento vai ocorrer

� Se evento é certamente impossível ⇒ p(A) = 0

� Quando resultado é aprendido, cada p(A) pode ser ajustado para 0 ou 1

Page 73: NI Semana4

Resultados desconhecidos

� Forma de atribuir os valores� Obedecer teoria da probabilidade

� Valores = probabilidades� Conjunto de probabilidades que se aplicam a uma partição

= distribuição de probabilidade

Axiomas da probabilidade:

• Para qualquer evento A: 0 ≤ p(A) ≤ 1• Se um evento A ocorre somente em função de outros eventos mutuamente exclusivos Ai (porque, por exemplo, formam uma partição): p(A) = Σ p(Ai)• Para qualquer partição: Σ p(Ai) = 1

(já que p(evento universal) = 1)

Page 74: NI Semana4

Eventos conjuntos

� Probabilidade de símbolo escolhido ter duas propriedades diferentes� Ex.: escolha de caloura (mulher) do Texas

� p(M) = probabilidade de ser mulher

� p(T) = probabilidade de ser do Texas

� p(M,T) = probabilidade de ser mulher do Texas

� Se os eventos são independentes ⇒ multiplica probabilidades dos eventos individuais� Probabilidade de um não depende do outro ocorrer

� p(A,B) = p(A) p(B)

Page 75: NI Semana4

Eventos conjuntos

� Independência não é usual � Fórmula mais geral para a probabilidade do

evento conjunto (ambos ocorrerem)� Probabilidades condicionais: probabilidade de um

evento dado que outro ocorreu� Ex.: p(M | T) = probabilidade condicional de selecionar

mulher, dado que o calouro escolhido é do Texas

p(A,B) = p(B) p(A | B) = p(A) p(B | A)

Teorema de Bayes

Page 76: NI Semana4

Eventos conjuntos

� Ex.:

� p(M, T) = p(T) p(M | T)� Probabilidade de calouro escolhido ser mulher do Texas é

probabilidade de estudante ser do Texas vezes a probabilidade de que, sendo texana, a pessoa é mulher

OU

� p(M, T) = p(M) p(T | M)� Probabilidade de calouro escolhido ser mulher do Texas é

probabilidade de estudante ser mulher vezes a probabilidade de que a pessoa escolhida, sendo mulher, é texana

Page 77: NI Semana4

Exemplo

� Considere que um estudante qualquer éselecionado (entre todos) aleatoriamente� Igual probabilidade para todos estudantes

� Partição fundamental: 10384 eventos fundamentais� Cada aluno em particular

� Soma de todas probabilidades = 1� Então cada um tem probabilidade 1/10384 = 0,01%

Page 78: NI Semana4

Exemplo

� Considere que um estudante qualquer éselecionado (entre todos) aleatoriamente� Qual é a probabilidade de ser um graduando?

� p(G) = 6152 / 10384 = 0,59

� Soma das probabilidades fundamentais dos 6152 eventos associados a estudantes graduandos

Page 79: NI Semana4

Exemplo

� Considere que um estudante qualquer éselecionado (entre todos) aleatoriamente� Qual é a probabilidade de ser um homem

graduando?� p(G) = 0,59

� Probabilidade conjunta p(H,G)?

� Selecionado graduando, qual é a probabilidade condicional dele ser um homem?� p(H | G)?

Page 80: NI Semana4

Exemplo

� Considere que um estudante qualquer éselecionado (entre todos) aleatoriamente� p(H | G)

� Nova partição fundamental = 6152 possíveis graduandos (G)� 4236 desses são homens (P(H|G))

� Evento selecionar um homem é relacionado a 4236 dos 6152 graduandos� p(H | G) = 4236/6152 = 0,69

Page 81: NI Semana4

Exemplo

� Considere que um estudante qualquer éselecionado (entre todos) aleatoriamente� p(H, G)

� Teorema de Bayes� p(H, G) = p(G) p(H | G)

= 6152 x 4236 = 4236 = 40,8%10384 6152 10384

� Exercício: usar p(H) e p(G | H) para determinar P(H,G)