ni semana4

Download NI Semana4

Post on 15-Jan-2016

218 views

Category:

Documents

0 download

Embed Size (px)

DESCRIPTION

natureza da Informacao UFABC

TRANSCRIPT

  • Natureza da Informao

    David Correa Martins Jrdavid.martins@ufabc.edu.br

    Semana 4: Teoria da informao

  • Como medir a quantidade de

    informao?

  • Entropia de Boltzmann

    S=k log W Inscrio na lpide de

    Boltzmann: S = k log W

    Boltzman no especificou a

    base do logaritmo.

    Contudo a frmula

    independe da base porque:

    Wk

    Wa

    ka

    Wk

    WkS

    b

    bbb

    b

    a

    log

    logloglog

    loglog

    =

    ==

    ==

  • Entropia de Boltzmann (metfora da sinuca)

    Entropia de Boltzmann: mede o

    quo uniforme os molculas de um

    gs se distribuem ao longo de um

    ambiente

    Suponhamos um tabuleiro de

    sinuca (ambiente) com quatro bolas

    de cores diferentes (molculas).

    O tabuleiro est dividido em duas

    partes: a parte direita e a parte

    esquerda.

    Existem 16 possveis formas de

    colocar as bolas

  • EDEDEDEDEDEDEDED

    E

    DE

    DE

    DE

    DE

    DDE

    DE

    D

    EEEEDDDDEEEEDDDD

    EEEEEEEEDDDDDDDD

    E

    0 0 0 00 0 0 10 0 1 00 0 1 1

    1 1 1 1

    0 1 0 00 1 0 10 1 1 00 1 1 11 0 0 01 0 0 11 0 1 01 0 1 11 1 0 01 1 1 01 1 0 1

    16 possibilidades ou combinaes ou estados possveis

  • 1/16 4/16 6/16 4/16 1/16

    S1=kLog(1)

    S2=kLog(4)

    S3=kLog(6)

    S4=kLog(4)

    S5=kLog(1)

  • Se quisermos calcular a entropia de todo o

    conjunto de possveis combinaes (16) e

    decidirmos utilizar na frmula de Boltzman,

    com k=1 e a base do logaritmo igual a 2, a

    entropia termodinmica seria:

    S = k log2W = 1 log216 = 4

  • EDEDEDEDEDEDEDED

    E

    DE

    DE

    DE

    DE

    DDE

    DE

    D

    EEEEDDDDEEEEDDDD

    EEEEEEEEDDDDDDDD

    E

    16 combinaes

    6 com 2 bolas na direita

    e 2 na esquerda

    Entropia do arranjo da coluna central do histograma

    0 0 0

    0 0 10 1 0

    0 1 1

    1 0 1

    1 0 0Somente precisamos de 3 bits para nomear as 6 possveis combinaes

  • Se quisermos calcular a entropia do arranjo

    onde tm duas bolas a direita e duas a

    esquerda (6 combinaes):

    S = k log2W = 1 log26 =

    log106 0,7782

    log102 0,3010= = 2,585

  • Entropia de Boltzmann (Termodinmica)

    Entropia de Shannon (Informao)

  • Claude Elwood Shannon (1916-2001)

    Trabalhava nos

    Laboratrios Bell

    Quanta informao pode

    passar por uma linha de

    telefone?

    Inventou o termo bigit ou

    bit

    Toda informao pode ser

    representada por uma

    cadeia de bits

  • Modelo de sistema de comunicao

    Modelo completo

    Entrada

    (smbolos) Codificador

    de fonte (Arraysde bits)

    Canalruidoso

    (Arraysde bits)

    Decodificadorde fonte

    Sada

    (smbolos)

    Compressor(Arraysde bits)

    Expansor

    Codificadorde canal

    Decodificadorde canal

    (Arrays

    de bits)

    Arrays

    de

    bits

    Arrays

    de bits

    Modelo de sistema que lida com informao

    Smbolos de uma entrada so codificados em bits,

    Bits so enviados por um canalat um receptor e

    So decodificados em smbolos

  • Componentes

    Fonte (entrada) Modelar em termos de distribuies de

    probabilidade Funo da fonte: prover um cdigo a um conjunto

    de smbolos Experimento

    Ex.: jogar moeda ou dado Observao de aes Representao de um objeto

    Ex.: caracteres de texto, pixels de imagem

  • Fonte

    Consideraremos nmero finito de smbolos E mutuamente exclusivos

    S um pode ser escolhido a cada instante

    Cada escolha = um resultado Objetivo: rastrear a sequncia de resultados

  • Fonte

    Sabendo o resultado, como denot-lo? Fornecendo sua denominao (codificao)

    E se no sabemos ainda o resultado, ou estamos incertos sobre ele? Como expressar conhecimento sobre ele se h

    incerteza? Usar probabilidades Estudar Teoria de Probabilidades no final dos slides

    (Apndice)

  • Informao

    Queremos expressar a informao (ou falta dela) a respeito da escolha de um smbolo Conhecida a resposta, no h incerteza sobre o

    smbolo escolhido E antes da seleo ser feita ou de sabermos a

    resposta? Temos incerteza

    Quanta?

  • Quantas perguntas preciso fazer para saber qual nmero voc

    pensou dentre este conjunto de nmeros?

    1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16

    Um dos alunos pensa um nmero

    O professor faz as perguntas e anota 1 no quadro branco se a resposta for sim e 0 se a resposta for no

    Um mtodo simples para medir a informao:

  • Supor que o aluno pensou no nmero 5

    O nmero maior do que 8? No 0 O nmero maior que 4? Sim 01 O nmero maior que 6? No 010 O nmero maior que 5? No 0100

    Ento o 5

    Se as questes esto corretamente formuladas, possvel identificar o nmero somente com log2(16)=4 questes ou 4 bits

    Um mtodo simples para medir a informao:

  • Permite identificar qualquer magnitude em

    termos de sim e no

    Para identificar nmero entre 1 e n, precisaramos realizar log2(n) questes bem formuladas

    Bem formuladas: cada resposta tenta sempre dividir o espao pela metade (em duas partes iguais)

    Exemplo: para identificar um tomo no meio do universo que tem 1080 tomos Precisaramos de log2(1080) = 266 perguntas bem

    formuladas (cujas respostas consigam dividir o espao em 2 partes aproximadamente iguais)

    Codificao Binria (0 e 1)

  • O Bit

    Grau de imprevisibilidade Bit a quantidade de informao necessria

    para tomar uma deciso perante duas opes igualmente provveis

    Calcular grau de imprevisibilidade (em bits) segundo a frmula de Boltzmann S = k log(W) W so possveis configuraes que toma um

    determinado arranjo de particulas k = 1

  • Informao

    Informao medida em bits Como tamanho em metros e tempo em segundos

    Quantidade de informao aprendida ao conhecer o resultado o nmero mnimo de bits que seriam usados para especificar cada smbolo

  • A informao medida em bits

    )(log2 nS =

    bitsS 58,2)6(log2 ==bitsS 1)2(log2 ==

    bitsS 0)1(log2 ==Supondo que sempre

    faz sol noDeserto do Saara

  • Quantificando informao

    Supor situao com vrias sadas possveis

    Ex.: jogar uma moeda 2 sadas possveis: cara ou coroa

    Ex.: selecionar uma carta de um baralho 52 possibilidades

    Quo compactamente Alice pode contar a Bob a sada de alguma dessas situaes?

  • Quantificando informao

    Jogando uma moeda

    Alice deve comunicar a Bob o resultado: Assumindo codificao de tamanho fixo, deve-se

    transmitir a mesma quantidade de informao, para falar cara ou coroa (0 ou 1) Informao transmitida de um bit por resultado (seja ele

    cara ou coroa)

  • Quantificando informao

    Jogando duas moedas

    Para falar uma das quatro possibilidades: Falar 0 ou 1 duas vezes (2 bits)

    Experimento com oito possibilidades Pode ser transmitido com 3 bits

    2n possibilidades: n bits Quantidade de informao = log2WW = nmero de possibilidades

  • Transmitindo informao

    Transmisso de informao requer duas fases: Fase setup:

    Alice e Bob concordam sobre o que vo comunicar e o que cada sequncia de bits significa

    Ou seja, eles estabelecem um cdigo (conveno) Ex.: transmitir naipe de uma carta de um baralho

    11

    10

    01

    00

    Paus

    Espada

    Ouros

    Copas

  • Transmitindo informao

    Cdigo Ex.: transmitir naipe de uma

    carta de um baralho

    Note que o primeiro bit informa a cor do naipe Vermelho (0), Preto (1)

    E o segundo bit informa qual o naipe dado que o primeiro bit j foi recebido

    11

    10

    01

    00

    Paus

    Espada

    Ouros

    Copas

  • Transmitindo informao

    Transmisso de informao requer duas fases: Fase de comunicao:

    Envio das sequncias de 0 e 1 Dos dados

  • Transmitindo informao

    Aps Bob saber que uma carta retirada, ele se encontra incerto sobre o naipe Incerteza (ou falta de informao) tambm pode

    ser expressa em bits

    Escutando o resultado, incerteza reduzida Pela informao recebida

    Incerteza de Bob aumenta na fase de setup e diminuda durante a fase de comunicao

  • Resumindo

    Informao pode ser aprendida por observao, experimento ou medida

    Informao pode ser perdida Por perda dos dados Por perda do cdigo

    Forma fsica de informao est localizada no tempo e espao Informao pode ser enviada de um local para outro Informao pode ser armazenada e recuperada depois

  • Exemplo

    Sinais do truco Piscar um olho = Zap (manilha de paus) Subir as sobrancelhas = Copeta (manilha de copas) Fazer um montinho na bochecha usando a lngua =

    Espadilha (manilha de espadas) Mostrar a ponta da lngua = Pica Fumo (manilha de ouros) Levantar um ombro = Trs Levantar dois ombros = duas cartas Trs Encher as bochechas de ar = duas ou mais manilhas Colocar as cartas na mesa = nada de bom

  • Lula apresentando alguns sinais do truco

  • S=log2W

    Se W o numero de diferentes mensagens

    equiprovveis que precisamos transmitir, o cdigo mais

    enxuto aquele que tem log2W bits.

    No caso do truco, podemos transmitir a informao de

    manilha (4 possibilidades) com 2