teoria matemática da informação 2 - shannon [19!03!12]

Teoria da Comunicação Teoria da Comunicação

TEORIATEORIADA INFORMAÇÃODA INFORMAÇÃO

Informação e Probabilidade

“Um cachorro mordeu um homem.” ..Nenhuma surpresa. ..Muito comum. ..Não é informativo.

“Um homem mordeu um cachorro” ..Muito incomum; ..Raramente acontece; ..Vale uma manchete !

Informação está inversamente relacionada à probabilidade de ocorrência de um evento.

2

TEORIA MATEMÁTICA DA INFORMAÇÃO

A teoria matemática da informação não se interessa pelo conteúdo ou a finalidade da informação.

A pergunta básica desta teoria é a seguinte:

Quanta informação é transmitida numa mensagem?

5

TEORIA MATEMÁTICA DA INFORMAÇÃO

A informação só pode ser recebida onde exista dúvida ou incerteza sobre a ocorrência de um evento.

Mas dúvida e incerteza implica na existência de alternativas.

[cf. Colin Cherry (1974, p.261-262)]

6

Postulado Básico

Um dos postulados básicos da teoria matemática da informação é que a informação pode ser tratada como sendo informação e pode ser tratada como sendo uma medida, como uma quantidade física, tal como a densidade ou a massa.

7

Postulado Básico

A teoria da matemática informação considera a informação como sendo somente aqueles símbolos que são incertos para o receptor.

Shannon (1948) tornou claro que a incerteza é a verdadeira mercadoria da comunicação.

8

Por que a teoria matemáticada informação é importante?

Claude Shannon (1948) inspirou também uma explosão de maneiras criativas de compactar informação - bits – (extraindo somente a “informação real, codificando a para enviá-la através de um canal e interpretando este sinal numa data ou local posterior com qualquer nível desejado de acurácia.Com o insight de Shannon (1948) em mente, os engenheiros continuaram a desenvolver modos de maximizar a transmissão de informações – o que resultou na invenção do transistor.

10

TEORIA MATEMÁTICA DA INFORMAÇÃO - HISTÓRICO

Rudolf Clausius – introduz pela primeira vez a idéia de entropia para descrever como podemos transferir calor de um objeto frio para um objeto quente sem uso externo de energia para fazer a transferência.A quantidade de entropia permite determinar a eficiência máxima dos máquinas e excluir a noção de máquinas perpetuas.

11

Entropia: definição

12

Rudolf CLAUSIUS (1865):

Definição de entropia:

δ S = δ Q/T

Segunda Lei da Termodinâmica: a entropia não pode diminuir ao longo do tempo


Ludwing von Boltzmann estabeleceu uma nova definição de entropia quando estudava as propriedades estatísticas de uma grande coleção de moléculas de gás.

De acordo com ele, a entropia de um gás é o montante de informação que perdemos sobre suas propriedades microscópicas. Quanto maior o número de estados microscópicos, maior a entropia.

13

Termodinâmica

Ludwig BOLTZMAN 1872: Kinetic theory 1880:Interpretação estatística da entropia: desorgem no espaço da energia.

14


Claude Shannon (1938) – tese de mestrado (11 páginas) no qual teve a idéia pioneira de reduzir o conteúdo da informação a seqüências de 0 e 1 e tratá-la segundo as regras da álgebra de Boole.Cria-se a eletrônica digital.

18


Norbert Wierner (1946) – Cybernetics. Foi definida como a ciência do controle e da comunicação em animais, seres humanos, máquinas e organizações.A Cibernética influenciou a teoria da informação a qual está informação, qual, preocupada com a medição do fluxo de informação e o controle dos erros numa transmissão.

19


Qual o objetivo da teoria matemática da informação?Ela procura medir a quantidade de informação que uma mensagem fidedigna pode transmitir.Ela procura medir qual é a quantidade de informação contida em uma mensagem.Ela não é uma teoria semântica.

20

TEORIA MATEMÁTICA DA INFORMAÇÃO: O QUE É INFORMAÇÃO?

Informação é qualquer coisa que reduz a incerteza, a indeterminação sobre um evento ou sobre uma coisa.

Assim, a teoria matemática da informação foi desenvolvida como sendo uma teoria objetiva de probabilidade.

21

Quantificando a Informação

22

TEORIA MATEMÁTICA DA INFORMAÇÃO: O QUE É INFORMAÇÃO?

Quando um conjunto de possibilidades é reduzido, temos que o montante de informações associado com este resultado é uma função de quantas possibilidades foram eliminadas para se chegar a um determinado resultado e fazer a escolha.

23

TEORIA MATEMÁTICA DA INFORMAÇÃO: A CONTRIBUIÇÃO DE CLAUDE SHANNON (1948)

Shannon (1948) desenvolveu a teoria da informação e transmissão de sinais digitais, baseados em seqüências de zero e um.Isto lhe permitiu definir o problema fundamental da comunicação como o de reproduzir num local, de forma aproximada ou exata, uma mensagem selecionada noutro local.

24


Uma mensagem selecionada refere-se a uma seqüência informativa que pode ser escolhida entre muitas outras, que apareceram com iguais ou diferentes probabilidades Assim, quantidade de informação é definida com base na sua incerteza ou na dificuldade de previsão.

Para medir a quantidade de informação ele utilizou, por sugestão de von Neumann, o conceito de entropia.

25


Shannon (1948) proveu uma síntese das principais idéias com relação a teoria clássica da informação. Shannon (1948) também contribuiu de forma decisiva para estabelecer a teoria da informação em firmes e sólidas bases teóricas. Shannon (1948) foi o primeiro a estabelecer os limites superiores sobre o que pode ser alcançado com um meio de transmitir informações, um canal.

26

TEORIA MATEMÁTICA DA INFORMAÇÃO... A CONTRIBUIÇÃO DE CLAUDE SHANNON (1948)

Shannon (1948) introduziu duas importantes contribuições com relação aos trabalhos de Hartley e Nyquist que afirmavam que a importância da medida da informação está baseada no número de alternativas:

(i) deu um tratamento estatístico a informação - não em relação ao número de ocorrências possíveis, mas sim com relação à probabilidade de sua ocorrência – deste modo, a quantidade de informação numa não é função das alternativas possíveis, mas sim, da sua efetiva ocorrência;

(ii) introduziu o conceito de ruído – ele afirmou que o ruído aumentaria a informação até o limite em que ele aumenta a incerteza – tornando-se equivoco quando ele excedesse o desejável.

29

Claude Shannon (1916-2001)

30

A Mathematical Theory of Communication (1948) - Resumo

Introduz um sistema de informação binário;

Primeiro uso dos bit em forma impressa; Quantificação da informação; Descreve a transferência da informação; Calcula a capacidade de transmissão de

um canal;

31

O modelo matemático da informação

MENSAGEM MENSAGEM

Elementos fundamentais do modelo: Input Output Ruido Entropia Redundância

Shannon e Weaver, 1949 32

TEORIA MATEMÁTICA DA INFORMAÇÃO –OS ELEMENTOS DE UM SISTEMA INFORMACIONAL

FONTE

TRANSMISSOR

SINAL

CANAL

SINAL RECEBIDO

RECEPTOR

INTERFERÊNCIA

DESTINATÁRIO

33

A informação parte de uma fonte, sendo enviada através de um transmissor a um elemento receptor que interpreta ou decodifica a mensagem recebida para o destinário.

A mensagem é um elemento selecionado apartir de um conjunto mais amplo, passívelde ser transmitido através de um canal oumeio de veiculação da mensagem


Fonte: refere-se a um elemento que gera a informação.

Transmissor: é o elemento capaz de transmitir a mensagem de acordo com um código preestabelecido.

Código: é um conjunto de regras de correspondência entre os elementos de um conjunto de referência e um conjunto de símbolos.

34


Mensagem: é o conjunto de símbolos, detectado pelo receptor, expresso no respectivo código.

Canal: é o meio que permite a veiculação da mensagem transmitida ao receptor.

Receptor: é o elemento que recebe e decodifica a mensagem.

Ruído: são interferências na transmissão, veiculação da mensagem, introduzindo erros aleatórios na mesma.

35


Mensagem decodificada: é o resultado da reconversão da mensagem na forma inteligível pelo destinatário.

Destinatário: é o elemento final do sistema informacional que fará uso da mensagem.

36


Um evento representa um estado do sistema que está sendo analisado.Suponhamos que um evento ocorreu e que uma mensagem é transmitida sobre a ocorrência de um evento.Essa mensagem é recebida por um elemento receptor conforme mostra o esquema acima.

38


A transmissão, contudo, está sujeita a erros e o receptor está sujeito a interferências externas (ruído).A mensagem recebida pelo receptor é decodificada, fornecendo informação sobre a ocorrência do evento.

39

TEORIA MATEMÁTICA DA INFORMAÇÃOELEMENTOS DE UM SISTEMA INFORMACIONAL –

A INFORMAÇÃO CONTIDA NA MENSAGEM

Quanto maior for a certeza do elemento que decodifica a mensagem sobre a ocorrência do evento, maior será a informação contida na mensagem.

40


O montante de informação recebida por qualquer mensagem é calculada em termos de grau de surpresa do receptor da mensagem.A idéia fundamental da teoria matemática da informação é que mensagens que são surpreendentes (inesperadas) contém mais informação e mensagens esperadas contém menos informações.

42


A teoria da informação nos diz que uma surpresa deve ser medida em termos da improbabilidade de que o agente receptor “atribui” a mensagem. I(M) = - log [P(M)] onde:

M=mensagem, I(M)= informação contida na mensagem e P(M) é a probabilidade da mensagem (como assumida pelo receptor).

O montante de informação é então definida como sendo o negativo do logaritmo da probabilidade assumida pela mensagem.

43

TEORIA MATEMÁTICA DA INFORMAÇÃOELEMENTOS DE UM SISTEMA INFORMACIONAL –A INFORMAÇÃO CONTIDA NA MENSAGEM

A base do logaritmo pode ser decimal, neperiano etc.

Contudo, como a maioria dos códigos apresenta estrutura binária, é comum medir-se a informação através de logaritmos de base 2.

Neste caso, uma unidade de informação é chamada de bit.

44

TEORIA MATEMÁTICA DA INFORMAÇÃOELEMENTOS DE UM SISTEMA INFORMACIONALO BIT

O uso de logaritmos de base 2 é muito comum na teoria matemática da informação.

Eles tem a propriedade de que a unidade de informação correspondente a p= 1/2, implica em que (p= 1/2) = 1.

Se nós usamos a base 2, a informação contida é expressa em dígitos binários – bits.

45

Teoria da Informação

0 1

1bit 46

Teoria da Informação

47

00 01

10 11

1bit

1bit


Obs: A palavra bit foi criada por J.W Tukey como contração da expressão binary digit e usada pela primeira vez por pela primeira vez por Shanon (1948).

[Cf. Shannon & Weaver (1948, p.9)]

48


A informação é medida (quantificada) em bits, ou unidades binárias, a qual é o montante de informação que pode ser armazenado um único símbolo binário.

Na teoria da informação esta quantidade é definida em termos de probabilidade da ocorrência do evento.

49

TEORIA MATEMÁTICA DA INFORMAÇÃOELEMENTOS DE UM SISTEMA INFORMACIONALA INFORMAÇÃO CONTIDA NA MENSAGEM

Questão:

Por que usar logaritmos para medir a informação?

50


Assim, qualquer escolha entre duas alternativas igualmente prováveis constitui um bit.Os computadores não se preocupam com a origem dos bits; todos são representados por uma escolha entre dois números, 0 e 1.

57


A informação só pode ser recebida onde haja dúvida, e dúvida implica a existência de alternativas - em que se exija escolha, seleção ou discriminação.

58

60

George BOOLE(1815-1864)Usou apenas

doiscaracteres para

codificar asoperações

lógicas.

0 10 1

Representação gráficada função informação

66


A teoria da informação mostra que na realidade são os eventos inesperados (improváveis) que informam.

Mas para haver um um evento inesperado (improvável) é necessário desconhecimento, pois do contrário, nada haveria para ser informado.

67


Quanto menor a incerteza, menor a quantidade de informação contida numa mensagem.Quanto maior a probabilidade de ocorrência de um evento, menor é a incerteza.

68

TEORIA MATEMÁTICA DA INFORMAÇÃOELEMENTOS DE UM SISTEMA INFORMACIONALO BIT - EXEMPLO

Implicação: quando todos os estados são equiprováveis, temos a mesma medida de informação.

69

ENTROPIA

- Originalmente definida pelos físicos no equilíbrio termodinâmico;- Após, formalizada no contexto da mecânica estatística;- Introduzida na teoria da informação por Shannon (1948);- Amplamente usada na teoria do aprendizado computacional.

73

TEORIA MATEMÁTICA DA INFORMAÇÃOELEMENTOS DE UM SISTEMA INFORMACIONALENTROPIA

A entropia tem um valor zero quando há uma mensagem que é certa que irá ocorrer (isto é, um evento descrito com probabilidade igual a 1) e todos as outras mensagens nunca irão ocorrer. O máximo de entropia ocorre quando todas as mensagens são igualmente prováveis, as quais correspondem a situação de grande incerteza sobre os resultados.

76


A magnitude da entropia é uma medida do grau de indeterminação de uma distribuição probabilística.A entropia se anula se, e somente se, todos os valores de pi forem nulos , a exceção de um deles, que será igual a unidade. Neste caso a situação é completamente determinada, ocorrendo um evento com plena certeza, insto é, sem indeterminação.

77


A entropia é maior quando a informação média em relação a todos os estados do sistema, ou seja, a informação sobre o conjunto se torna mais importante do que a informação seletiva referida a um estado ou a um indivíduo isolado.

78


A entropia é uma medida do grau de indeterminação de uma distribuição estatística. Quando um sistema se organiza temos que há redução da entropia. Em outros termos, temos que ele se torna mais previsível.Num sistema completamente organizado só pode ocorrer uma coisa, isto implica, por exemplo que pj=1 e pi = 0 quando i≠j. Neste caso a entropia é mínima e o sistema não é informativo.

79


A entropia cresce quando o número possível de estados gerados pelas múltiplas combinações de eventos também cresce. Isto significa que sistemas mais ricos em número de estados e portanto, mais aleatórios, apresentam entropia mais elevada.

80


A entropia atinge seu valor máximo quando os estados do sistema forem iguais ou equiprováveis, ou seja, apresentam probabilidades de ocorrência iguais.

81


A entropia pode ser encarada como uma medida do grau de aleatoriedade do sistema, quanto maior for a entropia, maior será a dispersão da informação e, portanto, mais valiosa ela será.

82

TEORIA MATEMÁTICA DA INFORMAÇÃOELEMENTOS DE UM SISTEMA INFORMACIONAL –REDUNDÂNCIA

A redundância é aquilo que é previsível ou convencional numa mensagem. O oposto de rendundância é a entropia.A redundância é o resultado de uma alta previsibilidade e a entropia de uma baixa previsibilidade

84


Uma mensagem com baixa previsibilidade pode ser dita ser entrópica e conter, assim, uma grade quantidade de informação (medida em bits).Ao contrário, uma mensagem altamente previsível é redundante e com baixo conteúdo informativo.

85


Entropia é uma medida do grau de aleatoriedade.Redundância é o que é previsível e convencional numa mensagem, com baixo conteúdo informacional.

86


A língua inglesa é 50% redundante.Isto significa que nós podemos deletar cerca de 50% das letras e ainda assim termos uma linguagem usável capaz de transmitir uma mensagem compreensível.[cf. Edwards, p.63 e Shannon & Weaver, p.13]

87


Na teoria da informação nós consideramos uma fonte de mensagem, tal como um escritor ou um palestrante, o qual pode Produzir numa dada ocasião qualquer uma de muitas possíveis mensagens. O montante de Informação transmitido pela mensagem aumenta a medida em que o montante de incerteza do que a mensagem realmente irá produzir torna-se maior. Uma mensagem a qual é uma entre dez possíveis mensagem transmite um menor montante de informação do que uma mensagem a qual é uma entre um milhão de possíveis mensagens. A entropia da teoria da comunicação é uma medida desta incerteza e a incerteza , ou a entropia, é tomada como a medida do montante de informação transmitida por uma mensagem de uma fonte. Quanto mais nós sabemos sobre a mensagem que a fonte irá produzir, menos incerteza, menos entropia e menos informação.

Pierce (1980, p.23)88

Redundância

O fato de que a linguagem natural é muito redundante é muito útil: ela nos permite compreender os textos que são escritos de um modo não claro.Redundância de imagens também é útil quando as reproduzimos de modo imperfeito (xerox, fax, etc).

89

A medição do conteúdoinformativo de uma previsão

Uma previsão é uma mensagem sujeita a erro ou uma mensagem incerta.Vamos admitir que a probabilidade de ocorrência de um evento, estabelecida com bases em séries históricas, seja p = 0,2. Então o conteúdo da informação – o evento ocorreu seria:I(p) = ln (1/0,2) = 1,6094 nits (natural units – quando se usa o logaritmo natural)

90

A medição do conteúdoinformativo de uma previsãoSuponha que a previsão do evento no ano anterior havia afirmado que ele iria ocorrer e admitamos que, tendo em vista os resultados das previsões anteriores, a probabilidade de que o evento realmente corra seja y = 0,6.Portanto, o conteúdo da informação de que o evento ocorre é dado por:I(y) = ln (1/0,6) = 0,5108 nits

91

A medição do conteúdoinformativo de uma previsão

Podemos dizer que, quando uma mensagem está sujeita a erro (como no caso de uma previsão), o conteúdo informativo da mensagem que afirma (ou prevê) que o evento irá ocorrer é dada por:I(y;p) = log (y/x)

92

TEORIA MATEMÁTICADA INFORMAÇÃO

FIM93

teoria matemática da informação 2 - shannon [19!03!12]

Documents