análise forense de documentos digitais -...

Prof. Dr. Anderson [email protected]

http://www.ic.unicamp.br/~rocha

Reasoning for Complex Data (RECOD) Lab.Institute of Computing, Unicamp

Av. Albert Einstein, 1251 - Cidade UniversitáriaCEP 13083-970 • Campinas/SP - Brasil

Análise Forense deDocumentos Digitais

* Slides preparados baseados em apresentação deF. R. Siqueira e T. F. Roberti, MO447 (2010s2)

mailto:[email protected]

mailto:[email protected]



Técnicas para Identificação de Manipulações Baseadas em Inconsistências do Processo

de Aquisição

Organização

A. Rocha, 2011 – Análise Forense de Documentos Digitais 4

Organização

‣ Introdução

‣ Estado da Arte

‣ Conclusão

Introdução


Introdução

‣ Diversas imagens estão sendo adulteradas e apresentadas como verdadeiras para incriminar ou levar as pessoas a acreditar em uma informação falsa.

‣ A olho nu pode ser muito difícil de determinar se a imagem foi ou não adulterada.

‣ Algoritmos foram propostos para tentar encontrar inconsistências em imagens adulteradas e expô-las.

A. Rocha, 2011 – Análise Forense de Documentos Digitais

Estado da Arte


Estado da Arte

‣ Exposing digital forgeries in color filter array interpolated images [Popescu & Farid. 2005]

‣ Detecting doctored images using camera response normality and consistency [Lin et al. 2005]


Exposing digital forgeries in CFA

‣ Uma imagem digital consiste de três canais que contém amostras do espectro de cor, por exemplo, vermelho, verde e azul.

‣ Na maioria das câmeras, apenas uma cor é guardada em cada posição de pixel, as outras duas cores devem ser estimadas de acordo com seus pixels vizinhos para que seja possível obter os três canais de cores da imagem.

9



‣ Os autores apresentam diversos modelos de interpolação de cores como, por exemplo, combinação linear de um pixel com seus vizinhos.

10



11

‣ Os autores assumem um modelo linear simples, onde cada pixel interpolado é correlacionado com uma soma de diferentes pesos em uma pequena vizinhança.

‣ Utilizou-se um algoritmo de Maximização da Esperança (EM) para determinar as amostras que são correlacionadas com seus vizinhos, e como estes se relacionam.



12

© A

. Pop

escu

© A

. Pop

escu



13

‣ Nas imagens anteriores, as colunas da esquerda mostram exemplos de fotos de câmeras que utilizam os algoritmos de interpolação citados no artigo.

‣ As colunas do meio mostram as probabilidades estimadas para o canal de cor verde (semelhante para os canais vermelho e azul).

‣ As colunas da direita mostram a magnitude da Transformada de Fourier aplicada nos mapas de probabilidade. Os picos nas imagens correspondem as correlações periódicas de CFA.



14

‣ Os autores também mostram como utilizar essas características de interpolação para detectar inconsistências nas imagens causadas por falsificações.

© A

. Pop

escu


Estado da Arte

‣ Exposing digital forgeries in color filter array interpolated images [Popescu & Farid. 2005]

‣ Detecting doctored images using camera response normality and consistency [Lin et al. 2005]


Detecting doctored images using camera response

16

‣ Existem muitas maneiras de se alterar uma imagem sendo, em alguns casos, com objetivos maliciosos.

‣ Na maioria das vezes é difícil identificar uma imagem adulterada.



17

‣ Imagens falsificadas podem ser detectadas em vários níveis.

• No nível mais alto, analisa-se o que está contido na imagem usando a relação entre os objetos. Como, por exemplo, Getúlio Vargas não estaria em uma foto com o D. Pedro II.

• Em um nível intermediário, poderíamos identificar inconsistências na imagem como tamanho de objetos, cor, sombra, etc.

• No mais baixo nível, temos características locais como nível de ruído e qualidade da junção de bordas.



18

‣ Humanos são bons com os níveis alto e intermediário. E tem alguma habilidade com o nível mais baixo.

‣ Computadores são ruins na análise do nível mais alto, e possuem um bom desempenho nos níveis intermediário e baixo.



19

‣ Os autores propõe um novo método para detecção de imagens falsificadas por meio da função de resposta da câmera.

‣ Selecionam-se blocos ao longo das bordas da imagem.

‣ Se a imagem é real, então diferentes blocos devem possuir a mesma função de resposta. Caso contrário, a imagem pode ter sido adulterada.


Função de Resposta da Câmera

20

‣ A função de resposta da câmera é uma função de mapeamento da irradiância (luz incidente) em um ponto da imagem para o valor do pixel correspondente àquele ponto.

‣ Em câmeras com sensor de cor CCD, cada um dos canais de cor (RGB) possui uma função de resposta.



21

© S

. Lin



22

‣ Em (a), na figura acima, a primeira e a segunda coluna de pixels formam uma região de radiância R1, a última coluna da imagem tem radiância R2, e a terceira coluna contém pixels da junção das duas regiões.

‣ Em (b), a irradiância das primeiras duas colunas mapeiam para o ponto I1, enquanto a última coluna mapeia para I2. A terceira coluna é uma combinação linear de I1 e I2.

‣ Em (c), a função de resposta da câmera f, transforma o segmento de reta de (b) em uma curva.



23

‣ Os sensores ópticos funcionam quase linearmente, contudo os pixels resultantes não são proporcionais à quantidade de luz incidente. Algumas das razões para isso seriam:

• A conversão de analógico para digital pode não ser feita linearmente.

• Possíveis pós-processamentos (correção Gamma, balanceamento de brancos, etc.), em câmeras que salvam a imagem em JPEG, TIFF.



24

‣ Computa-se uma aproximação para a função inversa da resposta da câmera, g = f -1, para mapear as cores de RGB de volta para a irradiância, de forma que a relação linear nas bordas é recuperada da melhor maneira possível.

‣ Para cada bloco de borda da imagem com regiões de cor M1 e M2. A função inversa g deve mapear a cor medida em cada ponto p do bloco, de cor Mp, em uma linha.



25

© S

. Lin



26

‣ A função g satisfaz essa propriedade se a distância se de g(Mp) até a linha g(M1)g(M2) é zero, formula-se como:

‣ Onde × é um produto vetorial.



27

‣ Define-se Ω = {<M1, M2, Mp>} como o conjunto de

triplas de cor de um bloco. Para uma imagem, a distância total é da forma:

‣ Então, tem-se como objetivo a função g que minimiza a distância total.



28

‣ Para que Ω seja formado é necessário que:

• As áreas das duas regiões particionadas pela borda (regiões de cores M1 e M2), devem ser as mais próximas possíveis entre si.

• A variância das cores dentro das regiões deve ser a menor possível.

• A diferença entre as cores médias das regiões particionadas pela borda deve ser a maior possível.

• As cores dos pixels dentro da região de borda devem estar entre M1 e M2.



29

‣ Estes blocos podem ser escolhidos automaticamente ou por interferência do usuário em alguma imagem suspeita.

‣ A seleção manual é preferida, pois a seleção automática pode ignorar blocos em regiões de oclusão e os resultados podem não ser os melhores possíveis de acordo com o alto nível.



30

‣ Para realizar a minimização de D(g; Ω), utiliza-se uma

estimativa Bayesiana.

‣ Com base em um conhecimento prévio de função de resposta de câmeras reais a partir de Database of Response Functions (DoRF).


DoRF database

31

‣ O DoRF database é um banco de dados organizado por Michael D. Grossberg & Shree K. Nayar [Grossberg & Nayar. DoRF 2003].

‣ Trata-se de 201 funções de respostas de câmeras de imagem e vídeo diferentes.


DoRF database

© M

. D. G

ross

berg

32


DoRF database

33

‣ Grossberg & Nayar fizeram uso do algoritmo de PCA em cima de uma base de treinamento nomeada como Empirical Model of Response (EMoR), contendo 175 curvas, as outras 26 foram deixadas para o conjunto de teste.

‣ Foram escolhidos os auto-vetores associados aos quatro maiores auto-valores.

‣ Os primeiros três auto-valores correspondiam a cerca de 99,5% da energia.


DoRF database

34

© M

. D. G

ross

berg



35

‣ Lin et al. utilizaram o mesmo modelo de Grossberg & Nayar, mas selecionando os auto-vetores associados aos cinco maiores auto-valores, formando a matriz H.

‣ Então, representa-se a inversa da função de resposta, g, como:

g = g0 + cH



36

‣ Onde g0 = [gR0, gG0, gB0]T é a média da inversa da função de resposta, c = [cR, cG, cB]T é um vetor de coeficientes que representam a função g em R3×5.

‣ Computa-se então uma estimativa maximum a posteriori (MAP).


MAP

37

‣ Deseja-se estimar uma população não-observada θ. Se f é uma

distribuição de x então:

‣ É uma função de verossimilhança (likelihood). Assumindo que uma distribuição a priori g sobre θ existe, tem-se, a partir de

uma aplicação direta do Teorema de Bayes:

‣ Onde argmax de f(x | θ) é a máxima função de

verossimilhança .



38

‣ Então, agora calcula-se a distribuição a priori e a função de verossimilhança.

‣ Distribuição a priori, obtida através do DoRF database modelada com uma mistura de modelos Gaussianos, onde são calculadas K = 5 Gaussianas através de um algoritmo de EM:

‣ Em que αi define um peso, µi a média e Ʃi a covariância para a i-ésima Gaussiana.



39

‣ Função de verossimilhança, modelada como uma exponencial, pois g deve ter um valor baixo de distância total (Distância é baixa para elementos com alta similaridade):

‣ Onde λ é uma constante utilizada como 104 e Z é uma constante de normalização.



40

‣ Aplicando os parâmetros p(g) e p(Ω | g), na estimativa

MAP:

‣ Aplicando log na função, g* pode ser reescrita como:

‣ Onde g* é a solução ótima de E(g).



41

‣ Finalmente, a minimização é calculada pelo método de Levenberg-Marquardt.

‣ Após a convergência do algoritmo, o resultado é refinado utilizando um algoritmo de busca guloso.

‣ Dessa maneira, tem-se calculada uma aproximação para a inversa da função de resposta.



42

‣ As funções de resposta, normalmente, possuem as seguintes propriedades:

• Devem ser monotonicamente crescentes.

• Após uma suavização, deve ter no máximo um ponto de inflexão.

• Os três canais de cor devem ser próximos entre si.

‣ Estas propriedades também valem para as inversas das funções de resposta.



43

‣ Então, para avaliar as funções de resposta, define-se as seguintes funções:



44

‣ O objetivo é fazer com que os resultados das funções acima seja mínimo.

‣ fmono penaliza as funções não-monotônicas crescentes.

‣ ffluc aumenta para funções com mais do que um ponto de inflexão.

‣ fdiv tenta aproximar os canais de cor entre si o máximo possível.



45

‣ Treina-se um classificador SVM utilizando um vetor 3D (fmono, ffluc, fdiv) da seguinte maneira:

• Positivo – Treinado com exemplos do DoRF database.

• Negativo – As curvas coletadas pelo algoritmo em imagens adulteradas.

‣ SVM retorna como resultado o nível de confiança c.



46

‣ Quanto maior |c|, maior a confiança.

‣ Um c negativo indica anormalidade, enquanto c positivo indica normalidade.


Resultados

47

‣ Nas imagens a seguir, serão mostradas diferentes estratégias de seleção de blocos.

‣ Onde a imagem (a1) é a imagem original e (a2) é um exemplo de seleção dos blocos.

‣ F, S e B são, respectivamente, objeto, bordas suspeitas e fundo. E c é a resposta do classificador SVM.


Resultados

50

‣ As imagens a seguir são um exemplo de imagens adulteradas.

‣ A imagem (b1) é a imagem adulterada.

‣ A imagem (b2) é um exemplo de seleção de blocos de borda.


Resultados

53

‣ Os resultados apresentados abaixo são de imagens que foram adulteradas utilizando Lazy Snapping.

‣ Lazy Snapping é uma ferramenta em que o usuário seleciona o objeto a ser segmentado e o fundo da imagem próximo ao objeto selecionado.

‣ O fundo foi facilmente detectado como normal e as regiões de borda foram identificadas como anormais.


Limitações

57

‣ As imagens devem ter contraste alto para que o intervalo de cores dos blocos selecionados seja grande o suficiente.

‣ Também deve conter várias bordas cujas regiões sejam homogêneas, para uma maior seleção de blocos.

‣ Ainda assim, o algoritmo pode falhar se a composição for feita com imagens de uma mesma câmera.


Limitações

58

‣ Caso a composição da imagem tenha sido feita por câmeras não documentadas no DoRF, a imagem pode ser mal analisada.

‣ Deve-se balancear a distribuição dos blocos selecionados entre objeto, fundo e bordas suspeitas.

‣ Finalmente, se a função de resposta da câmera variar pela imagem, como acontece com algumas câmeras (HP photosmart e câmeras utilizando sensor CMOS), a detecção ficaria comprometida.

Conclusões


Conclusões

60

‣ Os autores apresentam uma interessante ferramenta de detecção de inconsistências, possivelmente causadas por adulterações, em uma imagem através da função de resposta da câmera.

‣ O artigo porém não apresenta muitos resultados, sendo assim difícil de concluir se o algoritmo apresentado realmente tem resultados consistentes em um grande número de imagens.


Conclusões

61

‣ Não são apresentados o volume de dados de treinamento e teste, bem como o número de falso-positivos e falso-negativos do algoritmo de classificação.

‣ É necessária constante intervenção do usuário para uma maior confiabilidade do algoritmo.

Referências


Referências1.[Lin et al. 2004] S. Lin, J. Gu, S. Yamazaki, and H.-Y. Shum. (2004). Radiometric Calibration from a Single Image. In Proceedings of CVPR , pp. 938-945.

2.[Grossberg & Nayar. 2003] M.D. Grossberg and S.K. Nayar. (2003). What Is the Space of Camera Response Functions? In Proceedings of CVPR, pp.II: 602-609.

3.[Lin et al. 2005] Z. Lin, R. Wang, X. Tang, and H.-Y. Shum. (2005). Detecting doctored images using camera response normality and consistency. In Intl. Conference on Computer Vision and Pattern Recognition (CVPR), New York, USA.

4.[Popescu & Farid. 2005] Alin C. Popescu and Hany Farid. (2005) Exposing digital forgeries in color filter array interpolated images. IEEE Transactions on Signal Processing (TSP), 53(10):3948-3959.

5.[Grossberg & Nayar. 2004] Michael D. Grossberg and Shree K. Nayar. (2004). Modeling the Space of Camera Response Functions. IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 26, no. 10.

6.[Grossberg & Nayar. DoRF 2003] Michael D. Grossberg and Shree K. Nayar. (2003). DoRF database. http://www.cs.columbia.edu/CAVE/software/softlib/dorf.php

Obrigado!

análise forense de documentos digitais -...

Documents