02 - analise forense de documentos

Prof. Dr. Anderson [email protected]

http://www.ic.unicamp.br/~rocha

Reasoning for Complex Data (RECOD) Lab.Institute of Computing, Unicamp

Av. Albert Einstein, 1251 - Cidade UniversitriaCEP 13083-970 Campinas/SP - Brasil

Anlise Forense deDocumentos Digitais

Organizao

A. Rocha, 2012 Anlise Forense de Documentos Digitais

Organizao

Atribuio de Fontes (Modelo e Tipo Especfico)

Cmera Scanner

Identificao de Criaes Sintticas Tcnicas Contra-Forenses

3

Atribuio de Fontes


Cmera Camcorder Scanner Impressora

Atribuio de Fontes

5


Tcnicas para apontar/atribuir O modelo do dispositivo de aquisio

O dispositivo exato

Atribuio de Fontes

6

Atribuio doModelo de Cmera


Atribuio do Modelo

Informaes relacionadas ao processo de aquisio

Caractersticas das lentes Tipo a tamanho dos sensores de aquisio Tipo de filtro de mosaico/demosaico Informaes dos algoritmos da DIP

8


Pipeline Cmera

9

Luz Sistema de Lentes

Exposio, Foco e Estabilizao da Imagem

FiltrosInfra-vermelho,

anti-serrilhamento, max. qualidade visvel

Sensores de Imageamento

CCD, CMOS...

Color Filter Arrays (CFA)...

Mosaico

Demosaico Correes (white) Realce Correo de

Abertura e Gamma Compresso etc.

Proc. Imagem (DIP)

Fotografia Resultante

A. Rocha


Estado da Arte

Anlise de ps-processamento[Kharrazi et al. 2004] Anlise de artefatos de mosaico/demosaico [Popescu & Farid 2004; Bayram et al. 2005b] Artefatos em tabelas de quantizao JPEG[Popescu 2004] Distores de lentes[Choi et al. 2006]

10


Mosaico/Demosaico

11

92 40

76 28

29 50

67 28

43 =(29 + 50 + 67 + 28)

459 =

(92 + 40 + 76 + 28)

472 = 72

+ +

=

A

. Roc

ha


Anlise de Artefatos CFA

Hiptese: linhas e coluna de imagens interpoladas

provavelmente possuem correlaes com seus vizinhos

relao de vizinhana pode ser fornecida por kernels de tamanhos especficos (e.g., 3x3, 5x5, etc.)

12



[Popescu 2004] apresentam um algoritmo de maximizao da esperana (EM) Dois estgios Esperana Maximizao

13



No estgio da esperana (E), estima-se a probabilidade de cada amostra pertencer a um modelo em particular No estgio da maximizao (M), estima-se a forma especfica das correlaes entre as amostras

14



Mais especificamente, podemos assumir que cada amostra pertence a um de dois modelos possveis Se a amostra linearmente correlacionada com seus vizinhos ela pertence ao Modelo 1. Caso contrrio, ao Modelo 2

15



Funo de correlao linear

f um canal de cor (RGB) aps o demosaico, k um inteiro e N distribuio normal iid u,v so offsets dos pixels um vetor de coeficientes lineares que expressa as correlaes

16

f(x, y) =kX

u,v=ku,vf(x+ u, y + v) +N (x, y),



17

Pr{f(x, y) M1|f(x, y)} = Pr{f(x, y)|f(x, y) M1}Pr{f(x, y) M1}P2i=1 Pr{f(x, y)|f(x, y) Mi}Pr{f(x, y) Mi}

,

Pr{f(x, y) M1} e Pr{f(x, y) M2}

Esperana estima a prob. de cada amostra pertencer ao Modelo 1

so prob. a priori (1/2)



Se assumirmos que uma amostra gerada pelo Modelo 1, a probabilidade de isso ocorrer

Assumimos que o Modelo 2 tem uma distribuio uniforme

Estimamos a varincia no estgio M 18

Pr{f(x, y)|f(x, y) M1} = 12

1

22

f(x, y)

kXu,v=k

u,vf(x+ u, y + v)

2.



19

No estgio M precisamos estimar os coeficientes da correlao

Usamos mtodo dos mnimos quadrados

Os pesos w so equivalentes a E() =

Xx,y

w(x, y)

f(x, y)

kXu,v=k

u,vf(x+ u, y + v)

2.

Pr{f(x, y) M1|f(x, y)}



20

A

. Pop

escu

A

. Pop

escu



21

1. Cem imagens com interpolao CFA

2. Algoritmos

1. Bilinear

2. Bicubic

3. Smooth hue

4. Median (3 & 5)

5. Gradient

6. Adaptive Color Plane

7. Variable Gradients

A

. Pop

escu



Problemas? Quais so os possveis ataques a essa

abordagem?

Podemos empregar aprendizado de mquina? Podemos usar isso no cenrio de investigao

de adulteraes de imagens?

22

Atribuio daCmera em Especfico


Atribuio direta

Caractersticas nicas da cmera em anlise Imperfeies dos componentes Defeitos e falhas decorrentes do ambiente e

condies de operao

Dead e cold pixels, pixel traps etc.

24


Estado da Arte

Anlise dos efeitos do rudo inserido no processo de captura[Lukas et al. 2006] Artefatos originados pela presena de poeira nos sensores no momento de aquisio[Dirik et al. 2007] Efemeridade

25


Anlise de Rudo

26

Padro de Rudo

Foto-responsividade no uniforme (PRNU)

Padro Fixo (FPN)

No Uniformidade de Pixels (PNU)

Defeitos de Baixa Frequncia

A. Rocha


FPN Aditivo e decorrente de dark-currents dependentente do tempo de exposio e

temperatura

Pode ser removido in-camera extraindo-se um quadro preto (dark frame)

27

Anlise de Rudo


PRNU Multiplicativo Causado pelo rudo no uniforme dos pixels (PNU)

e defeitos de baixa frequncia

Definido como a sensitividade que diferentes pixels tm em relao luz

Causado por inconsistncias na fabribao do sensor de captura

28

Anlise de Rudo


PRNU Os defeitos de baixa frequncia so causados

pelos efeitos da refrao da luz nas partculas devido a configuraes de zoom e superfcie tica

No utilizado no trabalho de [Lukas et al. 2006]

29

Anlise de Rudo


Para utilizar o rudo PNU no cenrio forense, este precisa ser isolado

Em um cenrio forense certamente no teremos um padro de referncia

Temos que estabelecer um padro de referncia Pc, uma aproximao do rudo PNU

30

Anlise de Rudo

A. Rocha, 2012 Anlise Forense de Documentos Digitais 31

Anlise de Rudo

I(k) =1

K

KXk=1

Ik.

No processo de aproximao, fazemos a mdia de K imagens de uma cena uniforme (lit scene) como o cu, por exemplo

Esta aproximao pode ser otimizada de modo a suprimir o contedo da cena


Anlise de Rudo

Filtro de supresso/remoo de rudo (denoising)

Wavelet denoising uma boa escolha Como determinar se uma dada imagem Iteste pertence

a uma determinada cmera?

(k) = (I(k) (I(k)))/K


Anlise de Rudo

Como determinar se uma dada imagem Iteste pertence a uma determinada cmera?

Calcula-se a correlao entre o rudo residual da imagem em questo e o padro de referncia

c(I) =( ) (Pc Pc) Pc Pc .


Anlise de Rudo

Mtodo com timos resultados Problemas

Sincronizao (modificaes de escala e recorte)

Fora bruta para achar as transformaes Podemos empregar aprendizado de mquina?

34

Atribuio deScanner


Atribuio de Scanner

O processo de fabricao de qualquer dispositivo eletrnico de captura introduz defeitos nos sensores de imageamento

Como funciona o processo de captura de um scanner?

36


Aquisio via Scanner (recap)

37

DocumentoOriginal

Fonte de Luz Lentes, Espelhos e Sensores de Imageamento

Amplificador, ADC

Software de Ps-Processamento, Correo de Cores, Correo Gamma...

ImagemDigital

A

. Roc

ha


Aquisio via Scanner (recap)

38

Documento Original

Sentido de Leitura

Sensor

EspelhosCaminho da luz

Lentes

Lentes, Espelhos e Sensores de Imageamento

ImagemDigital

Fonte de Luz

Amplificador, ADC

Software de Ps-Processamento, Correo de

Cores, Correo Gamma...

Cabea de Leitura

A

. Roc

ha


Atribuio de Scanner

Scanners possuem Resoluo horizontal (sensor) e vertical

(motor de passo)

Motor de passo Estabilizador

39


Atribuio de Scanner

Como os scanners fazem escaneamentos em resoluo no-nativa?

Sub-amostragem Amostragem normal seguida de ajustes in-

scanner (maioria)

40


Estado da Arte

Extenses da anlise de rudo FPN[Gloe et al. 2007a] e [Gou et al. 2007]

Anlise de rudo considerando as propriedades de captura unidimensionais e peridicas do scanner[Khanna et al. 2009]

41


Rudo e Periodicidade

Construo do padro de referncia Mdia das linhas (devido ao motor de passo) Mdia de mltiplas imagens Anlise de correlao

42



Filtro de supresso/reduo de rudo Com K imagens podemos construir o padro

de referncia (2D) de um dado scanner

43

Iknoise = Ik Ikdenoised

eIarraynoise (i, j) = 1KKXk=1

Iknoise(i, j); 1 i M e 1 j N

eIarraynoise (i, j) = 1KKXk=1

Iknoise(i, j); 1 i M e 1 j N



Padro de referncia 1D

Como atribuir uma imagem em especfico a um scanner?

44

eI linearnoise (1, j) = 1MMXi=1

eIarraynoise (i, j); 1 j N.eI linearnoise (1, j) = 1MMXi=1

eIarraynoise (i, j); 1 j N.



Correlao entre a assinatura de um scanner e um padro de referncia

Tcnica com bons resultados na prtica Palavra final?

45

C(X,Y ) =(X X) (Y Y )

||X X|| ||Y Y || .



Palavra final? Problemas Scanners usam parcialmente a superfcie de

captura (vidro)

Esta abordagem requer condies similares de captura para funcionar

46



[Khanna et al. 2009] prope uma anlise estatstica sobre os vetores de assinatura

Mdia das linhas e colunas em Clculo da correlao entre cada linha de e

a mdia das linhas de

Similarmente para as colunas47

eI lnoise e eIcnoiseInoiseeI lnoise



Estatsticas de ordem sobre as novas caractersticas (mdia, varincia, moda,curtose, etc.)

Classificador de padres Bons resultados

48

Tcnicas Contra-Forenses em Atribuio


Abordagens Contra-Forenses

Tcnicas de atribuio de dispositivos de captura vs. Tcnicas contra-forenses

[Gloe et al. 2007b] observam que um filtro de supresso/reduo de rudo baseado em wavelets no elimina o rudo totalmente

Pode aplicar um mtodo de flatfielding para capturar o rudo restante

50



Para estimar o rudo fixo (FPN) pode-se utilizar imagens de um quadro preto

Para estimar o rudo PRNU, usa-se K imagens de uma cena homognea (e.g., cu azul) subtraindo-se o a estimativa FPN

51

Idark estimate =1

J

XJ

Idark.



Estimativa de flatfielding

Com as estimativas em mos, pode-se suprimir as caractersticas de rudo em uma imagem de uma cmera em especfico

Como?52

Iflatfield =1

K

XK

(Ilight Idark estimate).



Retirando a assinatura de rudo Flatfielding difcil devido ao grande nmero de

parmetros que precisam ser levados em conta

tempo de exposio velocidade de captura ISO etc.

53

I =I Idark estimate

Iflatfield.



54

Iforge = I Iflatfield forge + Idark forge.

Aps a extrao de padro de rudo, como substitu-lo como outro padro?

O padro de rudo de uma cmera pode ser substitudo com a operao de flatfielding inverso

Identificao deCriaes Sintticas


Identificao de Criaes Sintticas

CPPA Possesso de imagens de menores de idade

considerado crime

Imagens geradas em computador no so crime

E se algum fotografa um menor e modifica propriedades no computador?

56


Estado da Arte

Decomposio multi-escala e anlise estatstica[Lyu 2005]

Diferenas em modelos de superfcie (imagens naturais vs. imagens sintticas)[Ng et al. 2005]

Propriedades de aquisio rudo[Dehnie et al. 2006]

57


Estado da Arte

Anlise do comportamento de imagens naturais e geradas em computador mediante sucessivas perturbaes[Rocha & Goldenstein 2007, Rocha&Goldenstein 2010]

Propriedades de aquisio artefatos de mosaico/demosaico[Dirik et al. 2007]

58


Decomposio multi-escala e anlise estatstica

[Lyu 2005], apresentaram uma tcnica para identificao de imagens sintticas baseado na decomposio wavelet de imagens

Extenso de um trabalho anterior para o cenrio de deteco de mensagens escondidas em imagens digitais

59



Hiptese imagens naturais possuem regularidades

detectveis com estatsticas de alta ordem

o processo de criao de uma imagem em computador insere artefatos estatsticos nas imagens produzidas

60



Como funciona o mtodo? Decomposio QMF da imagem em mltiplas

escalas e orientaes

anlise estatstica em duas fases anlise direta predio linear dos erros de magnitude

61



62

D1

D3

D2

L

V1

H1

H2

V2

V3

H3

A. Rocha

A

. Roc

ha



A anlise direta das mltiplas escalas e orientaes consiste em calcular

mdia varincia moda curtose

63



A predio linear dos erros de magnitude consiste em estimar as possveis correlaes entre um pixel e seus vizinhos multi-escala

64



Preditor linear para a sub-banda vertical

denota os valores escalares de peso dos coeficientes

65

Vi(x, y) = w1Vi(x 1, y) + w2Vi(x+ 1, y) + w3Vi(x, y 1)+w4Vi(x, y + 1) + w5Vi+1(

x

2,y

2) + w6Di(x, y)

+w7Di+1(x

2,y

2),

wk



Como calcular os coeficientes e erro?

V contm os coeficientes de magnitude de caractersticas para trs

escalas

66

E(w) = [V Qw]2,w = (w1, . . . , w7)

T

Vi(x, y)

F = 2 3 4 s = 72


Diferenas fsicas nos processos de captura e gerao

[Ng et al. 2005] desenvolvem dois nveis para separao de imagens naturais e sintticas

Autenticidade em nvel de processamento (imagens capturadas por algum sensor)

Autenticidade em nvel de cena (snapshot de um campo de luz)

Definio de diversas caractersticas67


Diferenas fsicas nos processos de captura e gerao

Dimenso fractal local para capturar a complexidade de texturas

Vetores de patches locais para capturar propriedades de arestas

Superfcie gradiente para capturar a forma de resposta de uma cmera

Geometria quadrtica local para capturar propriedades poligonais dos objetos computadorizados

68

Tcnicas Contra-Forenses em

CGI vs. Naturais


Abordagens Contra-forenses

Ataques de recaptura Como ficam abordagens baseadas em anlise de

artefatos de captura?

Como ficam abordagens baseadas em propriedades de textura e regularidade?

A abordagem de [Ng et al. 2005]70

Referncias


Referncias

1. [Bayram et al. 2005b] Bayaram, S., Sencar, H., Memon, N. e Avcibas, I. (2005b). Source camera identification based on CFA interpolation. In Intl. Conf. on Image Processing (ICIP), Genova, Italy.

2.[Choi et al. 2006] Choi, K. S., Lam, E. e Wong, K. (2006). Automatic source camera identification using the intrinsic lens radial distortion. Optics Express, 14(24):11551-11565.

3.[Dehnie et al. 2006] Dehnie, S., Sencar, T. e Memon, N. (2006). Identification of computer generated and digital camera images for digital image forensics,. In Intl. Conf. on Image Processing (ICIP), Atlanta, USA.

4.[Dirik et al. 2007] Dirik, E., Sencar, H. e Memon, N. (2007). Source camera identification based on sensor dust characteristics. In IEEE Intl. Workshop on Signal Processing Applications for Public Security and Forensics (SAFE), pp. 1-6, Washington DC, USA.

5.[Gloe et al. 2007a] Gloe, T., Franz, E. e Winkler, A. (2007a). Forensics for flat-bed scanners. In SPIE Intl. Conf. on Security, Steganography, Watermarking of Multimedia Contents, pp. 65051-I.

6.[Gloe et al. 2007b] Gloe, T., Kirchner, M., Winkler, A. e Bohme, R. (2007b). Can we trust digital image forensics?

7.[Gou et al. 2007] Gou, H., Swaminathan, A. e Wu, M. (2007). Robust scanner identification based on noise features. In SPIE Security, Steganography, and Watermarking of Multimedia Contents (SSWMC), San Jose, USA.

8.[Khanna et al. 2009] Khanna, N., Mikkilineni, A. K. e Delp, E. J. (2009). Scanner identification using feature-based processing and analysis. IEEE Transactions on Information Forensics and Security (TIFS), 4(1):123-139.

72


Referncias

10.[Kharrazi et al. 2004] Kharrazi, M., Sencar, H. e Memon, N. (2004). Blind source camera identification. In Intl. Conf. on Image Processing (ICIP), Singapore.

11.[Lukas et al. 2006] Lukas, J., Fridrich, J. e Goljan, M. (2006). Digital camera identification from sensor noise sensor. IEEE Transactions on Information Forensics and Security (TIFS), 1(2):205-214.

12.[Lukas et al. 2006] Lukas, J., Fridrich, J. e Goljan, M. (2006). Digital camera identification from sensor noise sensor. IEEE Transactions on Information Forensics and Security (TIFS), 1(2):205-214.

13.[Lyu 2005] Lyu, S. (2005). Natural Image Statistics for Digital Image Forensics. Phd thesis, Dep. of Computer Science - Dartmouth College, Hanover, USA.

14.[Ng et al. 2005] Ng, T.-T., Chang, S.-F. e Tsui, M.-P. (2005). Physics-motivated features for distinguishing photographic images and computer graphics. In ACM Multimedia (ACMMM), pp. 239-248, Singapore.

15.[Popescu 2004] Popescu, A. C. (2004). Statistical Tools for Digital Image Forensics. Phd thesis, Dep. of Computer Science - Dartmouth College, Hanover, USA.

16.[Rocha & Goldenstein 2007] Rocha, A. e Goldenstein, S. (2007). PR: More than meets the eye. In Intl. Conf. on Computer Vision (ICCV), pp. 1-8.

73

Obrigado!

02 - analise forense de documentos

Documents