Download - 02 - Analise Forense de Documentos
-
Prof. Dr. Anderson [email protected]
http://www.ic.unicamp.br/~rocha
Reasoning for Complex Data (RECOD) Lab.Institute of Computing, Unicamp
Av. Albert Einstein, 1251 - Cidade UniversitriaCEP 13083-970 Campinas/SP - Brasil
Anlise Forense deDocumentos Digitais
-
Organizao
-
A. Rocha, 2012 Anlise Forense de Documentos Digitais
Organizao
Atribuio de Fontes (Modelo e Tipo Especfico)
Cmera Scanner
Identificao de Criaes Sintticas Tcnicas Contra-Forenses
3
-
Atribuio de Fontes
-
A. Rocha, 2012 Anlise Forense de Documentos Digitais
Cmera Camcorder Scanner Impressora
Atribuio de Fontes
5
-
A. Rocha, 2012 Anlise Forense de Documentos Digitais
Tcnicas para apontar/atribuir O modelo do dispositivo de aquisio
O dispositivo exato
Atribuio de Fontes
6
-
Atribuio doModelo de Cmera
-
A. Rocha, 2012 Anlise Forense de Documentos Digitais
Atribuio do Modelo
Informaes relacionadas ao processo de aquisio
Caractersticas das lentes Tipo a tamanho dos sensores de aquisio Tipo de filtro de mosaico/demosaico Informaes dos algoritmos da DIP
8
-
A. Rocha, 2012 Anlise Forense de Documentos Digitais
Pipeline Cmera
9
Luz Sistema de Lentes
Exposio, Foco e Estabilizao da Imagem
FiltrosInfra-vermelho,
anti-serrilhamento, max. qualidade visvel
Sensores de Imageamento
CCD, CMOS...
Color Filter Arrays (CFA)...
Mosaico
Demosaico Correes (white) Realce Correo de
Abertura e Gamma Compresso etc.
Proc. Imagem (DIP)
Fotografia Resultante
A. Rocha
-
A. Rocha, 2012 Anlise Forense de Documentos Digitais
Estado da Arte
Anlise de ps-processamento[Kharrazi et al. 2004] Anlise de artefatos de mosaico/demosaico [Popescu & Farid 2004; Bayram et al. 2005b] Artefatos em tabelas de quantizao JPEG[Popescu 2004] Distores de lentes[Choi et al. 2006]
10
-
A. Rocha, 2012 Anlise Forense de Documentos Digitais
Mosaico/Demosaico
11
92 40
76 28
29 50
67 28
43 =(29 + 50 + 67 + 28)
459 =
(92 + 40 + 76 + 28)
472 = 72
+ +
=
A
. Roc
ha
-
A. Rocha, 2012 Anlise Forense de Documentos Digitais
Anlise de Artefatos CFA
Hiptese: linhas e coluna de imagens interpoladas
provavelmente possuem correlaes com seus vizinhos
relao de vizinhana pode ser fornecida por kernels de tamanhos especficos (e.g., 3x3, 5x5, etc.)
12
-
A. Rocha, 2012 Anlise Forense de Documentos Digitais
Anlise de Artefatos CFA
[Popescu 2004] apresentam um algoritmo de maximizao da esperana (EM) Dois estgios Esperana Maximizao
13
-
A. Rocha, 2012 Anlise Forense de Documentos Digitais
Anlise de Artefatos CFA
No estgio da esperana (E), estima-se a probabilidade de cada amostra pertencer a um modelo em particular No estgio da maximizao (M), estima-se a forma especfica das correlaes entre as amostras
14
-
A. Rocha, 2012 Anlise Forense de Documentos Digitais
Anlise de Artefatos CFA
Mais especificamente, podemos assumir que cada amostra pertence a um de dois modelos possveis Se a amostra linearmente correlacionada com seus vizinhos ela pertence ao Modelo 1. Caso contrrio, ao Modelo 2
15
-
A. Rocha, 2012 Anlise Forense de Documentos Digitais
Anlise de Artefatos CFA
Funo de correlao linear
f um canal de cor (RGB) aps o demosaico, k um inteiro e N distribuio normal iid u,v so offsets dos pixels um vetor de coeficientes lineares que expressa as correlaes
16
f(x, y) =kX
u,v=ku,vf(x+ u, y + v) +N (x, y),
-
A. Rocha, 2012 Anlise Forense de Documentos Digitais
Anlise de Artefatos CFA
17
Pr{f(x, y) M1|f(x, y)} = Pr{f(x, y)|f(x, y) M1}Pr{f(x, y) M1}P2i=1 Pr{f(x, y)|f(x, y) Mi}Pr{f(x, y) Mi}
,
Pr{f(x, y) M1} e Pr{f(x, y) M2}
Esperana estima a prob. de cada amostra pertencer ao Modelo 1
so prob. a priori (1/2)
-
A. Rocha, 2012 Anlise Forense de Documentos Digitais
Anlise de Artefatos CFA
Se assumirmos que uma amostra gerada pelo Modelo 1, a probabilidade de isso ocorrer
Assumimos que o Modelo 2 tem uma distribuio uniforme
Estimamos a varincia no estgio M 18
Pr{f(x, y)|f(x, y) M1} = 12
1
22
f(x, y)
kXu,v=k
u,vf(x+ u, y + v)
2.
-
A. Rocha, 2012 Anlise Forense de Documentos Digitais
Anlise de Artefatos CFA
19
No estgio M precisamos estimar os coeficientes da correlao
Usamos mtodo dos mnimos quadrados
Os pesos w so equivalentes a E() =
Xx,y
w(x, y)
f(x, y)
kXu,v=k
u,vf(x+ u, y + v)
2.
Pr{f(x, y) M1|f(x, y)}
-
A. Rocha, 2012 Anlise Forense de Documentos Digitais
Anlise de Artefatos CFA
20
A
. Pop
escu
A
. Pop
escu
-
A. Rocha, 2012 Anlise Forense de Documentos Digitais
Anlise de Artefatos CFA
21
1. Cem imagens com interpolao CFA
2. Algoritmos
1. Bilinear
2. Bicubic
3. Smooth hue
4. Median (3 & 5)
5. Gradient
6. Adaptive Color Plane
7. Variable Gradients
A
. Pop
escu
-
A. Rocha, 2012 Anlise Forense de Documentos Digitais
Anlise de Artefatos CFA
Problemas? Quais so os possveis ataques a essa
abordagem?
Podemos empregar aprendizado de mquina? Podemos usar isso no cenrio de investigao
de adulteraes de imagens?
22
-
Atribuio daCmera em Especfico
-
A. Rocha, 2012 Anlise Forense de Documentos Digitais
Atribuio direta
Caractersticas nicas da cmera em anlise Imperfeies dos componentes Defeitos e falhas decorrentes do ambiente e
condies de operao
Dead e cold pixels, pixel traps etc.
24
-
A. Rocha, 2012 Anlise Forense de Documentos Digitais
Estado da Arte
Anlise dos efeitos do rudo inserido no processo de captura[Lukas et al. 2006] Artefatos originados pela presena de poeira nos sensores no momento de aquisio[Dirik et al. 2007] Efemeridade
25
-
A. Rocha, 2012 Anlise Forense de Documentos Digitais
Anlise de Rudo
26
Padro de Rudo
Foto-responsividade no uniforme (PRNU)
Padro Fixo (FPN)
No Uniformidade de Pixels (PNU)
Defeitos de Baixa Frequncia
A. Rocha
-
A. Rocha, 2012 Anlise Forense de Documentos Digitais
FPN Aditivo e decorrente de dark-currents dependentente do tempo de exposio e
temperatura
Pode ser removido in-camera extraindo-se um quadro preto (dark frame)
27
Anlise de Rudo
-
A. Rocha, 2012 Anlise Forense de Documentos Digitais
PRNU Multiplicativo Causado pelo rudo no uniforme dos pixels (PNU)
e defeitos de baixa frequncia
Definido como a sensitividade que diferentes pixels tm em relao luz
Causado por inconsistncias na fabribao do sensor de captura
28
Anlise de Rudo
-
A. Rocha, 2012 Anlise Forense de Documentos Digitais
PRNU Os defeitos de baixa frequncia so causados
pelos efeitos da refrao da luz nas partculas devido a configuraes de zoom e superfcie tica
No utilizado no trabalho de [Lukas et al. 2006]
29
Anlise de Rudo
-
A. Rocha, 2012 Anlise Forense de Documentos Digitais
Para utilizar o rudo PNU no cenrio forense, este precisa ser isolado
Em um cenrio forense certamente no teremos um padro de referncia
Temos que estabelecer um padro de referncia Pc, uma aproximao do rudo PNU
30
Anlise de Rudo
-
A. Rocha, 2012 Anlise Forense de Documentos Digitais 31
Anlise de Rudo
I(k) =1
K
KXk=1
Ik.
No processo de aproximao, fazemos a mdia de K imagens de uma cena uniforme (lit scene) como o cu, por exemplo
Esta aproximao pode ser otimizada de modo a suprimir o contedo da cena
-
A. Rocha, 2012 Anlise Forense de Documentos Digitais 32
Anlise de Rudo
Filtro de supresso/remoo de rudo (denoising)
Wavelet denoising uma boa escolha Como determinar se uma dada imagem Iteste pertence
a uma determinada cmera?
(k) = (I(k) (I(k)))/K
-
A. Rocha, 2012 Anlise Forense de Documentos Digitais 33
Anlise de Rudo
Como determinar se uma dada imagem Iteste pertence a uma determinada cmera?
Calcula-se a correlao entre o rudo residual da imagem em questo e o padro de referncia
c(I) =( ) (Pc Pc) Pc Pc .
-
A. Rocha, 2012 Anlise Forense de Documentos Digitais
Anlise de Rudo
Mtodo com timos resultados Problemas
Sincronizao (modificaes de escala e recorte)
Fora bruta para achar as transformaes Podemos empregar aprendizado de mquina?
34
-
Atribuio deScanner
-
A. Rocha, 2012 Anlise Forense de Documentos Digitais
Atribuio de Scanner
O processo de fabricao de qualquer dispositivo eletrnico de captura introduz defeitos nos sensores de imageamento
Como funciona o processo de captura de um scanner?
36
-
A. Rocha, 2012 Anlise Forense de Documentos Digitais
Aquisio via Scanner (recap)
37
DocumentoOriginal
Fonte de Luz Lentes, Espelhos e Sensores de Imageamento
Amplificador, ADC
Software de Ps-Processamento, Correo de Cores, Correo Gamma...
ImagemDigital
A
. Roc
ha
-
A. Rocha, 2012 Anlise Forense de Documentos Digitais
Aquisio via Scanner (recap)
38
Documento Original
Sentido de Leitura
Sensor
EspelhosCaminho da luz
Lentes
Lentes, Espelhos e Sensores de Imageamento
ImagemDigital
Fonte de Luz
Amplificador, ADC
Software de Ps-Processamento, Correo de
Cores, Correo Gamma...
Cabea de Leitura
A
. Roc
ha
-
A. Rocha, 2012 Anlise Forense de Documentos Digitais
Atribuio de Scanner
Scanners possuem Resoluo horizontal (sensor) e vertical
(motor de passo)
Motor de passo Estabilizador
39
-
A. Rocha, 2012 Anlise Forense de Documentos Digitais
Atribuio de Scanner
Como os scanners fazem escaneamentos em resoluo no-nativa?
Sub-amostragem Amostragem normal seguida de ajustes in-
scanner (maioria)
40
-
A. Rocha, 2012 Anlise Forense de Documentos Digitais
Estado da Arte
Extenses da anlise de rudo FPN[Gloe et al. 2007a] e [Gou et al. 2007]
Anlise de rudo considerando as propriedades de captura unidimensionais e peridicas do scanner[Khanna et al. 2009]
41
-
A. Rocha, 2012 Anlise Forense de Documentos Digitais
Rudo e Periodicidade
Construo do padro de referncia Mdia das linhas (devido ao motor de passo) Mdia de mltiplas imagens Anlise de correlao
42
-
A. Rocha, 2012 Anlise Forense de Documentos Digitais
Rudo e Periodicidade
Filtro de supresso/reduo de rudo Com K imagens podemos construir o padro
de referncia (2D) de um dado scanner
43
Iknoise = Ik Ikdenoised
eIarraynoise (i, j) = 1KKXk=1
Iknoise(i, j); 1 i M e 1 j N
eIarraynoise (i, j) = 1KKXk=1
Iknoise(i, j); 1 i M e 1 j N
-
A. Rocha, 2012 Anlise Forense de Documentos Digitais
Rudo e Periodicidade
Padro de referncia 1D
Como atribuir uma imagem em especfico a um scanner?
44
eI linearnoise (1, j) = 1MMXi=1
eIarraynoise (i, j); 1 j N.eI linearnoise (1, j) = 1MMXi=1
eIarraynoise (i, j); 1 j N.
-
A. Rocha, 2012 Anlise Forense de Documentos Digitais
Rudo e Periodicidade
Correlao entre a assinatura de um scanner e um padro de referncia
Tcnica com bons resultados na prtica Palavra final?
45
C(X,Y ) =(X X) (Y Y )
||X X|| ||Y Y || .
-
A. Rocha, 2012 Anlise Forense de Documentos Digitais
Rudo e Periodicidade
Palavra final? Problemas Scanners usam parcialmente a superfcie de
captura (vidro)
Esta abordagem requer condies similares de captura para funcionar
46
-
A. Rocha, 2012 Anlise Forense de Documentos Digitais
Rudo e Periodicidade
[Khanna et al. 2009] prope uma anlise estatstica sobre os vetores de assinatura
Mdia das linhas e colunas em Clculo da correlao entre cada linha de e
a mdia das linhas de
Similarmente para as colunas47
eI lnoise e eIcnoiseInoiseeI lnoise
-
A. Rocha, 2012 Anlise Forense de Documentos Digitais
Rudo e Periodicidade
Estatsticas de ordem sobre as novas caractersticas (mdia, varincia, moda,curtose, etc.)
Classificador de padres Bons resultados
48
-
Tcnicas Contra-Forenses em Atribuio
-
A. Rocha, 2012 Anlise Forense de Documentos Digitais
Abordagens Contra-Forenses
Tcnicas de atribuio de dispositivos de captura vs. Tcnicas contra-forenses
[Gloe et al. 2007b] observam que um filtro de supresso/reduo de rudo baseado em wavelets no elimina o rudo totalmente
Pode aplicar um mtodo de flatfielding para capturar o rudo restante
50
-
A. Rocha, 2012 Anlise Forense de Documentos Digitais
Abordagens Contra-Forenses
Para estimar o rudo fixo (FPN) pode-se utilizar imagens de um quadro preto
Para estimar o rudo PRNU, usa-se K imagens de uma cena homognea (e.g., cu azul) subtraindo-se o a estimativa FPN
51
Idark estimate =1
J
XJ
Idark.
-
A. Rocha, 2012 Anlise Forense de Documentos Digitais
Abordagens Contra-Forenses
Estimativa de flatfielding
Com as estimativas em mos, pode-se suprimir as caractersticas de rudo em uma imagem de uma cmera em especfico
Como?52
Iflatfield =1
K
XK
(Ilight Idark estimate).
-
A. Rocha, 2012 Anlise Forense de Documentos Digitais
Abordagens Contra-Forenses
Retirando a assinatura de rudo Flatfielding difcil devido ao grande nmero de
parmetros que precisam ser levados em conta
tempo de exposio velocidade de captura ISO etc.
53
I =I Idark estimate
Iflatfield.
-
A. Rocha, 2012 Anlise Forense de Documentos Digitais
Abordagens Contra-Forenses
54
Iforge = I Iflatfield forge + Idark forge.
Aps a extrao de padro de rudo, como substitu-lo como outro padro?
O padro de rudo de uma cmera pode ser substitudo com a operao de flatfielding inverso
-
Identificao deCriaes Sintticas
-
A. Rocha, 2012 Anlise Forense de Documentos Digitais
Identificao de Criaes Sintticas
CPPA Possesso de imagens de menores de idade
considerado crime
Imagens geradas em computador no so crime
E se algum fotografa um menor e modifica propriedades no computador?
56
-
A. Rocha, 2012 Anlise Forense de Documentos Digitais
Estado da Arte
Decomposio multi-escala e anlise estatstica[Lyu 2005]
Diferenas em modelos de superfcie (imagens naturais vs. imagens sintticas)[Ng et al. 2005]
Propriedades de aquisio rudo[Dehnie et al. 2006]
57
-
A. Rocha, 2012 Anlise Forense de Documentos Digitais
Estado da Arte
Anlise do comportamento de imagens naturais e geradas em computador mediante sucessivas perturbaes[Rocha & Goldenstein 2007, Rocha&Goldenstein 2010]
Propriedades de aquisio artefatos de mosaico/demosaico[Dirik et al. 2007]
58
-
A. Rocha, 2012 Anlise Forense de Documentos Digitais
Decomposio multi-escala e anlise estatstica
[Lyu 2005], apresentaram uma tcnica para identificao de imagens sintticas baseado na decomposio wavelet de imagens
Extenso de um trabalho anterior para o cenrio de deteco de mensagens escondidas em imagens digitais
59
-
A. Rocha, 2012 Anlise Forense de Documentos Digitais
Decomposio multi-escala e anlise estatstica
Hiptese imagens naturais possuem regularidades
detectveis com estatsticas de alta ordem
o processo de criao de uma imagem em computador insere artefatos estatsticos nas imagens produzidas
60
-
A. Rocha, 2012 Anlise Forense de Documentos Digitais
Decomposio multi-escala e anlise estatstica
Como funciona o mtodo? Decomposio QMF da imagem em mltiplas
escalas e orientaes
anlise estatstica em duas fases anlise direta predio linear dos erros de magnitude
61
-
A. Rocha, 2012 Anlise Forense de Documentos Digitais
Decomposio multi-escala e anlise estatstica
62
D1
D3
D2
L
V1
H1
H2
V2
V3
H3
A. Rocha
A
. Roc
ha
-
A. Rocha, 2012 Anlise Forense de Documentos Digitais
Decomposio multi-escala e anlise estatstica
A anlise direta das mltiplas escalas e orientaes consiste em calcular
mdia varincia moda curtose
63
-
A. Rocha, 2012 Anlise Forense de Documentos Digitais
Decomposio multi-escala e anlise estatstica
A predio linear dos erros de magnitude consiste em estimar as possveis correlaes entre um pixel e seus vizinhos multi-escala
64
-
A. Rocha, 2012 Anlise Forense de Documentos Digitais
Decomposio multi-escala e anlise estatstica
Preditor linear para a sub-banda vertical
denota os valores escalares de peso dos coeficientes
65
Vi(x, y) = w1Vi(x 1, y) + w2Vi(x+ 1, y) + w3Vi(x, y 1)+w4Vi(x, y + 1) + w5Vi+1(
x
2,y
2) + w6Di(x, y)
+w7Di+1(x
2,y
2),
wk
-
A. Rocha, 2012 Anlise Forense de Documentos Digitais
Decomposio multi-escala e anlise estatstica
Como calcular os coeficientes e erro?
V contm os coeficientes de magnitude de caractersticas para trs
escalas
66
E(w) = [V Qw]2,w = (w1, . . . , w7)
T
Vi(x, y)
F = 2 3 4 s = 72
-
A. Rocha, 2012 Anlise Forense de Documentos Digitais
Diferenas fsicas nos processos de captura e gerao
[Ng et al. 2005] desenvolvem dois nveis para separao de imagens naturais e sintticas
Autenticidade em nvel de processamento (imagens capturadas por algum sensor)
Autenticidade em nvel de cena (snapshot de um campo de luz)
Definio de diversas caractersticas67
-
A. Rocha, 2012 Anlise Forense de Documentos Digitais
Diferenas fsicas nos processos de captura e gerao
Dimenso fractal local para capturar a complexidade de texturas
Vetores de patches locais para capturar propriedades de arestas
Superfcie gradiente para capturar a forma de resposta de uma cmera
Geometria quadrtica local para capturar propriedades poligonais dos objetos computadorizados
68
-
Tcnicas Contra-Forenses em
CGI vs. Naturais
-
A. Rocha, 2012 Anlise Forense de Documentos Digitais
Abordagens Contra-forenses
Ataques de recaptura Como ficam abordagens baseadas em anlise de
artefatos de captura?
Como ficam abordagens baseadas em propriedades de textura e regularidade?
A abordagem de [Ng et al. 2005]70
-
Referncias
-
A. Rocha, 2012 Anlise Forense de Documentos Digitais
Referncias
1. [Bayram et al. 2005b] Bayaram, S., Sencar, H., Memon, N. e Avcibas, I. (2005b). Source camera identification based on CFA interpolation. In Intl. Conf. on Image Processing (ICIP), Genova, Italy.
2.[Choi et al. 2006] Choi, K. S., Lam, E. e Wong, K. (2006). Automatic source camera identification using the intrinsic lens radial distortion. Optics Express, 14(24):11551-11565.
3.[Dehnie et al. 2006] Dehnie, S., Sencar, T. e Memon, N. (2006). Identification of computer generated and digital camera images for digital image forensics,. In Intl. Conf. on Image Processing (ICIP), Atlanta, USA.
4.[Dirik et al. 2007] Dirik, E., Sencar, H. e Memon, N. (2007). Source camera identification based on sensor dust characteristics. In IEEE Intl. Workshop on Signal Processing Applications for Public Security and Forensics (SAFE), pp. 1-6, Washington DC, USA.
5.[Gloe et al. 2007a] Gloe, T., Franz, E. e Winkler, A. (2007a). Forensics for flat-bed scanners. In SPIE Intl. Conf. on Security, Steganography, Watermarking of Multimedia Contents, pp. 65051-I.
6.[Gloe et al. 2007b] Gloe, T., Kirchner, M., Winkler, A. e Bohme, R. (2007b). Can we trust digital image forensics?
7.[Gou et al. 2007] Gou, H., Swaminathan, A. e Wu, M. (2007). Robust scanner identification based on noise features. In SPIE Security, Steganography, and Watermarking of Multimedia Contents (SSWMC), San Jose, USA.
8.[Khanna et al. 2009] Khanna, N., Mikkilineni, A. K. e Delp, E. J. (2009). Scanner identification using feature-based processing and analysis. IEEE Transactions on Information Forensics and Security (TIFS), 4(1):123-139.
72
-
A. Rocha, 2012 Anlise Forense de Documentos Digitais
Referncias
10.[Kharrazi et al. 2004] Kharrazi, M., Sencar, H. e Memon, N. (2004). Blind source camera identification. In Intl. Conf. on Image Processing (ICIP), Singapore.
11.[Lukas et al. 2006] Lukas, J., Fridrich, J. e Goljan, M. (2006). Digital camera identification from sensor noise sensor. IEEE Transactions on Information Forensics and Security (TIFS), 1(2):205-214.
12.[Lukas et al. 2006] Lukas, J., Fridrich, J. e Goljan, M. (2006). Digital camera identification from sensor noise sensor. IEEE Transactions on Information Forensics and Security (TIFS), 1(2):205-214.
13.[Lyu 2005] Lyu, S. (2005). Natural Image Statistics for Digital Image Forensics. Phd thesis, Dep. of Computer Science - Dartmouth College, Hanover, USA.
14.[Ng et al. 2005] Ng, T.-T., Chang, S.-F. e Tsui, M.-P. (2005). Physics-motivated features for distinguishing photographic images and computer graphics. In ACM Multimedia (ACMMM), pp. 239-248, Singapore.
15.[Popescu 2004] Popescu, A. C. (2004). Statistical Tools for Digital Image Forensics. Phd thesis, Dep. of Computer Science - Dartmouth College, Hanover, USA.
16.[Rocha & Goldenstein 2007] Rocha, A. e Goldenstein, S. (2007). PR: More than meets the eye. In Intl. Conf. on Computer Vision (ICCV), pp. 1-8.
73
-
Obrigado!