técnicas periciais em visão computacional para ...ra023169/speeches/speech_usp.pdf · 15/12/14...

97
Técnicas Periciais em Visão Computacional para Autenticação e Atribuição de Fonte de Documentos Anselmo Ferreira Doutorando no Instituto de Computação Laboratório de Inferência em dados complexos Universidade Estadual de Campinas [email protected]

Upload: others

Post on 18-Jul-2020

6 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: Técnicas Periciais em Visão Computacional para ...ra023169/speeches/speech_usp.pdf · 15/12/14 Anselmo Ferreira 44 2.2 Detecção de Manipulações por Cópia e Colagem Passo 6:

Técnicas Periciais em Visão Computacional para Autenticação e Atribuição de Fonte de Documentos

Anselmo Ferreira Doutorando no Instituto de Computação

Laboratório de Inferência em dados complexosUniversidade Estadual de Campinas

[email protected]

Page 2: Técnicas Periciais em Visão Computacional para ...ra023169/speeches/speech_usp.pdf · 15/12/14 Anselmo Ferreira 44 2.2 Detecção de Manipulações por Cópia e Colagem Passo 6:

Anselmo Ferreira15/12/14 2

Sumário

1.O problema1.O problema 2. Análise Forense de Documentos2. Análise Forense de Documentos

2.1 Conceitos

2.1 Conceitos

2.2 Metodologias de autenticação

de imagens digitais.

2.2 Metodologias de autenticação

de imagens digitais.

2.3 Metodologias para atribuição de

fonte de documentos.

2.3 Metodologias para atribuição de

fonte de documentos.

3. Conclusão e desafios futuros3. Conclusão e

desafios futuros

Page 3: Técnicas Periciais em Visão Computacional para ...ra023169/speeches/speech_usp.pdf · 15/12/14 Anselmo Ferreira 44 2.2 Detecção de Manipulações por Cópia e Colagem Passo 6:

Anselmo Ferreira15/12/14 3

2. Análise Forense de Documentos1. O problema

Page 4: Técnicas Periciais em Visão Computacional para ...ra023169/speeches/speech_usp.pdf · 15/12/14 Anselmo Ferreira 44 2.2 Detecção de Manipulações por Cópia e Colagem Passo 6:

Anselmo Ferreira15/12/14 4

● Facebook: 300 milhões de imagens enviadas/dia [1].

● Flickr: 3.5 milhões imagens enviadas/dia [1].

● Youtube: 100 horas de vídeo por minuto [2].

1. O problema

Ao final dessa apresentação, existirão 14.580.000 novas fotos no facebook, 145.833 novas fotos no flickr e mais de 6 mil novas horas de vídeo no youtube!

Page 5: Técnicas Periciais em Visão Computacional para ...ra023169/speeches/speech_usp.pdf · 15/12/14 Anselmo Ferreira 44 2.2 Detecção de Manipulações por Cópia e Colagem Passo 6:

Anselmo Ferreira15/12/14 5

1. O problema

● Esses dados são autênticos?● Manipulação e ataques à honra.● Propagandas enganosas na rede e na mídia.● Fraudes científicas.● Desinformação.

Uma imagem vale mesmo mais do que mil

palavras?

Page 6: Técnicas Periciais em Visão Computacional para ...ra023169/speeches/speech_usp.pdf · 15/12/14 Anselmo Ferreira 44 2.2 Detecção de Manipulações por Cópia e Colagem Passo 6:

Anselmo Ferreira15/12/14 6

1. O problema

Figura 1: Experimentos em psicologia de Sacchi et al [3] com imagens manipuladas.

Page 7: Técnicas Periciais em Visão Computacional para ...ra023169/speeches/speech_usp.pdf · 15/12/14 Anselmo Ferreira 44 2.2 Detecção de Manipulações por Cópia e Colagem Passo 6:

Anselmo Ferreira15/12/14 7

1. O problema

Figura 2: Caso de manipulação de imagens com o intuito de melhorar resultados científicos [4].

Page 8: Técnicas Periciais em Visão Computacional para ...ra023169/speeches/speech_usp.pdf · 15/12/14 Anselmo Ferreira 44 2.2 Detecção de Manipulações por Cópia e Colagem Passo 6:

Anselmo Ferreira15/12/14 8

1. O problema

Figura 3: Caso de manipulação de imagens com o intuito de 'retocar' eventos ou pessoas [5].

Page 9: Técnicas Periciais em Visão Computacional para ...ra023169/speeches/speech_usp.pdf · 15/12/14 Anselmo Ferreira 44 2.2 Detecção de Manipulações por Cópia e Colagem Passo 6:

Anselmo Ferreira15/12/14 9

1. O problema

Figura 4: Caso de manipulação de imagens com o intuito de 'retocar' eventos ou pessoas [6].

Page 10: Técnicas Periciais em Visão Computacional para ...ra023169/speeches/speech_usp.pdf · 15/12/14 Anselmo Ferreira 44 2.2 Detecção de Manipulações por Cópia e Colagem Passo 6:

Anselmo Ferreira15/12/14 10

1. O problema

Figura 5: Caso de manipulação de imagem na mídia.

Page 11: Técnicas Periciais em Visão Computacional para ...ra023169/speeches/speech_usp.pdf · 15/12/14 Anselmo Ferreira 44 2.2 Detecção de Manipulações por Cópia e Colagem Passo 6:

Anselmo Ferreira15/12/14 11

1. O problema

“São necessárias ferramentas periciais para analisar e autenticar a veracidade da semântica de documentos bem como, se necessário, a sua origem”

Page 12: Técnicas Periciais em Visão Computacional para ...ra023169/speeches/speech_usp.pdf · 15/12/14 Anselmo Ferreira 44 2.2 Detecção de Manipulações por Cópia e Colagem Passo 6:

Anselmo Ferreira15/12/14 12

2. Análise Forense de Documentos2.Análise Forense de Documentos

2.1 Conceitos

Page 13: Técnicas Periciais em Visão Computacional para ...ra023169/speeches/speech_usp.pdf · 15/12/14 Anselmo Ferreira 44 2.2 Detecção de Manipulações por Cópia e Colagem Passo 6:

Anselmo Ferreira15/12/14 13

2.1 Conceitos

Definição da Análise Forense de Documentos:

“Toda técnica computacional ou não capaz de provar a posse e/ou o envolvimento de um

documento em determinado crime”

Page 14: Técnicas Periciais em Visão Computacional para ...ra023169/speeches/speech_usp.pdf · 15/12/14 Anselmo Ferreira 44 2.2 Detecção de Manipulações por Cópia e Colagem Passo 6:

Anselmo Ferreira15/12/14 14

2.1 Conceitos

Objetivos da Análise Forense de Documentos:

● Identificar adulteração.● Atribuir origem.● Detectar documentos ilegais (e.g., pornografia

infantil). ● Identificar mensagem escondida.● Identificar ataques em sistemas de biometria.● Reconhecer criminosos.● Entre outros.

Page 15: Técnicas Periciais em Visão Computacional para ...ra023169/speeches/speech_usp.pdf · 15/12/14 Anselmo Ferreira 44 2.2 Detecção de Manipulações por Cópia e Colagem Passo 6:

Anselmo Ferreira15/12/14 15

2.1 Conceitos

Principais tipos de manipulação de imagens

● Composição: União de partes de duas ou mais imagens em uma apenas.

● Geração em computador: Criação de objetostridimensionais a partir de imagens/vídeos.

Page 16: Técnicas Periciais em Visão Computacional para ...ra023169/speeches/speech_usp.pdf · 15/12/14 Anselmo Ferreira 44 2.2 Detecção de Manipulações por Cópia e Colagem Passo 6:

Anselmo Ferreira15/12/14 16

2.1 Conceitos

Principais tipos de manipulação de imagens

● Cópia-colagem ou Clonagem (cloning): altera partes de uma imagem usando segmentos ou propriedades da própria imagem.

● Retoque e Conciliação: Permitem ajuste de regiões da imagem em termos de sombras, texturas, brilho, contraste, iluminação etc.

Page 17: Técnicas Periciais em Visão Computacional para ...ra023169/speeches/speech_usp.pdf · 15/12/14 Anselmo Ferreira 44 2.2 Detecção de Manipulações por Cópia e Colagem Passo 6:

Anselmo Ferreira15/12/14 17

2.1 Conceitos

Principais ferramentas de editores de imagem.

● Lazy Snapping: seleção inteligente.

● Casamento de iluminação: composição 'crível' .

● Content-Aware-Fill: preenchimento de 'buracos'.

Page 18: Técnicas Periciais em Visão Computacional para ...ra023169/speeches/speech_usp.pdf · 15/12/14 Anselmo Ferreira 44 2.2 Detecção de Manipulações por Cópia e Colagem Passo 6:

Anselmo Ferreira15/12/14 18

2.1 Conceitos

Principais ferramentas de editores de imagem.

● Ajuste fino de bordas: objeto colado é consistente com o fundo.

● Realce de nitidez: ameniza condições de fotografia diferentes.

Page 19: Técnicas Periciais em Visão Computacional para ...ra023169/speeches/speech_usp.pdf · 15/12/14 Anselmo Ferreira 44 2.2 Detecção de Manipulações por Cópia e Colagem Passo 6:

Anselmo Ferreira15/12/14 19

2.1 Conceitos

Como detectar a manipulação?

“A falsificação sempre provoca inconsistências na imagem, seja na qualidade, na estrutura ou nas suas

estatísticas.”

Page 20: Técnicas Periciais em Visão Computacional para ...ra023169/speeches/speech_usp.pdf · 15/12/14 Anselmo Ferreira 44 2.2 Detecção de Manipulações por Cópia e Colagem Passo 6:

Anselmo Ferreira15/12/14 20

2.1 Conceitos

Como detectar a manipulação?

● Cópia-colagem: repetição de padrões, compressão.

● Geração em Computador: textura fraca, compressão.

● Composição: iluminação, ruído, bordas e compressão.

● Retoque e conciliação: iluminação, bordas, compressão.

Page 21: Técnicas Periciais em Visão Computacional para ...ra023169/speeches/speech_usp.pdf · 15/12/14 Anselmo Ferreira 44 2.2 Detecção de Manipulações por Cópia e Colagem Passo 6:

Anselmo Ferreira15/12/14 21

2. Análise Forense de Documentos2.Análise Forense de Documentos

2.2 Detecção de Manipulações por Cópia e Colagem

Page 22: Técnicas Periciais em Visão Computacional para ...ra023169/speeches/speech_usp.pdf · 15/12/14 Anselmo Ferreira 44 2.2 Detecção de Manipulações por Cópia e Colagem Passo 6:

Anselmo Ferreira15/12/14 22

2.2 Detecção de Manipulações por Cópia e Colagem

Cópia e Colagem

● Relativamente fácil.

● Como ocorre?● Seleciona a região.● Copia.● Aplica transformação.● Cola em outra região da imagem.● Aplica transformação global na imagem.

Page 23: Técnicas Periciais em Visão Computacional para ...ra023169/speeches/speech_usp.pdf · 15/12/14 Anselmo Ferreira 44 2.2 Detecção de Manipulações por Cópia e Colagem Passo 6:

Anselmo Ferreira15/12/14 23

2.2 Detecção de Manipulações por Cópia e Colagem

Figura 6: Exemplos de manipulação por cópia e colagem.

Page 24: Técnicas Periciais em Visão Computacional para ...ra023169/speeches/speech_usp.pdf · 15/12/14 Anselmo Ferreira 44 2.2 Detecção de Manipulações por Cópia e Colagem Passo 6:

Anselmo Ferreira15/12/14 24

2.2 Detecção de Manipulações por Cópia e Colagem

Figura 7: Exemplos de manipulação por cópia e colagem.

Page 25: Técnicas Periciais em Visão Computacional para ...ra023169/speeches/speech_usp.pdf · 15/12/14 Anselmo Ferreira 44 2.2 Detecção de Manipulações por Cópia e Colagem Passo 6:

Anselmo Ferreira15/12/14 25

2.2 Detecção de Manipulações por Cópia e Colagem

Figura 8: Exemplos de manipulação por cópia e colagem.

Page 26: Técnicas Periciais em Visão Computacional para ...ra023169/speeches/speech_usp.pdf · 15/12/14 Anselmo Ferreira 44 2.2 Detecção de Manipulações por Cópia e Colagem Passo 6:

Anselmo Ferreira15/12/14 26

2.2 Detecção de Manipulações por Cópia e Colagem

Principais abordagens

● Por busca de similaridade de blocos.– Valor dos pixels nos blocos [7].

– Estatísticas nos blocos [8].

– Transformação nos blocos [9].

● Por similaridade de pontos de interesse [10].– Robustos a reamostragem, borramento e rotação.

● Abordagem mista.

Page 27: Técnicas Periciais em Visão Computacional para ...ra023169/speeches/speech_usp.pdf · 15/12/14 Anselmo Ferreira 44 2.2 Detecção de Manipulações por Cópia e Colagem Passo 6:

Anselmo Ferreira15/12/14 27

2.2 Detecção de Manipulações por Cópia e Colagem

Figura 9: Detecção de cópia colagem por ordenação lexicográfica de blocos [7].

Page 28: Técnicas Periciais em Visão Computacional para ...ra023169/speeches/speech_usp.pdf · 15/12/14 Anselmo Ferreira 44 2.2 Detecção de Manipulações por Cópia e Colagem Passo 6:

Anselmo Ferreira15/12/14 28

2.2 Detecção de Manipulações por Cópia e Colagem

Figura 10: Detecção de cópia colagem por busca de pontos de interesse correlatos [10].

Page 29: Técnicas Periciais em Visão Computacional para ...ra023169/speeches/speech_usp.pdf · 15/12/14 Anselmo Ferreira 44 2.2 Detecção de Manipulações por Cópia e Colagem Passo 6:

Anselmo Ferreira15/12/14 29

Going deeper into copy-move forgery detection:

exploring image telltales via multi-scale analysis and voting processes

Ewerton Silva, Tiago Carvalho, Anselmo Ferreira and Anderson Rocha

Journal of Visual Communication and Image Representation

Page 30: Técnicas Periciais em Visão Computacional para ...ra023169/speeches/speech_usp.pdf · 15/12/14 Anselmo Ferreira 44 2.2 Detecção de Manipulações por Cópia e Colagem Passo 6:

Anselmo Ferreira15/12/14 30

2.2 Detecção de Manipulações por Cópia e Colagem

Figura 11: Detecção de cópia colagem proposta.

Page 31: Técnicas Periciais em Visão Computacional para ...ra023169/speeches/speech_usp.pdf · 15/12/14 Anselmo Ferreira 44 2.2 Detecção de Manipulações por Cópia e Colagem Passo 6:

Anselmo Ferreira15/12/14 31

2.2 Detecção de Manipulações por Cópia e Colagem

Passo 1: pré-processamento.● Conversão RGB-HSV

– HSV: Representação de cor mais específica que RGB, pode diferenciar falsos positivos no domínio RGB.

● Normalização: Equilibrar intervalos HSV.

Page 32: Técnicas Periciais em Visão Computacional para ...ra023169/speeches/speech_usp.pdf · 15/12/14 Anselmo Ferreira 44 2.2 Detecção de Manipulações por Cópia e Colagem Passo 6:

Anselmo Ferreira15/12/14 32

2.2 Detecção de Manipulações por Cópia e Colagem

Figura 12: Imagem RGB e sua representação HSV. Extraído de [9].

Page 33: Técnicas Periciais em Visão Computacional para ...ra023169/speeches/speech_usp.pdf · 15/12/14 Anselmo Ferreira 44 2.2 Detecção de Manipulações por Cópia e Colagem Passo 6:

Anselmo Ferreira15/12/14 33

2.2 Detecção de Manipulações por Cópia e Colagem

Passo 2: Extração de pontos SURF.● Pontos que não mudam mesmo se

determinadas operações geométricas acontecerem na imagem.

● Encontrados após uma série de operações na imagem.

● Resulta pontos no espaço de 64 dimensões.

Page 34: Técnicas Periciais em Visão Computacional para ...ra023169/speeches/speech_usp.pdf · 15/12/14 Anselmo Ferreira 44 2.2 Detecção de Manipulações por Cópia e Colagem Passo 6:

Anselmo Ferreira15/12/14 34

2.2 Detecção de Manipulações por Cópia e Colagem

Figura 13: Imagem HSV (esquerda) e seus pontos SURF (direita).

Page 35: Técnicas Periciais em Visão Computacional para ...ra023169/speeches/speech_usp.pdf · 15/12/14 Anselmo Ferreira 44 2.2 Detecção de Manipulações por Cópia e Colagem Passo 6:

Anselmo Ferreira15/12/14 35

2.2 Detecção de Manipulações por Cópia e Colagem

Passo 3: Correspondência de pontos SURF.

● Objetivo: encontrar pontos equivalentes, suspeitos de serem de áreas coladas.

● Usam-se distância euclidiana e uma metodologia denominada Taxa de distância de vizinho mais próximo.

Page 36: Técnicas Periciais em Visão Computacional para ...ra023169/speeches/speech_usp.pdf · 15/12/14 Anselmo Ferreira 44 2.2 Detecção de Manipulações por Cópia e Colagem Passo 6:

Anselmo Ferreira15/12/14 36

2.2 Detecção de Manipulações por Cópia e Colagem

Dsim(A, B)

Dsim(A, C)score =

Figura 14: Metodologia para encontrar pontos correlatos na técnica proposta..

Page 37: Técnicas Periciais em Visão Computacional para ...ra023169/speeches/speech_usp.pdf · 15/12/14 Anselmo Ferreira 44 2.2 Detecção de Manipulações por Cópia e Colagem Passo 6:

Anselmo Ferreira15/12/14 37

2.2 Detecção de Manipulações por Cópia e Colagem

Passo 4: Agrupamento de pontos.● Geração de grupos

– Criam-se pares de grupos (origem e destino) com pontos por partição (intervalo de ângulo).

– A quantidade de pontos por grupo depende da distribuição e proximidade dos pontos.

Page 38: Técnicas Periciais em Visão Computacional para ...ra023169/speeches/speech_usp.pdf · 15/12/14 Anselmo Ferreira 44 2.2 Detecção de Manipulações por Cópia e Colagem Passo 6:

Anselmo Ferreira15/12/14 38

2.2 Detecção de Manipulações por Cópia e Colagem

Passo 4: Agrupamento de pontos.● Geração de grupos

– Esses grupos de pontos são delimitados por retângulos na imagem

– Essas são as regiões suspeitas de serem copiadas e coladas.

Page 39: Técnicas Periciais em Visão Computacional para ...ra023169/speeches/speech_usp.pdf · 15/12/14 Anselmo Ferreira 44 2.2 Detecção de Manipulações por Cópia e Colagem Passo 6:

Anselmo Ferreira15/12/14 39

2.2 Detecção de Manipulações por Cópia e Colagem

Figura 15: Metodologia para agrupar pontos de interesse.

Page 40: Técnicas Periciais em Visão Computacional para ...ra023169/speeches/speech_usp.pdf · 15/12/14 Anselmo Ferreira 44 2.2 Detecção de Manipulações por Cópia e Colagem Passo 6:

Anselmo Ferreira15/12/14 40

2.2 Detecção de Manipulações por Cópia e Colagem

Passo 5: Divisão multiescala da imagem.● A imagem é redimensionada sucessivas

vezes, de forma a criar uma pirâmide.● A análise será feita em cada nível da

pirâmide.● Serve para decidir a falsificação por

votação.

Page 41: Técnicas Periciais em Visão Computacional para ...ra023169/speeches/speech_usp.pdf · 15/12/14 Anselmo Ferreira 44 2.2 Detecção de Manipulações por Cópia e Colagem Passo 6:

Anselmo Ferreira15/12/14 41

2.2 Detecção de Manipulações por Cópia e Colagem

Figura 16: Decomposição multiresolução da imagem.

Page 42: Técnicas Periciais em Visão Computacional para ...ra023169/speeches/speech_usp.pdf · 15/12/14 Anselmo Ferreira 44 2.2 Detecção de Manipulações por Cópia e Colagem Passo 6:

Anselmo Ferreira15/12/14 42

2.2 Detecção de Manipulações por Cópia e Colagem

Passo 6: Análise nos blocos multi-escala.● É feito somente nos pares origem e destino,

não na imagem inteira.● Janela deslizante irá descrever os canais H,S

e V, gerando vetores por grupo (blocos).● Vetores baseados em médias de valores em

uma janela circular.

Page 43: Técnicas Periciais em Visão Computacional para ...ra023169/speeches/speech_usp.pdf · 15/12/14 Anselmo Ferreira 44 2.2 Detecção de Manipulações por Cópia e Colagem Passo 6:

Anselmo Ferreira15/12/14 43

2.2 Detecção de Manipulações por Cópia e Colagem

Figura 17: Janela deslizante circular, que descreve média de valores nos canais H, S e V, criando um vetor de médias.

Page 44: Técnicas Periciais em Visão Computacional para ...ra023169/speeches/speech_usp.pdf · 15/12/14 Anselmo Ferreira 44 2.2 Detecção de Manipulações por Cópia e Colagem Passo 6:

Anselmo Ferreira15/12/14 44

2.2 Detecção de Manipulações por Cópia e Colagem

Passo 6: Análise nos blocos multi-escala.● Depois de calculados os vetores de média, faz se

a ordenação lexicográfica nos grupos origem e destino.– Vetores em cada linha de uma matriz.

– Ordenam-se os vetores de acordo com a dimensão corrente do vetor.

– Vetores similares (ou quase) e consecutivos identificam blocos suspeitos de serem copiados.

Page 45: Técnicas Periciais em Visão Computacional para ...ra023169/speeches/speech_usp.pdf · 15/12/14 Anselmo Ferreira 44 2.2 Detecção de Manipulações por Cópia e Colagem Passo 6:

Anselmo Ferreira15/12/14 45

2.2 Detecção de Manipulações por Cópia e Colagem

Figura 18: Janela deslizante circular, que descreve média de valores nos Canais H, S e V, criando um vetor de médias.

Page 46: Técnicas Periciais em Visão Computacional para ...ra023169/speeches/speech_usp.pdf · 15/12/14 Anselmo Ferreira 44 2.2 Detecção de Manipulações por Cópia e Colagem Passo 6:

Anselmo Ferreira15/12/14 46

2.2 Detecção de Manipulações por Cópia e Colagem

Passo 7: Votação Multi-escala.● A mesma análise é feita nas outras resoluções

da imagem.● Cada resolução irá gerar seus mapas binários.● Mapas redimensionados para mesmo

tamanho.● Votação no pixel.

Page 47: Técnicas Periciais em Visão Computacional para ...ra023169/speeches/speech_usp.pdf · 15/12/14 Anselmo Ferreira 44 2.2 Detecção de Manipulações por Cópia e Colagem Passo 6:

Anselmo Ferreira15/12/14 47

2.2 Detecção de Manipulações por Cópia e Colagem

Figura 19: Votação nos mapas de detecção encontrados em múltiplas resoluções, Gerando o mapa de detecção final.

Page 48: Técnicas Periciais em Visão Computacional para ...ra023169/speeches/speech_usp.pdf · 15/12/14 Anselmo Ferreira 44 2.2 Detecção de Manipulações por Cópia e Colagem Passo 6:

Anselmo Ferreira15/12/14 48

2.2 Detecção de Manipulações por Cópia e Colagem

Experimentos

Page 49: Técnicas Periciais em Visão Computacional para ...ra023169/speeches/speech_usp.pdf · 15/12/14 Anselmo Ferreira 44 2.2 Detecção de Manipulações por Cópia e Colagem Passo 6:

Anselmo Ferreira15/12/14 49

2.2 Detecção de Manipulações por Cópia e Colagem

Figura 20: Técnicas comparadas nos experimentos.

Page 50: Técnicas Periciais em Visão Computacional para ...ra023169/speeches/speech_usp.pdf · 15/12/14 Anselmo Ferreira 44 2.2 Detecção de Manipulações por Cópia e Colagem Passo 6:

Anselmo Ferreira15/12/14 50

2.2 Detecção de Manipulações por Cópia e Colagem

Figura 21: Tempo de execução das técnicas nos experimentos.

Page 51: Técnicas Periciais em Visão Computacional para ...ra023169/speeches/speech_usp.pdf · 15/12/14 Anselmo Ferreira 44 2.2 Detecção de Manipulações por Cópia e Colagem Passo 6:

Anselmo Ferreira15/12/14 51

2.2 Detecção de Manipulações por Cópia e Colagem

Figura 22: Resultados das técnicas na base de falsificações utilizada.

Page 52: Técnicas Periciais em Visão Computacional para ...ra023169/speeches/speech_usp.pdf · 15/12/14 Anselmo Ferreira 44 2.2 Detecção de Manipulações por Cópia e Colagem Passo 6:

Anselmo Ferreira15/12/14 52

2.2 Detecção de Manipulações por Cópia e Colagem

Figura 23: Resultados das técnicas na base de falsificações utilizada.

Page 53: Técnicas Periciais em Visão Computacional para ...ra023169/speeches/speech_usp.pdf · 15/12/14 Anselmo Ferreira 44 2.2 Detecção de Manipulações por Cópia e Colagem Passo 6:

Anselmo Ferreira15/12/14 53

2.2 Detecção de Manipulações por Cópia e Colagem

Figura 24: Resultados das técnicas na base de falsificações utilizada.

Page 54: Técnicas Periciais em Visão Computacional para ...ra023169/speeches/speech_usp.pdf · 15/12/14 Anselmo Ferreira 44 2.2 Detecção de Manipulações por Cópia e Colagem Passo 6:

Anselmo Ferreira15/12/14 54

2.2 Detecção de Manipulações por Cópia e Colagem

Figura 25: Resultados das técnicas na base de falsificações utilizada.

Page 55: Técnicas Periciais em Visão Computacional para ...ra023169/speeches/speech_usp.pdf · 15/12/14 Anselmo Ferreira 44 2.2 Detecção de Manipulações por Cópia e Colagem Passo 6:

Anselmo Ferreira15/12/14 55

2. Análise Forense de Documentos2.Análise Forense de Documentos

2.3 Atribuição de Fonte de Documentos

Page 56: Técnicas Periciais em Visão Computacional para ...ra023169/speeches/speech_usp.pdf · 15/12/14 Anselmo Ferreira 44 2.2 Detecção de Manipulações por Cópia e Colagem Passo 6:

Anselmo Ferreira15/12/14 56

2.3 Atribuição de Fonte de Documentos

● Motivação:– Dispositivos geradores de documentos de

fácil uso e baratos.

– Produzimos diariamente uma série de documentos:

● Fotos digitais e digitalizadas● Vídeos ● Texto

Page 57: Técnicas Periciais em Visão Computacional para ...ra023169/speeches/speech_usp.pdf · 15/12/14 Anselmo Ferreira 44 2.2 Detecção de Manipulações por Cópia e Colagem Passo 6:

Anselmo Ferreira15/12/14 57

2.3 Atribuição de Fonte de Documentos

● Motivação:– E se esses documentos não forem legais?

● Fotos de pornografia infantil● Roteiros de ataques terroristas● Dinheiro falso● Contabilidade de tráfico de drogas● Correspondências intimidadoras

– Provar a fonte desses documentos é uma informação importante para indicar sua autoria.

Page 58: Técnicas Periciais em Visão Computacional para ...ra023169/speeches/speech_usp.pdf · 15/12/14 Anselmo Ferreira 44 2.2 Detecção de Manipulações por Cópia e Colagem Passo 6:

Anselmo Ferreira15/12/14 58

2.3. Atribuição de Fonte de Documentos

Figura 26: Que celular tirou essa foto?

Page 59: Técnicas Periciais em Visão Computacional para ...ra023169/speeches/speech_usp.pdf · 15/12/14 Anselmo Ferreira 44 2.2 Detecção de Manipulações por Cópia e Colagem Passo 6:

Anselmo Ferreira15/12/14 59

2.3. Atribuição de Fonte de Documentos

Figura 27: Tutoriais na Internet mostram como criar dinheiro falso de forma fácil e rápida.

Page 60: Técnicas Periciais em Visão Computacional para ...ra023169/speeches/speech_usp.pdf · 15/12/14 Anselmo Ferreira 44 2.2 Detecção de Manipulações por Cópia e Colagem Passo 6:

Anselmo Ferreira15/12/14 60

2.3 Atribuição de Fonte de Documentos

● Motivação:– O que é a atribuição de fonte de documentos?

“Conjunto de técnicas, computacionais ou não, que possam indicar o dispositivo gerador

de um determinado documento através de pistas encontradas no próprio documento”

Page 61: Técnicas Periciais em Visão Computacional para ...ra023169/speeches/speech_usp.pdf · 15/12/14 Anselmo Ferreira 44 2.2 Detecção de Manipulações por Cópia e Colagem Passo 6:

Anselmo Ferreira15/12/14 61

2.3. Atribuição de Fonte de Documentos

● Tipos de técnicas:– Químicas.

– Físicas.

– Computacionais.

● Técnicas computacionais atuam em uma versão digital ou digitalizada do documento.

Page 62: Técnicas Periciais em Visão Computacional para ...ra023169/speeches/speech_usp.pdf · 15/12/14 Anselmo Ferreira 44 2.2 Detecção de Manipulações por Cópia e Colagem Passo 6:

Anselmo Ferreira15/12/14 62

2.3. Atribuição de Fonte de Documentos

Figura 28: Atribuir fonte requer apontar a autoria de um documento dado uma série de dispositivos suspeitos.

Page 63: Técnicas Periciais em Visão Computacional para ...ra023169/speeches/speech_usp.pdf · 15/12/14 Anselmo Ferreira 44 2.2 Detecção de Manipulações por Cópia e Colagem Passo 6:

Anselmo Ferreira15/12/14 63

2.3. Atribuição de Fonte de Documentos

Figura 29: Atribuir fonte requer apontar a autoria de um documentoDado uma série de dispositivos suspeitos.

Page 64: Técnicas Periciais em Visão Computacional para ...ra023169/speeches/speech_usp.pdf · 15/12/14 Anselmo Ferreira 44 2.2 Detecção de Manipulações por Cópia e Colagem Passo 6:

Anselmo Ferreira15/12/14 64

2.3. Atribuição de Fonte de Documentos

● Pra atribuir fonte de um documento, devemos responder às seguintes perguntas:

– Qual marca?

– Qual modelo?

– Qual dispositivo?

Page 65: Técnicas Periciais em Visão Computacional para ...ra023169/speeches/speech_usp.pdf · 15/12/14 Anselmo Ferreira 44 2.2 Detecção de Manipulações por Cópia e Colagem Passo 6:

Anselmo Ferreira15/12/14 65

2.3. Atribuição de Fonte de Documentos

● Aplicações

– Câmeras e smartphones.

– Scanners.

– Impressoras.

Page 66: Técnicas Periciais em Visão Computacional para ...ra023169/speeches/speech_usp.pdf · 15/12/14 Anselmo Ferreira 44 2.2 Detecção de Manipulações por Cópia e Colagem Passo 6:

Anselmo Ferreira15/12/14 66

2.3. Atribuição de Fonte de Documentos

● Impressoras Laser

– Dispositivos que funcionam via eletromagnetismo.

– Possuem partes móveis que trabalham em frequências diferentes para marcas/ modelos diferentes.

Page 67: Técnicas Periciais em Visão Computacional para ...ra023169/speeches/speech_usp.pdf · 15/12/14 Anselmo Ferreira 44 2.2 Detecção de Manipulações por Cópia e Colagem Passo 6:

Anselmo Ferreira15/12/14 67

2.3. Atribuição de Fonte de Documentos

● Impressoras Laser

Bandeamento: linhas escuras e claras não-uniformes presentes no material

impresso no sentido que o papel se move na impressora.

Page 68: Técnicas Periciais em Visão Computacional para ...ra023169/speeches/speech_usp.pdf · 15/12/14 Anselmo Ferreira 44 2.2 Detecção de Manipulações por Cópia e Colagem Passo 6:

Anselmo Ferreira15/12/14 68

2.3. Atribuição de Fonte de Documentos

Técnicas de atribuição de

fonte

Técnicas de atribuição de

fonte

Atuantes em texto

Atuantes em texto

Atuantes em figuras

Atuantes em figuras

Figura 30: Resultados das técnicas na base de falsificações utilizada.

Page 69: Técnicas Periciais em Visão Computacional para ...ra023169/speeches/speech_usp.pdf · 15/12/14 Anselmo Ferreira 44 2.2 Detecção de Manipulações por Cópia e Colagem Passo 6:

Anselmo Ferreira15/12/14 69

2.3. Atribuição de Fonte de Documentos

● Impressoras Laser

– Atribuição ocorre na versão digitalizada do documento.

– Algumas abordagens:● Investigação de pontos de meio-tom [11,12].● Investigação de textura [13,14].● Investigação do ruído [15,16].

Page 70: Técnicas Periciais em Visão Computacional para ...ra023169/speeches/speech_usp.pdf · 15/12/14 Anselmo Ferreira 44 2.2 Detecção de Manipulações por Cópia e Colagem Passo 6:

Anselmo Ferreira15/12/14 70

2.3. Atribuição de Fonte de Documentos

● Impressoras Laser

– A maioria das técnicas 'ensina' a um classificador de padrões como são as assinaturas de diferentes marcas e modelos de impressora.

● Treino de classificador.

Page 71: Técnicas Periciais em Visão Computacional para ...ra023169/speeches/speech_usp.pdf · 15/12/14 Anselmo Ferreira 44 2.2 Detecção de Manipulações por Cópia e Colagem Passo 6:

Anselmo Ferreira15/12/14 71

2.3. Atribuição de Fonte de Documentos

● Impressoras Laser

– Dado um documento de teste, esse classificador irá apontar a que impressora esse documento pertence segundo seu treinamento.

● Teste de classificador.

Page 72: Técnicas Periciais em Visão Computacional para ...ra023169/speeches/speech_usp.pdf · 15/12/14 Anselmo Ferreira 44 2.2 Detecção de Manipulações por Cópia e Colagem Passo 6:

Anselmo Ferreira15/12/14 72

2.3. Atribuição de Fonte de Documentos

Página de teste

Impressora

Saída da aplicação

Scanner de altíssima resolução

Scanner de alta resolução

Saída Impressa

Análise de Dados

Assinatura do dispositivo

Dados

Figura 31: Resultados das técnicas na base de falsificações utilizada.

Page 73: Técnicas Periciais em Visão Computacional para ...ra023169/speeches/speech_usp.pdf · 15/12/14 Anselmo Ferreira 44 2.2 Detecção de Manipulações por Cópia e Colagem Passo 6:

Anselmo Ferreira15/12/14 73

2.3. Atribuição de Fonte de Documentos

● Impressoras Laser

– As seguintes áreas podem ser investigadas em um documento para atribuição de fonte:

● Caracteres.● Frames.● Página inteira.

Page 74: Técnicas Periciais em Visão Computacional para ...ra023169/speeches/speech_usp.pdf · 15/12/14 Anselmo Ferreira 44 2.2 Detecção de Manipulações por Cópia e Colagem Passo 6:

Anselmo Ferreira15/12/14 74

2.3. Atribuição de Fonte de Documentos

Figura 32: Resultados das técnicas na base de falsificações utilizada.

Page 75: Técnicas Periciais em Visão Computacional para ...ra023169/speeches/speech_usp.pdf · 15/12/14 Anselmo Ferreira 44 2.2 Detecção de Manipulações por Cópia e Colagem Passo 6:

Anselmo Ferreira15/12/14 75

Laser Printer Attribution: Exploring new Features and Beyond

Anselmo Ferreira, Luiz Navarro, Giuliano Pinheiro, Jefersson dos Santos and Anderson Rocha

Forensics Science International

Page 76: Técnicas Periciais em Visão Computacional para ...ra023169/speeches/speech_usp.pdf · 15/12/14 Anselmo Ferreira 44 2.2 Detecção de Manipulações por Cópia e Colagem Passo 6:

Anselmo Ferreira15/12/14 76

2.3. Atribuição de Fonte de Documentos

Figura 33: Análise microscópica de caracteres impressos por diferentes impressoras.

Page 77: Técnicas Periciais em Visão Computacional para ...ra023169/speeches/speech_usp.pdf · 15/12/14 Anselmo Ferreira 44 2.2 Detecção de Manipulações por Cópia e Colagem Passo 6:

Anselmo Ferreira15/12/14 77

2.3. Atribuição de Fonte de Documentos

● Contribuições

I. GLCMs multidirecionais.

II. GLCMs multidirecionais e multiescala.

III. Cálculo e filtro de textura baseado em gradientes.

IV. Base de dados realista.

V. Investigação em frames de documentos.

VI. Redução de dimensionalidade.

Page 78: Técnicas Periciais em Visão Computacional para ...ra023169/speeches/speech_usp.pdf · 15/12/14 Anselmo Ferreira 44 2.2 Detecção de Manipulações por Cópia e Colagem Passo 6:

Anselmo Ferreira15/12/14 78

2.3. Atribuição de Fonte de Documentos

● GLCMs Multidirecionais

Figura 34: (Esquerda) GLCM multidirecional proposta (Direita) GLCM original.

Page 79: Técnicas Periciais em Visão Computacional para ...ra023169/speeches/speech_usp.pdf · 15/12/14 Anselmo Ferreira 44 2.2 Detecção de Manipulações por Cópia e Colagem Passo 6:

Anselmo Ferreira15/12/14 79

2.3. Atribuição de Fonte de Documentos

● GLCMs Multidirecionais e Multiescala

Figura 35: GLCM multidirecional e multiescala proposta.

Page 80: Técnicas Periciais em Visão Computacional para ...ra023169/speeches/speech_usp.pdf · 15/12/14 Anselmo Ferreira 44 2.2 Detecção de Manipulações por Cópia e Colagem Passo 6:

Anselmo Ferreira15/12/14 80

2.3. Atribuição de Fonte de Documentos

● Cálculo e filtro de textura baseado em gradientes.

Figura 36: Abordagem de Filtro de gradiente de textura convolucional.

Page 81: Técnicas Periciais em Visão Computacional para ...ra023169/speeches/speech_usp.pdf · 15/12/14 Anselmo Ferreira 44 2.2 Detecção de Manipulações por Cópia e Colagem Passo 6:

Anselmo Ferreira15/12/14 81

2.3. Atribuição de Fonte de Documentos

Figura 37: Texturas filtradas no método proposto para diferentes impressoras.

Page 82: Técnicas Periciais em Visão Computacional para ...ra023169/speeches/speech_usp.pdf · 15/12/14 Anselmo Ferreira 44 2.2 Detecção de Manipulações por Cópia e Colagem Passo 6:

Anselmo Ferreira15/12/14 82

2.3. Atribuição de Fonte de Documentos

Figura 38: Comportamento de vetores de característica para diferentes impressoras.

Page 83: Técnicas Periciais em Visão Computacional para ...ra023169/speeches/speech_usp.pdf · 15/12/14 Anselmo Ferreira 44 2.2 Detecção de Manipulações por Cópia e Colagem Passo 6:

Anselmo Ferreira15/12/14 83

2.3. Atribuição de Fonte de Documentos

● Dataset Realista

– 120 documentos impressos em 10 impressoras laser.

– Total de 1184 documentos.– Documentos da Wikipedia com fontes de

tamanhos diferentes, fontes de diferentes estilos e com/sem figuras.

Page 84: Técnicas Periciais em Visão Computacional para ...ra023169/speeches/speech_usp.pdf · 15/12/14 Anselmo Ferreira 44 2.2 Detecção de Manipulações por Cópia e Colagem Passo 6:

Anselmo Ferreira15/12/14 84

2.3. Atribuição de Fonte de Documentos

Figura 39: Número de documentos impressos por impressora na base de dados usada nos experimentos.

Page 85: Técnicas Periciais em Visão Computacional para ...ra023169/speeches/speech_usp.pdf · 15/12/14 Anselmo Ferreira 44 2.2 Detecção de Manipulações por Cópia e Colagem Passo 6:

Anselmo Ferreira15/12/14 85

2.3. Atribuição de Fonte de Documentos

● Investigação em sub-figuras (frames)

Figura 40: Abordagem de análise de assinaturas de impressoras usando pedaços (frames) de documentos.

Page 86: Técnicas Periciais em Visão Computacional para ...ra023169/speeches/speech_usp.pdf · 15/12/14 Anselmo Ferreira 44 2.2 Detecção de Manipulações por Cópia e Colagem Passo 6:

Anselmo Ferreira15/12/14 86

2.3. Atribuição de Fonte de Documentos

Experimentos

Page 87: Técnicas Periciais em Visão Computacional para ...ra023169/speeches/speech_usp.pdf · 15/12/14 Anselmo Ferreira 44 2.2 Detecção de Manipulações por Cópia e Colagem Passo 6:

Anselmo Ferreira15/12/14 87

2.3. Atribuição de Fonte de Documentos

Figura 41: Acurácia dos métodos propostos contra os propostos na literatura.

Page 88: Técnicas Periciais em Visão Computacional para ...ra023169/speeches/speech_usp.pdf · 15/12/14 Anselmo Ferreira 44 2.2 Detecção de Manipulações por Cópia e Colagem Passo 6:

Anselmo Ferreira15/12/14 88

2.3. Atribuição de Fonte de Documentos

Figura 42:Acertos (medida-f) dos métodos propostos e da literatura por impresora.

Page 89: Técnicas Periciais em Visão Computacional para ...ra023169/speeches/speech_usp.pdf · 15/12/14 Anselmo Ferreira 44 2.2 Detecção de Manipulações por Cópia e Colagem Passo 6:

Anselmo Ferreira15/12/14 89

2. Análise Forense de Documentos3.Conclusão

Page 90: Técnicas Periciais em Visão Computacional para ...ra023169/speeches/speech_usp.pdf · 15/12/14 Anselmo Ferreira 44 2.2 Detecção de Manipulações por Cópia e Colagem Passo 6:

Anselmo Ferreira15/12/14 90

3. Conclusão

● Apresentamos conceitos e técnicas nacionais para Análise forense de documentos.– Abordagens focadas em problemas

específicos.

Page 91: Técnicas Periciais em Visão Computacional para ...ra023169/speeches/speech_usp.pdf · 15/12/14 Anselmo Ferreira 44 2.2 Detecção de Manipulações por Cópia e Colagem Passo 6:

Anselmo Ferreira15/12/14 91

3. Conclusão

● Constantemente, a Análise Forense de Documentos deve se reinventar:– Avanço de tecnologias.

– Talento de Falsificadores.

– Abordagens Contra-forenses.

Page 92: Técnicas Periciais em Visão Computacional para ...ra023169/speeches/speech_usp.pdf · 15/12/14 Anselmo Ferreira 44 2.2 Detecção de Manipulações por Cópia e Colagem Passo 6:

Anselmo Ferreira15/12/14 92

3. Conclusão

● Campos de atuação e empresas especializadas já existem nos EUA e Europa para atuar nas seguintes áreas:– Celebridades x paparazzos.

– Autenticação de fotos envolvendo adultério e pornografia infantil.

– Descobrir golpes no seguro por imagens.

– Autenticação de imagens científicas.

– Autenticação de fotos da imprensa e de concursos de fotografia.

– Etc.

Page 93: Técnicas Periciais em Visão Computacional para ...ra023169/speeches/speech_usp.pdf · 15/12/14 Anselmo Ferreira 44 2.2 Detecção de Manipulações por Cópia e Colagem Passo 6:

Anselmo Ferreira15/12/14 93

Referências[1] Kurt Wagner. Facebook Has a Quarter of a Trillion User Photos. Disponível em http://mashable.com/2013/09/16/face book-photo-uploads/. Acesso em Novembro de 2014.

[2] Youtube. Statistics. Disponível em https://www.youtube.com /yt/press/statistics.html. Acesso em Novembro de 2014.

[3] Sacchi, D. L. M.; Agnoli, F.; Loftus, E. F. Changing history: Doctored photographs affect memory for past public events. Applied Cognitive Psychology (ACP), Wiley Online Library, v. 1022, n. 8, p. 1005–1022, 2007.

[4] Silva EA, Rocha A. Análise forense de documentos digitais: além da visão humana. Saúde, Ética & Justiça. 2011;16(1):9-17.

Page 94: Técnicas Periciais em Visão Computacional para ...ra023169/speeches/speech_usp.pdf · 15/12/14 Anselmo Ferreira 44 2.2 Detecção de Manipulações por Cópia e Colagem Passo 6:

Anselmo Ferreira15/12/14 94

Referências[5] Chris Parsons. It wasn't just the tears which were stage-managed: Pictures show how North Korea removed film crews from photos of Kim Jong Il's funeral. Disponível em http://www.dailymail.co.uk/news/article-2079802/Kim-Jong-Il-funeral-Pictures-North-Korea-removed-film-crews.html. Acesso em Novembro de 2014.

[6] The Atlantic. Is This North Korean Hovercraft-Landing Photo Faked? Disponível em http://www.theatlantic.com/ infocus/2013/03/is-this-north-korean-hovercraft-landing-photo-faked/100480. Acesso em Novembro de 2014.

[7] Jessica Fridrich, David Soukal, and Jan Lukas. Detection of copy-move forgery in digital images. In Digital Forensic Research Workshop (DFRWS), Cleveland, USA, 2003.

[8] Junwen Wang, Guangjie Liu, Hongyuan Li, Yuewei Dai, and Zhiquan Wang. Detection of image region duplication forgery using model with circle block. In IEEE Intl. Conference on Multimedia Information Networking and Security (MINES), pages 25-29, 2009.

Page 95: Técnicas Periciais em Visão Computacional para ...ra023169/speeches/speech_usp.pdf · 15/12/14 Anselmo Ferreira 44 2.2 Detecção de Manipulações por Cópia e Colagem Passo 6:

Anselmo Ferreira15/12/14 95

Referências[9] Alin C. Popescu. Statistical Tools for Digital Image Forensics. PhD thesis, Dept. of Computer Science. Dartmouth College, Hanover, USA, December 2004.

[10] Bo Xu, Junwen Wang, Guangjie Liu, Hongyuan Li, and Yuewei Dai. Image copy-move forgery detection based on surf. In IEEE Intl. Conference on Multimedia Information Networking and Security (MINES), pages 889-892, 2010.

[11] O. Bulan, J. Mao, G. Sharma, Geometric distortion signatures for printer identification, in: Intl. Conference on Acoustics, Speech and Signal Processing (ICASSP), 2009, pp. 1401-1404.

[12] Y. Wu, X. Kong, X. You, Y. Guo, Printer forensics based on page document's geometric distortion, in: Intl. Conference on Image Processing (ICIP), 2009,pp.2909-2912.

Page 96: Técnicas Periciais em Visão Computacional para ...ra023169/speeches/speech_usp.pdf · 15/12/14 Anselmo Ferreira 44 2.2 Detecção de Manipulações por Cópia e Colagem Passo 6:

Anselmo Ferreira15/12/14 96

Referências[13] G. N. Ali, P. ju Chiang, A. K. Mikkilineni, G. T. Chiu, E. J. Delp, J. P. Allebach, Application of principal components analysis and gaussian mixture models to printer identification, in: Intl. Conference on Digital Printing Technologies, 2004, pp. 301-305.

[14] A. K. Mikkilineni, P. ju Chiang, G. N. Ali, G. T.-C. Chiu, J. P. Allebach, E. J. Delp, Printer identication based on graylevel co-occurrence features for security and forensic applications, in: Intl. Conference on Security, Steganography, and Watermarking of Multimedia Contents, 2005, pp. 430-440.

[15] H.-Y. Lee, J.-H. Choi, Identifying color laser printer using noisy feature and support vector machine, in: Intl. Conference on Ubiquitous Information Technologies and Applications, 2010, pp. 1-6.

[16] J.-H. Choi, H.-K. Lee, H.-Y. Lee, Y.-H. Suh, Color laser printer forensics with noise texture analysis, in: ACM Workshop on Multimedia and Security, 2010, pp.19-24.

Page 97: Técnicas Periciais em Visão Computacional para ...ra023169/speeches/speech_usp.pdf · 15/12/14 Anselmo Ferreira 44 2.2 Detecção de Manipulações por Cópia e Colagem Passo 6:

Anselmo Ferreira15/12/14 97

OBRIGADO!

Anselmo Ferreira Doutorando no Instituto de Computação

Laboratório de Inferência em dados complexosUniversidade Estadual de Campinas

[email protected]