classificação automática do estado do trânsito utilizando propriedades holísticas

Instituição: Universidade Federal da Bahia Curso: Mestrado em Mecatrônica Aluno: Andrews Sobral Orientador: Leizer Schnitman Co-orientador: Luciano Oliveira

1

Introdução Métodos de Análise de Tráfego

Soluções Tradicionais e Holísticas

Método Proposto Avaliação dos algoritmos de subtração de fundo Avaliação dos algoritmos de classificação Resultados e Considerações Finais

2

Secretaria de Transporte e Trânsito de Vila Velha Espírito Santo

3

http://www.salvador.ba.gov.br/paginas/transitoaovivo.aspx

4




Abordagem Tradicional

5

Abordagem Tradicional

Abordagem Bottom-up

Abordagem Top-down Buch et al. (2011)

KNN, SVM, ANN, ... Filtro de Kalman, Partículas, ... 6

SIFT (Scale-Invariant Feature Transform) de Lowe (1999)

SURF (Speeded Up Robust Feature ) de Bay et al. (2008)

HOG (Histogram of Oriented Gradients) de Dalal e Triggs (2005)

Haar wavelet de Papageorgiou et al. (1998)

Haar-like de Viola e Jones (2001)

e.g:

7

Alguns trabalhos que utilizam a abordagem bottom-up: Cheng e Chen (2011), Lan e Zhang (2010), Thi et al. (2008), Acunzo et al. (2007) Alefs (2006)

e.g:

Frame Difference Mean Background de Lai e Yung (1998) Gaussian Average de Wren (1997) Gaussian Mixture Model of Stauffer e Grimson (1999), Zivkovic (2004), Baf et al (2008), Zhao et al (2012) 8

Alguns trabalhos que utilizam a abordagem top-down: Mithun et al. (2012), Lai et al. (2010), Buch et al. (2010), Monteiro et al. (2008), Morris e Trivedi (2006), Hsieh et al. (2006), JunFang et al. (2011) e Luo e Zhu (2010)

Sistema da AgilityVideo (2012) para contagem de veículos. Sistema da VaxtorSystems (2012) para estimativa de velocidade de veículos.

Sistema da I2V (2012) para contagem de veículos por classificação

Sistema da VCA (2012) para detecção, rastreamento e classificação de veículos 9

Aglomerações de Veículos

10

Abordagem Holística

11

Análise de Aglomerados

• Subtração de Fundo • Fluxo Óptico • Análise da Textura, Cor e Borda • Análise no Domínio da Frequência

Junior et al. (2010)

Vídeo Nuvem de Veículos

Densidade Velocidade Direção e Sentido Localização

Principais Atributos Saxena et al. (2008), Zhan et al. (2008;) e Junior et al.

(2010)

Trabalhos relacionados à análise de tráfego

Porikli e Li (2004) – DCT e vetores de fluxo MPEG

Chan e Vasconcelos (2005) – modelo ARMA

Lee e Bovik (2009) – hist. vetores fluxo óptico

Derpanis e Wildes (2011) – filtro 3D + fourrier

12

Classificação baseada no modelo autoregressivo ARMA de Chan e Vasconcelos

(2005)

Sistema comercial da ObjectVideo (2012) para classificação do

estado do trânsito.

13

Introdução

Critérios e Limitações

14

1

2

3

4

Câmeras estáticas

Cenas noturnas Vias locais e coletoras Cruzamentos e intervenções de nível

Vias em sentidos opostos

Critérios e Limitações

15

Chan e Vasconcelos (2005) Derpanis e Wildes (2011)

48x48 pixels

16

Processo de Subtração de Fundo

Avaliação dos Métodos de Subtração de Fundo

Segmentação da Nuvem de Veículos

Estimação da Densidade da Nuvem de Veículos

17

n : índice do frame, n Є [1,N] | N : qt total de frames. T : limiar (e.g. qt necessária de frames para gerar um modelo adequado do plano de fundo). 18

Algoritmos selecionados:

20

Base de dados: ChangeDetection de Goyette et al. (2012)

Cenas indoor e outdoor

31 vídeos (~ 90.000 frames)

06 categorias

▪ baseline, jitter, dynamic background, intermitent object motion, shadow, thermal

http://www.changedetection.net/ 21

Métricas:

Melhor desempenho = menor rank (GOYETTE et al., 2012)

Legenda: TP – True Positive, qt. de pixels do primeiro plano classificados como primeiro plano. FP – False Positive, qt. de pixels do segundo plano que foram classificados como primeiro plano. TN – True Negative, qt. de pixels do segundo plano que foram classificados como segundo plano . FN – False Negative, qt. de pixels do primeiro plano que foram classificados como segundo plano.

22

Categoria baseline

Categoria camera jitter

Pessoas e veículos em movimento.

Pequenas variações de luminosidade e sombras.

Oscilações na câmera.

Perda de foco.

23

Categoria dyn. bkg

Categoria int.obj.motion

Plano de fundo dinâmico.

Pessoas, veículos e objetos em movimento.

Objetos que param repentinamente.

Pequenas variações de luminosidade e sombras.

24

Categoria shadow

Sombras fortes.

Pessoas, veículos e objetos em movimento.

25

Desempenho geral

26

Processo de Rastreamento

Estimação da Velocidade da Nuvem de Veículos

30

Formas de representação de objetos: Cor

Textura

Bordas

PDF

Modelos

31

Método KLT

Kanade-Lucas-Tomasi

(a) Dois frames consecutivos. (b) Extração de pontos do primeiro frame.

Tmax = 500 e Tmin = 50 (c) Rastreamento dos pontos no frame seguinte. (d) Filtragem dos pontos cujo deslocamento é infeior à um limiar.

Tlim = 3 pixels

Extrator de Características Shi e Tomasi (1994)

Fluxo Óptico Lucas e Kanade (1981)

Bouguet (2000)

Também utilizado em análise de agromerados nos trabalhos de: Saxena et al. (2008), Santoro et al. (2010), Rodriguez et al. (2011) e He e Liu (2012) 34

Características Extraídas

Métodos de Classificação

37

Algoritmos selecionados:

K-NN (K-Nearest Neighbor) NBC (Naive Bayes Classifier) MLP (MultiLayer Perceptrons) SVM (Support Vector Machine)

40

Base de dados: UCSD traffic dataset de Chan e Vasconcelos (2005)

Resolução de 320x240 RGB

254 vídeos de 42 a 52 frames por vídeo (10 FPS, 4~5seg por vídeo)

Anotações especificando:

▪ Nível de congestão (alto, médio e baixo), clima (ensolarado, chuvoso ou nublado), # de frames, ...

http://www.svcl.ucsd.edu/projects/traffic/ 42

http://www.svcl.ucsd.edu/projects/traffic/ 43

Validação Cruzada

46

Avaliação dos Classificadores K-NN, NBC, MLP e SVM

49

Em média, o classificador K-NN obteve 92.925% de acertos 51

Em média, o classificador NBC obteve 92.95% de acertos 53

Em média, o classificador MLP obteve 94.5% de acertos 55

Em média, o classificador SVM obteve 92.95% de acertos 57

Trânsito sem Veículos vs Trânsito com Veículos Parados Para inicializar o modelo do plano de fundo, o método MultiLayer, requer que os

veículos presentes na cena não estejam parados.

Mesmo havendo um modelo do plano de fundo prévio e adequado, o algoritmo de subtração de fundo precisa atualizá-lo com uma certa taxa de aprendizado. Se os veículos ficarem parados por um longo período de tempo e, dependendo da taxa de aprendizado, o algoritmo poderá incluí-los no modelo causando uma divergência com a realidade (quantidade real de veículos presentes na cena).

Resultados compatíveis com os trabalhos de Chan e Vasconcelos (2005) e

Derpanis e Wildes (2011).

Taxa de acertos:

90.90% dos vídeos com alta congestão.

84.44% dos vídeos com média congestão.

98.18% dos vídeos com baixa congestão. 63

Avaliação com vídeos noturnos e outros dataset’s.

Detecção de aglomerados de veículos utilizando apenas informações de aparência.

Testes com novos métodos de rastreamento e subtração de fundo.

64

O presente trabalho foi aceito para publicação no 10th IASTED International Conference on Signal Processing, Pattern Recognition and Applications (SPPRA’2013) que será realizado nos dias 12 à 14 de Fevereiro de 2013 em Innsbruck, Austria (SOBRAL et al., 2012).

65

BUCH, N.; VELASTIN, S.; ORWELL, J. A review of computer vision techniques for the analysis of urban traffic. IEEE Transactions on Intelligent Transportation Systems (ITS'11), v. 12, n. 3, p. 920{939, sept. 2011.

CHAN, A.; VASCONCELOS, N. Classification and retrieval of traffic video using auto-regressive stochastic processes. In: IEEE Intelligent Vehicles Symposium, 2005. p. 771-776.

DERPANIS, K. G.; WILDES, R. P. Classification of traffic video based on a spatiotemporal orientation analysis. In: Proceedings of the 2011 IEEE Workshop on Applications of Computer Vision (WACV). Washington, DC, USA: IEEE Computer Society, 2011. (WACV'11), p. 606-613. ISBN 978-1-4244-9496-5.

JUNIOR, J. J.; MUSSE, S.; JUNG, C. Crowd analysis using computer vision techniques. IEEE Signal Processing Magazine, v. 27, n. 5, p. 6677, sept. 2010.

LUCAS, B. D.; KANADE, T. An iterative image registration technique with an application to stereo vision. In: Proceedings of the 7th international joint conference on Artificial intelligence - Volume 2. [S.l.: s.n.], 1981. p. 674-679.

LEE, J.; BOVIK, A. Estimation and analysis of urban traffic flow. In: 16th IEEE International Conference on Image Processing (ICIP'09). [S.l.: s.n.], 2009. p. 1157-1160. ISSN 1522-4880.

SANTORO, F.; PEDRO, S.; TAN, Z.-H.; MOESLUND, T. B. Crowd analysis by using optical flow and density based clustering. Proceedings of the European Signal Processing Conference (EUSIPCO), European Association for Signal Processing (EURASIP), v. 18, p. 269{273, 2010. ISSN 2076-1465.

69

SAXENA, S.; BREMOND, F.; THONNAT, M.; MA, R. Crowd behavior recognition for video surveillance. In: Proceedings of the 10th International Conference on Advanced Concepts for Intelligent Vision Systems. Berlin, Heidelberg: Springer-Verlag, 2008. (ACIVS'08), p. 970-981. ISBN 978-3-540-88457-6.

SENST, T.; EISELEIN, V.; SIKORA, T. Robust local optical flow for feature tracking. IEEE Transactions on Circuits and Systems for Video Technology, 2012.

SHI, J.; TOMASI, C. Good features to track. In: IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'94). [S.l.: s.n.], 1994. p. 593-600. ISSN 1063-6919.

SOBRAL, A.; OLIVEIRA, L.; SCHNITMAN, L.; SOUZA, F. D. Highway traffic congestion classification using holistic properties. 10th IASTED International Conference on Signal Processing, Pattern Recognition and Applications (SPPRA'2013), fev. 2013.

YAO, J.; ODOBEZ, J. Multi-layer background subtraction based on color and texture. In: IEEE Conference on Computer Vision and Pattern Recognition (CVPR'07), 2007. p. 1{8.

YILMAZ, A.; JAVED, O.; SHAH, M. Object tracking: A survey. ACM Computing Surveys, ACM, New York, NY, USA, v. 38, n. 4, dec 2006. ISSN 0360-0300.

ZHAN, B.; MONEKOSSO, D. N.; REMAGNINO, P.; VELASTIN, S. A.; XU, L.-Q. Crowd analysis: a survey. Machine Vision and Applications, v. 19, n. 5-6, p. 345-357, 2008.

70