Sumarizacao Automatica de uma Partida de FutebolLucas Henrique Pellizon

Universidade Federal de Sao PauloCiencias da Computacao

Email: lucas.pellizon@unifesp.br

I. INTRODUCAO E MOTIVACAO

O aumento de distribuicao de mıdias perante os anosanteriores e notavel, tal crescimento se justifica pelos avancostecnologicos para obtencao e distribuicao das mesmas, com-binado com o aumento de demanda. Estamos vivenciandouma epoca de sobrecarga de informacoes, e entao surge anecessidade de buscar determinadas caracterısticas em umgrande domınio de informacoes.

Para vıdeos, uma das tecnicas que pode ser utilizada e ade sumarizacao de vıdeos, que tem o objetivo de resumı-lo.A Sumarizacao de vıdeo e o processo de extracao de umresumo do conteudo original do vıdeo, cujo objetivo e fornecerrapidamente a informacao concisa do conteudo do vıdeo,preservando a mensagem do vıdeo original [1]. Este trabalhotem como objetivo especıfico a criacao de um resumo deuma partida de futebol, levando em consideracao os momentosonde ocorre um gol ou uma possıvel chance de gol.

Como uma partida de futebol e extensa e os momentos depontuacao ou de chance de pontuacao nao sao frequentes,existe sempre uma mudanca de comportamento muito fortequando ocorre um gol ou uma chance clara de gol, como porexemplo a exaltacao do narrador ou a corrida do jogador emdirecao aos demais para comemorar o feito, causando umapequena parada no jogo e uma mudanca perceptıvel de padrao.Portanto, a tarefa de sumarizacao dos melhores momentos deuma partida de de futebol, consiste em tecnicas de processa-mento de imagens e de analise de audio para verificar quandoocorrem variacoes de comportamento caracterısticas.

Com objetivo de entregar uma experiencia melhor ao tele-spectador, a gravacao de uma partida de futebol conta tambemcom o audio produzido pelas torcidas presentes no estadio, oque gera ruıdo e picos intensos em certos momentos da partida,criando uma dificuldade em analisar o audio do narradorda partida. E ainda com objetivo de melhorar a experienciado telespectador, varias cameras sao utilizadas para gravara partida, alem de cameras que tambem filmam a torcida,requerendo uma verificacao da area de interesse antes do seuprocessamento.

II. OBJETIVO

Este trabalho tem como objetivo analisar uma partida defutebol e criar um vıdeo curto com os melhores momentos,considerando que os melhores momentos podem ser destaca-dos pelos acontecimentos de um gol, clara chance de gol erecomeco de uma partida a partir do meio de campo. Para

alcancar o objetivo, e possıvel destacar duas etapas: analisedas imagens e analise do audio da partida.

A. Analise do audio

O narrador nao tem apenas o objetivo de narrar a partida,mas tambem de transmitir as emocoes sentidas pelo torcedorem momentos crıticos do jogo, que sao caracterizados peloaumento na intensidade da narracao, sendo na maioria dasvezes imparcial quanto aos times que estao disputando apartida.

O audio, sobre todas suas propriedades, pode ser destacadopela sua frequencia, que varia entre 85Hz e 1100Hz na voz deuma pessoa, diferenciando tons agudos de tons graves, e pelasua amplitude, que demonstra a intensidade de um som, emdecibeis(dB) [2]. Entao, para a elaboracao deste trabalho, seraoanalisadas faixas amplas e contınuas entre 85Hz a 1100Hz,demonstrando uma exaltacao do narrador, e consequentementealgum momento marcante no jogo. Para identificar momentosde exaltacao do narrador, foi gerado o espectrograma do audioda partida de futebol, sem realizar operacoes de remocaode ruıdo, pois a voz do narrador em momentos intensoscobre os ruıdos gerados por outros fatores. Um espectrogramademonstra graficamente a frequencia e intensidade de umaamostragem em funcao de seu tempo [3].

Fig. 1. Exemplo de espectrograma

B. Analise das imagem

Uma partida de futebol conta com a presenca de variascameras de transmissao, quantidade que pode variar de acordocom a transmissora e infraestrutura do estadio. As camerasnao captam apenas imagens do jogo de futebol, mas tambemimagens da torcida, do banco de reservas e ate dos narradores.

Afim de verificar se a imagem que esta sendo analisadae o campo de futebol, foi estudado o histograma de coresno padrao RGB, sendo que quando a cor mais presente eo verde, assume-se que o campo esta sendo filmado. Umhistograma consiste da quantidade de cores encontradas emuma amostragem, em funcao de sua intensidade. O histogramaestudado conta com tres series de dados, uma para cadarepresentacao do RGB, como em Fig. 2.

Fig. 2. Exemplo de Histograma para representacao RGB

Mesmo identificando se a imagem analisada e o campode futebol, a movimentacao dos jogadores e muito in-tensa e ha muitas sobreposicoes de objetos, dificultando atarefa de identificacao de momentos crıticos. Entretanto, asmarcacoes do campo, como linha de fundo, linhas lateraise demais, sao objetos fixos, que variam de posicao apenaspela movimentacao da camera. Portanto, e possıvel identificarquando a camera esta centralizada no meio de campo a partirda linha central do campo, fato que ocorre quando ha umrecomeco da partida, uma paralisacao, ou outros pequenoseventos, que serao classificados como momentos marcantes.

Fig. 3. Destaque da linha central do campo

III. METODOLOGIA EXPERIMENTAL

Para desenvolver o trabalho, foi utilizada uma amostragemde 8 minutos e 20 segundos, entre os 37 e 46 minutos do2o tempo da partida entre os times Santos e Palmeiras, quedisputaram o confronto final da copa do Brasil.

Na amostragem, a partir de uma analise subjetiva dosmelhores momentos, podem ser destacados:

Fig. 4. Momentos importantes da amostragem

Com o objetivo de concluir a sumarizacao, foram adotadosos passos demonstrados na Fig. 5, detalhados nesta secao.

Fig. 5. Etapas do processo

A. Pre-Processamento

O vıdeo utilizado possui 30 quadros por segundo e resolucaode 1280 por 720 pixels. Esse nıvel de detalhe para os obje-tivos deste trabalho podem ser considerado como excesso deinformacao, sendo que o jogo e extenso e poucos quadros porsegundo ja sao suficientes. A resolucao tambem e reduzidapara 640 por 360 pixels. Essas modificacoes reduzem o esforcodo algoritmo para processar as imagens, diminuindo o temponecessario para conclusao da sumarizacao.

B. Identificacao de gol e chance clara de gol

O gol ou uma clara chance de gol em uma partida de futebol,e o momento mais intenso e mais esperado, e com ele surgeas maiores variacoes de comportamento, tanto na narracaodo jogo, quanto na torcida. Essas variacoes sao percebidasprincipalmente pela alteracao na frequencia e na intensidadedo audio da transmissao, que podem ser exibidas graficamentea partir de um espectrograma. O espectro e obtido pelatransformada rapida de Fourier, FFT, que nada mais e doque um algoritmo otimizado para o calculo da transformadadireta de Fourier, DTF, apresentando a amostra do audio nodomınio de frequencia. Como o interesse e saber a intensidadede uma frequencia em funcao do tempo, e necessario estudaro espectrograma da amostra, que e obtido a partir do espectrode Fourier em funcao do tempo [4]. Um momento de destaquena partida, nao se da apenas pela alta variacao na intensidade,mas tambem pela sua continuidade em um pequeno espaco detempo quando ha uma chance de gol, e em espaco de tempomaior quando ha o gol. Na Fig. 6. e mostrado o espectrogramada amostra, e em destaque os momentos de gol.

Para avaliar se um momento importante no jogo aconteceu,sao consideradas alta intensidades e um intervalo de con-tinuidade, para verificar se determinada frequencia e ao mesmotempo ampla e contınua.

Fig. 6. Espectrograma da amostra e momentos de gol em destaque

C. Distincao entre a area da partida e demais areas

A transmissao de uma partida conta com varias cameras,que nao exibem somente o jogo, mas tambem a torcidapresente. Para distinguir a camera que esta captando o jogodas demais cameras, e calculado o histograma RGB da cenaem destaque, onde uma cena com maior intensidade de tonsde verde pode ser considerada como a visao do campo, e paraos demais tons e considerado como uma cena que nao fazparte do campo, como o banco de reservas, torcida, etc. NaFig. 7. e possıvel ver dois histogramas, de quando o campoesta sendo filmado e de quando a torcida esta sendo filmada,neste caso ha uma grande intensidade de vermelho devido apublicidades e cor dos coletes dos organizadores. Sendo quepara nıveis altos de canal verde no sistema RGB assume-se avisao de campo, enquanto para outros nıveis assume-se que ocampo nao esta na visao.

Fig. 7. Esquerda: Visao do campo. direita: Visao fora do campo

D. Identificacao do recomeco de uma partida

Pela regra do jogo, apos um gol ou apos o intervalo dedescanso, os jogadores devem reiniciar a partida no centro docampo, que e separado por uma linha paralela a linha de fundo.Portanto, reconhecer uma linha no centro do campo, tambemno centro da transmissao por um longo perıodo pode serconsiderado como um reinıcio de partida, ou tambem um fatorelevante, como uma paralisacao, que tambem e consideradacomo uma cena para a sumarizacao. Para isso, sao feitosalguns tratamentos no vıdeo afim de encontrar a linha centralem cenas contınuas.

E utilizado um filtro para embacar a cena captada, afim deeliminar pequenos ruıdos. Com a cena embacada, a imageme binarizada, ou seja, transforada em preto e branco, e entao

e utilizado o metodo de Canny para deteccao de borda. Oresultado do processo e exibido na Fig. 8

Fig. 8. Imagem obtida

Com as bordas detectadas, e possıvel utilizar o metodo deHough para encontrar linhas, onde o interesse sao linhas ver-ticais e extensas, localizadas apenas no centro da transmissaoe por um perıodo extenso de tempo, concluindo que a cameraesta no centro do campo e ha um possıvel recomeco da partida,ou uma paralisacao.

E. Pos-Processamento

Como sao feitas analises de audio e analises de imagemdurante o processamento, pode acontecer de momentos iden-tificados ficarem muito proximos, destacando que ambos ostipos de analise identificaram momentos em comum. Para con-tornar esse problema, e realizado um pos-processamento afimde verificar se existem momentos muito proximos, excluindoum dos momentos em comum.

F. Sumarizacao

Com os melhores momentos identificados a partir daspremissas adotadas e expressas neste capıtulo, e realizada umasumarizacao dinamica, considerando que para cada momentoidentificado deve haver a captura de um vıdeo verificando seus10 segundos anteriores, e seus 5 segundos posteriores. Dessaforma, para cada momento identificado e gerado um vıdeo de15 segundos.

IV. RESULTADOS E DISCUSSOES

Apos a execucao do algoritmo, foram identificados osmomentos destacados na Fig. 9, em comparacao aos momentosesperados.

A. Analise dos resultados

1) Gol do Palmeiras: O gol do time do Palmeiras, queacontece no segundo tempo, aos 39 minutos, e reconhecidopelo algoritmo com 3 segundos de atraso, devido a verificacaoda voz do narrador do grito de gol.

2) Reinıcio da partida: Apos o gol do time do Palmeiras, osjogadores se posicionam aos 41 minutos sobre a marcacao domeio de campo para reinıcio da partida, porem os jogadores soexecutam o reinıcio aos 41 minutos e 10 segundos, validandoo momento esperado.

Fig. 9. Momentos esperados e momentos reconhecidos

3) Chance de gol do Santos: O chute do jogador do timedo Santos que representa uma clara chance de gol aconteceaos 41 minutos e 20 segundos, porem o algoritmo ja reconhecea chance com 4 segundos de antecedencia, devido ao narradorque visualizou a chance e se exaltou antes mesmo do chute.

4) Gol do Santos: O gol e identificado com 5 segundos deatraso, pois somente apos 5 segundos o algoritmo conseguiuencontrar um padrao contınuo. Se fossem verificados picos aoinves de padroes contınuos, esse problema nao existiria, masqualquer tipo de ruıdo durante a partida poderia originar falsosreconhecimentos.

5) Momento desconhecido: Foi encontrado um momentoque nao fazia parte do domınio de momentos esperados.Apareceu pois foi encontrado um padrao contınuo e intensodurante a narracao do jogo, problema que existe devido aheterogeneidade da narracao, que nao compoe somente o jogo,mas tambem anuncios publicitarios e recordacoes de partidasanteriores.

6) Reinıcio da Partida: Apos o gol do Santos, a cobrancade meio de campo para recomeco da partida se da em 43minutos e 10 segundos, porem o momento e reconhecido em42 minutos e 54 segundos, que e o momento em que osjogadores estao se posicionando sobre a linha do meio decampo, se preparando para reiniciar o jogo.

7) Momento desconhecido: Momento captado devido auma grande pausa centralizada ao meio de campo, buscandoum recomeco de partida, que de fato nao acontece.

V. CONCLUSOES E TRABALHOS FUTUROS

O narrador tem o papel de transmitir ao espectador asintensidades que ocorrem durante a partida, entao o trabalhode analise do audio se mostrou forte e importante, incluindona sumarizacao momentos importantes da partida. O proces-samento de imagens se mostrou essencial pois nem todosos momentos sao captados pelo narrador, e a juncao entreprocessamento de imagens e de audio se mostra um forteidentificador de momentos importantes da partida.

A distincao entre a area do campo e demais area filmadaspela tecnica de analise do histograma RGB se mostrou fraca,exibindo diversos falsos positivos, em que areas fora docampos foram classificadas como campo.

A analise do meio de campo se mostrou forte, porem devese levar em consideracao alguns outros fatores para concluir

se esta havendo realmente uma cobranca de meio de campo,como por exemplo a localizacao de dois jogadores no centroda imagem.

A verificacao do audio pelo histograma da partida foi capazde coletar momentos de gol e de chances claras de gol, semostrando uma forte tecnica.

Para melhorar o trabalho, deve ser estudado a imagem docampo junto ao seu histograma, assim pode se verificar a corpredominante e a area analisada, levando a conclusao corretase a imagem de fato e ou nao o campo de futebol. Quantoa analise de recomeco da partida, outros fatores podem seranalisados, como o posicionamento dos jogadores. A analisede audio trouxe bons resultados, porem podem ser utilizadasoutras tecnicas em paralelo, como a estimacao de Pitch,proposto por [5]. Para o caso estudado, foram identificadossubjetivamente 5 momentos importantes, e o algoritmo recon-heceu os 5 momentos, porem gerou 2 falsos positivos.

REFERENCES

[1] S. Pfeiffer, R. Lienhart, S. Fischer, and W. Effelsberg. Abstracting digitalmovies automatically. Technical report, University of Mannheim, 1996.

[2] Caracterısticas de um Som [Online]. Disponıvel em:http://www.aulas-fisica-quimica.com/8f_06.html

[3] Forma de onda, espectro e espectrograma [Online]. Disponıvel em:http://www.qsl.net/py4zbz/teoria/espectro.htm

[4] Frank Zalkow; Create audio spectograms with Python [Online].Disponıvel em:http://www.frank-zalkow.de/en/code-snippets/create-audio-spectrograms-with-python.html

[5] Vasconcelos, Luiz Gabriel L.B.M.; Sumarizacao Automatica em MelhoresMomentos de Transmissoes Televisivas de Futebol [Online]. Disponıvelem:http://www02.smt.ufrj.br/˜eduardo/teses/luiz_gabriel_vasconcelos-mestrado.pdf