visão computacional aplicada na detecção de sonolência em ... · buzzer contém um circuito...

15
1° ETCEECAU 1º ENCONTRO DE TRABALHOS CIENTÍFICOS DE ENGENHARIA ELÉTRICA E ENGENHARIA DE CONTROLE E AUTOMAÇÃO I Encontro de Trabalhos Científicos de Engenharia Elétrica Engenharia de Controle e Automação Uninorte Laureate - I ETCEECAU Av. Igarapé de Manaus, 211 - Centro, Manaus - AM, 69020-220 Visão Computacional Aplicada na Detecção de Sonolência em Motoristas, para Prevenção de Acidentes Vitor Afonso 1 André Aranha 2 RESUMO: Acidentes de trânsito com consequentes lesões e mortes tem se mostrado perceptível em nível mundial. Dados estatísticos relevam que no Brasil, os acidentes de trânsitos são considerados a 3° maior causa de mortes e o 4° trânsito mais violento do continente americano. A mesma estatística alerta para um comportamento que pouco se dá atenção no trânsito, mas que pode ser tão perigoso quanto dirigir embriagado, é dirigir com sono. Até 42% de todos os acidentes de trânsito estão associados à sonolência. Sendo assim, a sonolência em motoristas é uma das causas significativa dos acidentes de trânsito brasileiro. Por esta razão, no âmbito de contribuir para o aumento do nível de segurança veicular, este projeto propõe desenvolver um sistema não invasivo, com auxílio de recursos de visão computacional assistida que detecta sintomas de sonolência e forneça um aviso sonoro em tempo real ao motorista. Entretanto, a maneira encontrada para o sistema realizar esta tarefa é analisar pontos extraídos da região dos olhos, através do Eye Aspect Ratio. Sistema vinculado com métodos de detecção facial usando algoritmo Viola-Jones e monitoramento de pontos faciais associados aos olhos usando algoritmo Facial Landmark, na plataforma Raspberry Pi 3. Os testes realizados, num ambiente real no interior de um veículo mostraram-se satisfatório, pois considerando o estado de sonolência como uma sequência de conduta em que o motorista permanece com os olhos fechados, tal estado foi detectado em todas as situações das imagens processadas. Palavras Chave: Opencv; dlib; facial landmarks; viola-jones, fatigue detection. ABSTRACT: Traffic accidents with consequent injuries and deaths have been perceptible worldwide. Statistical data indicate that in Brazil, traffic accidents are considered the 3rd largest cause of death and the 4th most violent traffic in the American continent. The same statistic warns of behavior that gives little attention to traffic but can be as dangerous as drunk driving is driving with sleep. Up to 42% of all traffic accidents are associated with sleepiness. Therefore, sleepiness in drivers is one of the significant causes of traffic accidents in Brazil. For this reason, in order to contribute to the increase of vehicle safety level, this project proposes to develop a non-invasive system with the aid of assisted computer vision that detects symptoms of drowsiness and provide a real-time audible warning to the driver. However, the way the system finds this task is to analyze points extracted from the eye region through the Eye Aspect Ratio. System linked with facial detection methods using Viola-Jones algorithm and monitoring of facial points associated with the eyes using Landmark Facial algorithm on the Raspberry Pi 3 platform. The tests carried out in a real environment inside a vehicle were satisfactory considering that considering the state of drowsiness as a conduct sequence in which the driver remains with his eyes closed, such a state has been detected in all situations of processed images. Keywords: Opencv; dlib; facial landmarks; viola-jones, fatigue detection. Este trabalho foi desenvolvido no âmbito do Programa de Engenharia Elétrica e Engenharia de Controle e Automação da UNINORTE e constará nos anais do I Encontro De Trabalhos Científicos de Engenharia Elétrica Engenharia de Controle e Automação Uninorte Laureate- I ETCEECAU 2018 1 Aluno finalista de Engenharia Elétrica- UNINORTE email: [email protected] 2 Mestre em energética espectral pela Universidade do Estado do Amazonas UEA. Atualmente professor de graduação e pós-graduação do Centro Universitário do Norte - UNINORTE email: [email protected]

Upload: others

Post on 18-Feb-2020

1 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: Visão Computacional Aplicada na Detecção de Sonolência em ... · buzzer contém um circuito ocilador embutido, assim basta energizar os seus terminar para que o mesmo comece a

1° ETCEECAU 1º ENCONTRO DE TRABALHOS CIENTÍFICOS DE

ENGENHARIA ELÉTRICA E ENGENHARIA DE CONTROLE E

AUTOMAÇÃO

UNINORTE LAUREATE

I Encontro de Trabalhos Científicos de Engenharia Elétrica Engenharia de Controle e Automação Uninorte Laureate - I ETCEECAU

Av. Igarapé de Manaus, 211 - Centro, Manaus - AM, 69020-220

Visão Computacional Aplicada na Detecção de Sonolência em

Motoristas, para Prevenção de Acidentes

Vitor Afonso1

André Aranha2

RESUMO: Acidentes de trânsito com consequentes lesões e mortes tem se mostrado perceptível

em nível mundial. Dados estatísticos relevam que no Brasil, os acidentes de trânsitos são

considerados a 3° maior causa de mortes e o 4° trânsito mais violento do continente americano.

A mesma estatística alerta para um comportamento que pouco se dá atenção no trânsito, mas que

pode ser tão perigoso quanto dirigir embriagado, é dirigir com sono. Até 42% de todos os

acidentes de trânsito estão associados à sonolência. Sendo assim, a sonolência em motoristas é

uma das causas significativa dos acidentes de trânsito brasileiro. Por esta razão, no âmbito de

contribuir para o aumento do nível de segurança veicular, este projeto propõe desenvolver um

sistema não invasivo, com auxílio de recursos de visão computacional assistida que detecta

sintomas de sonolência e forneça um aviso sonoro em tempo real ao motorista. Entretanto, a

maneira encontrada para o sistema realizar esta tarefa é analisar pontos extraídos da região dos

olhos, através do Eye Aspect Ratio. Sistema vinculado com métodos de detecção facial usando

algoritmo Viola-Jones e monitoramento de pontos faciais associados aos olhos usando algoritmo

Facial Landmark, na plataforma Raspberry Pi 3. Os testes realizados, num ambiente real no

interior de um veículo mostraram-se satisfatório, pois considerando o estado de sonolência como

uma sequência de conduta em que o motorista permanece com os olhos fechados, tal estado foi

detectado em todas as situações das imagens processadas.

Palavras Chave: Opencv; dlib; facial landmarks; viola-jones, fatigue detection.

ABSTRACT: Traffic accidents with consequent injuries and deaths have been perceptible

worldwide. Statistical data indicate that in Brazil, traffic accidents are considered the 3rd largest

cause of death and the 4th most violent traffic in the American continent. The same statistic warns

of behavior that gives little attention to traffic but can be as dangerous as drunk driving is driving

with sleep. Up to 42% of all traffic accidents are associated with sleepiness. Therefore, sleepiness

in drivers is one of the significant causes of traffic accidents in Brazil. For this reason, in order to

contribute to the increase of vehicle safety level, this project proposes to develop a non-invasive

system with the aid of assisted computer vision that detects symptoms of drowsiness and provide

a real-time audible warning to the driver. However, the way the system finds this task is to analyze

points extracted from the eye region through the Eye Aspect Ratio. System linked with facial

detection methods using Viola-Jones algorithm and monitoring of facial points associated with

the eyes using Landmark Facial algorithm on the Raspberry Pi 3 platform. The tests carried out

in a real environment inside a vehicle were satisfactory considering that considering the state of

drowsiness as a conduct sequence in which the driver remains with his eyes closed, such a state

has been detected in all situations of processed images.

Keywords: Opencv; dlib; facial landmarks; viola-jones, fatigue detection.

Este trabalho foi desenvolvido no âmbito do Programa de Engenharia Elétrica e Engenharia de Controle e Automação da UNINORTE e constará nos anais do I Encontro De Trabalhos Científicos de Engenharia Elétrica Engenharia de Controle e

Automação Uninorte Laureate- I ETCEECAU 2018 1Aluno finalista de Engenharia Elétrica- UNINORTE – email: [email protected] 2 Mestre em energética espectral pela Universidade do Estado do Amazonas – UEA. Atualmente

professor de graduação e pós-graduação do Centro Universitário do Norte - UNINORTE – email:

[email protected]

Page 2: Visão Computacional Aplicada na Detecção de Sonolência em ... · buzzer contém um circuito ocilador embutido, assim basta energizar os seus terminar para que o mesmo comece a

1° ETCEECAU 1º ENCONTRO DE TRABALHOS CIENTÍFICOS DE

ENGENHARIA ELÉTRICA E ENGENHARIA DE CONTROLE E

AUTOMAÇÃO

UNINORTE LAUREATE

I Encontro de Trabalhos Científicos de Engenharia Elétrica Engenharia de Controle e Automação Uninorte Laureate - I ETCEECAU

Av. Igarapé de Manaus, 211 - Centro, Manaus - AM, 69020-220

Introdução

Lesões e mortes por acidentes nas rodovias têm se tornado visível em todo o mundo,

especialmente em países em desenvolvimento como o Brasil. No caso dos motoristas

brasileiros, principalmente os que trabalham em turnos irregulares, o cansaço, a fadiga, o

excesso de horas de trabalho, a falta de sono e pouco tempo para o descanso colaboram

para a falta de atenção e o sono ao volante. Pesquisa conduzida pela Academia Brasileira

de Neurologia (ABN) alerta para um comportamento que pouco se dá atenção, mas que

pode ser tão perigoso quanto dirigir embriagado: dirigir com sono. A pesquisa que

entrevistou 495 motoristas, mostra que 40% dos condutores já ziguezaguearam na estrada

e metade já parou na via por sentir sono. Entre os entrevistados, 61 % assumiram que

costumam dirigir no dia seguinte a uma péssima noite de sono. Cerca de 10% dos

motoristas afirmaram dirigir com sono e 23% o fazem de 2 ou 3 vezes por semana

(CZERWONKA, 2013).

No Brasil, motoristas que dirigem com sono são responsáveis por 42% dos acidentes

de trânsito, é o que revela o diretor de comunicação do Departamento de Medicina

Ocupacional da Associação Brasileira de Medicina de Tráfego (ABRAMET), doutor

Dirceu Rodrigues Alves Júnior. Além disso, 18% dos acidentes são ocasionados pela

fadiga dos motoristas. Juntos, o sono e o cansaço representam 60% dos acidentes

causados no país (CZERWONKA, 2013).

Atento a este tipo de acidente, desenvolver um sistema tecnológico que permite o

monitoramento e detecção sobre os sintomas de sonolência ou fadiga em motoristas, pode

contribuir para diminuição de acidentes. Uma vez que, pesquisas e tecnologias

relacionadas na melhoria da segurança veicular no Brasil são implementadas de forma

lenta, as medidas utilizadas atualmente demonstram pelo menos 20 anos de atraso em

relação à regulação sobre segurança dos veículos dos países europeus (GONÇALVES,

2018).

O propósito principal do sistema é realizar a detecção automática de sonolência, por

meio da avaliação do estado (aberto/fechado) dos olhos na face do motorista posicionado

em frete do volante. A figura 1 ilustra parte do sistema, que tem como ponto de partida a

aquisição da imagem do motorista provida por uma webcam.

Page 3: Visão Computacional Aplicada na Detecção de Sonolência em ... · buzzer contém um circuito ocilador embutido, assim basta energizar os seus terminar para que o mesmo comece a

1° ETCEECAU 1º ENCONTRO DE TRABALHOS CIENTÍFICOS DE

ENGENHARIA ELÉTRICA E ENGENHARIA DE CONTROLE E

AUTOMAÇÃO

UNINORTE LAUREATE

I Encontro de Trabalhos Científicos de Engenharia Elétrica Engenharia de Controle e Automação Uninorte Laureate - I ETCEECAU

Av. Igarapé de Manaus, 211 - Centro, Manaus - AM, 69020-220

Figura 1 – Posicionamento da webcam para aquisição da imagem do motorista.

Fonte: Próprio autor, 2018.

A fundamentação desenvolvida nesse projeto constitui-se de um sistema de detecção

de sonolência em motoristas onde há necessidade de monitorar o estado de alerta do

motorista em ambiente real e em tempo real, e também proporcionar uma resposta de

alerta sonoro imediato ao próprio motorista.

1. Material e Métodos

Os recursos escolhido para o desenvolvimento de um sistema capaz de detectar

sintomas relacionado a sonolência em motoristas ao volante, são compostos por

elementos de Hardware e Software. Ressaltando a pretensão de viabilizar o melhor

desempenho e eficiência do sistema proposto, utilizando-se do menor custo construtivo.

Já a metodologia aplicada no sistema de detecção de sonolência, é basicamente

dividida em quatro partes: pré-processamento; detecção de face e dos olhos; rastreamento

dos olhos e análise dos olhos em conjunto da tomada de decisão pertinente a sintomas de

sonolência. Lembrando que primeiramente é necessário realizar a aquisição da imagem.

Page 4: Visão Computacional Aplicada na Detecção de Sonolência em ... · buzzer contém um circuito ocilador embutido, assim basta energizar os seus terminar para que o mesmo comece a

1° ETCEECAU 1º ENCONTRO DE TRABALHOS CIENTÍFICOS DE

ENGENHARIA ELÉTRICA E ENGENHARIA DE CONTROLE E

AUTOMAÇÃO

UNINORTE LAUREATE

I Encontro de Trabalhos Científicos de Engenharia Elétrica Engenharia de Controle e Automação Uninorte Laureate - I ETCEECAU

Av. Igarapé de Manaus, 211 - Centro, Manaus - AM, 69020-220

1.1 Recursos de Hardware

1.1.1 Unidade de Processamento

Com a alta necessidade de processamento de informações e imagens, escolheu-se

como unidade de processamento o Raspberry Pi. Pois, técnicas de visão computacional

aplicada na detecção de faces e olhos necessitam de bom desempenho computacional.

Sendo ainda, uma plataforma de computação de baixo custo, portátil e versátil. Usado

principalmente em projetos de programação, robótica e em automações em geral.

Além disso, compatível em sistemas operacionais Windows e Linux. Há várias

versões do Raspberry Pi, neste projeto será usado o de última geração, o Raspberry Pi 3

modelo B. A figura 2, ilustra a plataforma Raspberry Pi 3-B.

Figura 2 – Plataforma Raspberry Pi 3-B.

Fonte: Próprio autor, 2018.

1.1.2 Captura da Imagem

O sensor ótico provido por uma Webcam é responsável na captura da imagem e, a

partir dela, são expostas as soluções e os procedimentos adotados para que o sistema de

detecção de sonolência funcione de acordo com o proposto. A webcam escolhida é a

Logitech modelo C615, conforme pode ser vista na figura 3.

Page 5: Visão Computacional Aplicada na Detecção de Sonolência em ... · buzzer contém um circuito ocilador embutido, assim basta energizar os seus terminar para que o mesmo comece a

1° ETCEECAU 1º ENCONTRO DE TRABALHOS CIENTÍFICOS DE

ENGENHARIA ELÉTRICA E ENGENHARIA DE CONTROLE E

AUTOMAÇÃO

UNINORTE LAUREATE

I Encontro de Trabalhos Científicos de Engenharia Elétrica Engenharia de Controle e Automação Uninorte Laureate - I ETCEECAU

Av. Igarapé de Manaus, 211 - Centro, Manaus - AM, 69020-220

Figura 3 – Webcam Logitech C615.

Fonte: Próprio autor, 2018.

1.1.3 Dispositivo de Alerta

O componente utilizado como dispositivo de alerta é uma Buzzer ativo de 5V, muito

utilizado em projetos eletrônicos que nescessitam de sinalização sonora. Este tipo de

buzzer contém um circuito ocilador embutido, assim basta energizar os seus terminar para

que o mesmo comece a emitir um beep contínuo. A figura 4 ilustra o buzzer utilizado.

Figura 4 – Buzzer ativo de 5V.

Fonte: Próprio autor, 2018.

1.2 Recursos de Software

O sistema operacional é uma compilação do Linux especifica para o Raspberry Pi 3,

denominada Raspbian. Para o funcionamento completo do sistema, o software foi

desenvolvido na linguagem de programação Python 3.6, com auxílio das bibliotecas

OpenCV e Dlib.

Page 6: Visão Computacional Aplicada na Detecção de Sonolência em ... · buzzer contém um circuito ocilador embutido, assim basta energizar os seus terminar para que o mesmo comece a

1° ETCEECAU 1º ENCONTRO DE TRABALHOS CIENTÍFICOS DE

ENGENHARIA ELÉTRICA E ENGENHARIA DE CONTROLE E

AUTOMAÇÃO

UNINORTE LAUREATE

I Encontro de Trabalhos Científicos de Engenharia Elétrica Engenharia de Controle e Automação Uninorte Laureate - I ETCEECAU

Av. Igarapé de Manaus, 211 - Centro, Manaus - AM, 69020-220

1.2.1 OpenCV e Dlib

O uso de algoritmos na visão computacional para a extração de características de

objetos, detecção de faces humanas e geração de classificadores capazes de reconhecer

padrões de objetos em imagens, tem demostrado resultados robustos, eficientes e rápidos

para a detecção de objetos em tempo real. Entre os algoritmos mais conhecidos, destaca-

se a técnica proposta inicialmente por Viola e Jones (2004), por apresentar uma solução

genérica quanto a detecção de qualquer tipo de objeto, além de possuir baixo índice de

erros.

OpenCV (Open Source Computer Vision Library), consiste em conjunto de

bibliotecas abertas de softwares (algoritmos) para uso em processamento digital de

imagem, visão computacional e de aprendizado de máquina. Visto que o OpenCV oferece

uma série de métodos e possibilidades de detecção de objetos de imagens. Dentre eles,

uma implementação do algoritmo de Viola e Jones, algoritmo capaz de reconhecer

padrões de imagens, como faces humanas (VIOLA; JONES, 2004).

Dentre as diversidades de métodos referente a detecção facial, enfatiza-se a utilização

da biblioteca Dlib e OpenCV em conjunto. Responsável por fazer não apenas a detecção

facial, mas também, realizar reconhecimento de características faciais usando pontos de

referência faciais. Portanto, após alcançado a conquista de sistemas que realizam somente

a detecção facial, por exemplo o algoritmo Viola-Jones, surgiu a necessidade de explorar

os pontos desta detecção facial como cantos dos olhos, sobrancelhas, boca, nariz e

mandíbula. A partir daí surge o conceito de Facial Landmarks, algoritmo responsável por

detectar pontos de referência faciais.

Portanto, o uso do algoritmo Facial Landmark proporciona a detecção,

reconhecimento e o rastreamento de pontos faciais em humanas. Detectar pontos de

interesse (Landmark) em faces é uma etapa importante em sistemas que envolvem tarefas

de reconhecimento facial, interação homem-máquina, animação facial e análise de

expressões faciais.

1.2.1.1 Facial Landmarks

O algoritmo Facial Landmarks consiste basicamente em detectar pontos de

referências faciais tanto em imagens estáticas (fotos), quanto em imagens dinâmicas

(vídeos). Nestas imagens são especificadas coordenadas específicas (x, y) nas regiões ao

Page 7: Visão Computacional Aplicada na Detecção de Sonolência em ... · buzzer contém um circuito ocilador embutido, assim basta energizar os seus terminar para que o mesmo comece a

1° ETCEECAU 1º ENCONTRO DE TRABALHOS CIENTÍFICOS DE

ENGENHARIA ELÉTRICA E ENGENHARIA DE CONTROLE E

AUTOMAÇÃO

UNINORTE LAUREATE

I Encontro de Trabalhos Científicos de Engenharia Elétrica Engenharia de Controle e Automação Uninorte Laureate - I ETCEECAU

Av. Igarapé de Manaus, 211 - Centro, Manaus - AM, 69020-220

redor de cada estrutura facial. Uma vez que se tenha uma região da face bem definida, o

passo seguinte é verificar se é possível encontrar a localização de diferentes

características faciais (por exemplo, cantos dos olhos, sobrancelhas, boca, ponta do nariz

e etc.) com precisão (ROSEBROCK, 2017).

Salientando, que o algoritmo Facial Landmark atua dentro da biblioteca Dlib, e que o

algoritmo produz 68 coordenadas (x, y) que mapeiam características específicas da face

humana. Estes 68 pontos são armazenados em vetores que podem ser usados de forma

específica apenas escolhendo o intervalo que a aplicação for desejada (ROSEBROCK,

2017).

A figura 5 ilustra o conceito prático dos pontos que o algoritmo Facial Landmark

essencialmente localiza e rotula em uma região facial humano.

Figura 5 – Pontos do algoritmo Facial Landmark.

Fonte: Ibug, (2013).

1.2.1.2 EAR

O Eye Aspect Ratio (EAR) estima analisar as características especificamente dos

olhos humanos, por exemplo, em sistemas que monitoram a vigilância do operador

humano em máquinas, a sonolência em motoristas, em interface homem-computado etc.

Podemos aplicar o algoritmo Facial Lanfmarks para localizar pontos importantes da

face, incluindo os olhos. No entanto, para proporcionar melhor interpretação referente ao

Page 8: Visão Computacional Aplicada na Detecção de Sonolência em ... · buzzer contém um circuito ocilador embutido, assim basta energizar os seus terminar para que o mesmo comece a

1° ETCEECAU 1º ENCONTRO DE TRABALHOS CIENTÍFICOS DE

ENGENHARIA ELÉTRICA E ENGENHARIA DE CONTROLE E

AUTOMAÇÃO

UNINORTE LAUREATE

I Encontro de Trabalhos Científicos de Engenharia Elétrica Engenharia de Controle e Automação Uninorte Laureate - I ETCEECAU

Av. Igarapé de Manaus, 211 - Centro, Manaus - AM, 69020-220

aspecto ocular em faces, utiliza-se o EAR e Facial Landmarks em conjunto. O EAR

consiste basicamente em uma equação matemática que calcula o nível da abertura dos

olhos, resultando numa grandeza escalar, usando especialmente os pontos do Facial

Landmarks que definem o contorno do olho.

Sendo assim, cada olho é representado por 6 coordenadas (x, y), começando no canto

esquerdo do olho e, em seguida, mapeando no sentido horário em torno do restante do

olho. A figura 6 ilustra as respectivas coordenadas.

Figura 6 – Ilustração das 6 coordenadas de um olho.

Fonte: Próprio autor, 2018.

A Equação 2.1 demostra com mais detalhe a equação para o cálculo do EAR, para

estimar a grandeza escalar em um olho.

(2.1)

O valor de EAR é calculada entre a altura e a largura de cada olho. Onde P1, P2, ...,

P6 são os pontos de referência do contorno do olho, o numerador da equação acima indica

a distância entre os pontos verticais e denominador denota a distância entre os pontos

horizontais do olho, representado pelos pontos: olho direito [37, 42] e olho esquerdo [43,

48] dos vetores do Facial Landmarks. O EAR é principalmente constante quando o olho

permanece aberto e se altera a partir do momento em que o olho pisca ou se fecha.

Geralmente essa constante pode variar para o olho aberto, valores entre 0,23 a 0,33. Para

o olho fechado o valor está próximo de zero (EMARA, 2017).

P1

P2 P3

P4

P5 P6

Page 9: Visão Computacional Aplicada na Detecção de Sonolência em ... · buzzer contém um circuito ocilador embutido, assim basta energizar os seus terminar para que o mesmo comece a

1° ETCEECAU 1º ENCONTRO DE TRABALHOS CIENTÍFICOS DE

ENGENHARIA ELÉTRICA E ENGENHARIA DE CONTROLE E

AUTOMAÇÃO

UNINORTE LAUREATE

I Encontro de Trabalhos Científicos de Engenharia Elétrica Engenharia de Controle e Automação Uninorte Laureate - I ETCEECAU

Av. Igarapé de Manaus, 211 - Centro, Manaus - AM, 69020-220

1.3 Metodologia

1.3.1 Pré-processamento

O pré-processamento é tido como fase inicial da metodologia, tendo como objetivo

converter a imagem adquirida no sistema de cores RGB e converte-la em tons de cinza

como mostrado na figura 7. Também é aplicado na imagem um filtro (Median Filter) que

ajuda eliminar possíveis ruídos na imagem.

Figura 7 - Conversão da imagem original para tons de cinza. a) Imagem original e

b) Imagem em tons de cinza.

(a) (b)

Fonte: Próprio autor, 2018.

1.3.2 Detecção Facial

Após a fase inicial de pré-processamento, inicia-se então a fase de identificação facial,

ou seja, detectar em qual área da imagem a face está localizada. Portanto, na detecção

facial a principal tarefa é localizar características faciais em uma imagem e contornar a

região que contém a face. Para isso, aplica-se na imagem o algoritmo de Viola-Jones para

a detecção facial do motorista, conforme a figura 8 mostra.

Para este projeto, o classificador treinado e utilizado no OpenCV para detecção facial

na posição frontal foi o haarcascade_frontalface_alt.xml.

Encontrado a face na imagem, o sistema procede para etapa de rastreamento dos olhos.

Page 10: Visão Computacional Aplicada na Detecção de Sonolência em ... · buzzer contém um circuito ocilador embutido, assim basta energizar os seus terminar para que o mesmo comece a

1° ETCEECAU 1º ENCONTRO DE TRABALHOS CIENTÍFICOS DE

ENGENHARIA ELÉTRICA E ENGENHARIA DE CONTROLE E

AUTOMAÇÃO

UNINORTE LAUREATE

I Encontro de Trabalhos Científicos de Engenharia Elétrica Engenharia de Controle e Automação Uninorte Laureate - I ETCEECAU

Av. Igarapé de Manaus, 211 - Centro, Manaus - AM, 69020-220

Figura 8– Detecção facial através do algoritmo Viola-Jones.

Fonte: Próprio autor, 2018.

1.3.3 Rastreamento dos Olhos

Nesta etapa, depois que a detecção da região a face foi concluída, então é aplicado o

algoritmo Facial Landmark para que seja realizado o rastreamento dos olhos.

O rastreamento dos olhos é realizado dentro do contorno que contém a face

previamente detectada. Mapeando somente as 6 coordenadas (x, y) pertencente a cada

olho, ou seja, pontos do olho esquerdo e pontos do olho direito na imagem. Este

procedimento pode ser visto em detalhes na figura 9.

Figura 9 – Rastreamento dos olhos através do algoritmo Facial Landmark.

Fonte: Próprio autor, 2018.

Page 11: Visão Computacional Aplicada na Detecção de Sonolência em ... · buzzer contém um circuito ocilador embutido, assim basta energizar os seus terminar para que o mesmo comece a

1° ETCEECAU 1º ENCONTRO DE TRABALHOS CIENTÍFICOS DE

ENGENHARIA ELÉTRICA E ENGENHARIA DE CONTROLE E

AUTOMAÇÃO

UNINORTE LAUREATE

I Encontro de Trabalhos Científicos de Engenharia Elétrica Engenharia de Controle e Automação Uninorte Laureate - I ETCEECAU

Av. Igarapé de Manaus, 211 - Centro, Manaus - AM, 69020-220

Para este projeto o modelo do preditor utilizado no Dlib, para a proposta de

rastreamento dos olhos foi o shape_predictor_68_face_landmarks.dat.

1.3.4 Análise dos Olhos

Neste momento, já temos o rastreamento da região dos olhos e os pontos de referência

do Facial Landmark indexado em cada olho. Com está informação, procede para a etapa

final do algoritmo de detecção de sonolência, que consiste em avaliar o estado

(aberto/fechado) dos olhos. Para realizar essa avaliação, é calculado o EAR em todos os

quadros da imagem fornecido pela webcam.

Com o resultado do EAR conseguimos estimar quando o olho está aberto ou fechado,

o valor do EAR será aproximadamente constante quando os olhos estiverem abertos e

diminuirá rapidamente durante um piscar de olhos, porém ao manter os olhos

permanentemente fechados começa a tender para próximo de zero. A figura 10 ilustra

está respectiva variação do EAR.

Figura 10 – Representação dos valores do EAR. (a) valor do EAR com os olhos abertos. (b) valor do

EAR com os olhos fechados.

(a) (b)

Fonte: Próprio autor, 2018.

Portanto, para que a estimação do estado de sonolência seja positiva, os olhos

encontram-se fechados. Com isso, o valor do EAR será menor do que a proporção quando

os olhos estiverem abertos. O valor de referência estipulado para estimação do estado de

sonolência negativa deve ser superior a 0,23. Para valores abaixo deve-se estimar o estado

de sonolência como positivo, ou seja, o motorista está com sintomas de sonolência.

Por fim, é utilizado como input o resultado do cálculo do EAR, que quando

Page 12: Visão Computacional Aplicada na Detecção de Sonolência em ... · buzzer contém um circuito ocilador embutido, assim basta energizar os seus terminar para que o mesmo comece a

1° ETCEECAU 1º ENCONTRO DE TRABALHOS CIENTÍFICOS DE

ENGENHARIA ELÉTRICA E ENGENHARIA DE CONTROLE E

AUTOMAÇÃO

UNINORTE LAUREATE

I Encontro de Trabalhos Científicos de Engenharia Elétrica Engenharia de Controle e Automação Uninorte Laureate - I ETCEECAU

Av. Igarapé de Manaus, 211 - Centro, Manaus - AM, 69020-220

constatado o motorista com sintomas de sonolência, um alerta sonoro de aviso é emitido

através de um buzzer. Sempre que os sintomas forem positivos pra sonolência, o alerta

será emitido.

2. Resultados e Discussão

Os resultados têm por base os dados obtidos através do software de testes. Os testes

foram realizados no interior de um veículo, proporcionando um ambiente e cenário real

para o funcionamento do sistema de detecção de sonolência em motoristas.

Desta maneira, a metodologia pôde ser experimentada por um motorista com

resultados em tempo real. Foi possível analisar que os recursos que compõe o Hardware

operaram bem e que os recursos que compõe o Software executaram sem falhas. É

importante frisar que o motorista participante dos testes, estava em estado de vigília, e

que simulou a sonolência através do fechamento dos olhos.

Com isso, as imagens obtidas pelo sistema detecção de sonolência demostra que,

quando o motorista está de olhos abertos, o sistema não detecta a presença de sonolência,

estimando o motorista a condição de normalidade na condução do veículo, e que quando

o motorista está de olhos fechados, por um período de tempo superior ao do tempo comum

do piscar de olhos, que é entre 100 a 400 milissegundos, o sistema detecta a presença de

sonolência, e responde emitindo um alerta sonoro para advertir o motorista, sobre a

condição de anormalidade na condução do veículo. Estes resultados podem ser vistos em

detalhes na figura 11.

Figura 11 – Resultados obtidos. (a) olhos abertos. (b) olhos fechados

(a)

Page 13: Visão Computacional Aplicada na Detecção de Sonolência em ... · buzzer contém um circuito ocilador embutido, assim basta energizar os seus terminar para que o mesmo comece a

1° ETCEECAU 1º ENCONTRO DE TRABALHOS CIENTÍFICOS DE

ENGENHARIA ELÉTRICA E ENGENHARIA DE CONTROLE E

AUTOMAÇÃO

UNINORTE LAUREATE

I Encontro de Trabalhos Científicos de Engenharia Elétrica Engenharia de Controle e Automação Uninorte Laureate - I ETCEECAU

Av. Igarapé de Manaus, 211 - Centro, Manaus - AM, 69020-220

(b)

Fonte: Próprio autor, 2018.

3. Conclusões

De posse dos resultados encontrados, conclui-se que o sistema atende o objetivo deste

projeto. Tal projeto apresenta uma solução para alertar o motorista na ocorrência de

sonolência. Detectando através de imagem e vídeo, primeiramente do rosto na área da

imagem, posteriormente identificando os olhos e realizando cálculo de tempo no qual os

olhos do motorista permanecem fechados ou que apresentem atraso considerável no

piscar dos olhos e toma a ação de emissão alerta ao motorista.

Neste projeto, o sistema proposto utiliza técnicas de visão computacional e

processamento digital de imagens. Capturando e analisando as imagens quadro a quadro

do motorista em tempo real. Primando a principal característica deste projeto, que é o uso

do Eye Aspect Ratio, pois corresponde especificamente analisar regiões que

correspondem aos olhos.

Verifica-se o sucesso da escolha da plataforma Raspberry Pi 3. Seu poder de

processamento considerando suas dimensões são excelentes. Além disso, a simplicidade

de desenvolvimento, graças ao uso da linguagem de programação e as bibliotecas

distribuídas gratuitamente.

Page 14: Visão Computacional Aplicada na Detecção de Sonolência em ... · buzzer contém um circuito ocilador embutido, assim basta energizar os seus terminar para que o mesmo comece a

1° ETCEECAU 1º ENCONTRO DE TRABALHOS CIENTÍFICOS DE

ENGENHARIA ELÉTRICA E ENGENHARIA DE CONTROLE E

AUTOMAÇÃO

UNINORTE LAUREATE

I Encontro de Trabalhos Científicos de Engenharia Elétrica Engenharia de Controle e Automação Uninorte Laureate - I ETCEECAU

Av. Igarapé de Manaus, 211 - Centro, Manaus - AM, 69020-220

O custo do projeto como um todo é outro ponto de sucesso. O que torna mais viável

a utilização da visão computacional para dispositivos portáteis que necessitam executar

tomadas de decisões com tempo de resposta curto.

Embora o sistema forneça muita funcionalidade, existe sempre o escopo de seu

aprimoramento, envolvendo níveis mais altos de operações. Ao implementar as seguintes

sugestões, o sistema de detecção de sonolência desenvolvido pode ser mais robusto e

eficaz para uso comercial. Propondo como trabalho futuro, incrementar duas novas ações

de operação ao sistema já desenvolvido, são elas:

1. Integrar o sistema com a maquinaria do veículo em si. Permitindo que o sistema

controle a velocidade do veículo e luzes indicadoras possam alerta os passageiros quando

o motorista vir apresentar sintomas de sonolência, bem como alerta os outros veículos em

volta.

2. Desenvolvimento de um sistema em parceria com o departamento de segurança

rodoviária, como a polícia de trânsito. Quando alto nível de fadiga é detectado, o sistema

pode tentar alertar as autoridades locais de segurança rodoviária, para expedir veículos de

patrulha.

4. Referências Bibliográficas

CZERWONKA, Mariana. Sono e cansaço representam 60% dos acidentes no país. 2013.

Disponível em: < http://portaldotransito.com.br/noticias/sono-e-cansaco-representam-

60-dos-acidentes-no-pais-2/>. Acesso em: 29 de junho de 2018.

EMARA, Taha. Realtime Driver Drowsiness Detection (Sleep Detection). 2017.

Disponível em: < http://www.emaraic.com/blog/realtime-sleep-detection >. Acesso em:

03 de agosto de 2018.

FERRASSINI, Rafael B. SISTEMA DE DETECÇÃO DE SONOLÊNCIA, POR MEIO DE

VISÃO COMPUTACIONAL. Trabalho de Conclusão de Curso (TCC) – Escola de

Engenharia de São Carlos/ Universidade de São Paulo (USP). 2014.

Page 15: Visão Computacional Aplicada na Detecção de Sonolência em ... · buzzer contém um circuito ocilador embutido, assim basta energizar os seus terminar para que o mesmo comece a

1° ETCEECAU 1º ENCONTRO DE TRABALHOS CIENTÍFICOS DE

ENGENHARIA ELÉTRICA E ENGENHARIA DE CONTROLE E

AUTOMAÇÃO

UNINORTE LAUREATE

I Encontro de Trabalhos Científicos de Engenharia Elétrica Engenharia de Controle e Automação Uninorte Laureate - I ETCEECAU

Av. Igarapé de Manaus, 211 - Centro, Manaus - AM, 69020-220

GONÇALVES, E. Brasil não implementa todos os itens de segurança veicular indicados

pela ONU. 2018. Disponível em: < http://www.cnt.org.br/imprensa/Noticia/itens-

seguranca-veicular-onu-transito> .Acesso em: 29 de maio de 2018.

GONZALEZ, Rafael; WOODS, Richard. Processamento digital de imagens. 3° ed. São

Paulo: Pearson Prentice Hall, 2010.

IBUG-INTELLIGENT BEHAVIOUR UNDERSTANDING GROUP. FACIAL POINT

ANNOTATIONS. 2013. Disponível em: < https://ibug.doc.ic.ac.uk/resources/facial-

point-annotations/ >. Acesso em: 02 de agosto de 2018.

ROSEBROCK, Adrian. Eye blink detection with OpenCV, Python, and Dlib. 2017.

Disponível em: < https://www.pyimagesearch.com/2017/04/24/eye-blink-detection-

opencv-python-dlib/ >. Acesso em: 02 de agosto de 2018.

SANTOS, Túlio L. Detecção de faces através do algoritmo de Viola-Jones. 2011.

Disponível em:<http://www.lcg.ufrj.br/marroquim/courses/cos756/trabalhos/2011/tulio-

ligneul/tulio-ligneul-report.pdf >. >. Acesso em: 16 de julho de 2018.

SOUKUPOVÁ, Tereza; CECH, Jan. Real-Time Eye Blink Detection using Facial

Landmarks. Center for Machine Perception, Department of Cybernetics. Faculty of

Electrical Engineering, Czech Technical University in Prague. 2016. Disponível em: <

https://vision.fe.uni-lj.si/cvww2016/proceedings/papers/05.pdf >. Acesso em: 02 de

agosto de 2018.

VIOLA, Paul; JONES, Michael. Rapid Object Detection using a Boosted Cascade of

Simple Features. 2004. Disponível em: < http://www.face-rec.org/algorithms/boosting-

ensemble/16981346.pdf >. Acesso em: 10 de julho de 2018.