BIG DATA E INTELIGÊNCIA ARTIFICIAL

Prof. João Gabriel Lima linkedin.com/in/joaogabriellima

SOBRE

Data Scientist na Epitack

Professor

Pesquisador em aprendizagem de máquina e análise de dados

Doutorando em Mineração de dados e Inteligência Artificial

MOTIVAÇÃO

Conhecimento estratégicoApoio à tomada de decisão

Dados Estruturados

Dados Não-Estruturados

Dados Semi-Estruturados

Tipos de fontes de dados

ONDE ESSA HISTÓRIA COMEÇA?

KDD - KNOWLEDGE DISCOVERY IN DATABASES

MINERAÇÃO DE DADOS

A transformação de grandes quantidades de dados em padrões e regras:

Direcionada e Não Direcionada

Direcionada: tentamos prever um ponto de dados em particular

◦ Ex.: preço de venda de uma casa baseado em informações sobre outras casas à venda no bairro

Não direcionada:

◦ Tentamos criar grupos de dados, ou achar padrões em dados existentes

“O objetivo da mineração de dados é criar um modelo que possa melhorar o modo pelo qual interpretamos nossos dados existentes e futuros.

E SOBRE BIG DATA?

O QUE NÃO É BIGDATA?

Uma nova tecnologia Uma nova técnica Um novo processo Uma nova abordagem Um novo campo do conhecimento Uma revolução

O QUE É BIG DATA?

Desde antes do surgimento do conceito, já éramos capazes de trabalhar com grandes volumes de dados.

Trabalhar por amostragem era a solução mais comum

Tratamento de dados => correção ou informação valiosa

Técnicas e ferramentas para lidar com o grande volume de dados provenientes de diversas fontes.

AGORA TEMOS MAIS NECESSIDADES

VolumeVelocidade

VariedadeVariabilidade

Complexidade

BIG DATA

QUAIS AS FERRAMENTAS?

Missão impossível?

…são apenas ferramentas

Mantenha o foco na solução

INTELIGÊNCIA ARTIFICIAL

Deep Insights

O QUE É?

“Capacidade da máquina em aprender e criar novos padrões

COMO DEFINIR?

COMO ATINGIR A INTELIGÊNCIA?

APRENDIZAGEM DE MÁQUINA?

O aprendizado de máquina (ML — Machine Learning) é um subcampo da inteligência artificial dedicado ao desenvolvimento de algoritmos e técnicas que permitam ao computador aprender a partir do

reconhecimento de padrões.

APRENDIZAGEM DE MÁQUINA

COMO NÓS APRENDEMOS?

Modelos de aprendizagem de máquina

Aprender é um processo…

1. Deep Neural Networks

2. Bayes Classifier Algorithm

3. K Means Clustering Algorithm

4. Support Vector Machine Algorithm

5. Linear Regression

6. Logistic Regression

7. Artificial Neural Networks

8. Random Forests

9. Decision Trees

10. Nearest Neighbours

Alguns dos principais modelos de ML

QUAL A IMPORTÂNCIA

DA IA ?

VidaComo a IA irá afetar nossa realidade?

NegócioComo a IA irá mudar nossos negócios?

SociedadeQuais impactos a IA irá causar em nossa força de trabalho?

EXISTE APENAS UM TIPO DE IA?

ANI - Artificial Narrow Intelligence - Especializada em uma única área, resolvendo problemas específicos

AGI - Artificial General Intelligence - Especializada em diversas áreas, geralmente atual como assistentes pessoais e sistemas de apoio ao usuário

7 Habilidades: 1. Razão 2. Plano 3. Resolver problemas 4. Pensar de forma abstrata 5. Compreender idéias complexas 6. Aprender rapidamente 7. Aprender com a experiência

ASI - Artificial Super Intelligence - Mais inteligente do que os seres humanos em todos os sentidos

3 tipos de Inteligência Artificial

ANI ESTÁ EM TODOS OS LUGARES!

PORQUE AGORA?

UM NOVO MERCADO

ALGUNS PROJETOS BEM INTERESSANTES…

https://github.com/pavelgonchar/colornet

COLORNET

https://github.com/hardmaru/write-rnn-tensorflow

Generative Handwriting

WaveNet: A Generative Model for Raw Audio

https://deepmind.com/blog/wavenet-generative-model-raw-audio/

https://github.com/woodrush/neural-art-tf

Neural Art

97,35%

Our method reaches an accuracy of 97.35% on the Labeled Faces in the Wild (LFW) dataset, reducing the error of the current state of the art by more than 27%, closely approaching human-level performance.

DeepFace

https://research.fb.com/publications/deepface-closing-the-gap-to-human-level-performance-in-face-verification/

YOLO: Real-Time Object Detection

https://pjreddie.com/darknet/yolo/

http://cs.stanford.edu/people/karpathy/deepimagesent/

Deep Visual-Semantic Alignments for Generating Image Descriptions

Mágica?

TUDO É MATEMÁTICA!

VISÃO GERAL

QUAL A RELAÇÃO DIRETA ENTRE IA E BIGDATA?

Inteligência Artificial

Big DataAnalytics

AGIASI

BIG DATA ANALYTICS

BIG DATA STORYTELLINGO poder da narrativa sobre seus dados

BIG DATA STORYTELLING

➤ É uma forma de construir histórias com base em dados

➤ Contar histórias é, desde sempre, uma forma excelente de transmitir experiências, sensações e pensamentos.

➤ Compreender ações e comportamentos para traçar estratégias que possam persuadir e instigar mudanças em um público-alvo

➤ Ponto chave: Visualização adequada da informação

➤ Criar histórias envolventes e apresentações visualmente interessantes é o caminho para tornar os números algo mais “concreto”

BIG DATA STORYTELLING

➤ Grande parte dessas oportunidades é perdida por conta da falta de contextualização dos dados coletados

➤ Não basta coletar e armazenar dados para poder desenvolver narrativas que contem a história de uma empresa ou produto. É preciso igualmente contextualizar esses dados para que o conteúdo se torne relevante

➤ Para obter sucesso utilizando Big Data Storytelling, analistas com expertise precisam estar alocados no processo de desenvolvimento

COMPONENTES DO DATA STORYTELLING

https://www.bloomberg.com/graphics/2014-america-shakes-off-oil-addiction/

Aprenda a visualizar seus dados de forma correta!

SUGESTÃO DE LEITURA

STORYTELLING WITH DATA: A DATA VISUALIZATION GUIDE FOR BUSINESS PROFESSIONALS

https://goo.gl/2giAWU

E AGORA?

CASO DE SUCESSOUma revolução no combate à corrupção

COMBATE À CORRUPÇÃO

Um grupo de jornalistas, cientistas de dados, estatísticos se reuniu para combater a corrupção através da análise dos dados públicos sobre gastos dos parlamentares, entregando relatórios quinzenais para a realização de denúncias junto aos órgão competentes para a restituição dos valores.

https://github.com/datasciencebr/serenata-de-amor

Irio Musskopf Data Science Brigadehttps://goo.gl/RtpO7N

ROBÔS E PLANEJAMENTO

A Rosie (https://github.com/datasciencebr/rosie) digere os dados, aplica modelos matemáticos. E aprende com os exemplos.

Hoje a Rosie está aplicando regras dos limites de uso da CEAP. Em um dia foram identificados 157 notas que extrapolam os limites legais.

O Jarbas ( https://github.com/datasciencebr/jarbas) recolhe os dados e apresentará as notas da CEAP com um índice de suspeita de corrupção e seus motivos.

Para as ferramentas mais comuns a várias analises, foi criado a “caixa de ferramentas comuns” — https://github.com/datasciencebr/serenata-toolbox que permite o reaproveitamento de código entre diversos pesquisadores.

https://goo.gl/RtpO7N

POR ONDE COMEÇAR?Seja um especialista dos dados!

“Primeiro passo: Não polarize o conhecimento.

Estude!

COMO APRENDER DATA SCIENCE DE GRAÇA NAS MELHORES UNIVERSIDADES DO MUNDO

Open Source Society

Álgebra Linear

Cálculo de Variáveis Únicas

Cálculo de Variáveis Múltiplas

Python

Probabilidade e Estatística em R

Introdução a Data Science

Machine Learning

https://goo.gl/PD2AQ8

https://ossu.firebaseapp.com

VISÃO GERALUm resumo de tudo que conversamos

“Não adianta querer se especializar em big data se não sabe trabalhar com dados.

Premissa 1

“Problemas multidisciplinares demandam profissionais multidisciplinares.

Premissa 2

BIG DATA E INTELIGÊNCIA ARTIFICIAL

Prof. João Gabriel Lima linkedin.com/in/joaogabriellima