hackeando dados públicos com python
TRANSCRIPT
Fernando Masanori
@fmasanori
Hackeando Dados Públicos com Python
I love teachingCS Professor at FATEChttps://about.me/fmasanori
http://pycursos.com/python-para-zumbis/
Atenção
• Curso de 1h30 para pessoas iniciantes em programação
• Usaremos apenas Python 3, sem nenhuma biblioteca externa
• Vamos responder a perguntas como: • Quanto o Brasil gastou na Copa do Mundo
2014• Quantas escolas existem no Brasil, em
funcionamento, sem água, luz e esgoto • Nos slides seguintes uma motivação do que dá
para fazer com mais tempo...
Casdinho
Sentiment Analysis (Twitter)
menina: aaaaaaaaaaaaaa eu NAO GOSTO DELE
amiga: e vc ficará rica , e irá dividir sua riqueza cm sua amg aq *u*
menina: kkkkkk como assim eu fikar rica pq?
amiga: pq ele é inteligente , e vai arranjar um ótimo emprego , e
ganhar mt dinheiro rs
menina: kkkkk ele é inteligente como assim ??
amiga: AQUELE VIADO PASSOU NO CASDINHO, E EU NÃO !
Sentiment Analysis (Facebook)
Sabe o que é ter vontade de acordar cedo no domingo para estudar?!?
Bom, eu também não sei explicar, mas é o que estou sentindo no momento .-.
Bora Casdinho!
AndroidWallpaper
AndroidWallpaper
World Cup
https://gist.github.com/fmasanori/1288160dad16cc473a53
.
.
.
Notify via email when specific flight ticket fares goes down (by Lucas Inojosa)
https://github.com/lucasicf/notificapassagem
JUS Brasil: organizamos toda a informaçãojurídica brasileira
http://www.jusbrasil.com.br/
Arquivos do minicurso
1.Inscreva-se no Python para Zumbis2.Baixar Vídeo Aula/Materiais > Aulas Isoladas >
Material para a IV Semana do Curso3.Baixar Abraji.zip
Caso você não saiba programar
1.Vídeo Aula Materiais > Criando suas hordas de Zumbis – Python na prática! > Python na Prática > Slides – Revisão Geral
2.Os arquivos são adivinhando números 01 a 06.py
Básico de Strings e Raspagem
1.Vídeo Aula Materiais > Criando suas hordas de Zumbis – Python na prática! > Revisando as Strings > Slides – Revisão Strings
2.Os arquivos são caneca01 a 08.py
Documentação Dados Públicos Copa 2014
http://www.portaltransparencia.gov.br/copa2014/dados/ws.seam
Soma simples
https://gist.github.com/fmasanori/a428ef783211b0ffdee1
Excluindo obras não iniciadas na época
https://gist.github.com/fmasanori/c648d753e7d0176ff172
Busca Simples por Escolas
https://gist.github.com/fmasanori/f4184a80952f040b6bb1
Busca Avançada por Situação
https://gist.github.com/fmasanori/fc0e98c8c486be80d5a5
Detalhe por código
https://gist.github.com/fmasanori/14bd33a0a221fca9d19e
Busca Avançada com alguns detalhes
https://gist.github.com/fmasanori/4d6b7ea38a28681a513a
Documentação API Educação
http://educacao.dadosabertosbr.com/api
Sites úteis para iniciantes
import.io
webscraper.io
scraperwiki.com (jornalistas conseguem conta free)
X-Ray Googles
Cursos avançados
Katharine Jarmul: Introduction to Web (and data!) Scraping with Python - PyCon 2014
Web scraping: Reliably and efficiently pull data from pages that don't expect it
Questions?http://about.me/fmasanori