extraindo dados públicos na marra com python

Extraindo dados públicos na marra

com Python

PythonBrasil[6]Curitiba, PR - Outubro de 2010

Aviso:

Não é uma palestra técnica :(

comunidade Python+

hacks com dados públicos

=o futuro do jornalismo

@pedrovalente

jornalista

desenvolvedor

Python desde 2008

Yahoo!

desenvolvimento de software

+jornalismo

na raça

Matt Waite

"Build something or STFU"Matt Waite - Politifact

Python na vanguarda

Lawrence Journal-World

Holovaty

Everyblock:

plataforma para consumo de

dados públicos

dados públicos

Você já precisou deles

e provavelmentefoi mal atendido

Horários de voosInfraero

Preço de combustívelANP

Candidatos e votaçõesTSE

Achar uma agência dos Correios

CEPs do Brasil são vendidos num CD!!!!!

CEPs do Brasil são vendidos num CD!!!!!

a administração pública precisa ser

transparente

pouca grana

pepinos gigantes

precisa foco no que ninguém mais tem

por issoprecisa abrir os dados

não deve depender de lei. É obrigação moral

wiki.thackdaydf.com.br

Se o fornecedor não colabora, fazemos justiça com

as próprias mãos

e aí entra o scraping, por exemplo

Tem muitas maneiras de se fazer isso.

BeautifulSoupScrapyurllib :)

pode ser um bom tema pros open spaces

tem cada vez mais gente atacando os

problemas

Transparência Hackdaygroups.google.com/group/thackday

thackdaydf.com.br

Random Hacks of Kindnesswww.rhok.org

Próximo é em dezembro!

Pra quem nunca viu:

um hack com dados públicos feito em

Python

cruzalinhas.appspot.com

cruzalinhas.appspot.com

lightning talk? #fikdik

http://github.com/guilhermechapiewski/correios-api-py

Yahoo! Open Hackday

vários hacks legais surgiram usando dados

públicos

http://github.com/legisdados

http://meusgastos.com.br/meuspostos/

http://f1results.socialminds.com.br/

http://eleicoes.mamulti.com/

http://cmsp.topical.com.br/

sacsp.mamulti.com

visibilidade e repercussão

é desenvolvimento ou é jornalismo?

Descobrir e comunicar informação de interesse público é o trabalho do

jornalista

Não importa o suporte tecnológico

Uma folha de papel é um suporte tecnológico

assim comoum computador

conectado em rede

vs.

hmmm...

isso significa que todo desenvolvedor pode

fazer jornalismo

parece óbvio, mas muitos ignoram essa

diferença

Alguns jornais já perceberam isso

The Guardian

Simon Willison

The Guardianhttp://mps-expenses.guardian.co.uk/

www.guardian.co.uk/open-platform/

www.guardian.co.uk/data-store

NYTimes

developer.nytimes.com

Nos EUA a comunidade cresce

rapidamente

valeu Obama!

http://help.hackshackers.com/

Mas e aqui?

ainda temos iniciativas isoladas, que podem

crescer com a colaboração

mas podemos pensar mais além

oportunidade

empresas de mídianão entendemde tecnologia

e a *renascença* do jornalismo passa pelo desenvolvimento de

software

aplicações que coletam, distribuem e

visualizam dadospodem ser jornalismo

grandes empresas estão acordando para isso

pequenas iniciativas podem sair na frente

e vocês estão numa posição única para serem a vanguarda deste movimento

Obrigado!

@pedrovalente