Oportunidades e

Desafios em

Aplicativos de

Dados Abertos

(open data)

Claudio Martins

BELÉM 2016

Sobre o palestrante : Claudio Martins

2

• Mestre em Computação (UFRGS/2003) • Especialista em Análise e Projeto de Sistemas (UFPA/1998) • Graduado em Tecnologia de PD (UFPA/1989) • Doutorando no PPGEE/Computação Aplicadas (UFPA) • Professor do Instituto Federal do Pará (IFPA) • Analista de Sistemas da Cinbesa (www.cinbesa.com.br). • Há mais de vinte anos atuando nas áreas de Engenharia de

Software e Sistemas de Informação.

Lattes: http://lattes.cnpq.br/7014997829591968

LinkedIn: http://br.linkedin.com/in/claudiomartins2010

Facebook: https://www.facebook.com/claudiomartins2000

Blog: http://claudiomartins-prof.blogspot.com.br/

Claudio Martins - Oportunidades e Desafios em Aplicativos de Dados Abertos (2016)

Agenda

• Nesta conversa, vamos apresentar e discutir

– o que são dados abertos,

– por que abrir e usar dados públicos,

– como criar aplicativos reutilizando dados de governo,

– exemplos de casos reais no ecossistema digital de dados abertos.

3 Claudio Martins - Oportunidades e Desafios em Aplicativos de Dados Abertos (2016)

O que são dados abertos? • São dados acessíveis ao público, representados

em meio digital, estruturados em formato aberto, processáveis por máquina, referenciados na internet e disponibilizados sob licença aberta que permita sua livre utilização, consumo ou cruzamento, limitando-se a creditar a autoria ou a fonte. – Decreto Nº 8.777, DE 11 DE MAIO DE 2016 (Institui a

Política de Dados Abertos do Poder Executivo Federal)

• São dados que devem estar disponíveis para que todos usem e publiquem, sem restrições de direitos autorais e patentes ou outros mecanismos de controle. – http://pt.wikipedia.org/wiki/Open_data 4 Claudio Martins - Oportunidades e Desafios em Aplicativos de Dados Abertos (2016)

O que são dados abertos?

5

Disponibilidade e Acesso

Reuso e redistribuição

Participação Universal

Dados Abertos

Claudio Martins - Oportunidades e Desafios em Aplicativos de Dados Abertos (2016)

Dados Abertos Governamentais

6 Claudio Martins - Oportunidades e Desafios em Aplicativos de Dados Abertos (2016)

Ecossistema de Dados Abertos

7

Dados Abertos

Dados

Tecnologia

Regras & Padrões

Stakeholders

Recursos

Usuários

Claudio Martins - Oportunidades e Desafios em Aplicativos de Dados Abertos (2016)

Valor Empoderamento

Por que abrir? Quais os benefícios?

8 Claudio Martins - Oportunidades e Desafios em Aplicativos de Dados Abertos (2016)

9

E.U.A. (https://www.data.gov/) +190.000 conjuntos de dados

ÍNDIA (https://data.gov.in/)

+3.900 conjuntos de dados

BRASIL (http://dados.gov.br)

+1.150 conjuntos de dados

UNIÃO EUROPÉIA (http://www.europeandataportal.eu )

+630.000 conjuntos de dados

REINO UNIDO (https://data.gov.uk/ )

+40.000 conjuntos de dados

JAPÃO (http://www.data.go.jp/)

+17.000 conjuntos de dados

Oferta de Dados Governamentais (2016)

Claudio Martins - Oportunidades e Desafios em Aplicativos de Dados Abertos (2016)

Dados Abertos Governamentais no Mundo (2015)

http://opendatabarometer.org/data-explorer/?_year=2015&indicator=ODB&lang=en 10 Claudio Martins - Oportunidades e Desafios em Aplicativos de Dados Abertos (2016)

Esquema 5-Estrelas de Berners-Lee (2010)

BERNERS-LEE, T. Open, Linked Data for a Global Community. Gov 2.0 Expo. Washington. 2010. (http://5stardata.info/pt-BR/) 11 Claudio Martins - Oportunidades e Desafios em Aplicativos de Dados Abertos (2016)

Realidade (baixa qualidade dos dados) • Dados em formatos não processáveis por máquina (PDF, imagens...)

• +3/-4 Star: CSV, Excel, Txt delimitado, JSON, XML, shapes, etc.

• Metadados ausentes ou precários

Formatos do European Data Portal (2016)

0 100 200 300 400 500 600 700 800 900

1000

Formatos no portal dados.gov.br (2016)

12 Claudio Martins - Oportunidades e Desafios em Aplicativos de Dados Abertos (2016)

Formato CSV (texto delimitado)

13

•Simplicidade para representar dados em forma de registros (estrutura tabular) •Facilidade de geração (qualquer banco de dados exporta) •Facilidade de consumo (qualquer editor de planilhas manipula) •Eficiente no tamanho (arquivos CSV são menores que XML, JSON)

Mas, •Falta padronização do formato •Não suporta tipos de dados sofisticados para os valores •Dificuldade em representar ligações entre os dados

Claudio Martins - Oportunidades e Desafios em Aplicativos de Dados Abertos (2016)

Onde estão e como obter dados abertos?

• As abordagens de publicação de dados abertos governamentais utilizam:

– Acesso a dados gerados dinamicamente (sites de consulta a dados, Portais de transparência)

– FTP e download de arquivos (CSV, Excel)

– Catálogos de Dados Abertos (usando ferramentas de gerenciamento de conteúdo, ex: CKAN)

– APIs e acesso via serviços web (REST/SOAP)

– Pior caso: PDF e conteúdo embutido em HTML!

14 Claudio Martins - Oportunidades e Desafios em Aplicativos de Dados Abertos (2016)

Ex. de dados dinâmicos: Sidra (IBGE) http://www.ibge.gov.br/

15 Claudio Martins - Oportunidades e Desafios em Aplicativos de Dados Abertos (2016)

Ex. dados dinâmicos: http://www.portaldatransparencia.gov.br/

16 Claudio Martins - Oportunidades e Desafios em Aplicativos de Dados Abertos (2016)

Ex. Download: INEP ( http://portal.inep.gov.br/ )

http://portal.inep.gov.br/basica-levantamentos-acessar

17 Claudio Martins - Oportunidades e Desafios em Aplicativos de Dados Abertos (2016)

Ex. Download (CSV): http://portal.convenios.gov.br/download-de-dados

18 Claudio Martins - Oportunidades e Desafios em Aplicativos de Dados Abertos (2016)

Ex. Download (CSV): Repositório de dados eleitorais (TSE)

http://www.tse.jus.br/eleicoes/estatisticas/repositorio-de-dados-eleitorais 19 Claudio Martins - Oportunidades e Desafios em Aplicativos de Dados Abertos (2016)

Ex. de Catálogos de Dados Abertos: http://dados.gov.br

http://dados.gov.br : 1158 conjuntos de dados com 8756 recursos

20 Claudio Martins - Oportunidades e Desafios em Aplicativos de Dados Abertos (2016)

Ex de API: http://compras.dados.gov.br

21 Claudio Martins - Oportunidades e Desafios em Aplicativos de Dados Abertos (2016)

Exemplos de aplicações de dados abertos

• As aplicações que utilizam dados abertos são instrumentos fundamentais para melhorar a leitura dos dados e criar novas formas de visualização e geração de valor no processo de compartilhamento das informações.

• A maioria das apps segue o modelo de “Mashup”

– Mashup é uma página ou um serviço web que combina dados ou código de duas ou mais fontes.

– Um mashup pode ser uma visualização, um infográfico, um serviço em uma página ou um aplicativo para celular.

22 Claudio Martins - Oportunidades e Desafios em Aplicativos de Dados Abertos (2016)

Basômetro: http://estadaodados.com/basometro/

23

O Basômetro mede o apoio dos parlamentares ao governo e acompanha como eles se posicionaram nas votações legislativas. Os votos dos parlamentares foram obtidos nos sites da Câmara dos Deputados e do Senado.

Claudio Martins - Oportunidades e Desafios em Aplicativos de Dados Abertos (2016)

Siga seu vereador

Siga seu vereador (http://www.vereadores.org/ ) O site acompanha ações realizadas pelos atuais vereadores e candidatos. App foi campeão da Maratona de Programação Hackaton da Câmara municipal de São Paulo. Fonte de dados: Dados eleitorais do TSE e Votações da Câmara de São Paulo

24 Claudio Martins - Oportunidades e Desafios em Aplicativos de Dados Abertos (2016)

Para onde foi o meu dinheiro

URL: http://www.paraondefoiomeudinheiro.com.br/ Dados utilizados: Despesas diretas do Executivo Federal (dados.gov.br)

E dados disponibilizados por diversos governos sobre a execução orçamentária 25 Claudio Martins - Oportunidades e Desafios em Aplicativos de Dados Abertos (2016)

Reclamações PROCON

URL: http://www.reclamacoesprocon.com.br/ Dados utilizados: Cadastro Nacional de Reclamações Fundamentadas (PROCONS)

26 Claudio Martins - Oportunidades e Desafios em Aplicativos de Dados Abertos (2016)

Ocorrências nas rodovias federais

27

http://analyticsmj.github.io/prf/ 2º lugar no 2o Concurso de Aplicativos para Dados Abertos do Ministério da Justiça utilizando dados abertos da Polícia Rodoviária Federal através do Portal dados.gov.br.

Claudio Martins - Oportunidades e Desafios em Aplicativos de Dados Abertos (2016)

Mapa de ônibus de Fortaleza

28

http://tdurand.github.io/mapafortaleza/ Claudio Martins - Oportunidades e Desafios em Aplicativos de Dados Abertos (2016)

http://www.precodoscombustiveis.com.br

29

Preço dos Combustíveis permite consultar preços praticado pelos postos no Brasil. O sistema é atualizado semanalmente utilizando dados da Agência Nacional do Petróleo, Gás Natural e Biocombustíveis (ANP).

Claudio Martins - Oportunidades e Desafios em Aplicativos de Dados Abertos (2016)

App A-level schools (UK)

30 Claudio Martins - Oportunidades e Desafios em Aplicativos de Dados Abertos (2016)

http://www.escolaquequeremos.org/

31

O site Escola Que Queremos é um “piloto” sobre dados do Censo Escolar e da Prova Brasil, 2011, para escolas públicas do ensino fundamental.

Claudio Martins - Oportunidades e Desafios em Aplicativos de Dados Abertos (2016)

http://mobilab.prefeitura.sp.gov.br/dadosabertos/

32 Claudio Martins - Oportunidades e Desafios em Aplicativos de Dados Abertos (2016)

http://datapoa.com.br/apps

33 Claudio Martins - Oportunidades e Desafios em Aplicativos de Dados Abertos (2016)

http://dados.recife.pe.gov.br/apps

34 Claudio Martins - Oportunidades e Desafios em Aplicativos de Dados Abertos (2016)

http://opendataimpactmap.org/map.html

35 Claudio Martins - Oportunidades e Desafios em Aplicativos de Dados Abertos (2016)

Considerações finais e Desafios • Apesar dos avanços, há muitas barreiras a superar:

– Adesão (baixa) dos órgãos dos governos federal e locais (estadual/municipal) ao movimento de dados abertos

– Baixa qualidade dos dados (em formatos, metadados e conteúdo)

– Nível de granularidade (detalhamento) alto (dados agregados prejudicam a análise e cruzamento)

– Superar a cultura do sigilo

– Dados desatualizados

– Sustentabilidade dos projetos e aplicativos cívicos

• O ecossistema de dados abertos está apenas iniciando.

• Há oportunidades em projetos de tecnologias cívicas e criação de valor social/comercial no uso dos dados abertos.

• Aproveitem!

36 Claudio Martins - Oportunidades e Desafios em Aplicativos de Dados Abertos (2016)

Obrigado pela atenção!

37

http://claudiomartins-prof.blogspot.com.br/

Obtenha esta apresentação aqui

Claudio Martins - Oportunidades e Desafios em Aplicativos de Dados Abertos (2016)

Referências • Manual dos dados abertos : desenvolvedores. 2011.

(http://www.w3c.br/pub/Materiais/PublicacoesW3C/manual_dados_abertos_desenvolvedores_web.pdf)

• Cartilha Técnica para Publicação de Dados Abertos no Brasil v1.0. SLTI/Ministério do Planejamento. 2011. Em http://dados.gov.br/cartilha-publicacao-dados-abertos/

• Dados públicos – Blog sobre dados abertos. 2016. Em: http://www.dadosaleatorios.com.br/2015/05/dados-publicos.html

38 Claudio Martins - Oportunidades e Desafios em Aplicativos de Dados Abertos (2016)