i oficina técnica de publicação de dados abertos e transparência ativa

Download I Oficina Técnica de Publicação de Dados Abertos e Transparência Ativa

If you can't read please download the document

Upload: nitaibezerra

Post on 16-Apr-2017

2.522 views

Category:

Technology


0 download

TRANSCRIPT

Oficina Tcnica de Publicao de Dados Abertose Transparncia Ativa

dados.gov.br

@dadosgovbr

[email protected]

Nitai Bezerra da Silva@nitaibezerra slideshare.com/nitaibezerra

A oficina

Conceitos e tecnologias relacionadas ao ecossistema de dados abertos

Para tcnicos e gestores de TI envolvidos na publicao de dados e informaes, ou no :D

Nvel de difculdade: intermedirio (?)

/

Agenda

O que a INDA

Dados Abertos?

Quais dados?

Etapas da abertura

Arquiteturas para publicao de dados

Formatos de arquivos

Caso: API do Siconv

Web, REST APIs, etc..

Aplicativos e Mashups

Arquitetura lgica da INDA

Portal dados.gov.br

Metadados

Catalogando dados

Outros portais com CKAN

Colheita de Metadados (Harvesting)

DataStore

Linked Data

Desenho de URIs

As 5 estrelas dos Dados Abertos

/

Infraestrutura Nacional de Dados Abertos - INDA

Coordenamos a abertura dos dados pblicos no Brasil em colaborao com a sociedade

/

Infraestrutura Nacional de Dados Abertos

Objetivos:Proporcionar aos cidados, e ao governo, um ponto de acesso central aos dados pblicos, disponvel na web.Coordenar e orientar a padronizao no ciclo de vida da informao, em especial no momento de sua publicao na web.Incentivar a agregao de valor aos dados pblicos e a colaborao com o cidado na implementao de novos servios sociedade.Ser uma iniciativa sustentvel de Dados Abertos.Para isso:Conjunto de padres, tecnologias, procedimentos e mecanismos de controle necessrios para se publicar dados abertos governamentais, visando seu reuso no s pela sociedade mas pelo prprio governo.

http://wiki.gtinda.ibge.gov.br/

/

Dados so abertos quando qualquer pessoa pode livremente us-los, reutiliz-los e redistribu-los, estando sujeito a, no mximo, a exigncia de creditar a sua autoria e compartilhar pela mesma licena.

http://dados.gov.br/dados-abertos/http://opendefinition.org/

Qualquer um significa qualquer um!(Sem restrio ao uso comercial, etc.)

/

O que so dados abertos?

As Trs Leis dos dados governamentais abertosSe ele no pode ser encontrado na web e indexado, ele no existe.

Se no estiver aberto e disponvel em formato compreensvel por mquina, ele no pode ser utilizado.

Se qualquer dispositivo legal no permitir que ele seja reutilizado, ele no til.David Eaves

Oito princpios dos Dados Governamentais AbertosCompletos

Primrios (brutos)

Atuais

Acessveis

Processvel por Mquina

No discriminatrio

No proprietrio

Livre de licensa

Open govWorking group

/

Lei de Acesso Informao LAI12.527/11

Esclarece que constitucional o direito de acesso informao

/

Lei de Acesso Informao

Art. 8o 3o ...I - conter ferramenta de pesquisa de contedo que permita o acesso informao de forma objetiva, transparente, clara e em linguagem de fcil compreenso;

II - possibilitar a gravao de relatrios em diversos formatos eletrnicos, inclusive abertos e no proprietrios, tais como planilhas e texto, de modo a facilitar a anlise das informaes;

III - possibilitar o acesso automatizado por sistemas externos em formatos abertos, estruturados e legveis por mquina;

Princpios de dados abertos!

/

Transporte, Estatsticos, Oramento, Segurana

Restrio: Dados pessoais!

Ex.: Paradas de nibus, locais tursticos, previso climtica, criminalidade nos bairros, LOA, desempenho das escolas ...

Quais tipos de dados?

/

Etapas da Abertura

Seleo dos dados

Definio dos formatos

Catalogao no dados.gov.br

Divulgar e promover a utilizao

/

Implementao da arquitetura

Seleo dos dados

Definio dos formatos

Catalogao no dados.gov.br

Divulgar e promover a utilizao

Implementao da arquitetura

/

Seleo dos Dados

Publique dados de amplo interesse

Foque nos dados finalsticos

Dados brutos

Abra muitos dados

Consulte a sociedade!

/

Dicas para escolha

Localizao geogrfica ++LatLong, CEP, rua, municpio, etc...

Dimenso temporal

Provenientes de BDs

Sries histricas

...

/

Seleo dos dados

Definio dos formatos

Catalogao no dados.gov.br

Divulgar e promover a utilizao

Implementao da arquitetura

/

Formatos de arquivos

RequisitosProcessvel por mquina

Formato no proprietrio

fonte:[email protected]

/

Exemplo 1: CSV

/

Exemplo 2: XML

/

Exemplo 3: JSON

/

Formatos de arquivos

Qual o melhor?Depende dos seus dados, e da situao!

Algumas orientaes:Preferir JSON a XML

Preferir CSV a ODS

Escolha um formato estvel e de amplo uso

Se possvel, publique em mais de um formato

/

Formatos de arquivos

Mais orientaes:Desaconselhamos compactar os arquivos

Pesquise pelos formatos com mais audincia

Para dados geogrficos, conhea a INDE Infraestrutura Nacional de Dados Espaciais

Sonhe com o RDF!!

Para mais detalhes:Cartilha tcnica para publicao de dados abertos

http://inde.gov.br/

http://dados.gov.br/cartilha-publicacao-dados-abertos/

/

Seleo dos dados

Definio dos formatos

Catalogao no dados.gov.br

Divulgar e promover a utilizao

Implementao da arquitetura

/

Arquiteturas de Publicao de Dados

RequisitosAs 3 leis e os 8 princpios!

No esquea: URL esttica!!!!!

TiposPublicao ManualArquivos isolados resultado de pesquisa ou levantamento

Avaliaes, balanos, levantamentos recorrentes (semanal, mensal, trimestral)

Publicao Automtica, em tempo real (diria, "instantnea,....)

http://dados.gov.br/dados-abertos/

/

Publicao manual

Os dados so coletados, transformados e publicados num processo semi-manualSistematizar no vale a pena! (?)

O processo manual confivel? (!)

Exemplo:Balano do PAC, quadrimestral

http://dados.gov.br/dataset/obras-do-pac-programa-de-aceleracao-do-crescimento

/

Publicao automatizada (1)

fonte: http://www.peterkrantz.com/2012/publishing-open-data-api-design/

/

Publicao automatizada (2)

Questes levantadas por Peter Krantz:Voc realmente precisa de uma API?

Sua infraestrutura est preparada?

Torne fcil que empreendedores tenham os dados mais novos

Tenha liberdade da tecnologia. No quebre URLs...

fonte: http://www.peterkrantz.com/2012/publishing-open-data-api-design/

/

Publicao automatizada (3)

Sistema em produo isoladoMais seguro

Maior disponibilidade

Esquema de dados simplificado

Autenticidade (gov.br)

custo ~ benefcio?

/

Caso: API do SICONV

SICONV: Sistema que administra os convnios entre APF, estados, municpios, DF e EPSFL.

A API est em fase beta

Requisitos:Dados em tempo real

Replicao dos dados da produo

Web Service REST

JSON, CSV, XML, ... e HTML

/

Caso: API do SICONV

Endereo: http://api.convenios.gov.brBonito n?!

Outras tecnologias:Princpios REST

CORS - Cross-origin resource sharing

HATEOAS

Exemplo de consulta:http://api.convenios.gov.br/siconv/dados/orgao/54000

/

/

http://api.convenios.gov.br/siconv/dados/orgao/54000.html

/

http://api.convenios.gov.br/siconv/v1/consulta/convenios.html?id_orgao_concedente=54000

/

http://api.convenios.gov.br/siconv/dados/convenio/759029.html

Web, REST APIs, etc..

Web != Internet

/

Web, REST APIs, etc.. (2)

Internet = infraestrutura, um amontoado de computadores, redes e cabos

Web = HTTP (hypertext transfer protocol)Documentos

Hiperlinks

URLs

Aprenda os fundamentos e faa melhor uso da Web

/

Web, REST APIs, etc.. (3)

REST - Representational State Transfer

Alguns princpiosSeparao do Cliente e do Servidor

Sem estado (stateless)

Cachevel

Sistemas em camadas

Recursos pedao especfico de informao (URI)

Esquea SOAP

Seja RESTful

/

Web, REST APIs, etc.. (4)

HATEOAS - Hypermedia as the engine of application state

O princpio de que o cliente interage com a aplicao estritamente atravs das hipermdias providas pelo servidor de aplicao.

Possibilita um maior desacoplamento servidor-cliente

Exemplo: navegue em http://api.convenios.gov.br/siconv/doc/metodos.html

Consulte no google: dados abertos novo hamburgo

/

Aplicativos e Mashups http://dados.gov.br/aplicativos

/

Experimento

Baixe os dados do PAC no portal dados.gov.br

Abra no LibreOffice e faa a converso do tipo geogrfico

=CONCATENAR(SE(DIREITA(TIRAR(O2);1)="S";"-";"");EXT.TEXTO(O2;1;PROCURAR("";O2;1)-1)+(EXT.TEXTO(O2;PROCURAR("";O2;1)+1;PROCURAR("'";O2;1)-PROCURAR("";O2;1)-1)/60)+CONCATENAR((EXT.TEXTO(O2;PROCURAR("'";O2;1)+1;PROCURAR(".";O2;1)-PROCURAR("'";O2;1)-1));",";EXT.TEXTO(O2;PROCURAR(".";O2;1)+1;PROCURAR(CARACT(34);O2;1)-PROCURAR(".";O2;1)-1))*1/3600)*1

Suba os dados para o Google Fusion Tables

Mais 2 cliques e ...

Passos: https://groups.google.com/forum/?fromgroups=#!topic/thackday/uJisBSNNgkU

/

Obras do PAC

/

Seleo dos dados

Definio dos formatos

Catalogao no dados.gov.br

Divulgar e promover a utilizao

Implementao da arquitetura

/

Arquitetura lgica da INDA

A INDA est fundamentada na Web

a unio dos dados publicado em todos os rgos

O portal um buscador

O portal armazena os metadados

Cada rgo responsvel pelos seus dados

/

Utilizamos o CKANSoftware Livre especializado

Modelo flexvel e extensvel

Integrao com CMSWordpress

VCGE para organizar assuntos

Outras tecnologiasDiazo

Varnish

Solr

PortgreSQL

Apache

Python

HG Mercurial

Portal Brasileiro de Dados Abertos dados.gov.br

/

Portal Brasileiro de Dados Abertos dados.gov.br

um catlogo

Guarda metadados

Conceitos bsicos:Conjuntos de dados

Recursos

Grupos

Etiquetas, licena, ...

/

CKAN

Caractersticas:Sistema de catlogo de busca de dados

API para busca e insero

Plugins para integrao com CMSs (Drupal e WP)

Visualizao de dados e analytics

Workflow permite orgos administrarem seus dados

Storage de dados integrado

Possibilita federao de catlogos

/

Metadados - catalogao

Dados sobre os dados (descrevem o conjunto de dados)

TiposCobertura

Descrio

Provenincia

Extrao, etc..

teis na classificao e indexao dos dados

o corao do catlogo!

/

Metadados - catalogao

Mnimos:Ttulo

Descrio

Catlogo de origem

rgo responsvel

Assuntos do VCGE

Formato do arquivo

Dicionrio de Dados

http://dados.gov.br/cartilha-publicacao-dados-abertos/

Extras:Etiquetas

Autoria

Cobertura geogrfica e temporal

Granularidade geogrfica e temporal

Atualidade

Referncias

Ontologia/vocabulrio

...

/

Catalogando dados (exemplo)

http://treino.dados.gov.brDados?Reclamaes fundamentadas dos consumidores - SINDEC

http://notas.dados.gov.br/p/metadados-cadastro-reclamacoes-SENACON

/

Catalogao pela API

CKAN prov uma API para administrao

Documentao: http://docs.ckan.org/en/latest/api.html

/

Portais com CKAN

Senado, Reino Unido, Buenos Aires, ...

Mais: http://ckan.org/2012/07/31/new-ckan-data-portals/

/

Colheita de metadados - Harvesting

Plugin que possibilita federao dos dados

Replica os metadados entre catlogos

Cada estado e municpio pode ter um portal de dados abertosdados.sc.gov.br?

dados.pe.gov.br?

Documentao:https://github.com/okfn/ckanext-harvest

/

DataStore

Servio de armazenamento e acesso a dados estruturados pela web

Software que se integra com o CKAN

Documentao:http://blog.okfn.org/2012/03/27/introducing-the-datastore/

/

Linked Data

Usar a Web para ligar dados relacionados

Expor dados na web

Compartilhar esses dados

Conectar pedaos de dados, informaes e conhecimento

Usando:URIs

RDF Resource Description Framework

/

Linked Data(2)

/

Linked Data (3)

Princpios de Linked Data (note de Tim BL):usar URIs como nomes para as coisas;

usar URIs do tipo HTTP, para que as pessoas possam recuperar essas coisas;

quando algum recuperar uma URI, fornecer informaes teis, usando os padres;

inclua links para outras URIs, para que as pessoas possam descobrir mais coisas [relacionadas]

http://www.w3.org/DesignIssues/LinkedData.html

/

Desenho de URIs

Dar nome s coisas na Web

Nomear coisas concretas ou abstratashttp://education.data.gov.uk/id/school/123065

http://reference.data.gov.uk/def/central-government/PermanentSecretary

ObjetivosNome nico

Ser persistente por muito tempo

Ser pequeno e legvel por humanos

Incorporar identificadores j em uso

/

Desenho de URIs(2)

fonte:http://data.gov.uk/resources/uris

/

As 5 estrelas dos Dados Abertos

http://5stardata.info/

/

Seleo dos dados

Definio dos formatos

Catalogao no dados.gov.br

Divulgar e promover a utilizao

Implementao da arquitetura

/

Mais orientaes?

/

Cartilha tcnica de publicao de dados http://dados.gov.br/cartilha-publicacao-dados-abertos/

Guia gerencial de abertura de dados https://www.consultas.governoeletronico.gov.br/ConsultasPublicas/download.do?acao=arquivoDocumentoReferencia&tipo=pdf&id=93

Arquitetura tcnica referencial http://wiki.gtinda.ibge.gov.br/GetFile.aspx?File=%2fGT3-Tecnologia%2fArquitetura%20Tecnica%20Referencial%20de%20Abertura%20de%20Dados%20v1%20edicao_duke.odt

Manual de dados abertos W3C http://www.w3c.br/pub/Materiais/PublicacoesW3C/Manual_Dados_Abertos_WEB.pdf

Manual do desenvolvedor W3C http://www.w3c.br/pub/Materiais/PublicacoesW3C/manual_dados_abertos_desenvolvedores_web.pdf

Cartilha do desenvolvedor W3C http://www.w3c.br/pub/Materiais/PublicacoesW3C/encarte_manual_desenvolvedores_web.pdf

Guia de dados abertos OKFN http://opendatahandbook.org/pt_BR/

Wiki da INDA http://wiki.gtinda.ibge.gov.br/

Normas

/

Instruo Normativa da INDA http://dados.gov.br/instrucao-normativa-da-inda/

Lei de Acesso Informao LAI 12.527/11 http://www.cgu.gov.br/acessoainformacoes/

Plano de Ao da INDA

Auxiliar as organizaes integrantes da INDA a cumprir a Lei de Acesso Informao

Nortear os rgos quanto viso, estratgia e poltica da abertura de dados na APF

Servir como base para criao de planos institucionais de abertura de dados

/

Consultores do SISP

/

@[email protected]

CSVDOCMBDOther GeoSpreadsheetsWSXLSECWMDBPGDBSQLWSDLXMLEXEMetastockPNGTIFFXHTMLPDFGeo RSSMicro Station DesignPortalTMXXLS zip+HTMLGeo TIFFN3PPTTSVAPIJSONGMLOAI-PMHRAWTurtleASCIIKMLGPXODFRDFaTXT+ ZipAutreXLSXJPGODSRDF- XMLURLCIDRRDFJSODTRESTWEBCSV+ZipSHPKMZOmegaRTFWebpageDatastreamRSSMapinfoOnline DatabaseSOAPWFSDBFTXTMathlabopenDataXMLSPARQLWMSXML-ATOM-RSSXSDYAMLZipzip+sas

???Pgina ??? (???)18/09/2012, 17:07:18Pgina /