métodos digitais para análise de dados - aula 07 - fontes de informação digitais
TRANSCRIPT
MétodosDigitaisparaAnálisedeDados
[email protected]çãoeComunicação
Aula07–Fontesdeinformaçãodigitais:6posdedados,formatosesuascaracterís6cas
FontesdeInformaçãol Hádiversos6posdefontesdeinformaçãoquepodemserúteis
paraoJornalismodedados:- Páginasweb-webscrapping
- Qualquersiteéumafontedeinformaçãoempotencialparaserminerado- Exemplos:Wikipedia,MercadoLivre,Google,TripAdvisor,Decolar,Booking,etc...
- Mecanismosdebusca:l Google,Yahoo,etc...
- Sitesins6tucionais:l Portaisdetransparência,portaisdedadosabertos;
- Ins6tuiçõesdepesquisa:l IBGE,IPEA,IMB,etc...
- MídiasSociais:l Blogs,twi]er,facebook,etc...
- BibliotecasDigitais:l BDTDs,etc...
- Portaiscien^ficos:l GoogleScholar,La]es,CNPq,CAPES,WebOfScience,Scielo,etc...
Páginasweb• Hámuitoconteúdooriundodepáginaswebquepodemosterointeressede
coletareanalisar:– Automa6zaracoletadegrandequan6dadedeinformação–tornandopra6camenteinviável
coletarmanualmente;– Comoosdadosestãoorganizados;– Encontrartendênciasepadrões;– Encontrarnovidades;– Aproveitaranálisescole6vasparafiltrarinformaçãoequalificarresultados;– Tomardecisõesapar6rdeflutuaçõesdinâmicasnospadrõesdosdados...
• Vejamos3exemplosdeaplicaçõesdecoletadedadosdepáginasweb(essaspesquisasseriampra6camenteimpossíveisdeseremfeitasmanualmente):
– Coletarautoma6camentepreçosdeumprodutoparaavaliartendênciasdeoscilaçãoaolongotempoegerarsérieshistóricasdecomparaçãonoMercadoLivre;
– Analisaroqueinternautasestãofalandosobreumhotel,avaliandoseuscomentárioselevandoessainformaçãoemconsideraçãoparaaçõesdegestãousandodadosdoTripAdvisor;
– PesquisarsobrecomofilmesbrasileirossãodefinidosedescritosnaWikipedia.
Webscraping
Coletadadosdesestruturadosousemi-estruturadoseenviaparatecnologiasdeestruturaçãodainformação,taiscomoplanilhas,bancosdedados,documentos.
Mecanismosdebusca
São ferramentas de busca genéricas, identificando os sites mais relevantes para um tema de busca desejado. A relevância é construída com base na citação dos sites por outros sites, ou seja, quanto mais linkado um site for por outros mais próximo dos primeiros resultados de busca ele se torna → filtro de relevância social
Mecanismosdebuscal Pontosposi6vosdosmecanismosdebusca:- Potentefiltroderelevânciasocial;- Permitempesquisaremdiferentesmídias,taiscomoimagens,vídeos,no^ciaseblogs;
- Permitemrapidamenteobteralgunsresultadosrelevanteseresolveramaiorpartedasquestões.
l Pontosnega6vosdosmecanismosdebusca:- Temostempoedisposiçãodenavegarpelas2ou3primeiraspáginasnomáximo;
- Ainformaçãoretornademaneiradesestruturada:édilcilcoletartodosossiteseavaliaramassadedadosemconjunto.
Mecanismosdebuscal Existemalgumasferramentasqueajudamaterumpanoramageraldoquetemsidopesquisadonessesmecanismos:- GoogleTrends
l h]p://www.google.com/trends/?hl=pt-BR_ALLl ferramentadogooglequepermitesabermosoquetemsidopesquisadono
mundo;l Permitetambémcompararmostermosdebuscaparaanalisaradiferençade
interessenelesporpartedosusuáriosdogoogle.- GoogleAlerta
l h]ps://www.google.com.br/alertsl Permitevocêcriarno6ficaçõesparareceberumlinktodavezquesua
expressãodeinteresseaparecernawebl GoogleAdWords:
l h]ps://adwords.google.com/KeywordPlanner?hl=pt-brl Permitecompararvolumesdebuscasporpalavras-chave.
MecanismosdebuscaGoogleTrends
MecanismosdebuscaGoogleTrends
MecanismosdebuscaGoogleAlerta
A informação chega até você!
Sitesins6tucionais
l Devidoaimportantesmovimentossociais,háhojenoBrasilalgumasaçõesfundamentaisnosen6dodeforneceremdadosdeaçõesins6tucionais:- LeideAcessoàinformação–18/11/2011
l h]p://www.planalto.gov.br/ccivil_03/_ato2011-2014/2011/lei/l12527.htm
- LeiComplementardaTransparência–27/05/2009l h]p://www.planalto.gov.br/ccivil_03/leis/lcp/lcp131.htm
- Porcontadisso,osgovernosfederal,estaduaisemunicipaispassaramadesenvolverPortaisdeTransparênciaedisponibilizardadosdaGestãoPúblicapara“fácil”acessoaocidadão!→fontesfundamentaisparaJornalismodeDados.
Sitesins6tucionais
l GovernoFederal:h]p://www.portaltransparencia.gov.br/
Sitesins6tucionais
l GovernoFederal:h]p://www3.transparencia.gov.br/TransparenciaPublica/
Sitesins6tucionaisl GovernosEstaduaisl Todososgovernos
possuemportais,emestágiosdiferentesdedesenvolvimento;
l Atabelaaoladoécriadapelainicia6vaÍndicedeTransparência;
l ParceriaentreOAB–OrdemdosAdvogadosdoBrasileCentrodeEstudosdeOpiniãoPública(CESOP)daUnicamp
Sitesins6tucionaisl GovernosMunicipaisl Ainicia6vatambém
avaliaváriascidadescommaisde200.000habitantes;
l Atabelaaoladoapresentaoestadodascapitaisbrasileiras.
Sitesins6tucionais
l Essessitesforneceminformaçõesvariadassobre:- Gastosdogoverno;- Formasdecontratação;- Áreasdeinves6mento;- Empresascontratadas;- Descentralizaçãoderecursos;- Saláriosdefuncionários;
l Permitemamplaspesquisaecruzamentosdedados.
Ins6tuiçõesdepesquisa
l IBGE–Ins6tutoBrasileirodeGeografiaeEsta^s6ca- h]p://www.ibge.gov.br/home/- Umadasprincipaisfontesdeesta^s6casbrasileiras- Diversosestudosespeciais
l h]p://www.ibge.gov.br/home/esta6s6ca/pesquisas/estudos_especiais.php
Ins6tuiçõesdepesquisa
l IPEA–Ins6tutodePesquisaEconômicaAplicada- Fornecesériesdedadosmacroeconômicos,regionaisesociais.
- h]p://www.ipeadata.gov.br/
Ins6tuiçõesdepesquisa
l IPEA–Ins6tutodePesquisaEconômicaAplicada- Dadosmacroeconômicos:
l Basededadoseconômicosefinanceirosman6dapeloIpeaincluindosériesesta^s6casdaeconomiabrasileiraedosaspectosquelhesãomaisper6nentesnaeconomiainternacional.Osdadossãoatualizadosedocumentadosdeformasistemá6caeapresentadosnamesmaunidademonetária.Recursosdisponíveispermitemamanipulaçãomatemá6caeaextraçãodosresultadosemplanilhasougráficos.
- Dadosregionais:l Basededadosdemográficos,econômicosegeográficosparaasregiões,estadosemunicípiosbrasileirosqueseiniciam
noCensoDemográficode1872.Abuscadassériesesta^s6caspodeserfeitapor"Palavras-chave"nasuadescrição,"Temas"ouassuntosdeinteresse,"Fontes"depublicaçãooupelo"Nívelgeográfico"paraoqualépossívelagregarosdados.
- Dadossociais:l Basededadoseindicadoressociaisabrangendotemasdiversos,comonívelderendapercapita,desigualdadena
distribuiçãoderendadosindivíduosedomicílios,desempenhoeducacional,condiçõesdesaúdeehabitação,inserçãonomercadodetrabalho,situaçãodosdireitoshumanosdapopulação,entreoutros.
Ins6tuiçõesdepesquisa
l IPEA–Ins6tutodePesquisaEconômicaAplicada- Possuiinteressanteericomaterialdepublicaçõesquesetornamfontedeconsultafundamentais
l h]p://www.ipea.gov.br/portal/index.php?
op6on=com_alphacontent&view=alphacontent&Itemid=357
Ins6tuiçõesdepesquisa
l INEP–Ins6tutoNacionaldeEstudosePesquisasEducacionaisAnísioTeixeira- h]p://portal.inep.gov.br/- PossuiricoacervodedadossobreeducaçãonoBrasil:censoescolardaeducaçãobásica,educaçãosuperior,indicadoresdedesempenho(ideb,enade,saebe,enem,etc...)
l h]p://portal.inep.gov.br/ins6tucional-guia_sistemas
Ins6tuiçõesdepesquisa
l DATASUS–empresadeprocessamentodedadosdoMinistériodaSaúde;- PossuiumprojetochamadoTABNET–InformaçõesdeSaúde
l h]p://www2.datasus.gov.br/DATASUS/index.php?area=02
Ins6tuiçõesdepesquisa
l Ins6tutoMauroBorgesdeEsta^s6caseEstudosSócioEconômicos–IMB- DadosespecíficosdoestadodeGoiás- h]p://www.imb.go.gov.br/
Ins6tuiçõesdepesquisa
l Háváriasoutrasins6tuiçõesdepesquisadeestados,municípiosemesmoprivadasquepodemserinteressantedesepesquisarsobreumdeterminadoassunto;
l Valesempreavaliarseexistealguémouumains6tuiçãoquejáproduzpesquisaesérieshistóricasdeindicadoressobreumtema:- Permiteanálisescompara6vasemesmoacrí6caaosmeiosdeconstruçãodessesindicadores.
MídiasSociais
l SistemasWebqueservemcomoplataformasdemídiassociaissãohojeumafonteenormedeinformaçãoparaproduçãodepesquisas;
l Amaioriadessasplataformaspossuiumainterfaceparaconsultarseusdadosegeraranálises;
l Hámuitosso�waresinteressantesquepermitemconsultaressesdadosemtemporealeentendermelhoroqueseususuáriosestãoproduzindo.
l Vejamosporplataforma!
APIs• AformamaiscorretadenoscomunicarmoscomumamídiasocialépormeiodeumaAPI(pormeiodeumprogramadecomputador):
APIFacebook
h]ps://developers.facebook.com/docs/graph-api?locale=pt_BR
Webscrapingdemídiassociais
• Umaoutraformadecoletarmosdadosdemídiassociais,maisfáciltecnicamente,éu6lizarmosferramentasdewebscrapingemcimadessessites;
• Osdadospodemsairmenosprecisosemaisdesorganizados,masemgeral,essatécnicapodesermaisrápidaefácilparacasosdepequenoamédioporte.
BibliotecasDigitais
l Sãorepositóriosdeconteúdosemgeralu6lizadasporuniversidadesparadepósitodedissertaçõesdemestradoetesesdedoutorado,entreoutros6posdemonografias.
l UmadasmaisimportanteséaBDTD–BibliotecaDigitaldeTeseseDissertaçõesdoIBICT–Ins6tutoBrasileirodeInformaçãoCien^ficaeTecnológica:- h]p://bdtd.ibict.br/- Possuimaisde248.900documentosdigitalizadosemaisde90universidadesbrasileirasintegramorepositório.
BibliotecasDigitais
l Muitasuniversidadespossuemseusprópriosrepositóriosepodemserconsultadosparagerarpesquisaslocaisemapasdeconhecimentoins6tucionais:- UFG-h]p://repositorio.bc.ufg.br/tede/- USP-h]p://www.teses.usp.br/
l Fornecemestudosqualificadossobretemasdeinteressealémdefacilitarencontrarpessoasegruposdepesquisaqueestãotrabalhandocomessestemas.
PortaisCien^ficosl Aproduçãocien^ficaéumadasáreasmaisavançadasemtermos
dedocumentaçãoeregistrodigitaldesuaprodução;l Háváriasferramentasetecnologiasdeapoioqueajudama
iden6ficaremapearaproduçãodepesquisanoBrasilenomundo;l Sãofontesestratégicasparaseconhecernovastendências,novas
pesquisas,áreasdeinovação,temasemergenteseproduzirumavisãogeralsobreinteressesdetemasdepesquisa.- Permitemcri6carepropornovasáreas,perceberondehá
centrosdeexcelência,anecessidadedeinves6mentos,entrevárioselementosinteressantes.
GoogleScholarl h]p://scholar.google.com.br/l Permitepesquisaemar6gos,livrosepublicaçõesacadêmicas.
PlataformaLa]esl Plataformaquecadastratodosospesquisadoresbrasileirosemdiversosníveise
áreasdeconhecimento.l Permitebuscarpesquisadoresporáreadeinteresseeconhecerpessoasquesão
especializadaseproduzempesquisanessasáreas.l h]p://la]es.cnpq.br/
DiretóriodeGruposdePesquisa
l h]p://dgp.cnpq.br/dgp/faces/consulta/consulta_parametrizada.jsfl Plataformaquedáacessoaosgruposdepesquisaexistentesnopaísportemas,
pessoas,ins6tuiçãoelinhasdepesquisa.
MapadeInves6mentosdoCNPq
l h]p://efomento.cnpq.br/efomento/distribuicaoGeografica/distribuicaoGeografica.do?metodo=apresentarl PermitevisualizaradistribuiçãodebolsasdoCNPqpelopaís,porcategorias,ins6tuições,estadosentreoutros...
GeoCapesl h]p://geocapes.capes.gov.br/geocapesds/#l DistribuiçãodebolsasdaCAPESpelopaís
PlataformaSucupiral Plataformaqueagregatodaaproduçãocien^ficadosprogramasdeMestradoe
DoutoradodoBrasill h]ps://sucupira.capes.gov.br/sucupira/
Scielol Principalportalderevistascien^ficasdoBrasill Agregamaisde500.000ar6gosdemaisde1100periódicos;l h]p://www.scielo.org/php/index.php
WebOfSciencel Umdosprincipaisportaisderevistascien^ficasdomundo→permiteteruma
noçãodoqueasprincipaisins6tuiçõesdepesquisaestãofazendoedescobrirondetemasdeinteresseestãosendopesquisados;
l h]p://www.webo�nowledge.com/
Scopusl Étambémumdosprincipaisportaisderevistascien^ficasdomundo→permite
terumanoçãodoqueasprincipaisins6tuiçõesdepesquisaestãofazendoedescobrirondetemasdeinteresseestãosendopesquisados;
l h]p://www.scopus.com/
Paraapróximaaula
• Parafacilitariniciarmosotrabalhosobreoar6godeavaliaçãodadisciplina,considereasseguintesquestões:– Qualoproblemadepesquisavocêpretendetrabalhar?
– Que6podepesquisavocêpretenderealizar?(olhenasprimeirasaulasdadisciplina)
– Que6podeinformaçãovocêprecisacoletar?– Queperíododetempovocêprecisaparasuaanálise?– Quefontedeinformaçãovocêplanejau6lizar?