curso intro à ciência de dados com r - 1.1 - carga de dados

José Roberto Motta [email protected]/2016

José Roberto M. Garcia Nov/2016Introdução à Ciência de Dados com R

Fases da análise de dados


R e RStudio


R e RStudio

CÓDIGOAMBIENTE

DE VARIÁVEIS

SAÍDA DO CONSOLE

GRÁFICOS, HELP,…


R e RStudio

CÓDIGOAMBIENTE

DE VARIÁVEIS

SAÍDA DO CONSOLE

GRÁFICOS, HELP,…

Executacódigo marcado

ou linhaAtalho=Comm+enter (Mac)


Fontes de dados para análises

• Google “free dataset for analysis”

• https://www.kaggle.com/datasets (competições diversas)

• http://www.ncdc.noaa.gov/data-access (largest provider of weather/climate data)

• http://bancodedados.cptec.inpe.br/downloadBDM/ (dados meteorológicos)


Primeiros conceitos

Exemplo de estruturade diretórios

…\IntroDSwithR 01.1- CargaDeDados.R 01.2- TratamentoDeDados.R ... \Lib

Fun.Div.R \data

\txt\Rdata\Original

\Slides

Use os seus diretórios

(dir.data)

(dir.src)

(dir.txt)


Manipulação de dados – Leitura de CSVNa vida real os dados quase nunca vêm “prontos”

workspace


Manipulação de dados – estrutura de um data.frame

Tipo do objeto

data.frame = tabela em BD (várias “colunas” de tipos diferentes)


Tipos de dados básicos (do mais forte ao mais fraco)

Forte

Fraco


Tipos de dados estruturados: vector


Dados básicos são vetores

Vetores de um elemento

Vetor de 50 elementosÍndice

do próximo elemento que é mostrado na tela


Tipos de dados: vetores e coerção de dados

PERIGO! NÃO GERA ERRO!!

EXECUÇÃO CONTINUA!!


Conceito de “bind” – (amarrar, unir, linkar)Tabela T (matrix, DF ou

DT)

T <- cbind(DESCR, MEDIDA)

DESCRABC

MEDIDA99

10040

DESCRABC

MEDIDA99

10040

Dois vetores

ANO19681969

VALOR974

1000

INDICE23

CLASSEAUTO

MAN

ANO19701971

VALOR12002000

INDICE34

CLASSEAUTO

MAN

Tabela A

Tabela B

ANO19681969

VALOR974

1000

INDICE23

CLASSEAUTO

MAN19701971

12002000

34

AUTOMAN

Tabela C

C <- rbind(A, B) A

BCD

12

CUIDADO COM CICLAGEM!!

Elementos do vetor menor são repetidos!!

Só warning!

cbind(v1, v2)

v1 v2ABCD

1212

v1 v2

BIND DE COLUNAS

BIND DE LINHAS


Tipos de dados: estruturados (1)


Tipos de dados: estruturados (2)


O objeto data.table

Medir tempo

Espaçoocupado


O que são pacotes?

• R é melhorado de forma colaborativa• Pacotes são desenvolvidos e disponibilizados por cientistas do mundo

inteiro.• Pacotes = coleção de elementos (funções, tipos de dados, ...) que

otimizam as funções básicas do R• Ficam em https://cran.r-project.org/ • Como saber qual pacote usar?

• Google it!• http://stackoverflow.com/• https://www.r-bloggers.com/• http://www.statmethods.net/

• https://github.com/Rdatatable/data.table/wiki• https://www.datacamp.com/courses/data-analysis-the-data-table-way

sobredata.table


Manipulação de dados – Leitura de FWF (formatado com largura fixa)

File.info retorna um data.frame

Valores da coluna podem ser acessados via “$”


Manipulação de dados – Leitura de arquivo de formato livre

Separa dado “delimitado”

[[1]][1] "name” "Data Science”[[2]][1] "class" "IT" [[3]][1] "level” "beginner”[[4]][1] "url" [2] https:--www.dropbox.com-home-DataScience-Course- IntroToDSwithR[[5]][1] "keywords” "data analysis, statistics"

MATRIZ CONFIG

Função *apply (poderosas) Imprime


EXCEL - Download e leitura

Do pacote utils (pré-carregado)


XML - Download e leitura (1)


XML - Download e leitura (2) – Previsão do tempo pelo CPTEC


HTML - Download e leitura


Outras interfaces com arquivos

• PACKAGE FOREIGN – dados de outras linguagens de programação • read.arff() # weka• read.dta() # Stata• read.mtp() # Minitab• read.octave()

• DADOS SEMI- ESTRUTURADOS: jsonlite, NetCDF • DATABASE: RPostressSQL, RODBC, RMongo, RMySQL• IMAGES: jpeg, readbimap, png, EBImage (Bioconductor)• GIS: rdgal, rgeos, raster• MUSIC: tuneR, seewave

Dados climáticos

curso intro à ciência de dados com r - 1.1 - carga de dados

Documents