painel 02 03 - rommel carvalho - identificação automática de tipos de pedidos mais frequentes...

Identificação Automática de Tipos de Pedidos mais Frequentes da LAI

Brasil 100% Digital: 1º Seminário sobre Análise de Dados na Administração Pública | 10/09/2015 @ TCU

Dr. Rommel Novaes Carvalho – Coordenador-Geral do ODP/DIE/CGU | https://about.me/rommelnc

2

Identificação Automática de Tipos de Pedidos mais Frequentes da LAI

Identificação dos principais assuntos abordados nos mais de 300 mil pedidos de informação no e-SIC

3

Descobrir tópicos em uma grande quantidade de documentos

Descrever uma coleção de documentos via tópicos

LDA = Latent Dirichlet Allocation

Descrever pequeno resumo

Achar documento por tema

Achar documentos correlatos

Problema da LAI

Como você organizaria + de 300 mil pedidos?

Operações Úteis Modelagem de Tópicos

4

Descrever pequeno resumo: distribuição de tópicos

Achar documento por tema: tópicos de peso alto

Achar documentos correlatos: comparação entre vetores

O que é LDA?

Solução LDA: vetor de pesos por tópico

Usando LDA

http://cseweb.ucsd.edu/~dhu/docs/exam09.pdf

5

Como funciona?

http://cseweb.ucsd.edu/~dhu/docs/exam09.pdf

6

Tópicos - BACEN

9.220 pedidos (~3,06%)

7

Tópicos - BACEN

9.220 pedidos (~3,06%)

8

Tópicos - BACEN

9.220 pedidos (~3,06%)

9

Tópicos - BACEN

9.220 pedidos (~3,06%)

10

Tópicos - BACEN

9.220 pedidos (~3,06%)

11

Tópicos - BACEN

9.220 pedidos (~3,06%)

12

Tópicos - Negado

44.322 pedidos (~14,71%)

13

Tópicos - Negado

44.322 pedidos (~14,71%)

14

Tópicos - Negado

44.322 pedidos (~14,71%)

15

Tópicos - Negado

44.322 pedidos (~14,71%)

16

Tópicos - Negado

44.322 pedidos (~14,71%)

17

Tópicos - Negado

44.322 pedidos (~14,71%)

18

Tópicos - NegadoConcurso Público

"gostaria de ser informada sobre a minha classificacao final no concurso ...

relativa ao edital ... ou seja quero a classificacao obtida apos a eliminacao de 1715 candidatos nas provas de aptidao fisica

psicologica exames medicos e investigacao social atenciosamente e desde ja agradeco ..."

"gostaria de obter as seguintes informacoes 01 quantidade de servidores concursados do poder executivo federal e o

gasto mensal com os salarios destes servidores 02

quantidade de servidores nomeados em cargo de confiaca do poder executivo federal e o gasto

mensal com os salarios destes servidores 03

quantidade de servidores aposentados vinculados ao poder executivo federal e o gasto mensal com

a aposentadoria destes servidores"

"venho requerer minha classificacao apos provas objetivas e subjetiva teste de

aptidao fisica e exames medico considerando as eliminacoes no concurso no

concurso publico para provimento de vagas e formacao de cadastro de reserva no cargo de ... da terceira classe prova aplicada pela banca ... a banca examinadora se omite da

prestacao da informacao ou a presta equivocadamente ... "

"solicito informar a quantidade de empregados do cargo de analista de sistemas que foram promovidos

de estagio do cargo conforme a seguir desde a implantacao do ... analista de sistemas 1

do estagio jr para o pleno 2 do estagio jr para o pleno 2 do estagio pl para o..."

19

Análise de Recurso

Tópico

1

Tópico

2

Tópico

3

Tópico

4

Tópico

5

Tópico

6

Tópico

7

Tópico

8

Tópico

9

Tópico

100%5%

10%15%20%25%30%35%40%45%

60%20%

6%

14%

Atendido NegadoRecurso - Atendido Recurso - Negado

declaracao2014ano

imposto rendanumero recibo

exercicioirpf

restituicao...

"solicito resgate do numero de recibo da declaracao de irpf referente ao

ano de 2014 por ter perdido os dados no computador ficando assim

impossibilitada de realizar a declaracao de 2015"

20

Desafios

Quantos Tópicos?Tempo de Execução?

10000 20000 130000 3000000

100

200

300

400

500

600

700

Número de pedidos

Tem

po d

e pr

oces

sam

ento

(min

)

1 10 20 30 40 50 60 70 80 90 1000

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

Número de tópicos

Pon

tuaç

ão d

o ag

rupa

men

to

Big Data?!

10 horas x 100 rodadas = 1.000 horas ou ~ 41 dias se 100 núcleos (paralelo) 10 horas