painel 02 03 - rommel carvalho - identificação automática de tipos de pedidos mais frequentes...
TRANSCRIPT
Identificação Automática de Tipos de Pedidos mais Frequentes da LAI
Brasil 100% Digital: 1º Seminário sobre Análise de Dados na Administração Pública | 10/09/2015 @ TCU
Dr. Rommel Novaes Carvalho – Coordenador-Geral do ODP/DIE/CGU | https://about.me/rommelnc
2
Identificação Automática de Tipos de Pedidos mais Frequentes da LAI
Identificação dos principais assuntos abordados nos mais de 300 mil pedidos de informação no e-SIC
3
Descobrir tópicos em uma grande quantidade de documentos
Descrever uma coleção de documentos via tópicos
LDA = Latent Dirichlet Allocation
Descrever pequeno resumo
Achar documento por tema
Achar documentos correlatos
Problema da LAI
Como você organizaria + de 300 mil pedidos?
Operações Úteis Modelagem de Tópicos
4
Descrever pequeno resumo: distribuição de tópicos
Achar documento por tema: tópicos de peso alto
Achar documentos correlatos: comparação entre vetores
O que é LDA?
Solução LDA: vetor de pesos por tópico
Usando LDA
http://cseweb.ucsd.edu/~dhu/docs/exam09.pdf
5
Como funciona?
http://cseweb.ucsd.edu/~dhu/docs/exam09.pdf
6
Tópicos - BACEN
9.220 pedidos (~3,06%)
7
Tópicos - BACEN
9.220 pedidos (~3,06%)
8
Tópicos - BACEN
9.220 pedidos (~3,06%)
9
Tópicos - BACEN
9.220 pedidos (~3,06%)
10
Tópicos - BACEN
9.220 pedidos (~3,06%)
11
Tópicos - BACEN
9.220 pedidos (~3,06%)
12
Tópicos - Negado
44.322 pedidos (~14,71%)
13
Tópicos - Negado
44.322 pedidos (~14,71%)
14
Tópicos - Negado
44.322 pedidos (~14,71%)
15
Tópicos - Negado
44.322 pedidos (~14,71%)
16
Tópicos - Negado
44.322 pedidos (~14,71%)
17
Tópicos - Negado
44.322 pedidos (~14,71%)
18
Tópicos - NegadoConcurso Público
"gostaria de ser informada sobre a minha classificacao final no concurso ...
relativa ao edital ... ou seja quero a classificacao obtida apos a eliminacao de 1715 candidatos nas provas de aptidao fisica
psicologica exames medicos e investigacao social atenciosamente e desde ja agradeco ..."
"gostaria de obter as seguintes informacoes 01 quantidade de servidores concursados do poder executivo federal e o
gasto mensal com os salarios destes servidores 02
quantidade de servidores nomeados em cargo de confiaca do poder executivo federal e o gasto
mensal com os salarios destes servidores 03
quantidade de servidores aposentados vinculados ao poder executivo federal e o gasto mensal com
a aposentadoria destes servidores"
"venho requerer minha classificacao apos provas objetivas e subjetiva teste de
aptidao fisica e exames medico considerando as eliminacoes no concurso no
concurso publico para provimento de vagas e formacao de cadastro de reserva no cargo de ... da terceira classe prova aplicada pela banca ... a banca examinadora se omite da
prestacao da informacao ou a presta equivocadamente ... "
"solicito informar a quantidade de empregados do cargo de analista de sistemas que foram promovidos
de estagio do cargo conforme a seguir desde a implantacao do ... analista de sistemas 1
do estagio jr para o pleno 2 do estagio jr para o pleno 2 do estagio pl para o..."
19
Análise de Recurso
Tópico
1
Tópico
2
Tópico
3
Tópico
4
Tópico
5
Tópico
6
Tópico
7
Tópico
8
Tópico
9
Tópico
100%5%
10%15%20%25%30%35%40%45%
60%20%
6%
14%
Atendido NegadoRecurso - Atendido Recurso - Negado
declaracao2014ano
imposto rendanumero recibo
exercicioirpf
restituicao...
"solicito resgate do numero de recibo da declaracao de irpf referente ao
ano de 2014 por ter perdido os dados no computador ficando assim
impossibilitada de realizar a declaracao de 2015"
20
Desafios
Quantos Tópicos?Tempo de Execução?
10000 20000 130000 3000000
100
200
300
400
500
600
700
Número de pedidos
Tem
po d
e pr
oces
sam
ento
(min
)
1 10 20 30 40 50 60 70 80 90 1000
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
Número de tópicos
Pon
tuaç
ão d
o ag
rupa
men
to
Big Data?!
10 horas x 100 rodadas = 1.000 horas ou ~ 41 dias se 100 núcleos (paralelo) 10 horas