CONTROLE EXTERNO BASEADO EM ANÁLISE DE DADOS: ESTÃO OS TRIBUNAIS DE CONTAS PREPARADOS?

Tardes do Saber Julho/2018

Pesquisador coodenador: Bruno Mattos Souza de Souza Melo Pesquisador: Marcos Ferreira da Silva Pesquisador avaliador: Alberto de Fontes Tavares Neto

Roteiro

• Objetivos da pesquisa

• Justificativa

• Capacidade analítica na prática

• Metodologia

• Resultados obtidos

Objetivos

Geral:

- Mensurar o nível de maturidade (capacidade) analítica dos tribunais de contas brasileiros e sua adequação à adoção de uma estratégia de controle baseada em análise de dados.

Específicos:

- Criar uma escala de maturidade analítica aplicável a órgãos de controle;

- Mensurar o nível de maturidade analítica dos tribunais com base na escala criada;

- Definir os contornos e requisitos de uma estratégia de controle calcada em análise de dados;

- Avaliar a adequação do nível de maturidade analítica observada nos TCs com uma estratégia de controle calcada em análise de dados;

- Identificar oportunidade de melhorias no nível de maturidade analítica nos TCs

pesquisados e, notadamente, no TCE-RJ

Justificativa

• Uso de TI tem o condão de tornar a atuação das instituições mais eficiente; • Aumento na disponibilidade de dados e o barateamento dos recursos

computacionais faz com que o uso de analytics apareça como uma forma efetiva das corporações adquirirem diferencial competitivo;

• No âmbito dos TCs isso traduz-se, entre outras coisas, em maior eficiência na

realização do controle (em especial auditorias). • RedeInfocontas – Reconhecimento pelos TCs da importância do uso de análise de

ados como instrumento indutor de eficiência no controle.

Havendo a necessidade de tornar a atuação dos Tribunais de Contas mais eficiente, é desejável que o mesmo faça o melhor uso possível dos dados disponíveis para a tomada de decisões. Isto será possível caso o TC possua um ambiente favorável à adoção de uma estratégia de controle que faça uso intensivo de análise de dados. Isto posto, a questão que surge é: Estão os Tribunais de Contas preparados para a implantação de uma estratégia de controle baseada em análise de dados?

Planejamento Estratégico

Capacitação dos Técnicos

Apoio da alta administração

Decisões e ações calcadas em fatos

Software e Hardware

Modelos explicativos e preditivos

Dados

Análises Quantitativas

Gestão baseada em

Fatos

Justificativa

Capacidade Analítica na Prática

• TCU

Café com Analytics

InovaTCU

Seminário Análise de Dados na Adminstração Pública

• CGU

Observatório da despesa pública (ODP)

• Operação Serenata de Amor

Análise de dados relativos a CEAP (cota para o exercício de atividade parlamentar)

• TCE-MG

Suricato (projeto considerado boa prática no V ENTC)

• TCE-RJ

IRIS - Indicador de Risco de Irregularidade

Capacidade Analítica na Prática

Capacidade Analítica na Prática

Metodologia

A mensuração do conceito de capacidade analítica teve por base a elaboração de uma escala Likert, cujos itens foram definidos com base na literatura e pesquisa de campo, sendo posteriormente validados junto a especialistas.

“Uma escala tipo Likert é composta por um conjunto de frases (itens) em relação a cada uma as quais se pede ao sujeito que está a ser avaliado para manifestar o grau de concordância desde o discordo totalmente (nivel 1), até o concordo totalmente (nivel 5, 7 ou 11)” (Cunha, 2007)

Item Likert ≠ Escala Likert

• Abordagem diferenciada para desenvolvimento de escala de maturidade – baseada em uma escala de Likert.

• Esta abordagem tem a vantagem de produzir um escore de maturidade analítica para os TCs a partir das percepções dos técnicos da realidade existente.

• A metodologia também permite identificar em quais áreas o TC deve investir para melhorar o seu nível de maturidade analítica.

Metodologia

Metodologia

Foram seguidas as etapas abaixo: (a) Definição do conceito a ser investigado, no caso da presente pesquisa o conceito de

capacidade analítica dos Tribunais de Contas;

(b) Geração dos itens, com base na literatura e pesquisa de campo; (c) Validação de conteúdo com especialistas; (d) Aplicação de pré-teste e realização de ajustes no instrumento de coleta; (e) Aplicação do questionário final e análise dos dados;

Metodologia

( a ) Definição do conceito de capacidade analítica dos Tribunais de Contas Nível de inteligência analítica existente na instituição. Mas é que é inteligência analítica?

Inteligência analítica é a utilização extensiva de dados, análises quantitativas e estatísticas, modelos explicativos e preditivos e gestão baseada em fatos para orientar decisões e ações. (Davenport e Harris, 2007)

Metodologia

Inteligência Analítica • utilização extensiva de dados (questões relativas a existência, qualidade,

fidedignidade dos dados – pré requisito essencial) • análises quantitativas e estatísticas e modelos estatísticos explicativos e

preditivos (questões relativas à capacitação dos técnicos tanto em técnicas quanto em tecnologias)

• gestão baseada em fatos ( questões relativas à cultura institucional ) • orientar decisões e ações ( objetivo final da análise de dados )

Metodologia

( b ) Geração dos itens, com base na literatura e pesquisa de campo:

Fontes dos itens (principais):

• TCU define como prioridade da gestão para o biênio 2015-2016 o Controle Baseado em Análise de Dados. Elenco de 8 iniciativas estratégicas para auxiliar na consecução desse objetivo.

• Análise de dados como ferramenta estratégica para o controle - apresentação Seminário Brasil 100% Digital - Wesley Vaz

Buscam avaliar 3 aspectos relacionados maturidade analítica:

• Aspectos organizacionais (características atribuíveis à instituição)

• Aspectos humanos (competências técnicas existentes)

• Aspectos tecnológicos (disponibilidade e efetivo uso de dados, software e hardware)

Metodologia

( c ) Validação de conteúdo com especialistas;

• Encaminhamento de relação de itens a técnicos da CGU e TCU.

• Ajustes na redação dos itens, eliminação de itens, inclusão de dicas nos questionários.

Metodologia

( d ) Aplicação de pré-teste e realização de ajustes no instrumento de coleta; Questionário aplicado com uso do aplicativo LimeSurvey Amostra piloto: Técnicos de atuam em auditorias/fiscalização no TCE-RJ (técnicos participantes de uma capacitação em auditoria governamental oferecida pela SGE) – 49 respostas. Questionário inicial para validação: 22 itens Análise dos dados: • Uso do software R e pacotes psych, likert, ggplot2, tydir, corrplot e readxl • Correlação entre os itens, análise fatorial exploratória (identificar itens a serem

excluídos, definição dos fatores), alpha de Cronbach (consistência interna), KMO, Teste de Esfericidade de Bartlett.

• Identificação de 7 fatores. Interpretação dos resultados.

Após ajustes, a escala final consistiu de 18 itens.

Metodologia (cont.)

(e) Aplicação do questionário final e análise dos dados;

• Encaminhamento de email a técnicos dos TCs

• Solicitação de encaminhamento a outros colegas (snowball)

Resultados A escala final proposta é composta dos seguintes itens: Fator 1 – Existência de pessoal capacitado em softwares e técnicas analíticas Q04 – As iniciativas de uso de análise de dados são isoladas Q06 – O tribunal utiliza dashboards para monitorar métricas chaves para o controle Q19 - O uso de softwares que suportam análise de dados é difundido entre os auditores Q21 – O uso de mineração de texto para auxiliar no exercício do controle externo ainda não é uma realidade Q22 – O tribunal dispõe de técnicos capacitados em softwares analíticos Fator 2 – Existência e uso de dados Q07 - Além dos dados obtidos com os jurisdicionados, o Tribunal também disponibiliza aos técnicos dados obtidos de outras instituições Q08 – O Tribunal possui um setor que tem como missão gerenciar informações para dar suporte às atividades de controle externo do Tribunal Q10 – A análise de dados é utilizada para auxiliar na detecção de fraudes Q11 – O Tribunal possui em sua estrutura organizacional um setor encarregado de garantir a qualidade dos dados utilizada para a realização das auditorias/fiscalizações

Resultados

Fator 3 – Apoio institucional para o uso de análise de dados Q03 – O Tribunal oferece a seus técnicos capacitação em análise de dados Q05 – Inexiste incentivo por parte do Tribunal para que os técnicos se capacitem em análise de dados Q12 – Inexiste apoio da alta administração do Tribunal ao uso de análise de dados para realizar a atividade de controle Fator 4 – Infraestrutura inadequada para manipular grandes bases de dados Q13 – Os recursos computacionais (hardware) disponíveis aos técnicos são inadequados para trabalhar com grandes bases de dados Fator 5 – Vontade institucional para o uso de análise de dados Q09 – A análise de risco é feita de forma subjetiva, valendo-se da experiência do técnico Q18 – O Tribunal possui ações estratégicas previstas explicitamente em seu Planejamento Estratégico visando aumentar sua capacidade analítica Q20 – Os técnicos têm dificuldade de dispor dos dados necessários à realização de auditorias/fiscalizações

Resultados

Fator 6 – Competência técnica para manuseio de grandes bases de dados Q15 – Os técnicos não se sentem confortáveis para trabalhar com grandes bases de dados Fator 7 – Tomada de decisões baseadas em fatos Q16 – A seleção de objetos de fiscalização é realizada com base na experiência dos técnicos, sem o auxílio de análise de risco

Resultados

Baixa adesão dos Tribunais pesquisados. Resultados não são robustos o suficiente para uma

avaliação definitiva. Escore total de cada TC: Média dos escores obtidos pelos técnicos do referido TC. Escore no fator: Média dos escores obtidos nos itens que constituem o fator. Intervalo de variação dos escores: Minimo: 18 pontos Máximo: 90 pontos Quadro com TCs que apresentaram 5 ou mais respondentes: TC F1 F2 F3 F4 F5 F6 F7 Total

Qtd. Resp.

1 13,58 15,32 7,53 1,79 8,84 2,16 2,32 51,53 19

2 11,40 15,60 7,20 2,20 6,60 2,40 1,80 47,20 5

3 10,43 14,43 7,00 2,43 8,71 2,57 2,00 47,57 7

4 9,71 12,86 6,71 1,86 7,29 2,00 2,29 42,71 7

O PENSAMENTO ESTATÍSTICO UM DIA SERÁ TÃO NECESSÁRIO PARA O EXERCÍCIO EFICIENTE DA

CIDADANIA COMO LER E ESCREVER.

-- H G Wells

Obrigado pela paciência!