modelagem de indicadores de desempenho da...

21
MODELAGEM DE INDICADORES DE DESEMPENHO DA SECRETARIA DO TESOURO NACIONAL – STN Vinícius Neiva

Upload: dangphuc

Post on 26-Nov-2018

214 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: MODELAGEM DE INDICADORES DE DESEMPENHO DA …consad.org.br/wp-content/uploads/2016/06/Painel-17-01.pdf · resultados, entendida como um processo de geração de valor público a partir

MODELAGEM DE INDICADORES DE DESEMPENHO DA SECRETARIA DO

TESOURO NACIONAL – STN

Vinícius Neiva

Page 2: MODELAGEM DE INDICADORES DE DESEMPENHO DA …consad.org.br/wp-content/uploads/2016/06/Painel-17-01.pdf · resultados, entendida como um processo de geração de valor público a partir

2

Painel 17/001 A Modelagem de Indicadores em Organizações Públicas

MODELAGEM DE INDICADORES DE DESEMPENHO DA SECRETARIA DO TESOURO NACIONAL – STN

Isidro-Filho

Vinícius Neiva

RESUMO

Este artigo descreve o modelo de mensuração do desempenho desenvolvido pela

Secretaria do Tesouro Nacional e seu processo de formulação. O texto está

organizado em 6partes: contexto, metodologia, os focos e objetos de mensuração,

processos de medição, modelo de monitoramento e avaliação, e considerações finais.

Page 3: MODELAGEM DE INDICADORES DE DESEMPENHO DA …consad.org.br/wp-content/uploads/2016/06/Painel-17-01.pdf · resultados, entendida como um processo de geração de valor público a partir

3

1. CONTEXTO

A Secretaria do Tesouro Nacional foi criada no dia 10 de março de 1986,

resultado da fusão da Secretaria Central de controle Interno (Se-cin) e da Secretaria

Executiva da Comissão de Programação Financeira (CPF), ambas do Ministério da

Fazenda.

O desafio naquele momento era ajudar o governo a institucionalizar e colocar

em ordem as contas públicas no Brasil. O primeiro passo nessa direção ocorreu, em

1988, com a substituição da conta movimento do governo no Banco do Brasil pela

Conta Única do Tesouro no Banco Central e a unificação dos orçamentos federais,

atrelando-se os gastos governamentais à prévia autorização do Congresso Nacional.

A STN também atuava desde sua criação como órgão central do Sistema de

Administração Financeira Federal, responsável pela gestão do SIAFI, e do Sistema

de Contabilidade Federal, responsável pela normatização dos padrões contábeis,

orçamentários e patrimoniais, com vistas à consolidação das contas públicas em todas

as esferas de Governo.

Ao longo de sua história, a Secretaria incorporou atribuições fundamentais para

a gestão das contas públicas com foco no equilíbrio fiscal: a programação financeira

da União alinhada às regras de controle e monitoramento previstos na Lei de

Responsabilidade Fiscal (LRF), a administração da dívida interna e externa da União,

o relacionamento financeiro do governo federal com estados e municípios, a gestão

de fundos e de ativos da União e a consolidação e divulgação das estatísticas fiscais

do setor público.

A essas atribuições acrescentam-se a ampliação do grau de transparência das

contas públicas por meio da gestão de novos sistemas estruturantes, tais como o Novo

SIAFI, o Siconfi – ferramenta essencial para disseminação de práticas de

transparência pública e de controle social de estados e municípios, o Sistema de

Custos do Governo Federal e o Portal Tesouro Transparente, por meio do qual todas

as informações e dados em formato aberto produzidas ou consolidadas pelo Tesouro

Nacional serão disponibilizados ao público.

Page 4: MODELAGEM DE INDICADORES DE DESEMPENHO DA …consad.org.br/wp-content/uploads/2016/06/Painel-17-01.pdf · resultados, entendida como um processo de geração de valor público a partir

4

A Secretaria do Tesouro Nacional é, hoje, uma instituição sólida com missão,

visão e valores muito bem definidos e responsabilidades gigantescas. O Tesouro

Nacional gerencia uma dívida de R$ 2,9 trilhões; executa a programação financeira

do governo federal que envolve outros recursos orçamentários da ordem de R$ 1,4

trilhão; administra uma carteira de ativos que soma R$ 550 bilhões junto a estados e

municípios e R$ 710 bilhões junto a empresas, produtores rurais e exportadores; é

responsável pelo acompanhamento da participação acionária direta da União em 104

empresas públicas e privadas e indireta em 91 empresas subsidiárias, uma carteira

de ativos mobiliários que soma R$ 311 bilhões; nos últimos três anos o Tesouro

verificou limites e condições financeiras em mais de 2.200 operações de créditos e

concessão de garantias para empresas e governos subnacionais; como órgão central

de contabilidade e administração financeira é responsável pelo atendimento a mais

de 80 mil usuários em mais de 35 mil unidades gestoras do Siafi, com quase um bilhão

de transações realizadas em 2015 no Brasil e no exterior; a STN também compila as

informações fiscais de 27 unidades da Federação e 5.560 municípios e coordena a

harmonização e a migração da contabilidade pública de todos os entes para o novo

padrão de contabilidade; e, através do Tesouro Direto, possui um relacionamento

direto com mais de 274 mil pequenos investidores pessoas físicas que passaram a

comprar títulos públicos federais por meio da internet.

Enfim, a Secretaria do Tesouro Nacional, hoje, com 30 anos de existência, já é

uma grande e importante instituição pública, responsável por um conjunto de

atividades fundamentais para o funcionamento do governo federal e em benefício

incontestável para a sociedade brasileira. Para fazer frente às suas responsabilidades,

a STN está organizada em 6 (seis) subsecretarias e, num nível abaixo, 20

Coordenações-Gerais. Seu corpo técnico é formado por 718 (setecentos e dezoito)

técnicos, sendo 629 (seiscentos e vinte e nove) integrantes da carreira de Finanças e

Controle do Tesouro Nacional.

Nesse sentido, poder aferir, por meio de indicadores, os resultados estratégicos

atingidos pelo órgão, bem como mensurar seu desempenho tático e operacional

contribuirá, ainda mais, com a melhoria da gestão pública no Brasil.

Page 5: MODELAGEM DE INDICADORES DE DESEMPENHO DA …consad.org.br/wp-content/uploads/2016/06/Painel-17-01.pdf · resultados, entendida como um processo de geração de valor público a partir

5

2. METODOLOGIA

Mensuração é o processo de medir múltiplos objetos (contexto, capacidades,

atributos, desempenho, valor…) em múltiplas escalas (instituição, área, unidade,

indivíduo...). Desde a instituição, há milhares de anos, de sistemas de pesos e

medidas, para mensurar objetos diversos (as coisas em geral e valores atribuídos às

coisas), o propósito básico da mensuração tem sido o “controle” – no sentido amplo e

genérico de permitir alguma noção, domínio ou atuação sobre uma situação de modo

a promover melhoria (otimização), aprendizado, transparência e responsabilização –

mas também pode ter um viés de controle no sentido de supervisão, de verificação de

conformidade e de pactuação baseada em incentivos positivos (bônus) ou negativos

(punições). Daí a máxima: “não se gere o que não se mede e não se melhora o que

não se gere”. Mesmo que a mensuração não ofereça total domínio da situação - sim,

é perfeitamente possível e frequentemente necessário medir o que não se controla.

Indicadores são “métricas” que geram informações (representam e também

apontam/direcionam uma “realidade) sobre um objeto/atributo a ser mensurado.

Podem ser qualitativos e quantitativos, simples e compostos, como será detalhado

mais adiante.

Uma primeira discussão de fundo relacionada à mensuração e indicadores é a

mensurabilidade, a possibilidade de se medir, por meio de indicadores, qualquer

objeto. Embora não se trate de uma questão simples, que certamente polariza

discussões, assume-se, como postura pragmática, de que é possível medir qualquer

coisa. As questões estão passam a ser o custo e qualidade da medida; o que é

importante e viável medir?

A regra geral é que quanto mais fidedigna é a medida em relação à realidade,

mais custoso se torna o processo de medição. Devido aos custos inerentes ao

processo de medição (recursos financeiros, humanos, tempo etc.), existe um processo

de priorização dos objetos a serem medidos e indicadores a serem utilizados.

Page 6: MODELAGEM DE INDICADORES DE DESEMPENHO DA …consad.org.br/wp-content/uploads/2016/06/Painel-17-01.pdf · resultados, entendida como um processo de geração de valor público a partir

6

Devido a esses custos supracitados, é relevante mencionar a necessidade da

busca pela simplicidade na construção de indicadores, caso contrário eles se tornarão

muito complexos e de difícil medição, não cumprindo com seus propósitos.

A mensuração organizacional é um elemento fundamental da governança para

resultados, entendida como um processo de geração de valor público a partir de

determinadas capacidades e qualidades institucionais; da colaboração entre agentes

públicos e privados na coprodução de serviços, políticas e bens públicos; e da

melhoria do desempenho. Dessa forma, nenhum destes elementos pode ser pensado

de forma isolada e qualquer modelo de mensuração deveria atentar para gerar

medidas relevantes relacionadas aos quatro elementos básicos do conceito de

governança pública.

Mas a grande tendência dos sistemas de mensuração contemporâneos é focar

na mensuração de desempenho e valor público. Desempenho é definido como

conjunto de esforços empreendidos para se alcançar determinados resultados.

Desempenho é um conceito multidimensional, relacionado aos resultados a serem

alcançados (dimensões de efetividade, eficácia e efetividade) e aos esforços

necessários (dimensões de execução, excelência e economicidade), sugerindo que

se identifiquem, em cada dimensão, distintos objetos de mensuração.

Valor público constitui em última análise o componente mais direcionador do

processo de governança, indicando percepções de satisfação e qualidade (o que o

público valora e consequentemente daria algo em troca) e confiança. Valor público é

uma combinação equilibrada de meios e fins, esforços e resultados, requisitos e

aspirações. Valor público é, portanto, um elemento que confere direcionamento, mas

também legitimidade à governança pública. Ou seja, o valor público também deve ser

foco prioritário da mensuração.

Há muitos modelos/abordagens de mensuração organizacional – a maioria

vinda do setor privado e muitas das quais não constituem apenas abordagens de

mensuração, senão abordagens de otimização organizacional que requerem

mensuração. Muitas metodologias podem ser úteis, mas possuem limitações. Um

modelo específico deveria se valer de elementos de duas ou mais metodologias, e

Page 7: MODELAGEM DE INDICADORES DE DESEMPENHO DA …consad.org.br/wp-content/uploads/2016/06/Painel-17-01.pdf · resultados, entendida como um processo de geração de valor público a partir

7

não apenas ensejar a escolha absoluta de uma ou outra. Em qualquer composição, é

essencial que um modelo de mensuração:

Parta de uma representação abrangente (sem pontos cegos) do

“negócio/intervenção” a partir de CAMPOS pré-definidos;

A partir dos quais se identificam OBJETOS (de mensuração) relevantes;

E que se cubram as múltiplas DIMENSÕES do desempenho/valor;

Que sirvam de base para o estabelecimento de métricas (INDICADORES)

significativos;

A serem gerados mediante ROTEIROS pré-estabelecidos de

mensuração, incluindo-se a geração, propriamente dita, dos indicadores,

sua análise e interpretação e a comunicação para promoção do uso e

proveito dos indicadores.

A metodologia desenvolvida e aplicada está baseada nestes requisitos, que

serão tratados nos segmentos subsequentes.

3. FOCOS E OBJETOS DE MENSURAÇÃO

O modelo de mensuração da STN possui três focos de mensuração: objetivos

estratégicos; processos críticos; e processos das Coordenações-Gerais. Em linhas

gerais, estes estratos representam as dimensões estratégica, tática e operacional –

embora, no caso dos processos críticos, a fronteira entre o tático e o operacional seja

tênue; e embora o foco “processos das coordenações gerais” paire acima de uma

dimensão micro operacional (habitada por processos de escopo curto, sub-processos,

tarefas e eventos diversos).

A escolha destes focos foi facilitada por uma representação abrangente da

STN, apresentada no quadro a seguir, e levou em conta as seguintes circunstâncias:

Na dimensão estratégica, de cima para baixo, o estágio do planejamento

estratégico da STN havia logrado a definição de 8 objetivos estratégicos

bem representativos dos elementos mais relacionados à valor público e

resultados (impactos, clientes, distribuição), sem, contudo, propor métricas

Page 8: MODELAGEM DE INDICADORES DE DESEMPENHO DA …consad.org.br/wp-content/uploads/2016/06/Painel-17-01.pdf · resultados, entendida como um processo de geração de valor público a partir

8

ou metas para estes objetivos – a denominação de metas se aplicava a um

conjunto de iniciativas;

Na dimensão operacional, verificou-se que as diversas áreas (20

coordenações gerais grupadas em 6 subsecretarias) possuíam

diferenciadas práticas no tratamento de indicadores (embora, em média, o

trato com indicadores era muito usual, a questão era o proveito que fazia

deles) e uma tendência fragmentária não apenas inter coordenações e

subsecretarias, mas em alguns casos intra-coordenações;

A dimensão tática era a que mais sofria com o efeito fragmentador,

praticamente inexistindo apreciações transversais acerca de processos

críticos (a serem definidos mais adiante), exceto de fora da STN como parte

do PMINF (de uma forma que suscitava algumas controvérsias).

Estas razões foram determinantes no sentido de se pensar três focos que

pudessem ordenar distintos objetos de mensuração (objetivos estratégicos, processos

críticos e processos prioritários das coordenações gerais), como boa oportunidade

para tornar o planejamento mais robusto (com objetivos com indicadores de alcance)

e as áreas operacionais mais integradas intra (no caso das coordenações gerais, com

seus indicadores prioritários) e Inter organizacional (no caso dos processos críticos).

A figura 1 mostra o modelo do Governance Canvas aplicado à STN, dando uma

ideia da abrangência da aplicação do modelo de mensuração, que abarca a maioria

dos elementos contemplados. A seguir está descrito o processo de definição dos

indicadores nos três focos (objetivos estratégicos; processos críticos; e processos das

Coordenações-Gerais).

Page 9: MODELAGEM DE INDICADORES DE DESEMPENHO DA …consad.org.br/wp-content/uploads/2016/06/Painel-17-01.pdf · resultados, entendida como um processo de geração de valor público a partir

9

Figura 1: Public Governance Canvas ®

Page 10: MODELAGEM DE INDICADORES DE DESEMPENHO DA …consad.org.br/wp-content/uploads/2016/06/Painel-17-01.pdf · resultados, entendida como um processo de geração de valor público a partir

10

Esta seção descreve o processo de modelagem dos indicadores dos objetivos

estratégicos da STN. A escolha de indicadores dos objetivos estratégicos começou

com uma identificação a priori de indicadores tendo como base documentos

institucionais da STN e outros utilizados por outras organizações congêneres.

Chegou-se a uma lista de 323 indicadores.

Utilizou-se o enunciado dos objetivos estratégicos como ponto de partida para

a identificação dos objetos de mensuração. Dessa forma, foi possível filtrar a lista

mencionada anteriormente em 109 indicadores relacionados aos objetivos

estratégicos.

A partir disso, foi feita uma priorização desses indicadores a partir de dois

critérios. O primeiro foi a vinculação mais rigorosa com os objetos de mensuração

presentes nos enunciados dos objetivos estratégicos na sua versão final. O segundo

foi levar em consideração, prioritariamente, os indicadores à jusante da cadeia de

valor (voltados mais a resultados que esforços).

Esse segundo filtro de seleção resultou numa lista de 16 indicadores (mais

propriamente, alguns são temas de indicadores) que seguiram para validação

preliminar da alta administração da casa e serviram de início aos debates com as

áreas técnicas responsáveis. Nos debates com as áreas técnicas (responsáveis

mencionados) foram concebidas 24 propostas de indicadores, dentre os quais 14

foram detalhados.

Em princípio, processos críticos são processos com elevado impacto sobre os

objetivos estratégicos da organização cujo desempenho se encontra aquém do ideal.

A identificação dos processos críticos da STN se iniciou com 112 processos

previamente levantados com base no documento “Relatório consolidado: Modelo

de Negócios e Diagnóstico do macro processos das Subsecretarias STN” sem,

contudo, se restringir a ele. Posteriormente foi utilizada uma Matriz de Multicritérios

de Priorização. A Matriz leva em consideração três critérios fundamentais para definir

um processo crítico. São eles:

Impacto na estratégia: quanto mais objetivos estratégicos forem

influenciados por um processo, maior será seu impacto na estratégia;

Page 11: MODELAGEM DE INDICADORES DE DESEMPENHO DA …consad.org.br/wp-content/uploads/2016/06/Painel-17-01.pdf · resultados, entendida como um processo de geração de valor público a partir

11

Desempenho do processo: é avaliado a partir da quantidade e qualidade

das entregas, bem como satisfação das expectativas do usuário;

Complexidade do processo: é avaliada a partir de quatro subcritérios, sendo

eles transversalidade (quantidade de áreas em que perpassa o processo),

pluralidade de atores e competências necessárias, tempo de execução do

processo e quantidade de atividades envolvidas.

Os indicadores foram avaliados em blocos divididos por Subsecretaria. Após

uma normalização estatística, 51 processos obtiveram nota positiva. Após ajustes

qualitativos, chegou-se a uma lista de 54 candidatos a processos críticos, listados na

tabela 2. Em sequência, foi solicitado às coordenações gerais que aplicassem o

instrumento de priorização apresentado anteriormente contendo os 54 candidatos a

processos críticos, de modo a se obter uma consolidação das notas de priorização e

se identificar o conjunto mais crítico dentre os processos (aqueles cujos indicadores

seriam modelados).

O processo de modelagem de indicadores para as Coordenações Gerais se

iniciou com a identificação de três processos para cada uma das 20 coordenações

gerais – indicação esta solicitada às coordenações gerais. Em seguida, foram

realizadas, para cada coordenação geral, duas rodadas de discussões, algumas

precedidas de preparação, outras com desdobramentos, no intuito de orientar e

avaliar o trabalho de modelagem que foi demandado, segundo a capacitação feita

anteriormente.

A partir de cada processo indicado por cada coordenação geral eram definidos

focos de mensuração para os indicadores. Então, de forma preliminar, foram

sugeridos indicadores para cada processo identificado. Essa lista inicial de

indicadores sugeridos foi levada às Coordenações e em conjunto se eliminaram e

alteraram indicadores dessa lista além da criação de outros indicadores relevantes

para cada processo. Dessa forma foram realizadas, na quase totalidade de

coordenações, as etapas de identificação a priori e priorização.

Após definidos os indicadores a serem medidos para cada um dos processos

selecionados por cada Coordenação geral, passou-se para a etapa de detalhamento

Page 12: MODELAGEM DE INDICADORES DE DESEMPENHO DA …consad.org.br/wp-content/uploads/2016/06/Painel-17-01.pdf · resultados, entendida como um processo de geração de valor público a partir

12

desses indicadores. Foram modelados um total de 132 indicadores referentes a 54

processos de 19 Coordenações. Os indicadores foram codificados para facilitar sua

identificação. Cada Subsecretaria possui um número de identificação, da mesma

forma foi associado um número para cada Coordenação e, a partir desse, um número

para cada processo. Os indicadores foram numerados de acordo com o processo a

que se referem, dessa forma o número de um indicador apresenta o processo a que

ele se refere, a Coordenação Geral responsável por esse processo ea subsecretaria

a qual essa Coordenação geral pertence.

4. PROCESSOS DE MEDIÇÃO

A mensuração como um todo, compreendida como um ciclo, é um processo.

Mas este segmento tratará do processo, propriamente dito, de execução da

mensuração, de geração dos indicadores modelados a partir da coleta, tratamento e

disponibilização de dados sob a forma de informações, no formato (fórmula) definido

por cada indicador.

O quadro a seguir ilustra os elementos de um modelo de monitoramento e

avaliação e, como parte deste, o processo de geração dos indicadores revelando

elementos tais como: atores, questões, corte temporal, tipo e abordagem

metodológica, dados e sua coleta, tratamento e disponibilização, análise e divulgação.

Quadro 1: Elementos de um modelo de M&A.

Propósito Para que avaliar? Melhoria Aprendizado Objetivos estratégicos Processos críticos Processos das CGs

Objeto O que avaliar?

Processo

Quem são os atores (partes interessadas)?

Objetivos estratégicos = cúpula, CODIN Processos críticos = cúpula, CODIN Processos das CGs = CGs, Gerências, CODIN

Quais são as questões da avaliação? Que respostas busca?

Objetivos estratégicos = Alcance Processos críticos = Desempenho Processos das CGs = Desempenho

Page 13: MODELAGEM DE INDICADORES DE DESEMPENHO DA …consad.org.br/wp-content/uploads/2016/06/Painel-17-01.pdf · resultados, entendida como um processo de geração de valor público a partir

13

Qual é o corte temporal, que período ou momento?

Objetivos estratégicos = M, T, Q, S, A Processos críticos = M, T, Q, S, A Processos das CGs = M, T, Q, S, A

Qual é o tipo da avaliação? Ex cursum, ex post

Qual é a abordagem metodológica?

Linha de base (metas)

Que informações são necessárias (o que se quer saber sobre o/os objeto/s)? Como será possível coletar as informações

Objetivos estratégicos = CGs enviam à CODIN Processos críticos = CGs enviam à CODIN Processos das CGs = intra-CGs

Como analisar as informações/indicadores?

Objetivos estratégicos = grupos por indicador Processos críticos = grupos por indicador Processos das CGs = grupos intra-CGs

Qual é o produto da avaliação?

Objetivos estratégicos = Relatório/Boletim, Painel, Evento Processos críticos = reuniões SUBs Processos das CGs = reuniões intra-CGs e intra-Subs

Promoção & Uso

Como promover o bom uso das informações? Como comunicar os resultados e em que espaços dialogar, aprender e tomar decisões que corrijam os rumos da intervenção?

Objetivos estratégicos = comunicação seletiva interna e externa Processos críticos = comunicação interna e processo gerencial Processos das CGs = apoio CODIN, avaliação governança e processo gerencial

Na STN, para cada uma das três camadas do modelo, existem diferentes atores

envolvidos. Com relação aos objetivos estratégicos, os atores envolvidos são a cúpula

(gabinete e subsecretários) e a CODIN (Coordenação-Geral de Desenvolvimento

Institucional) – na qualidade de unidade auxiliar das funções corporativas da cúpula.

Para os processos críticos, os atores também são a cúpula e a CODIN. Por fim, para

os processos das Coordenações-Gerais (CGs), os atores são as próprias CGs, as

Gerências e a CODIN – na qualidade de gestora do modelo de mensuração.

Posteriormente, um segundo momento refere-se ao desenvolvimento das

questões de avaliação, ou seja, quais respostas os atores buscam para cada um dos

objetos de mensuração (o que é relevante ser avaliado). Para os objetivos

estratégicos deseja-se verificar o alcance ou não alcance dos objetivos. Para os

Page 14: MODELAGEM DE INDICADORES DE DESEMPENHO DA …consad.org.br/wp-content/uploads/2016/06/Painel-17-01.pdf · resultados, entendida como um processo de geração de valor público a partir

14

processos críticos e processos das CGs se quer saber o nível de desempenho dos

processos em si – e, no caso dos processos críticos, seu impacto nos objetivos

estratégicos e nos objetivos de política fiscal do Ministério da Fazenda.

A avaliação do indicador só fará sentido a partir da definição de um corte

temporal de aferição do desempenho (período ou momento considerado). Nas três

camadas do modelo existem indicadores com recorte diário, semanal, mensal,

bimensal, trimestral, quadrimestral, semestral e anual - a grande quantidade de

períodos mensais e semanais de apuração é compatível com a natureza mais

operacional de tais indicadores.

A quarta etapa da estruturação do processo de medição diz respeito ao tipo de

avaliação dos indicadores. No caso da STN, serão realizadas avaliações ex cursum,

ou seja, verificando a tendência de alcance de uma meta pactuada (avaliações no

decorrer do corte temporal definido na etapa anterior); e ex post – após o término do

período de apuração. A avaliação possuirá uma abordagem metodológica exploratória

(sem metas pré-definidas, na maioria dos casos, pelo menos no 1o ciclo) e de linha

de base, em que metas são definidas a partir do reconhecimento do desempenho

passado (linha histórica) ou padrões referenciais (benchmarks).

A coleta dos dados dos indicadores das coordenações gerais (e, em alguma

extensão, estima-se, dos processos críticos) é muito específica (em alguns casos

artesanal) e deverá obedecer ao que consta no detalhamento dos indicadores, mas,

de um modo geral as seguintes considerações se aplicam:

Uma boa parte dos indicadores modelados já é gerado em bases contínuas.

A figura abaixo revela que no caso dos indicadores das coordenações

gerais, em 45% dos casos os dados para geração dos indicadores estão

disponíveis (casos em que os indicadores não são gerados, mas os dados

são de alguma forma produzidos e consumidos internamente no âmbito de

gerências e de coordenações gerais), sendo que em 42% dos casos os

indicadores já são gerados.

No caso dos indicadores de objetivos estratégicos, em 71% dos casos os

dados para geração dos indicadores estão disponíveis, sendo que em 25%

Page 15: MODELAGEM DE INDICADORES DE DESEMPENHO DA …consad.org.br/wp-content/uploads/2016/06/Painel-17-01.pdf · resultados, entendida como um processo de geração de valor público a partir

15

dos casos os indicadores já são gerados – restando apenas 4% (um caso,

do objetivo estratégico 8) da alternativa de construção do indicador. Logo, a

coleta, tratamento, armazenamento e disponibilização dos dados já estão

equacionados. Isto vale principalmente para os indicadores de maior

frequência (diários e semanais).

No caso de indicadores de processos de coordenações gerais, mesmo que

não sejam gerados de forma contínua, a maior parte deles será gerada intra-

gerências, que, na maior parte das vezes, possui os dados para gerá-los.

Serão exceções os indicadores de processos de coordenações gerais que

requererão dados de outras coordenações ou mesmo de duas ou mais

gerências sob sua vinculação.

Embora a coleta dos dados dos indicadores das coordenações gerais seja

muito específica e em alguns casos artesanal, isto não impede de parte

deste processo de coleta e tratamento se beneficiar parcialmente de

sistemas de dados existentes e até, em alguma extensão, automatizar a

coleta e tratamento de dados.

Adicionalmente, alguns indicadores de objetivos estratégicos requerem a coleta

de dados de múltiplas coordenações gerais e subsecretarias. Nesse caso, uma vez

identificadas as origens dos dados, é chave o papel da CODIN no sentido de buscar

estabelecer uma rede de coleta, solicitando o envio, acessando sistemas específicos,

analisando a consistência e tratando segundo as fórmulas, sempre com o apoio dos

grupos técnicos intersetoriais responsáveis pela geração dos indicadores.

Os resultados dos indicadores não são autoexplicativos. Por isso eles devem

ser analisados, garantindo que todos os atores apresentem o mesmo entendimento

da aferição (nivelamento da interpretação). Os indicadores de objetivos estratégicos

e processos críticos devem ser analisados a partir da formação de grupos específicos

para esse fim. Assim também se dará com os processos das coordenações gerais,

sendo que a diferença reside em que os grupos dos processos destas serem internos

(intra), e os de objetivos estratégicos e processos críticos possuírem participantes de

diversas unidades.

Page 16: MODELAGEM DE INDICADORES DE DESEMPENHO DA …consad.org.br/wp-content/uploads/2016/06/Painel-17-01.pdf · resultados, entendida como um processo de geração de valor público a partir

16

Por fim, é fundamental o desenvolvimento de um produto com o resultado da

análise realizada pelos grupos. A coluna “produtos e instrumentos para disseminação

e uso” do quadro no item a seguir apresenta alguns produtos que constituem formas

de divulgação e disseminação das informações dos indicadores. Esse produto pode,

se passível de divulgação, contribuir com o grau de transparência operativa do setor

público, inclusive.

5. MONITORAMENTO A AVALIAÇÃO

O Monitoramento trata da geração de informações relevantes de forma

contínua e sistemática, incorporando-as ao processo decisório (podendo ser

comparada a um filme). A seguir apresenta-se uma proposta consolidada de modelo

Monitoramento & Avaliação para a STN a partir dos indicadores propostos (Quadro

2). O quadro contempla a abordagem dada aos indicadores de cada foco de

mensuração tendo em vista sua periodicidade, os responsáveis pela geração e

interpretação dos indicadores, os eventos necessários e os mecanismos para

divulgação dos resultados aferidos e os instrumentos para divulgação aos públicos de

interesse no desempenho.

Como os objetivos estratégicos são alcançados no médio e longo prazo (anual

ou semestral) não é necessário ter reuniões de indicadores em uma periodicidade

menor (mensal e bimestral), exceto para efeito de estimação do indicativo de alcance,

se as circunstâncias assim o demandarem. Entretanto, todos indicadores precisam

ser analisados de forma consolidada em determinados períodos de tempo, razão pela

qual todos possuem reuniões de periodicidade anual. As reuniões anuais representam

o fechamento do ciclo para todos os indicadores das três camadas. Mostra-se,

portanto, ser de suma importância que o órgão estabeleça uma sistemática de

acompanhamento pelos tomadores de decisão para garantir que a instituição esteja

entregando valor e funcionando de acordo com padrões desejados.

Page 17: MODELAGEM DE INDICADORES DE DESEMPENHO DA …consad.org.br/wp-content/uploads/2016/06/Painel-17-01.pdf · resultados, entendida como um processo de geração de valor público a partir

17

Quadro 2: Modelo de M&A consolidado.

Page 18: MODELAGEM DE INDICADORES DE DESEMPENHO DA …consad.org.br/wp-content/uploads/2016/06/Painel-17-01.pdf · resultados, entendida como um processo de geração de valor público a partir

18

Será necessário estabelecer grupos técnicos por objetivo estratégico e por

processos críticos para o acompanhamento desses indicadores, já que se tratam de

questões que perpassam a STN como um todo. É neste ponto que o mecanismo da

sala de situação, ou sala de guerra, pode ser útil. Trata-se de um dispositivo decisório,

antes que de visualização – embora frequentemente se confunda sala de situação

com painel de controle e se pense que necessariamente constitua um recinto. A

metáfora da sala de guerra evoca a necessidade de um centro de decisão, a partir

das informações geradas por indicadores. Nesse sentido, embora os grupos não se

situem no mesmo recinto o tempo todo, nem as decisões tenham que ser

uniformemente periódicas, a forma de atuação dos grupos técnicos possui

características de sala de guerra na medida em que devem ser indicativas de

decisões.

Como os processos críticos e os processos das Coordenações-Gerais

precisam ser acompanhados mensalmente, é de extrema importância a atuação

interna via processo gerencial para ajustes de curto prazo, de modo a obter ganhos

rápidos de desempenho.

Por serem mais complexos e terem interdependência entre várias áreas da

Secretaria, os indicadores de objetivos estratégicos e de processos críticos

necessitam de um maior esforço em sua comunicação, podendo se valer de

instrumentos tais como quadros e banners, sistema Strategía e intranet, relatório

executivo, relatório de gestão, apresentação multimídia, e-mail, e folder – de forma

conectada com a comunicação interna e externa e dentro dos parâmetros e padrões

da política de transparência.

Já os processos críticos devem ter uma disseminação mais interna, por meio

de relatório executivo, apresentação multimídia, e-mail, folder com consolidação dos

indicadores por área, conforme o caso. Conforme o caso, as informações geradas

pelos indicadores dos processos críticos poderão ensejar um plano de ação específico

ou até mesmo provocar a inclusão de ações especificas no âmbito do planejamento

estratégico.

Page 19: MODELAGEM DE INDICADORES DE DESEMPENHO DA …consad.org.br/wp-content/uploads/2016/06/Painel-17-01.pdf · resultados, entendida como um processo de geração de valor público a partir

19

Os resultados dos processos das Coordenações-Gerais podem ser divulgados

dentro da própria Coordenação por meio de e-mails.

Considerações finais

Medir não é um processo trivial, existindo problemas e limitações. São

necessários recursos, apoio da alta administração, disponibilidade de informações,

etc. Devido a esses fatores, é inviável se medir tudo. Portanto, é preciso esforço,

imaginação e honestidade intelectual para resolver ou atenuar as limitações, fazendo-

se bom uso dos dados existentes.

Além disso, é desnecessário medir todos os aspectos. A organização precisa

determinar quais são os objetos prioritários de mensuração, que mais impactam o

desempenho e garantir que esses objetos sejam mensurados da maneira correta.

Caso não seja possível mensurar os objetos priorizados da forma mais fidedigna

possível, sugere-se a criação de indicadores que possibilitem a aproximação da

medição (proxies).

Muitas organizações acreditam que a sistemática de mensuração, que começa

a ser idealizada com a definição dos objetos de mensuração possui o mesmo

significado de sistema informatizado. Sistema informatizado é o software desenvolvido

para apoiar o processo de mensuração. É possível haver uma sistemática de

mensuração sem, necessariamente, haver um sistema informatizado específico ou

buscando-se integrar diversos sistemas que contenhas os dados que alimentarão os

indicadores propostos.

Por se tratar de um processo, é fundamental não se perder de vista algumas

questões cruciais:

Começar da forma mais simples possível e ganhar aprendizados

progressivos;

Começar com requisitos mínimos de viabilidade, tais como suporte de

líderes e formulações mínimas.

Nesse sentido, a Secretaria do Tesouro Nacional optou em seu modelo de

gestão definir três níveis de mensuração: estratégico, críticos ou táticos e

Page 20: MODELAGEM DE INDICADORES DE DESEMPENHO DA …consad.org.br/wp-content/uploads/2016/06/Painel-17-01.pdf · resultados, entendida como um processo de geração de valor público a partir

20

operacionais. Cada nível permitirá que os respectivos tomadores de decisão

acompanhem e atuem de forma ativa no alcance dos objetivos e resultados

esperados. Espera-se, portanto, que o órgão seja promotor de boas práticas de gestão

e transparência e consiga entregar à sociedade o valor que dele é esperado, equilíbrio

fiscal, transparência e qualidade e eficiência na alocação dos recursos públicos.

Por fim, entende-se que o modelo de mensuração deve ser aprimorado

continuamente, a partir de aprendizados, lições aprendidas e boas práticas adquiridas

ao longo do tempo, ou seja, realiza-se a avaliação do próprio modelo de mensuração.

Page 21: MODELAGEM DE INDICADORES DE DESEMPENHO DA …consad.org.br/wp-content/uploads/2016/06/Painel-17-01.pdf · resultados, entendida como um processo de geração de valor público a partir

21

REFERÊNCIAS

Martins, H. F. & Mota, J.P.C. The Public Governance Canvas Model, 2014.

_____________________________________________________________

AUTORIA

Vinícius Mendonça Neiva – Secretaria do Tesouro Nacional – STN