conselheiro relatorpolíticas públicas: programas de governo finalísticos. projetos, atividades,...

C O N S E L H E I R O R E L A T O R

Fernando augusto mello guimar ães

C O O R D E N A D O R A

rita de CÁssia BomPeiXe C. momBelli

R E S p O N S á v E L T É C N I C O

dJalma riesemBerg Jr.

p R O J E T O G R á F I C O

nÚCleo de imagem | diretoria de ComuniCaÇão soCial

R E S u m O

o foco deste estudo consiste na aplicação de metodologia capaz de mensu-

rar a performance da gestão pública, tomando por base determinadas dimensões,

atributos e elementos identificados como essenciais à avaliação das ações do gover-

no no exercício de 2017.

Esta avaliação lança olhar a partir da abordagem do controle externo, con-

siderando aspectos relacionados às dimensões de esforço (economicidade, confor-

midade e execução) e resultado (eficiência, eficácia e efetividade), à critérios e in-

dicadores que possam abranger a atuação sistêmica do Estado em todos os níveis,

visando, ainda, subsidiar análise das Contas do Governador.

Pretende-se, ao final, apresentar perspectiva acerca do nível de maturida-

de da gestão estadual, atribuindo-lhe “nota final” que, na medida do possível, possa

expressar juízo de valor objetivo sobre as ações, projetos, e programas executados,

bem como das metas e resultados alcançados, dado o atual contexto econômico-

social do estado.

espera-se, com isso, auxiliar, não apenas na estruturação de referencial ob-

jetivo para o julgamento das contas de governo, mas, principalmente, oferecer aná-

lise técnica aos gestores estaduais, ao mesmo tempo abrangente e detalhada, que

permita identificar elementos relevantes para aprimoramento da gestão pública.

S u m á R I O

1. INTRODUÇÃO ....................................................................................................... 6

2. PROPOSTA METODOLÓGICA PARA O METAMODELO ............................. 9

2.1. ESTRUTURA HIERÁRQUICA DO OBJETO .............................................11

2.2. ESTRUTURA HIERÁRQUICA DO DESEMPENHO .................................14

2.3. PERSPECTIVA HIERÁRQUICA DO RISCO ..............................................17

3. RESULTADOS .......................................................................................................19

4. CONCLUSÃO ...................................................................................................... 28

5. CONSIDERAÇÕES FINAIS .................................................................................31

GLOSSÁRIO ............................................................................................................. 33

REFERÊNCIAS BIBLIOGRÁFICAS ....................................................................... 36

C O N TA S D O G O v E R N A D O R | E X E R C Í C I O 2 0 1 7

M E N S U R A Ç Ã O D O D E S E M P E N H O D A G E S TÃ O P Ú B L I C A E S TA D U A L

6

1. INTRODuÇÃO

Há muito os órgãos de controle externo buscam ferramentas que permitam

melhor avaliar a performance dos governos, não apenas em relação ao cumprimento

de dispositivos normativos (constitucionais e legais), mas, particularmente, acerca

da avaliação de políticas públicas, esta, sem dúvida, mais complexa e desafiadora, e,

talvez por isso, ainda pouco desenvolvida.

Não por outro motivo, o termo “governança” tornou-se tema do momento

na administração pública, posto que envolve conceitos como qualidade e capacidade

institucional, colaboração em rede, valor público e, principalmente, desempenho.

Esse desempenho, inclusive, pode ser considerado o core de muitos métodos

e indicadores que tentam demonstrar, em números, os resultados da gestão pública

sob diversos prismas. Os recém-criados IEGM1 e iege2, indicadores desenvolvidos a

partir da experiência do Tribunal de Contas do Estado de São Paulo no final de 2014,

atualmente em uso por alguns Tribunais de Contas do país, são exemplos da tentativa

dos órgãos de controle na direção de avaliar programas e ações, não somente sob o

aspecto da regularidade, mas de seus resultados e impactos na sociedade.

Antes deles, porém, relevante mencionar a experiência do governo federal

com o Modelo de Excelência em Gestão Pública (MEPG), que, em meados da década

passada, propôs o desenvolvimento de guia referencial para automedição do desem-

penho da gestão pública, baseado no gerenciamento de indicadores de eficiência, efi-

cácia e de resultados, permitindo ciclos contínuos de aprimoramento, no contexto do

Programa Nacional de Gestão Pública e Desburocratização, o chamado Gespública,

criado em 2005 para ser um novo paradigma administrativo na esfera federal.

Seja numa ou noutra forma, desconsiderando eventuais questionamentos técni-

co-metodológicos deste ou daquele método, busca-se, em verdade, maior efetividade da

ação estatal em todos os níveis, ou melhor, busca-se medir a capacidade do gestor em atin-

gir resultados dado determinado nível de esforço por ele empreendido, e, ao final, avaliar

se, de fato, ocorreu alguma mudança na realidade social à qual determinada política públi-

ca foi direcionada. É, sem dúvida, enorme desafio aos órgãos de controle externo.

1 Índice de Efetividade da Gestão Municipal.2 Índice de Efetividade da Gestão Estadual.

7

C O N TA S D O G O V E R N A D O R | E X E R C Í C I O 2 0 1 7


neste contexto, e de forma experimental, ousamos apresentar proposta

metodológica3 para mensuração do desempenho relativo da gestão pública esta-

dual, do ponto de vista do controle externo, considerando aspectos relacionados à

dimensões de esforço, resultado e risco, à critérios e indicadores que possam abran-

ger a atuação sistêmica do Estado em todos os níveis organizacionais, sejam ações

específicas, políticas públicas, entidades estaduais ou municipais. Visa, ainda, subsi-

diar a análise das Contas do Governador do exercício de 2017.

O principal alvo do metamodelo é possibilitar a atribuição de “notas” para a

performance da atuação do gestor estadual, que expressem juízo de valor objetivo

em comparação com padrões esperados de desempenho (parâmetros de qualidade).

Além dele, destacamos os seguintes objetivos específicos:

a. Possibilitar análise multidimensional da gestão pública, considerando a

cadeia de valor própria de cada objeto a ser mensurado, no sentido de

propiciar análise mais ou menos abrangente, conforme as condições téc-

nicas existentes;

b. utilizar atributos e indicadores que possibilitem mensurar distintos ob-

jetos da administração: (a) entes e/ou unidades componentes, (b) polí-

ticas públicas (programas), (c) projetos, atividades ou ações específicas

(processos);

c. Gerar parâmetros comparativos do desempenho da gestão pública ao

longo do tempo;

d. Gerar indicativos da maturidade ou excelência de desempenho de quais-

quer dos poderes (executivo, legislativo e judiciário), de quaisquer ór-

gãos ou programas finalísticos;

3 Na verdade, trata-se de um metamodelo, ou seja, modelo de/para outros modelos, que seja suficiente para considerar diversas abordagens e orientar a construção de modelos específicos para a mensuração de desempenho.



8

e. Disponibilizar resultados à sociedade, no âmbito da apreciação das Con-

tas do Governo de 2017, e

f. Divulgar o método para outras entidades de controle externo interessadas.

Como base estruturante na formulação do metamodelo, foram considera-

dos parâmetros referenciais aplicados nacional e internacionalmente, tais como o

guia referencial de mensuração de desempenho – GesPública, os 6E´s do desempe-

nho (Canvas), o padrão COSO-IC4 e Coso-erm5, além de conceitos de governança

pública e normas do tCu6, intosai7, gao8, nao9, dentre outros.

Afora outras premissas definidas como essenciais ao metamodelo, buscou-se

formatar avaliação que permitisse considerar enfoque do controle externo, ou seja, per-

mitir mensuração do desempenho da gestão “de fora para dentro” do objeto que se quer

analisar, sem a interferência de outros atores que pudessem trazer visão distorcida da

realidade. Por essa razão, a elaboração dos quesitos, assim como a definição das notas

ponderadas, ficou a cargo da equipe técnica responsável pelas contas de governo 201710,

a qual usou como principal parâmetro as análises e conclusões constantes dos cadernos

temáticos que compõem o Relatório das Contas do Governador11.

ainda, utilizando mecanismo de pontuação ponderada, considerou a im-

portância relativa das diferentes dimensões, atributos e indicadores que, de alguma

forma, expressem esforço dispendido e resultado alcançado pelo gestor, atribuindo

maior peso às ações que envolvam dimensões de resultado.

A comparação com padrão esperado levou em conta faixas ou intervalos de

concordância, baseada na escala Likert, sendo possível, assim, pontuar o esforço e o não

esforço, por exemplo, não cumpriu a meta, mas houve melhora de X% em relação ao pa-

drão inicial (considera o esforço), ou, não houve qualquer ação (considera o não esforço).

4 Committee of Sponsoring Organizations of the Treadway Commission-Internal Control.5 Committee of Sponsoring Organizations of the Treadway Commission-Enterprise Risk Management.6 Tribunal de Contas da União.7 The International Organisation of Supreme Audit Institutions.8 United States Government Accountability Office.9 National Audit Office.10 Equipe designada por meio da Portaria n° 27/18, de 12/01/18.11 Todos os Cadernos Temáticos estarão disponíveis para consulta por meio de hiperlinks.

9



Registre-se, também, que dadas as limitações de tempo impostas pelas re-

gras de apreciação das contas do governo, não foi possível avaliar, na aplicação do

metamodelo, a dimensão de risco, a qual envolve ponderação objetiva dos riscos

operacionais12, riscos de informação13 e riscos de conformidade14 e sua mitigação

pela administração. Contudo, embora desejável sua incorporação à avaliação da

gestão, não houve prejuízo na qualidade das conclusões exaradas.

Frise, ainda, que, do ponto de vista metodológico, ideal seria a padronização

e formulação prévia dos quesitos a serem aplicados e, ao longo do exercício objeto

de análise, efetuar a avaliação. Entretanto, pela já citada limitação de tempo, essa

prática não foi adotada no presente estudo.

serão apresentados, a seguir, os principais aspectos da proposta metodoló-

gica e, ao final, os resultados obtidos pela sua aplicação.

2. pROpOSTA mETODOLÓGICA pARA O mETAmODELO

A presente proposta está baseada em estrutura multidimensional que con-

sidera a mensuração da performance da gestão pública sob a perspectiva do desem-

penho, organizacional e do risco, podendo ser ilustrada de acordo a seguinte compo-

sição, denominada cubo de desempenho:

CUBO MULTIDIMENSIONAL DE MENSURAÇÃO DE DESEMPENHO

ORGANIZACIONAL

RISCO

DESEMPENHO

12 Risco operacional: certeza do grau de atingimento dos objetivos/metas operacionais propostos.13 Risco de informação: certeza de que as informações fornecidas pelos relatórios e sistemas corporativos são confiáveis e tempestivas.14 Risco de conformidade: certeza de que Leis, regulamentos e normas pertinentes estão sendo cumpridos.



10

Cada dimensão é formada por subdimensões, com objetivo de permitir a segre-

gação e compreensão das diferentes abordagens em relação ao objeto que se pretende

avaliar (dimensão organizacional), tendo como premissa a definição de atributos, elemen-

tos e sub-elementos adequados à visão e avaliação do controle externo, isto é, com nível

de detalhamento menos rigoroso por se tratar de análise “de fora para dentro”, porém,

capaz de incorporar questões de gestão como estrutura, pessoas, processos e sistemas

de informação15, estratégias e resultados16, produtos, interface com o cidadão-cliente, in-

fraestrutura e finanças17. Em resumo, temos o seguinte:

DImENSÕES SuBDImENSÕES

DESEMPENHO

Cadeia de valor:

Esforço: conformidade, economicidade, execução.

Resultado: eficiência, eficácia, efetividade.

ORGANIZACIONAL

Objeto a ser avaliado:

poderes: executivo, legislativo, judiciário.

Esferas de governo: federal, estadual, municipal.

Entidades, Órgãos ou unidades: adm. direta ou indireta.

políticas públicas: programas de governo finalísticos.

projetos, atividades, ações: recursos, processos e produtos.

RISCO

Operacional: certeza do grau de atingimento dos objetivos/metas operacionais propostos.

Informação: certeza de que as informações fornecidas pelos relatórios e sistemas corporativos são confiáveis e tempesti-vas.

Conformidade: certeza de que leis, regulamentos e normas pertinentes estão sendo cumpridos.

15 Abordagens do COBIT (Control Objectives for Information and Related Technology) Estrutura de trabalho criada para governança e gerenciamento de TI.16 abordagens do gesPública.17 Modelo de negócio de Osterwalder.

11



2 .1. ESTRuTuRA HIERáRQuICA DO OBJETO

Como vimos, o metamodelo proposto oferece possibilidade de se avaliar

diversas estruturas componentes da administração pública, cada qual possuindo

maior ou menor grau de complexidade. É de se supor, portanto, que atribuir “nota

final” à determinada cadeia de valor, não pode se resumir a uma só questão ou a uma

só perspectiva.

Por conta disso, o objeto que se pretende medir necessita ser decomposto

em partes menores, permitindo que se possa atribuir juízo de valor a cada aspecto

relevante desta cadeia. A hierarquia apresentada a seguir, surge com o intuito de

transformar objetos complexos em elementos mais simples, passíveis de receberem

algum tipo de valoração objetiva:

ESTRUTURA HIERÁRQUICA DO OBJETO

DIMENSÕES

ATRIBUTOS

ELEMENTOS

SUB-‐ELEMENTOS

QUESITOS



12

Assim, todo e qualquer objeto que se pretenda avaliar será decomposto em

dimensões, atributos, elementos, sub-elementos e, por fim, em quesitos. Estes serão,

de fato, os itens avaliados sob a perspectiva do desempenho (tema a ser explorado

no tópico seguinte).

Mas, afinal, o que são dimensões? São parâmetros ou magnitudes de um con-

junto que permitem definir ou descrever os fatos e atos da gestão pública, fundamentais

para se medir todas suas características, circunstâncias ou aspectos mais relevantes.

Nessa perspectiva, para mensuração da performance da gestão pública es-

tadual no contexto das Contas do Governador (objeto deste estudo), foram defini-

das oito dimensões que serão avaliadas em conjunto. São elas:

1. Gestão Orçamentária

2. gestão Financeira

3. gestão Patrimonial

4. Gestão Previdenciária

5. gestão Fiscal

6. Gestão Administrativa

7. gestão de Programas Finalísticos

8. Accountability

Todavia, por ser um metamodelo, suas dimensões, atributos, elementos e

sub-elementos podem ou não ser avaliados em conjunto, a depender das proprie-

dades do objeto avaliado. Além disso, outras dimensões podem ser criadas, desde

que necessárias e fundamentais à medição do objeto. A título de exemplo, pode-

mos estabelecer a seguinte hierarquia, considerando análise da dimensão “1 - Ges-

tão Orçamentária”:

13



GESTÃO ORÇAMENTÁRIA

INSTRUMENTOS DE PLANEJAMENTO

EXECUÇÃO ORÇAMENTÁRIA

EXECUÇÃO ORÇAMENTÁRIA 1 -‐ ALTERAÇÕES ORÇAMENTÁRIAS

2 -‐ EXECUÇÃO DA RECEITA 3 -‐ EXECUÇÃO DA DESPESA

4 -‐ BALANÇO ORÇAMENTÁRIO

2 -‐ EXECUÇÃO DA RECEITA

2.1 -‐ RECEITA PREVISTA X REALIZADA 2.2 -‐ ARRECADAÇÃO DA RECEITA

TRIBUTÁRIA

QUESITOS

Para cada dimensão, há necessidade de se estabelecer quais atributos, ele-

mentos e sub-elementos são essenciais à avaliação do objeto. Neste caso, “instru-

mentos de planejamento” e “execução orçamentária” são atributos. Compondo o

atributo “execução orçamentária”, temos quatro elementos: “alterações orçamen-

tárias”, “execução da receita”, “execução da despesa” e “balanço orçamentário”. Se

considerarmos o elemento “execução da receita”, percebemos dois sub-elementos,

“comparação da receita prevista x realizada” e “arrecadação da receita tributária”.

A partir deles, serão formulados quesitos específicos (perguntas) no intuito

de compor juízo de valor objetivo, representado por notas que variam de 0 a 5.

No tópico seguinte, trataremos deste juízo de valor e demais particularida-

des do metamodelo, lembrando que todo detalhamento acerca da estrutura hie-

rárquica utilizada para avaliação da gestão estadual estará disponível por meio de

hyperlink mais adiante.



14

2 .2 . ESTRuTuRA HIERáRQuICA DO DESEmpENHO

Estabelecida a hierarquia do objeto, resta definir como esta estrutura

será valorada, a partir de quais quesitos, quais indicadores e, principalmente,

quais dimensões de desempenho serão levadas em conta. É sobre isso que ver-

sará este tópico.

Pois bem, formulados quesitos, perguntas do tipo “as ações do PPA 2016-

2019 contemplam ações do Plano de Governo 2015-2018?”, ou, “as metas do PPA são

priorizadas conforme as diretrizes do Plano de Governo?”, ou ainda, “o orçamento fiscal

discrimina a receita de recolhimento centralizado e descentralizado por natureza de recei-

ta?”, como serão avaliados ?

De início, precisamos entender que o objeto “avaliação da gestão pública

estadual”, pode ser analisado sob a ótica de determinadas dimensões de desempe-

nho, isto é, ao avaliarmos um atributo, por exemplo, “execução orçamentária”, po-

demos utilizar questões que envolvam conceitos de eficácia, de economicidade ou

mesmo elementos de conformidade. Logo, distintas dimensões de desempenho são

utilizadas.

A proposta deste metamodelo é atribuir pesos a essas dimensões, conside-

rando mais relevantes as que avaliam resultado em relação as que avaliam tão so-

mente o esforço da administração. De certa forma, a construção duma hierarquia do

desempenho busca premiar, de fato, aqueles gestores que obtém resultados e con-

seguem impactar positivamente a realidade dos cidadãos, sem esquecer, por óbvio,

dos demais princípios que regem a administração pública.

Assim, foi estabelecida a seguinte hierarquia do desempenho, na qual di-

mensões de resultado (eficiência, eficácia e efetividade) representam 70% do peso e

as de esforço (excelência, execução e economicidade) correspondem a 30% da pon-

deração total, conforme demonstrado a seguir:

15



EFETIVIDADE (IMPACTO)

EFICÁCIA (METAS)

• DIMENSÕES DE RESULTADO

70%

EFICIÊNCIA (RECURSOS)

ECONOMICIDADE (CUSTOS)

• DIMENSÕES DE ESFORÇO

30%

EXECUÇÃO (Previsto x Realizado)

EXCELÊNCIA (CONFORMIDADE)

Como a ilustração sugere, quanto maior o nível em que se encontra a dimen-

são de desempenho, maior sua importância relativa e, consequentemente, maior seu

peso, de modo a respeitar a seguinte distribuição de ponderações:

DImENSÕES DE RESuLTADO

Desempenho ponderação

Efetividade 30%

Eficácia 20%

Eficiência 20%

DImENSÕES DE ESFORÇO

Desempenho ponderação

Economicidade 15%

Execução 10%

Excelência (con-formidade)

5%

Do ponto de vista metodológico, é possível, ainda, definir pesos aos fatores

individuais que compõem a hierarquia do objeto, ou seja, utilizando o exemplo an-

terior, seria possível atribuir maior ou menor importância aos elementos “execução

da receita e da despesa” em relação aos demais componentes do atributo “execução



16

orçamentária”, valendo-se, para tal, de ferramentas como o método AHP – Analytic

Hierarchy Process18.

Contudo, pelas limitações já mencionadas, esta alternativa não será utiliza-

da no presente estudo, tendo cada componente do modelo a mesma importância

relativa, e, portanto, o mesmo peso.

Para facilitar a leitura dos resultados, foi adotada métrica centesimal na qual

cada componente (dimensão, atributo, elemento e sub-elemento) terá pontuação

máxima de 100 pontos, subdivididos igualmente entre o número de itens dentro de

cada componente, da seguinte forma:

100 50

33,33 33,33

25 25

20 20 20 20 20

25 25

33,33 50

Ao final, médias de cada quesito avaliado, utilizando escala de concordância de

0 a 5 (escala tipo Likert)19, ponderadas segundo dimensões de desempenho, formarão o

resultado final que será enquadrado numa das seguintes faixas de maturidade da gestão:

Faixas de maturidade

pontuação percentual Descrição

A 90 a 100 pontos >90% Ótimo nível de desempenho

B+ 70 a 89 pontos >70% e <90% Bom nível de desempenho

B 50 a 69 pontos >50% e <70%Razoável nível de

desempenho

C+ 30 a 49 pontos >30% e <50% Baixo nível de desempenho

C 0 a 29 pontos <30% Crítico nível de desempenho

18 Método para auxiliar as pessoas na tomada de decisões complexas e a justificar a sua escolha. Baseado em matemática e psicologia, ele foi desenvolvido na década de 1970 pelo Prof. Thomas Saaty, então na Escola Wharton da Universidade da Pensilvânia.19 É uma escala psicométrica comumente utilizada em questionários e é a escala mais utilizada para pesquisas, principalmente em ciências sociais. Ao responder uma pergunta de um questionário preparado com a técnica de Likert, o nível de concordância ou desacordo com uma afirmação é especificado (discordo totalmente até concordo totalmente).

https://es.wikipedia.org/w/index.php?title=Escalamiento&action=edit&redlink=1

https://es.wikipedia.org/wiki/Ciencias_sociales

17



2 .3. pERSpECTIvA HIERáRQuICA DO RISCO

Mesmo não tendo sido possível avaliar, na aplicação do metamodelo, a dimen-

são de risco, pelos motivos já expostos, entendemos oportuno apresentar qual a dinâmi-

ca proposta para ponderação objetiva dos riscos operacionais20, riscos de informação21 e

riscos de conformidade22 e sua mitigação pela administração. Antes, porém, importante

tecer considerações sobre o que é gestão de riscos em nível institucional.

Trata-se de processo de trabalho de natureza permanente, estabelecido,

direcionado e monitorado pela alta administração, aplicável em qualquer área da

gestão pública, assim como em qualquer organização, que contempla atividades de

identificar, analisar, avaliar e decidir sobre estratégias de resposta a riscos, além de

planejar e executar ações para mitigá-los, bem como monitorar e comunicar, com

vistas ao efetivo alcance dos objetivos da instituição.

É, portanto, atividade que tende a envolver todos os níveis hierárquicos, sen-

do tanto mais complexa quanto maior a descentralização da estrutura de decisão na

qual se baseia a organização. Em última análise, diz respeito à capacidade dos sistemas

e estruturas de controles internos de enfrentar os riscos e de fornecer segurança ra-

zoável de que, na consecução da missão da entidade, os objetivos serão alcançados.

Mas, afinal, o que é risco? De modo simples, podemos dizer que risco é a pro-

babilidade de ocorrência de determinado evento que venha a ter impacto no cum-

primento dos objetivos de uma organização. Por isso, é medido em termos do seu

impacto (forte ou fraco) e da sua probabilidade de ocorrer (alta ou baixa).

Muitos são os métodos que se propõe a avaliar a dinâmica corporativa de

riscos. Num dos mais conhecidos e aplicados nas organizações, o modelo COSO II23,

o processo de gestão de riscos, além de ser aplicável na realização normal das ativi-

dades - operacionais, administrativas e de suporte – permite aplicação também nas

atividades de planejamento voltadas à definição da estratégia da organização.

20 Risco operacional: certeza do grau de atingimento dos objetivos/metas operacionais propostos.21 Risco de informação: certeza de que as informações fornecidas pelos relatórios e sistemas corporativos são confiáveis e tempestivas.22 Risco de conformidade: certeza de que Leis, regulamentos e normas pertinentes estão sendo cumpridos23 Committee of Sponsoring Organizations of the Treadway Commission - Enterprise Risk Management - integrated framework.



18

Todavia, do ponto de vista do controle externo e da perspectiva de avaliação “de

fora para dentro” proposta desde o início deste metamodelo, essa abrangência metodo-

lógica, embora ideal, talvez não seja a mais adequada ao propósito deste trabalho.

Por isso, recomenda-se iniciar a avaliação de riscos por mecanismo que exija

menor aprofundamento, porém sem perder a adequada eficiência analítica. A ideia é

analisar, de forma ponderada, três dimensões de riscos (operacional, de informação

e de conformidade) procurando identificar, numa escala que vai de muito baixa até

muito alta (escala tipo likert), o grau de probabilidade/vulnerabilidade de ocorrência

destes riscos e seus impactos para cada dimensão de gestão definida.

Cada dimensão de risco, tal como as dimensões de desempenho, terá pesos

distintos, de maneira a priorizar impactos nos resultados e metas em relação aos

demais, conforme demonstrado a seguir:

DImENSÕES DO RISCO

Riscos ponderação

Operacionais 50%

De informação 30%

De Conformidade 20%

A partir disso, cada sub-elemento definido deve, na medida do possível, ser

avaliado segundo quesitos que considerem estas três dimensões do risco, receben-

do notas de muito baixa (0) até muita alta (5). Contudo, neste caso, quanto maiores

as notas obtidas, mais vulnerável a riscos estaria a gestão.

Ao final, espera-se construir matriz de risco que identifique, por meio de

“nota ponderada”, qual o nível de risco de toda a estrutura hierárquica do objeto,

sendo possível apontar as dimensões mais vulneráveis, e, portanto, as que deveriam

merecer maior atenção do gestor.

19



3. RESuLTADOS

Na aplicação do método, considerando as oito dimensões da gestão pública,

conforme anteriormente exposto, foram avaliados 24 atributos, 60 elementos, 97

sub-elementos e 332 quesitos, os quais receberam notas ponderadas pelas dimen-

sões do desempenho, sejam elas dimensões de esforço (conformidade, execução e

economicidade) ou de resultado (eficiência, eficácia e efetividade).

Após consolidação destas notas, chegou-se ao resultado de 40,2 pontos,

significando que, em 2017, a gestão estadual foi qualificada na faixa de maturidade

C+, com baixo nível de desempenho na média dos itens analisados.

Contudo, por ser valor médio ponderado, o comportamento das notas das di-

mensões, atributos, elementos e sub-elementos é distinto, razão pela qual apresenta-

mos, a seguir, os resultados com maior detalhamento, permitindo ao gestor visualizar

quais elementos estão melhor avaliados, e aqueles que necessitam especial atenção.

Para auxiliar a identificação gráfica, as faixas de maturidade estão represen-

tadas por cores. São elas:

Faixas de maturidade Pontuação Percentual Descrição Cores

A 90 a 100 pontos >90% Ótimo nível de desempenho

B+ 70 a 89 pontos >70% e <90% Bom nível de desempenho

B 50 a 69 pontos >50% e <70% Razoável nível de desempenho

C+ 30 a 49 pontos >30% e <50% Baixo nível de desempenho

C 0 a 29 pontos <30% Crítico nível de desempenho



20

GRÁFICO 1 – NOTAS PONDERADAS POR DIMENSÃO

GRÁFICO 2 – NOTAS PONDERADAS POR ATRIBUTOS

21



GRÁFICO 3 – NOTAS PONDERADAS POR ELEMENTOS



22

Do ponto de vista analítico, importante alertar o leitor para o fato de que

as dimensões da gestão, segregadas para facilitar a compreensão da dinâmica públi-

ca, são partes do mesmo organismo (Estado) e, portanto, estão intimamente ligadas

entre si, de modo que os resultados individuais são referenciais relevantes, porém,

devem ser considerados no seu conjunto.

Por exemplo, na dimensão gestão fiscal são avaliados o cumprimento dos

índices de aplicação em saúde, educação, ciência e tecnologia. Mesmo que haja o

atingimento destes índices, elevando a nota do gestor, há que se perquirir se, de fato,

houve melhora nos indicadores que avaliam essas áreas. Essa resposta pode ser en-

contrada na dimensão que trata da gestão dos programas finalísticos.

Com esse olhar mais amplo, é possível distinguir a priorização dada pelo

gestor às dimensões de esforço em relação as de resultado e vice-e-versa. Por essa

razão, entendemos necessário apresentar, além dos resultados consolidados nos

gráficos acima, avaliação dos 97 sub-elementos considerados, possibilitando análise

pormenorizada das notas alcançadas por cada dimensão em particular.

GRÁFICO 4 – NOTAS PONDERADAS POR SUB-ELEMENTOS - DIMENSÃO ORÇAMENTÁRIA

23



GRÁFICO 5 – NOTAS PONDERADAS POR SUB-ELEMENTOS - DIMENSÃO FINANCEIRA

GRÁFICO 6 – NOTAS PONDERADAS POR SUB-ELEMENTOS - DIMENSÃO PATRIMONIAL



24

GRÁFICO 7 – NOTAS PONDERADAS POR SUB-ELEMENTOS - DIMENSÃO PREVIDENCIÁRIA

GRÁFICO 8 – NOTAS PONDERADAS POR SUB-ELEMENTOS - DIMENSÃO FISCAL

25



GRÁFICO 9 – NOTAS PONDERADAS POR SUB-ELEMENTOS - DIMENSÃO ADMINISTRATIVA

GRÁFICO 10 – NOTAS PONDERADAS POR SUB-ELEMENTOS – EDUCAÇÃO



26

GRÁFICO 11 – NOTAS PONDERADAS POR SUB-ELEMENTOS - SAúDE

GRÁFICO 12 – NOTAS PONDERADAS POR SUB-ELEMENTOS – SEGURANÇA PúBLICA

27



GRÁFICO 13 – NOTAS PONDERADAS POR SUB-ELEMENTOS - INFRAESTRUTURA

GRÁFICO 14 – NOTAS PONDERADAS POR SUB-ELEMENTOS - ACCOUNTABILITy



28

o conjunto de todos as notas ponderadas por dimensão, bem como todos os

332 quesitos formulados, seus indicadores e fontes, podem ser acessados por meio

do hiperlink a seguir: http://www3.tce.pr.gov.br/contasdogoverno/2017/pdfs/metamodelo-base-de-dados.pdf

4. CONCLuSÃO

O baixo nível de desempenho da gestão estadual apurado em 2017, traz in-

dicativos acerca das dimensões que devem merecer maior atuação por parte dos

gestores, seja para imprimir níveis mais adequados de serviços e resultados, seja

para manter e aprimorar atributos que já possuem desempenho satisfatório.

Em ambos os casos, há que se priorizar e planejar ações que, de fato, contri-

buam para um Estado cuja visão não se restrinja ao cumprimento de normas e leis,

mas que possa modificar o patamar de vida da sociedade. Nesse contexto, e consi-

derado as dimensões da gestão pública analisadas, destacamos alguns aspectos que

podem contribuir à definição de prioridades e ações futuras.

Do ponto de vista orçamentário, ficou evidenciado ótimo desempenho da

execução das receitas, particularmente em função da realização das receitas tribu-

tárias, demonstrando, a priori, que a queda do PiB Pr nos últimos anos, não impactou

significativamente a arrecadação estadual. Por outro lado, o balanço orçamentário

consolidado24 apresentou resultado deficitário, apontando problema que pode ser

melhor equacionado.

Quanto à dimensão patrimonial, importante apontar que o Poder Execu-

tivo detém capacidade financeira para solvência das dívidas de curto prazo, o que,

sob enfoque da liquidez, é muito positivo. Contudo, tem sido pouco eficiente na co-

brança dos créditos inscritos em dívida ativa. Além disso, o resultado patrimonial em

2017 foi deficitário em R$ 14,3 bilhões, em oposição aos R$ 2,5 bilhões de superávit

ocorrido em 2016, indicando situação também preocupante.

24 O Balanço Orçamentário Consolidado reflete a execução do Orçamento Fiscal e da Seguridade Social do Estado, que teve uma previsão atualizada de R$ 61,2 bilhões, sendo executados R$ 54,8 bilhões na Receita e R$ 55,5 bilhões na Despesa, resultando em Déficit no exercício de 2017 de R$ 762,4 milhões.

http://www3.tce.pr.gov.br/contasdogoverno/2017/pdfs/metamodelo-base-de-dados.pdf

http://www3.tce.pr.gov.br/contasdogoverno/2017/pdfs/metamodelo-base-de-dados.pdf

29



Considerando a dimensão previdenciária, segunda pior avaliada, há que se

destacar como pontos positivos os planos contributivos dos Fundos Militar e Finan-

ceiro. É no Fundo Previdenciário, entretanto, que se concentram as maiores dificul-

dades, seja por conta de um plano contributivo que muito pouco possibilita a ob-

tenção de resultado atuarial equilibrado, de metas atuariais que, ano a ano, ficam

aquém do esperado25, ou de resultados financeiros deficitários. Por conta disso, é,

atualmente, um dos problemas mais marcantes da gestão estadual, podendo reper-

cutir em administrações futuras, caso não venha a ser reequacionado.

Sob o aspecto fiscal, merece destaque positivo o atingimento dos índices

constitucionais de aplicação de recursos em saúde e educação, bem como o cum-

primento dos limites para concessão de garantias, para dívida consolidada e para

operações de crédito. Porém, mesmo tendo cumprido limites da LRF com gastos de

pessoal26, diversos alertas, em 2017, foram emitidos ao Estado por extrapolação de

90% desses limites, sinalizando necessidade de readequações na gestão destes re-

cursos. Quanto à renúncia de receitas tributárias, há que se atrelar e demonstrar,

de forma consistente, benefícios fiscais concedidos a medidas de compensação, nos

termos na LRF. Por fim, atenção deve ser dispensada no sentido de se adotar políti-

cas fiscais que visem reduzir o déficit do resultado primário dos últimos 4 exercícios,

conforme previstos na LDO.

Avaliada com a pior nota média ponderada, a dimensão administrativa teve

todos seus sub-elementos enquadrados em nível crítico de desempenho, seja no que

tange à política de recursos humanos, mecanismos de controle e sistemas institucio-

nais, passivos trabalhistas, gestão patrimonial, até questões que envolvem progres-

sões e promoções. Portanto, tanto a gestão de pessoas quanto a gestão patrimonial

e sistemas de controles internos merecem especial atenção do gestor no sentido de

promover melhorias consistentes.

Resta apontar, por fim, o desempenho dos programas finalísticos analisa-

dos. Em linhas gerais, o comportamento dos programas relativos à saúde, educação

e segurança pública respeitou certo padrão, ou seja, a maioria dos sub-elementos 25 A meta atuarial do Índice de Cobertura do Fundo de Previdência em 2015, 2016 e 2017 não apresentou resultado igual ou superior a 1,25.26 Limites de 49% (Executivo) e 60% (Global) da RCL.



30

avaliados obteve notas que os enquadraram entre os níveis razoável, baixo e crítico.

Não por outro motivo, o resultado consolidado da dimensão programas finalísticos

permaneceu no nível baixo de desempenho.

Contudo, mesmo não atingindo a pontuação que se poderia esperar, alguns

itens se destacaram positivamente, como a estrutura física da educação básica, o

modo de contratualização da saúde e o desempenho orçamentário da segurança pú-

blica, todos sendo classificados com bom nível de desempenho.

Na área da educação, mesmo não tendo itens críticos, o baixo desempenho

da estrutura de recursos humanos, dos indicadores e metas, tanto do ensino básico

como do ensino superior, além do baixo desempenho orçamentário da educação bá-

sica são aspectos que merecem maior atenção por parte dos gestores.

Noutro ponto, nas áreas da saúde e segurança pública são críticos os itens

que tratam da estrutura física da saúde, da estrutura física e de recursos humanos da

segurança pública e da execução da política sobre drogas, razão pela qual entende-

mos que ações envolvendo essas questões devem ser priorizadas, elevando, assim, a

qualidade do serviço público oferecido.

Já quanto aos programas e ações ligados à infraestrutura, temos situação

menos positiva. Seja pela escassez de recursos27, pela dificuldade de priorização das

obras eventualmente paralisadas, ou ainda, pela dificuldade de se iniciar as obras

previstas na LOA 201728, todos os sub-elementos avaliados foram classificados com

nível crítico de desempenho, sendo, portanto, necessária maior intervenção do ges-

tor nestas situações.

27 Não houve incremento dos recursos destinados à infraentrutura nos últimos anos (2012-2017).28 Lei Orçamentária Anual.

31



5. CONSIDERAÇÕES FINAIS

no início deste estudo propomos avaliar o desempenho da gestão pública

com critérios e parâmetros objetivos, tendo por base análises e reflexões oriundas

dos cadernos temáticos, elaborados com intuito de melhorar a transparência e o

acesso a informações consideradas fundamentais à avaliação das contas do gover-

no pela sociedade. Por essa razão, disponibilizamos todo o conteúdo produzido por

meio dos hiperlinks a seguir:

Caderno Temático Hiperlink

1 Instrumentos de Planeja-mento

http://www3.tce.pr.gov.br/contasdogoverno/2017/

pdfs/planejamento.pdf

2 Gestão Fiscalhttp://www3.tce.pr.gov.br/contasdogoverno/2017/

pdfs/gestaofiscal.pdf

3 Gestão Previdenciáriahttp://www3.tce.pr.gov.br/contasdogoverno/2017/

pdfs/previdencia.pdf

4 Gestão de Pessoashttp://www3.tce.pr.gov.br/contasdogoverno/2017/

pdfs/gestaopessoas.pdf

5 Gestão de Obras Públicashttp://www3.tce.pr.gov.br/contasdogoverno/2017/

pdfs/obraspublicas.pdf

6 Gestão do Patrimônio Pú-blico


pdfs/patrimonio.pdf

7 Gestão da Receita Orça-mentária


pdfs/receita.pdf

8 Gestão de Precatórioshttp://www3.tce.pr.gov.br/contasdogoverno/2017/

pdfs/precatorios.pdf

9 Gestão da Segurança Pú-blica


pdfs/seguranca.pdf

10 Gestão da Saúdehttp://www3.tce.pr.gov.br/contasdogoverno/2017/

pdfs/saude.pdf

11 Gestão do Ensino Básico e Superior


pdfs/ensino.pdf

12 Gestão das Transferências Voluntárias


pdfs/transferencias.pdf

13 Objetivos de Desenvolvi-mento Sustentável


pdfs/ods.pdf

14 Sustentabilidade Fiscalhttp://www3.tce.pr.gov.br/contasdogoverno/2017/

pdfs/sustentabilidade.pdf

15 Medidas de Gestãohttp://www3.tce.pr.gov.br/contasdogoverno/2017/

pdfs/recomendacoes.pdf



32

Por fim, considerando o caráter experimental deste metamodelo, e, princi-

palmente, a função de auxiliar na estruturação de referencial objetivo para o julga-

mento das contas de governo e de oferecer análise técnica que permita identificar

elementos relevantes para aprimoramento da gestão pública, sugerimos à direção

do TCE/PR que, sem prejuízo de eventual análise de conveniência e oportunidade:

a. dê continuidade à aplicação da metodologia ora proposta, incorporando,

inclusive, dimensões do risco (operacionais29, de informação30 e de con-

formidade31), as quais, por limitações de tempo impostas pelas regras de

apreciação das contas do governo, não puderam ser avaliadas, e

b. encaminhe este documento ao conhecimento do Instituto Rui Barbosa

- IRB, tendo em vista existir, no âmbito dos Tribunais de Contas, grupo

de discussão a respeito da utilização de indicadores de desempenho na

análise das contas do governador.

Curitiba, 30 de julho de 2018.

29 Risco operacional: certeza do grau de atingimento dos objetivos/metas operacionais propostos.30 Risco de informação: certeza de que as informações fornecidas pelos relatórios e sistemas corporativos são confiáveis e tempestivas.31 Risco de conformidade: certeza de que Leis, regulamentos e normas pertinentes estão sendo cumpridos.

33



GLOSSáRIO

Accountability: conjunto de procedimentos adotados pelas organizações públicas e

pelos indivíduos que as integram, que evidenciam sua responsabilidade por decisões

tomadas e ações implementadas, incluindo a salvaguarda de recursos públicos, a im-

parcialidade e o desempenho das organizações.

Dimensões: são parâmetros ou magnitudes de um conjunto que permitem definir ou

descrever os fatos e atos da gestão pública. Modo como uma unidade pode ser de-

composta em outras, necessárias para se medir todas suas características, circuns-

tâncias ou aspectos mais relevantes do objeto que se está avaliando.

Atributos: são componentes ou medidas necessárias para análise e avaliação de de-

terminado dimensão da gestão pública, constituindo premissas ou requisitos essen-

ciais que permitem a diferenciação de uma coisa entre outras.

Elementos: itens componentes de determinado atributo que podem ser segregados,

visando permitir tratamento homogêneo desses itens, aglutinando-os de acordo com

características específicas, por exemplo, elementos de planejamento (PPA, LDO,

LOA), elementos da execução orçamentária (execução da receita, da despesa, balanço

orçamentário), elementos das metas fiscais (resultado primário, resultado nominal).

Sub-elementos: itens componentes de determinado elemento que podem ser se-

gregados, visando permitir o detalhamento dos quesitos que formarão a base de

avaliação e ponderação de toda a estrutura hierárquica do objeto.

Cadeia de valor: levantamento de toda a ação ou processo necessário para gerar ou

entregar produtos ou serviços a um beneficiário, sendo representada por meio das

atividades de uma organização e permite melhor visualização do valor ou do benefício

agregado no processo, sendo utilizada na definição dos resultados e impactos gerados.

Desempenho institucional: conjunto de ações que compreendem a cadeia de valor

de determinada organização, que reflete os esforços empreendidos para o alcance

de resultados estabelecidos.



34

Dimensões de esforço: aspectos da cadeia de valor que envolvem insumos, proces-

sos, sistemas, infraestrutura e organização, necessários para gerar ou entregar pro-

dutos ou serviços a determinados beneficiários.

Dimensões de resultado: aspectos da cadeia de valor que envolvem a relação entre

insumos (inputs), produtos ou serviços (outputs) e os efeitos ou impactos desejados

(outcomes) para determinados beneficiários.

Efetividade: Medida do grau de alcance dos objetivos estratégicos de governo, ten-

do como referência os impactos na sociedade. Está vinculada ao grau de satisfação

ou ainda ao valor agregado, a transformação produzida no contexto dos grupos so-

ciais/locais aos quais se destina a estratégia.

Eficácia: Medida do grau de alcance dos objetivos e metas fixadas para um determi-

nado programa, em relação ao previsto.

Eficiência: Medida da relação entre os recursos utilizados e os produtos ou serviços

entregues ao público-alvo de um programa, frente a padrões estabelecidos.

Economicidade: minimização dos custos de aquisição dos recursos utilizados na

consecução de uma ação, sem comprometimento da qualidade desejada.

Execução: refere-se ao esforço empreendido para a realização de processos, proje-

tos e planos de ação pré-estabelecidos. Diz respeito, basicamente, à relação entre o

volume previsto de determinado item e seu nível de realização. Em termos de execu-

ção financeira, por exemplo, seria a relação entre o volume de recursos disponibili-

zados pelo orçamento e o nível de utilização desses recursos visando atender à rea-

lização de etapas e/ou atividades de um programa, projeto ou processo. Do ponto de

vista físico, poderia ser a relação entre o volume de produtos previstos para serem

entregues pelo orçamento e o nível de entrega desses produtos.

Excelência (Conformidade): refere-se à conformidade a critérios e padrões de qua-

lidade/excelência para a realização dos processos, atividades e projetos na busca da

melhor execução e economicidade.

35



Escala Likert ou escala de Likert: tipo de escala de resposta psicométrica usada habi-

tualmente em questionários, sendo a escala mais usada em pesquisas de opinião. Ao res-

ponderem a questionário baseado nesta escala, os perguntados especificam seu nível

de concordância com uma afirmação. Esta escala tem seu nome devido à publicação de

um relatório explicando seu uso pelo sociólogo e psicólogo americano Rensis Likert.



36

REFERÊNCIAS BIBLIOGRáFICAS

COSO, Committee of Sponsoring Organizations of the Treadway Commission “Enter-

prise Risk Management Integrating with Strategy and Performance - Executive Summary”.

Julho 2017. Disponível em <https://www.coso.org>

COSO, Committee of Sponsoring Organizations of the Treadway Commission “Risk

assessment in practice”. Outubro 2012. Disponível em <https://www.coso.org>

FERREIRA, André Ribeiro, “Modelo de excelência em gestão pública no governo brasileiro:

importância e aplicação”. XIV Congreso Internacional del CLAD sobre la reforma del

Estado y de la administración pública, Salvador, Bahia, Brasil, 27-30 oct. 2009.

GAO, United States Government Accountability Office “Standards for Internal Con-

trol in the Federal Government - Green Book”. Setembro 2014. Disponível em <https://

www.gao.gov/products/GAO-14-704G>

GAO, United States Government Accountability Office “Government Auditing

Standards 2017 Exposure Draft”. Abril 2017. Disponível em <https://www.gao.gov/

products/GAO-17-313SP>

INTOSAI, The International Organisation of Supreme Audit Institutions “Guidelines

for Internal Control Standards for the Public Sector – GOV 9100”. 2004. Disponível em

<https://www.issai.org>

INTOSAI, The International Organisation of Supreme Audit Institutions “Guidelines

on the Evaluation of Public Policies – GOV 9400”. Julho 2016. Disponível em <https://

www.issai.org>

INTOSAI, The International Organisation of Supreme Audit Institutions “Identifying and

assessing the risks of material misstatement through understanding the entity and its environ-

ment – issai 315 (revised)”. Dezembro 2013. Disponível em <https://www.issai.org>

MARTINS, Humberto Falcão, MOTA, João Paulo, MARINI, Caio, “Modelos de Negócio

para Intervenções Públicas: o Public Governance Canvas”. artigo apresentado no social

Innovation Research Conference (SIRC) realizado em Fudan University, Shanghai,

China, Maio de 2015.

https://www.coso.org

https://www.coso.org

37



MP, Ministério do Planejamento, Orçamento e Gestão – Secretaria de Gestão Públi-

ca “Melhoria da gestão pública por meio da definição de um guia referencial para medição

do desempenho da gestão, e controle para o gerenciamento dos indicadores de eficiência,

eficácia e de resultados do programa nacional de gestão pública e desburocratização”.

Dezembro 2009. Disponível em <www.gespublica.gov.br>

MP, Ministério do Planejamento, Orçamento e Gestão – Secretaria de Gestão Públi-

ca “Modelo de excelência em gestão pública - Gespública”. 2014. Disponível em <www.

gespublica.gov.br>

MP, Ministério do Planejamento, Orçamento e Gestão – Secretaria de Gestão Pú-

blica “Instrumento de autoavaliação da gestão pública – Gespública – IAGP 250 pontos”.

2016. Disponível em <www.gespublica.gov.br>

MP/CGU, Ministério do Planejamento, Orçamento e Gestão/Controladoria-Geral

da União “Instrução Normativa Conjunta MP/CGU nº 01”. 2016. Disponível em <

https://www.cgu.gov.br/sobre/legislacao/arquivos/instrucoes-normativas/in_cgu_

mpog_01_2016.pdf>

NAO, National Audit Office “Evaluation in government”. Dezembro 2013. Disponível

em <https://www.nao.org.uk>

NAO, National Audit Office “Government whistleblowing policies”. Janeiro 2014. Dis-

ponível em <https://www.nao.org.uk>

NAO, National Audit Office “Managing business operations – what government needs to

get right”. Setembro 2015. Disponível em <https://www.nao.org.uk>

NAO, National Audit Office “Performance measurement: Good practice criteria and ma-

turity model”. 2016. Disponível em <https://www.nao.org.uk>

PORTO JARDIM, Maria de Fátima, “Utilização de modelos de pontuação para orçamen-

tos participativos”. Centro de Informática UFPE. Tese de especialização em tecnolo-

gias da informação. Recife, 18.08.2004.

TCE/MG, Tribunal de Contas do Estado de Minas Gerais “Manual do Índice de efetivi-

dade da gestão estadual - IEGE”. 2017. Disponível em <www.tce.mg.gov.br>

conselheiro relatorpolíticas públicas: programas de governo finalísticos. projetos, atividades,...

Documents