ROBERTA MONTELLO AMARAL

A AVALIAÇÃO DE RESULTADOS NO SETOR PÚBLICO:

TEORIA E APLICAÇÃO PRÁTICA NO ESTADO DO RIO DE JANEIRO

RIO DE JANEIRO2003

ECTESTADO DO RIO DE JANEIROTRIBUNAL DE CONTAS DO

ROBERTA MONTELLO AMARAL

A AVALIAÇÃO DE RESULTADOS NO SETOR PÚBLICO:

TEORIA E APLICAÇÃO PRÁTICA NO ESTADO DO RIO DE JANEIRO

RIO DE JANEIRO2003

Assessoria Técnica do Gabinetedo Conselheiro José Gomes Graciosa

ROBERTA MONTELLO AMARAL

Economista - Pontifícia Universidade Católica do Rio de Janeiro - PUC-RJ

Estatística - Escola Nacional de Ciências Estatísticas - ENCE

MBA em Finanças - Instituto Brasileiro de Mercado de Capitais - IBMEC-RJ

Mestre - Economia Empresarial - Faculdade Cândido Mendes

Mestrando - Engenharia de Produção - Pontifícia Universidade Católicado Rio de Janeiro - PUC-RJ

MPA em Controle Externo - Fundação Getúlio Vargas - FGV

1

A AVALIAÇÃO DE RESULTADOS NO SETOR PÚBLICO: Teoria e Aplicação Prática no Estado do Rio de Janeiro

Roberta Montello Amaral

1. INTRODUÇÃO

Tradicionalmente a avaliação das contas públicas, não apenas no Brasil, mas

em todo o mundo, concentra-se em aspectos meramente financeiros, contábeis e

orçamentários. No entanto, modernamente este conceito tem evoluído no sentido

de se tentar medir não apenas os aspectos contábeis da gestão, mas também

aspectos econômicos e sociais. Deste modo, em adição à fiscalização quanto ao

cumprimento da legalidade de determinada gestão, tende-se a privilegiar, também,

os resultados alcançados no que diz respeito à evolução das condições sociais da

população.

É consenso que a gestão pública atual deve privilegiar eficácia, eficiência e

efetividade quanto ao uso dos recursos públicos. Portanto, a credibilidade e a

relevância de um método de avaliação destinada ao setor público só são possíveis

de alcançar quando se permite analisar estas características de tal forma que seja

possível refletir o que a sociedade, cliente primeiro do setor público, necessita, e a

que distância esta se encontra dos seus objetivos principais.

Sob esta ótica, os novos modelos de avaliação de resultados dentro do setor

público devem buscar a construção de metodologias que permitam, não apenas

aos gestores, mas também aos seus fiscalizadores (entre estes os Tribunais de

Contas e a própria sociedade), visualizar o cenário no qual estamos inseridos, de

modo a se avaliar se estamos dentro da trajetória desejada ou se precisamos

corrigi-la.

Dentro desta proposta de elaboração de uma nova metodologia, um ponto de

extrema importância, mas pouco explicitado pelos trabalhos acadêmicos

pesquisados, é a sugestão de indicadores a serem considerados. Muitos são os

aspectos teóricos levantados sobre como devem ser os índices escolhidos e quais

cuidados devem ser levados em consideração na sua montagem, escolha e

2

avaliação. No entanto, poucos são os autores que propõem de forma objetiva e

pragmática quais indicadores podem e devem ser utilizados.

Este estudo pretende, então, suprir a lacuna deixada pelos trabalhos

encontrados, atacando o problema da avaliação de resultados no setor público de

acordo com uma abordagem bastante pragmática. Pretende-se, assim,

sensibilizar os gestores para a importância da implantação de estudos deste tipo e

do contínuo aprimoramento das técnicas de avaliação de resultados. Espera-se

provar que esta medida tende a maximizar o bem-estar social, objetivo maior de

qualquer Governo, além de auxiliar os gestores no cumprimento das exigências

legais impostas pela Constituição.

Esta proposta caminha no mesmo sentido dos trabalhos atualmente em

desenvolvimentos pela maioria dos Tribunais de Contas Municipais, Estaduais e

da União. “A ação governamental só tem sentido se realizada com base nas

demandas concretas da população, em termos de saúde, educação, segurança,

saneamento básico, enfim, direcionada para a solução daqueles problemas cuja

satisfação vai se traduzir em melhoria da qualidade de vida do cidadão.”1

Adicionalmente, deseja-se atender a uma demanda específica do Tribunal de

Contas do Estado do Rio de Janeiro (TCE-RJ), dando um caráter prático a este

estudo, fornecendo subsídios voltados para a realidade do órgão, auxiliando o

cumprimento tanto de sua missão2, quanto de sua política de qualidade3.

2. AVALIAÇÃO DE RESULTADOS NO SETOR PÚBLICO

A atual proposta de buscar a avaliação de resultados é fruto da mudança nos

conceitos referentes às responsabilidades do gestor público. O que se busca é

1 In TCE-RJ e Análise das Contas Públicas: Avaliação de resultados e qualidade de vida, p.5. 2 “Exercer, em nome do povo do Estado do Rio de Janeiro, a fiscalização das administrações públicas estadual e municipais, e dos recursos por elas geridos, zelando pela sua legalidade e legitimidade, bem como por sua eficiência, eficácia e economicidade, com a finalidade principal de prestar contas, aos contribuintes, do emprego que os Governos fazem desses recursos.”, In: www.tce-rj.gov.br. 3 Executar sua missão institucional com independência e qualidade. Para a implementação desta Política da Qualidade foram estabelecidos os seguintes objetivos da qualidade: busca permanente da satisfação da sociedade; aperfeiçoamento contínuo dos processos de trabalho; disponibilização das informações e constante qualificação e competência do corpo funcional”, In: www.tce-rj.gov.br.

3

acrescentar ao tradicional controle de conformidade, o controle de desempenho,

baseado na verificação dos níveis de eficácia, eficiência e efetividade da gestão

dos recursos públicos.

Segundo TEIXEIRA (2001), a Nova Administração Pública (NAP), promove

uma mudança de paradigma quando muda o enfoque para o controle de

resultados em detrimento do controle do processo. Segundo o autor, não é

possível definir com clareza os componentes e propósitos da NAP, mas é ponto

comum que se deve buscar a descentralização de unidades de negócio e outros

arranjos organizacionais, além da definição e atribuição de metas de desempenho

que os gerentes devem atingir, pois estas servirão de base para a sua avaliação.

Assim, os gerentes teriam autoridade para alcançar suas metas de desempenho e

a responsabilidade do executivo seria conseqüência do processo, de modo que os

resultados deveriam ser acompanhados para determinar se os benefícios

esperados foram realmente alcançados.

Assim, a maior contribuição da NAP é concentrar-se na economia, eficiência

e eficácia das organizações governamentais, dos programas públicos e de seus

instrumentos, buscando sempre a melhoria da qualidade dos serviços

governamentais, sem dar destaque ao cumprimento de prescrições formais de

procedimentos, regras e processos. Como resultados secundários da NAP

podemos, então, destacar a redução de controles sobre os gerentes operacionais,

que passam a ter mais responsabilidade, flexibilidade e autonomia, exercendo,

efetivamente, a atividade de gerenciar, por meio de gestão de riscos e

mensuração de desempenho.

De acordo com esta nova visão, deve-se acrescentar à busca pela eficácia e

eficiência nos procedimentos, a procura pelo alcance de resultados efetivos e

baseados nas demandas da sociedade. Isto representaria o desenvolvimento de

uma preocupação em atender o cliente, neste caso, os cidadãos.

“Na perspectiva da avaliação de programas, um programa efetivo é um

tratamento que cura (ou pelo menos controla) o mal social, sem prejudicar a

sociedade como um todo. Os programas dignos de mérito são aqueles que

4

atingem os objetivos de determinada política pública ou, conforme alguns relatos,

geram benefícios que excedem a soma dos custos dos recursos empregados e

das conseqüências adversas dos subprodutos (Moore 1995). Por sua vez, as

principais medidas de mérito embutidas no conceito de auditoria de desempenho

são a economia, a eficiência e a efetividade. Economia geralmente significa a

eliminação dos desperdícios de insumos; eficiência refere-se à otimização dos

processos de transformação de insumos em produtos; e efetividade significa

influenciar positivamente o impacto por meio da geração de produtos (Gray,

Jenkins and Segsworth 1993). A imagem de uma organização governamental

eficiente está associada, neste caso, àquela na qual a atenção da administração

está voltada para a otimização de processos produtivos flexíveis bem como para a

adaptação dos desenhos dos programas em função do feedback recebido e das

mudanças nas prioridades e nos objetivos das políticas públicas. (...) As

organizações devem ser responsabilizadas pelos resultados de sua atuação mais

do que pela sua forma de funcionamento.”4

Adicionalmente, deve-se acrescentar à avaliação de resultados o caráter

corretivo e não punitivo. Para chegar aos resultados pretendidos, a análise de

determinado programa ou política pública deve concentrar-se na indicação de

medidas para correção de rumo e não na explicação de desvios em relação à

trajetória inicialmente traçada.

Isto tudo porque se deve ter em mente que a avaliação tem como objetivo

melhorar a percepção da distância entre o cenário real, em um determinado

momento do tempo, e o que seria desejável. Com este esforço seria possível

indicar eventuais afastamentos dos objetivos propostos, das metas a alcançar,

fornecendo subsídios para uma correção de rumos, caso haja necessidade. Esta

idéia é bastante revolucionária, na medida em que transforma a avaliação num

exercício de identificação de oportunidades, de subsídio para crescimento e

desenvolvimento, tirando o seu estigma de ser um instrumento meramente

punitivo, uma simples constatação. (Werneck, 1996)

4 In Instituições Centrais e Auditoria de Desempenho: Uma Análise Comparativa das Estratégias Organizacionais na OCDE, pp. 9 e 10.

5

3. INSTRUMENTOS LEGAIS

No sentido de amparar o planejamento e a execução do orçamento público

segundo a demanda social gerada pelos princípios da NAP, o Brasil desenvolveu

três instrumentos legais de extrema relevância: o Plano Plurianual (PPA), a Lei de

Diretrizes Orçamentárias (LDO) e a Lei Orçamentária Anual (LOA). O artigo 165

da Constituição Federal de 1988 trata destes instrumentos:

“§1º A lei que instituir o plano plurianual estabelecerá, de forma

regionalizadas, as diretrizes, objetivos e metas da administração pública federal

para as despesas de capital e outras delas decorrentes e para as relativas aos

programas de duração continuada.

§2º A lei de diretrizes orçamentárias compreenderá as metas e prioridades da

administração pública federal, incluindo as despesas de capital para o exercício

financeiro subseqüente, orientará a elaboração da lei orçamentária anual, disporá

sobre as alterações na legislação tributária e estabelecerá a política de aplicação

das agências financeiras oficiais de fomento.

§3º (...)

§4º (...)

§5º A lei orçamentária anual compreenderá:

I. o orçamento fiscal referente aos Poderes da união, seus fundos,

órgãos e entidades da administração direta e indireta, inclusive

fundações instituídas e mantidas pelo Poder Público;

II. o orçamento de investimento das empresas em que a União, direta

ou indiretamente, detenha a maioria do capital social com direito a

voto;

III. o orçamento da seguridade social, abrangendo todas as entidades e

órgãos a ela vinculados, da administração direta ou indireta, bem

6

como os fundos e fundações instituídos e mantidos pelo Poder

Público.

§6º (...)

§7º Os orçamentos previstos nos §5º, I e II, deste artigo, compatibilizados

com o plano plurianual, terão entre suas funções a de reduzir desigualdades inter-

regionais, segundo critério populacional.

§8º (...)

§9º Cabe à lei complementar:

I – dispor sobre o exercício financeiro, a vigência, os prazos, a elaboração e a

organização do plano plurianual, da lei de diretrizes orçamentárias e da lei

orçamentária anual;

II – estabelecer normas de gestão financeira e patrimonial da administração

direta e indireta, bem como condições para a instituição e funcionamento de

fundos.”

No entanto, conforme destacam Mesquita & Albuquerque, em virtude da

inexistência de legislação complementar, prevista no artigo 165, §9º da

Constituição Federal de 1988, descrito anteriormente, que deveria contemplar a

elaboração e organização das leis orçamentárias, e do não tratamento deste

assunto na Lei 4.320/64, os PPAs vêm sendo apresentados segundo uma

abordagem mais genérica, satisfazendo apenas à exigência legal quanto à sua

elaboração. O mesmo acontece com a LDO, que deveria indicar as prioridades e

metas da Administração para o exercício seguinte, orientando a montagem e a

execução do orçamento anual. No entanto, na prática, as sua metas, que

deveriam ser compatíveis com as apresentadas no PPA, raramente são definidas

corretamente em termos físicos, gerando uma dimensão inadequada quanto aos

objetivos do governo.

Complementando a constituição, a lei complementar nº 101/00, ou Lei de

Responsabilidade Fiscal (LRF), trata especificamente da fiscalização da gestão

fiscal na seção VI:

7

“Art 59. O Poder Legislativo, diretamente ou com o auxílio dos Tribunais de

Contas, e o sistema de controle interno de cada Poder e do Ministério Público,

fiscalizarão o cumprimento das normas desta Lei Complementar, com ênfase no

que se refere a:

I - atingimento das metas estabelecidas na lei de diretrizes orçamentárias;

II - limites e condições para realização de operações de crédito e inscrição

em Restos a Pagar;

III - medidas adotadas para retorno da despesa total com o pessoal ao

respectivo limite, nos termos dos arts. 22 e 23;

IV - providências tomadas, conforme o disposto no art. 31, para recondução

dos montantes da dívidas consolidadas e mobiliária aos respectivos limites;

V - destinação de recursos obtidos com a alienação de ativos, tendo em vista

as restrições constitucionais e as desta Lei Complementar;

VI - cumprimento do limite de gastos totais dos legislativos municipais,

quando houver.

§ 1º Os Tribunais de Contas alterarão os Poderes ou órgãos referidos no art.

20 quando constarem:

I - a possibilidade de ocorrência das situações previstas no inciso II do art. 4º

e no art. 9º;

II - que o montante da despesa total com pessoal ultrapassou 90% (noventa

por cento) do limite;

III - que os montantes das dívidas consolidada e mobiliária, das operações de

crédito e de concessão de garantia se encontram acima de 90% (noventa por

cento) dos respectivos limites;

IV - que os gastos com inativos e pensionistas se encontram acima do limite

definido em lei;

V - fatos que comprometem os custos ou os resultados dos programas ou

indícios de irregularidades na gestão orçamentária.

8

§ 2º Compete ainda aos Tribunais de Contas verificar os cálculos dos limites

da despesa total com o pessoal de cada Poder e órgão referido no art. 20.

§ 3º O Tribunal de Contas da União acompanhará o cumprimento do disposto

nos §§ 2º, 3º e 4º do art.39.”

Estes quatro instrumentos, apesar de bastante relevantes, ainda estão

distantes de alcançar todos os objetivos por detrás da NAP. Isto se deve ao fato

de haver, hoje, falta de estrutura dos controles internos, além da inexistência, nos

orçamentos, de metas e indicadores necessários à realização de uma avaliação

satisfatória. Assim, na prática, ainda não é possível encontrar a implementação

de trabalhos no sentido de medir eficácia, eficiência ou efetividade da gestão

governamental.

Outro instrumento cujo desenvolvimento tem adquirido relevância dentro do

setor público brasileiro é a implantação de auditorias de desempenho. “Auditoria

de Desempenho é uma atividade de controle, avaliação e revisão da qualidade da

gestão de organizações, programas, projetos, políticas e atividades

governamentais, que têm por finalidade analisar a eficiência, a eficácia, e a

efetividade na prestação de serviços públicos. Originalmente denominada

Performance Audit, Operational Audit ou Value for Money Audit, é conhecida mais

comumente no Brasil como auditoria operacional. A auditoria de desempenho

surgiu como atividade sistemática e conceitualmente formalizada no final da

década de 1950 (SHAND e ANAND, 1996). Entretanto, o processo de legitimação

em nível mundial desse tipo de auditoria no setor público consolidou-se somente

no final da década de 1970, com a execução, em larga escala de trabalhos

claramente qualificados como de desempenho por parte de Entidades de

Fiscalização Superior (POLLIT, 1999). (...) No Brasil, por exemplo, o Tribunal de

Contas da União desempenha esse papel de EFS.”5

No entanto, mesmo estes instrumentos ainda são bastante limitados diante

do que é possível alcançar, já que, em muito casos, referem-se a processos de

avaliação de conformidade, de investigação, enquanto os instrumentos de

5In: Estratégias de auditoria de desempenho governamental: proposta de um modelo analítico, p.1.

9

avaliação de resultados podem dar um passo a frente, proporcionando uma

avaliação precisa dos rumos que determinada política está tomando. Isto é de

extrema relevância na medida em que o cenário econômico atual precisa lidar com

um montante limitado de recursos, tornando imprescindível que os gestores se

preocupem com a realização de programas e políticas públicas que atendam não

somente ao princípio da legalidade, mas também sejam pareto ótimos6, ou seja,

garantam o maior bem-estar social possível.

Portanto, caso se deseje atender às novas exigências sociais, é de

fundamental importância estimular o desenvolvimento de novos mecanismos que

auxiliem o Poder Público a buscar efetiva, eficaz, eficiente e eticamente o maior

nível de bem-estar social possível.

4. HISTÓRICO DA AVALIAÇÃO DE RESULTADOS E A REALIDADE BRASILEIRA

Desde o século XVI há registros da coleta de algumas medidas sociais. No

entanto, é apenas a partir do século de XVII que, em função da necessidade de

maior atuação do Estado nas áreas de defesa nacional e saúde ambiental, foi

iniciado um movimento mais organizado de coleta de informações estatísticas a

respeito de tópicos sociais. Nos séculos XVIII e XIX há uma intensificação dos

movimentos de coleta e organização de dados sociais, o que iniciou o percurso

para a construção dos modelos mais atuais de medição e coleta de características

sociais.

Apesar dos seus antecedentes datarem do início do século XX, a história da

moderna avaliação de resultados só começou a ser traçada na década de 60,

tendo o termo “indicador social” aparecido, pela primeira vez, em 1966. Até então,

os agentes decisórios governamentais dispunham de informações pouco

confiáveis e num volume aquém do desejável para que fosse possível fazer

6 “ÓTIMO DE PARETO: Termo criado por Vilfredo Pareto para designar a situação hipotética em que ninguém possa alterar sua situação social, buscando uma posição que mais lhe agrade, sem com isso provocar uma mudança de outra pessoa para uma posição que não lhe agrada.” In: Dicionário de Economia, p.223.

10

análises mais profundas, precisas e confiáveis. A partir da percepção deste

cenário, iniciou-se o “movimento de indicadores sociais”, que visava ampliar a

construção de indicadores que, até então, eram focados apenas em medidas de

desempenho econômico. Desde então se percebe um crescimento significativo

dos trabalhos referentes a este tema.

A principal finalidade de um indicador social é traduzir o bem-estar, que não é

mensurável diretamente nem tampouco pode ser observado. Assim, os

indicadores “são medidas de uma característica observável de um fenômeno

social e que estabelecem o valor de uma característica diferente mas não-

observável do fenômeno. Isso aponta para duas características importantes dos

indicadores: eles são substitutos e são medidas. Como substitutos, os indicadores

sociais não representam a si mesmos. Ao contrário, traduzem conceitos sociais

abstratos ou não-mensuráveis em termos operacionais, tais como ‘ruas seguras’,

e que permitem o exame e a análise de conceitos, tais como ‘número de dias sem

crimes’. (...) E, enquanto ‘medidas’, os indicadores sociais referem-se às

informações que, em termos conceituais, são quantificáveis, e devem evitar

aquelas informações que não podem ser expressadas através de uma escala

ordenada.”7

No caso brasileiro, os instrumentos legais apresentados na seção anterior

representaram um grande avanço no sentido de se buscar maior atendimento às

necessidades sociais da população. Com os quatro instrumentos foram

alcançadas as seguintes inovações:

§ obrigatoriedade quanto ao estabelecimento de diretrizes,

objetivos e metas dentro do setor público;

§ normas específicas quanto ao controle de custos;

§ obrigatoriedade quanto à realização de avaliação de resultados

de programas financiados com recursos orçamentários;

7 In Indicadores Sociais, p.2.

11

§ necessidade do estabelecimento de metas físicas e indicadores

objetivos para tornar a avaliação mais objetiva

Apenas a partir da criação destes instrumentos é que se passou a exigir,

legalmente, maior transparência à gestão fiscal, propiciando a participação popular

no sentido de fiscalizar mais facilmente a administração pública. No entanto,

estes instrumentos ainda não foram capazes de cobrir todas as condições

necessárias para se implantar um programa de avaliação de resultados que

atenda às atuais exigências da NAP.

Algumas sugestões para se conseguir atingir o objetivo de proposto foram

apresentadas em um artigo elaborado pelo TCE-RJ:

“No sentido de minimizar os problemas que hoje ocorrem, apresentam-se as

seguintes sugestões: (...)

3) Inclusão na LRF (...), ou fixação em norma legal própria, de dispositivos

que estabeleçam: (...)

3.4 – a obrigatoriedade de fixação, pelo Poder Executivo, de objetivos, metas

e indicadores que possibilitem o acompanhamento, controle e avaliações de

resultados, por parte dos controles interno e externo, em virtude de determinação

constitucional. (...)

3.6 – obrigatoriedade de encaminhamento, pelos Poderes e Órgãos,

juntamente com as prestações de contas por exercício financeiro, dos relatórios de

controle interno contendo as avaliações de resultados, além das demais

verificações previstas no art. 74 da CF/88 [que trata do controle interno], com as

correspondentes punições pelo descumprimento.”8

8 In Planos e Instrumentos de Planejamento – PPA, LDO e LOA – Pontos Controversos, p. 5 e 6.

12

5. DIMENSÕES DO RESULTADO E PROPRIEDADES DOS INDICADORES

Uma avaliação de resultados satisfatória deverá, necessariamente, abranger

indicadores de eficácia, eficiência e efetividade. Antes de prosseguir vale a pena,

portanto, definir o que cada uma destas dimensões representa.

“Eficácia é atingir o objetivo proposto, cumprir, executar, operar, levar a cabo;

é o poder de causar determinado efeito. Eficaz então é o que realiza perfeitamente

determinada tarefa ou função, que produz o resultado pretendido. Dicionários em

inglês destacam o uso do termo especialmente quando se trata de doença ou

problema: remédio eficaz, método de tratamento eficaz; fez uma limpeza eficaz;

constatou a eficácia das armas e da estratégia usada.

Eficiência é a qualidade de fazer com excelência, sem perdas ou

desperdícios (de tempo, dinheiro ou energia). Eficiente é aquilo ou aquele que

chega ao resultado, que produz o seu efeito específico mas com qualidade, com

competência, com nenhum ou com o mínimo de erros. O eficiente vai além do

eficaz. A eficiência tem uma gradação: uma pessoa, máquina ou organização

pode ser mais ou menos eficiente que outra. Uma secretária pode ser mais

eficiente amanhã do que hoje. Um sistema de refrigeração pode ser mais eficiente

que outro. Já a eficácia implica sim ou não: uma medicação, por exemplo, ou é

eficaz ou não é.

Efetividade, por sua vez, é também a qualidade do que atinge seu objetivo; é

a capacidade de funcionar normalmente, satisfatoriamente, porém tem mais a ver

com a realidade, com o que é real e verdadeiro. O efetivo está realmente

disponível, é incontestável, verificável, executável. Exemplos: Tal propaganda é

simples mas efetiva. A duração efetiva da prova será de uma hora. O diretor

efetivo (de fato, de verdade) é o filho e não o pai.”9

Assim, avaliar a eficácia de determinado programa é preocupar-se quanto ao

grau de alcance das metas estipuladas para um determinado período, sem que se

9 www.kplus.com.br

13

considere os custos incorridos. Assim, no caso de um programa de educação,

seria verificar, por exemplo, o percentual de crianças em idade escolar de

determinado município que estão efetivamente matriculadas em escolas públicas

num determinado ano.

A mensuração de eficiência, no entanto, já considera a relação entre os

produtos obtidos e os custos incorridos, também para um determinado período.

Admitindo o mesmo programa de educação, seria o gasto médio com educação

por aluno.

Medir a efetividade, por sua vez, é avaliar a relação entre os resultados

alcançados e os objetivos esperados. Muitas vezes é de difícil mensuração, já

que pressupõe uma idéia precisa do que se deseja obter. Seguindo com o

exemplo anterior, um indicador de efetividade seria avaliar a qualidade do ensino

em escolas públicas através do acompanhamento das notas médias do ENEM

(Exame Nacional do Ensino Médio). Este é o indicador que mais fornece

informações sobre o que se deseja medir, mas, em virtude da dificuldade em se

definir corretamente o que é ser efetivo, muitas vezes só podemos encontrar

indícios, através de indicadores de eficácia e eficiência e da utilização de

comparações com benchmarks10, se o caminho percorrido corresponde ao

esperado.

Adicionalmente, há que se respeitar algumas propriedades que os

indicadores deverão possuir. “Segundo Sink11, os indicadores em sua função de

instrumento de medida e de avaliação deverão possuir algumas características

que permitam sua operacionalização de forma simples e eficaz. Dentre as

características definidas pelo autor, podemos identificar as seguintes:

Simplicidade – o indicador deve ser uma ferramenta de simples manuseio e

compreensão, que permita visualizar as informações que representa.

10 “BENCHMARKING: Processo sistemático e contínuo de avaliação de estratégias, operações, processos, metodologias de trabalho, produtos e serviços de organizações que efetivamente pratiquem e sejam reconhecidas como melhores de uma determinada classe e como exemplos organizacionais. Trata-se, portanto, de padrões referenciais das melhores práticas de mercado. Tem por objetivo servir de guia para

14

Ter um baixo custo de obtenção – o grande problema nas organizações

públicas é a grande quantidade de dados disponíveis e não tratados. A

identificação dos melhores indicadores deve repousar sobre aqueles que são mais

facilmente encontrados e cujo tratamento não requeira altos custos.

Estabilidade – o processo de avaliação nas organizações deve ter a função

de um fusível, que interrompe a corrente elétrica a medida que ele [sic] se torna

muito alta, ou seja, deve ser parte integrante do sistema e permitir feed-back ao

gestor. Nada mais perene que informações quotidianas, que sejam parte da rotina

de seu funcionamento.

Confiabilidade – as decisões a nível gerencial demanda [sic] muita

responsabilidade e pouco tempo para serem formuladas. Um bom indicador,

neste aspecto, deve estar embasado em informações confiáveis e coerentes sem

o que as decisões invariavelmente redundarão em fracasso.

Takashina12 acrescenta, apropriadamente, a característica de

comparabilidade para um bom indicador, tendo em vista a possibilidade de praticar

o benchmark com organizações similares e alcançar ganhos de qualidade.”13

Um último aspecto que não pode ser esquecido é a forma de apresentação

dos indicadores. É evidente que este aspecto não deve ser o de maior relevância

na montagem de um trabalho de avaliação de resultados, mas a escolha do

formato de apresentação mais adequado a cada aspecto que se pretende medir é

de fundamental importância para facilitar o entendimento do leitor. Basicamente,

estaremos interessados na construção de indicadores que possam ser

enquadrados numa das seguintes categorias:

§ Proporção ou Percentual: quando se quer avaliar uma parte do todo,

ou seja, representa uma divisão onde o numerador é um subconjunto

melhorias contínuas, dando subsídios ao estabelecimento de padrões de excelência.” In Dicionário de Termos de Qualidade, p.51 11 SINK, D. Scott. Planejamento e Medição para a Performance. Rio de Janeiro: Qualitymark Ed.,1983. 12 Nota do autor: TAKASHINA, N.T. & FLORES, M.C.; “Indicadores de Qualidade e do Desempenho – como estabelecer metas e medir resultados, Rio de Janeiro: Qualitymark Ed. 13 In Análise do Desempenho de Organizações Públicas Municipais, p.5 e 6.

15

do denominador e, portanto, seu resultado está compreendido num

intervalo entre 0 e 1;

§ Taxa de variação: destinado à comparação de uma mesma medida

em instantes diferentes. Normalmente se compara evolução de

algum aspecto num ano, em relação a sua posição no ano anterior;

§ Relação entre fatores distinto: para comparação de elementos

diferentes, por exemplo, nº de professores por cada 100 alunos ou

PIB per capita;

§ Tempo médio: destinado a avaliar quanto tempo se gasta, em média,

para cumprir determinada tarefa;

§ Valor Absoluto: refere-se à apresentação de um dado que, mesmo

de modo absoluto, já representa algum tipo de informação.

6. MODELOS TEÓRICOS PROPOSTOS

“Há pelo menos três grupos de pessoas interessadas quando se realiza uma

avaliação de determinado programa ou situação, ou seja, aqueles que coordenam

ou dirigem o programa ou projeto, imprimindo-lhe sua própria filosofia, aqueles

que são os destinatários e portanto beneficiários do empreendimento, vivenciando

seu cotidiano, e aqueles que são vítimas, ou seja, que podem ter sido afetados

pelo processo avaliativo, por falhas na sua condução, por efeitos impensados, ou

por perdas que devem ser evitadas (Guba e Lincoln, 1985).”14

São às necessidades de informação destes três grupos que devemos atender

ao desenvolver uma metodologia de avaliação de resultados. Para compreender

a construção dos indicadores que serão apresentados nesta seção, vejamos o

seguinte trecho de uma publicação sobre auditoria no setor público:

“Para que se possa analisar a receita pública sob a ótica da gestão, a partir

dos registros e demonstrativos contábeis, os auditores devem dispor de um

14 In Avaliação: Tendências e Tendenciosidades, p.5 e 6.

16

conjunto padronizado de indicadores da entidade e seu contexto. Prática

semelhante é utilizada para análise de balanço de empresas privadas. (...)

Sabidamente, isto não é uma tarefa fácil, especialmente quanto aos aspectos

metodológicos. Assim, por exemplo, não é prudente comparar um município que

possui sua atividade econômica centrada na industrialização com outros cuja

atividade é nuclearmente fundada em exploração agropecuária tradicional. Surge

a necessidade de delimitações e hierarquizações comparativas. Quanto melhor

forem estabelecidos e entendidos os critérios, mais duradouro será o indicador.”15

O que esta passagem deixa claro é a necessidade de se desenvolver

medidas que permitam fornecer evidências de como se encontra a gestão de

determinado Município, Estado ou qualquer outro jurisdicionado. No entanto, esta

não é uma atividade trivial e nem se esgota com a definição de uma determinada

metodologia, devendo estar sempre em constante evolução, conforme a mudança

nos níveis de exigência e de rumo da sociedade.

“Qualquer representação da realidade social – um filme documentário, um

estudo demográfico, um romance realista, é necessariamente parcial, menor do

que aquilo que se poderia vivenciar e achar disponível no ambiente real. É por

isso que as pessoas fazem representações: para relatar somente aquilo que é

necessário para fazermos o que nos propusemos a fazer. Uma representação

eficiente diz tudo que se precisa saber para um objetivo determinado, sem

desperdiçar tempo com o que não é necessário. Produtores e usuários de

representações, portanto, devem realizar várias operações sobre a realidade para

chegar desta realidade à compreensão final da realidade social que querem

comunicar.”16

Conforme abordado na introdução, este estudo pretende estabelecer uma

sugestão de indicadores indispensáveis para uma análise preliminar dos rumos de

determinada região. Mas, antes da proposição de indicadores, é preciso

reconhecer o tipo de análise que se busca alcançar. Basicamente, estaremos

interessados em avaliar algumas situações a priori e, outras, a posteriori.

15 In Auditoria Governamental, p. 44

17

A análise a priori, ou anterior à ocorrência dos fatos, é aplicável sempre que

se deseja definir a trajetória para se alcançar determinados objetivos. É de

extrema relevância para se traçar objetivos com a segurança de que estes

poderão ser alcançados, são factíveis. Serve para eliminar cenários cujos alvos,

no período considerado, jamais poderão ser acertados. É fundamental para gerar

as medidas que servirão de indicador para antecipação do cumprimento ou

descumprimento das metas traçadas, antes mesmo que o período delimitado para

a implantação de determinado programa chegue ao fim.

No entanto, uma avaliação a priori depende do correto estabelecimento de

metas, objetivos e indicadores que deverão ser considerados. No caso brasileiro,

os instrumentos que devem fornecer esta orientação são o Plano Plurianual, a

LDO e o Orçamento Anual, os três previstos tanto na Constituição de 1988 quanto

na Constituição Estadual de 1989. No entanto, há que se ter cuidado para que

estes não sejam apenas documentos sem um vínculo com a realidade e que

resultem de “um processo técnico e político, no qual se inserem instituições,

informações e agentes econômico-sociais.”17

A análise a posteriori, posterior à ocorrência dos fatos (ou pelo menos de

parte destes), serve para avaliar se os rumos desejados estão sendo tomados, ou

se há desvios de trajetória. São de extrema importância, pois revelam,

antecipadamente, se é preciso adotar medidas corretivas, se o ponto desejável

ainda é crível, ou não.

Fundamentalmente as duas análises podem ser baseadas nos mesmos

indicadores, mas a primeira corresponderá ao estudo da previsão dos indicadores

(e como estes atendem às necessidades de seus gestores) e, a segunda, ao

acompanhamento destes mesmos indicadores.

Uma avaliação de resultados terá sucesso na medida em que se escolha

indicadores adequados a cada realidade específica. Para tanto, é conveniente

comparar a performance dos indicadores referentes a uma entidade com relação

16 In Métodos de Pesquisa em Ciências Sociais, p.140 e 141. 17 In TCE-RJ e Análise das Contas Públicas: Avaliação de resultados e qualidade de vida, p.7.

18

ao desempenho de outras entidades similares. Mas é preciso que se tenha um

certo cuidado ao efetuar comparações, uma vez que não é conveniente estimulá-

las entre grupos díspares. Deste modo, em se tratando da avaliação de um

Município específico, deve-se procurar estudar seu desempenho em relação a

outros Municípios similares, ou seja, que contenham uma população de tamanho

similar, atividade econômica similar, nível de endividamento parecido, etc.

Outro aspecto relevante é a decisão do que avaliar. Alguns indicadores

podem ser facilmente definidos e são universalmente aplicáveis, mas outros

precisam ser estabelecidos de acordo com a realidade que se pretende alcançar.

“As medidas de desempenho e o gerenciamento de processos estão

focalizados no incremento da eficiência e efetividade dos processos, produtos e/ou

serviços, pela sua otimização. Essa ação acontece dentro de um ciclo contínuo

que monitora, identifica e captura as oportunidades de melhoria destes processos,

produtos e/ou serviços, por meio da implementação de melhores práticas.

As medidas de desempenho também devem possuir alguns atributos, quais

sejam:

è refletir tanto as necessidades dos clientes quanto da organização;

è fornecer uma base adequada para a tomada de decisões;

è ser de fácil compreensão;

è ter ampla aplicação;

è ser interpretada uniformemente;

è possível de ser mensurada com os sensores (informações)

existentes;

è ser precisa na interpretação dos dados;

è economicamente aplicáveis;

è confiabilidade;

è validade;

19

è relevância;

è consistência

Em síntese, as medidas de desempenho possibilitam:

è identificar se as necessidades dos clientes estão sendo

atendidas;

è revelar problemas e identificar oportunidades de melhoria;

è mostrar se as melhorias estão acontecendo.

Paradoxalmente, é muito difícil construir um indicador com todas as

propriedades listadas anteriormente, de modo que a opção por determinada

estatística sempre irá implicar em avaliação de trade-offs.

Por último, é importante ressaltar que toda a medida de desempenho deve

estar vinculada a uma meta ou padrão predefinido, pois é a única forma de

interpretar, significativamente, os resultados das medidas e estimar o sucesso de

um sistema administrativo.”18

“A avaliação vai analisar o valor de algo em relação a algum anseio humano.

Não é possível avaliar sem um referencial, não é possível uma avaliação sem um

pólo de referência. Em última instância, a referência é sempre o homem, o seu

bem, a sua satisfação ou mesmo o seu prazer. Torna-se então fundamental a

visão clara da finalidade do valor para o estabelecimento de critérios que

possibilitem a sua aferição.”19

Outro ponto a ser destacado e que não pode ser desconsiderado na

construção de indicadores é que estes devem atender às necessidades de seu

cliente. Se considerarmos como cliente maior da administração pública a

sociedade, é indispensável, então, que a avaliação proposta contemple todos os

princípios estabelecidos pela Constituição de 1988. Segundo o artigo 37, “A

administração pública, direta e indireta de qualquer dos Poderes da União, dos

Estados, do Distrito Federal e dos Municípios obedecerá aos princípios de

18 In notas de aula (prof. Carlos Alberto Sampaio), p.58. 19 In A Velha e a Nova Questão da Avaliação, p.371 e 372.

20

legalidade, impessoalidade, moralidade, publicidade e eficiência (...).“ Assim, para

que se obtenha uma avaliação de resultados satisfatória, estes cinco aspectos

deverão estar contemplados, direta ou indiretamente.

Para atingir o objetivo inicialmente proposto de construir indicadores de

desempenho para avaliações de resultados de entes jurisdicionados, este trabalho

sugere que a análise seja baseada em três grupos de indicadores: indicadores

gerais, indicadores sociais e indicadores específicos.

Os indicadores gerais devem ser construídos de forma a permitir uma

avaliação financeira da saúde do órgão, programa ou instituição sob análise.

Devem concentrar-se na análise das receitas e despesas contempladas nos

cálculos de resultado primário, operacional e nominal e servirão de base para

avaliar a evolução da capacidade de geração de recursos e do nível de

comprometimento destes. Como proposta inicial, devem ser contempladas,

basicamente as informações descritas na tabela 120:

20 Os indicadores apresentados nesta e nas próximas tabelas, basearam-se nos indicadores apresentados no livro “Auditoria Governamental”, no artigo “Análise do desempenho de Organizações Públicas Municipais”, no trabalho “Tópicos Gerais dos Estudos .Sócio-econômicos dos Municípios 1997-2001” e no livro “Indicadores Sociais no Brasil”.

21

TABELA 1: INDICADORES GERAIS PROPOSTOS

INDICADOR FÓRMULA CRESCIMENTO INDICA PIB per capita PIB total / # habitantes Aumento da renda média Renda familiar per capita média ajustada

Renda Familiar total / nº de pessoas na família

Melhoria no padrão de compra

IPTU per capita (para Municípios)

IPTU / # habitantes Elevação da arrecadação Média

ISS per capita (para Municípios)

ISS / # habitantes Elevação da arrecadação Média

ICMS per capita (para Estados)

ICMS / # habitantes Elevação da arrecadação Média

IPVA per capita (para Estados)

IPVA / # habitantes Elevação da arrecadação Média

Receita Fiscal na receita Tributos / Receita Orçamentária

Elevação relativa do esforço de arrecadação

Receitas de Transferências na receita

Transferências líquidas correntes e de capital / Receita orçamentária

Diminuição da participação relativa do esforço de arrecadação

Empréstimos e Financiamentos na receita

Operações de crédito / Receita orçamentária

Incremento relativo das obrigações com terceiros

Pessoal nas receitas correntes

Pessoal / despesas correntes Aumento relativo do gasto com pessoal

Pessoal no total de despesas

Pessoal / despesa realizada Aumento relativo do gasto com pessoal

Investimento per capita Investimentos / População residente

Quanto maior melhor

Encargos da dívida na despesa

Serviço da dívida / despesa realizada

Incremento relativo do custo das obrigações com terceiros

Amortização da dívida na despesa

amortização da dívida / despesa realizada

Diminuição relativa do nível de endividamento

Amortização da dívida no total de despesas financeiras

amortização da dívida / (amortização + serviço) da

dívida

Diminuição do custo de endividamento

Equilíbrio Orçamentário Receita realizada / despesa executada

Aumento relativo das receitas em relação às despesas

Comprometimento da Receita com Máquina Administrativa

Despesa de custeio / receitas correntes

Maior comprometimento da receita

Autonomia Financeira Receita tributária própria / despesas de custeio

Maior autonomia financeira

22

INDICADOR FÓRMULA CRESCIMENTO INDICA

Esforço Tributário Próprio (Receita Tributária Própria + inscrição na dívida ativa) /

receita arrecadada

Maior independência quanto à arrecadação de receita

Carga Tributária per capita

(Receita Tributária Própria + inscrição na dívida ativa) /

população residente

Incremento relativo da arrecadação tributária

Despesa de Custeio per capita

Despesa de custeio / população residente

Incremento relativo do comprometimento da receita

Grau de Investimentos Investimentos / receita total Maior investimento relativo Liquidez Corrente Ativo financeiro / passivo

financeiro Melhoria da liquidez

Seguindo os modelos das Constituições de Portugal, promulgada em 1976 e

emendada em 1982, e da Espanha, promulgada em 1978, a Carta Magna

brasileira privilegia as propostas da área social, incluindo dispositivos no sentido

de atender as necessidades das classes sociais menos favorecidas. Portanto, um

grupo de medidas para apurar o cumprimento, ou não, dos objetivos estabelecidos

em nossa Constituição é de extrema importância quando se buscar avaliar

resultados segundo critérios de eficácia, eficiência e efetividade.

Os indicadores sociais devem ser elaborados de modo a se verificar o

atendimento dos direitos sociais especificados na Constituição. Na constituição

promulgada em 5 de outubro de 1988, o caput do artigo 6º, referente aos direitos

sociais, estabelece:

“Art. 6º São direitos sociais a educação, a saúde, o trabalho, a moradia, o

lazer, a segurança, a previdência social, a proteção à maternidade e à infância, a

assistência aos desamparados, na forma desta constituição.”

Deste modo, acredita-se que seja conveniente estabelecer indicadores para

cada um destes direitos assegurados na carta magna. Assim, a tabela 2

apresenta uma série de medidas que podem auxiliar o acompanhamento da

trajetória destes quesitos.

Vale destacar que os indicadores listados a seguir não esgotam todas as

possibilidades de avaliação, mas concentram-se nas variáveis que, nesta data,

23

eram periodicamente aferidas pela Administração Pública do Estado do Rio de

Janeiro. Como uma das características fundamentais de um índice deve ser a sua

facilidade de medição, os indicadores apresentados atenderiam a este pré-

requisito, tornando viável e factível a realização de uma análise efetiva.

TABELA 2: INDICADORES SOCIAIS PROPOSTOS

INDICADOR FÓRMULA CRESCIMENTO INDICA DIREITO EM FOCO

Impostos aplicados no ensino

Total das despesas admitidas como normais para ensino / total

dos impostos e transferências

Aumento do dispêndio relativo com este direito

Educação

Taxa de analfabetismo da população com mais de 15 anos

Analfabetos com mais de 15 anos / população residente com mais

de 15 anos

Incremento relativo da quantidade de analfabetos

Educação

Escolaridade Média

Média ponderada dos anos de estudo pela quantidade de

indivíduos com mais de 15 anos

Melhoria da escolaridade média

Educação

Disponibilidade de vagas em Escolas Públicas

Nº de vagas em escolas públicas / População de 0 a 15 anos

Incremento relativo no nº de vagas da rede pública de ensino

Educação

Número de Escolas por 1000 crianças

Nº de escolas / População de 0 a 15 anos * 1000

Incremento relativo no nº de unidades da rede pública de ensino

Educação

Taxa de Repetência

Nº de alunos repetentes / total de alunos repetentes e aprovados

Aumento da taxa de repetência

Educação

Taxa de Evasão Nº de alunos repetentes e aprovados / nº de alunos inscritos

Diminuição do abandono da escola

Educação

Razão de alunos por prefessor

Nº de alunos / nº de professores Menor quantidade relativa de docentes

Educação

Razão de alunos por funcionários

Nº de alunos / nº de Funcionários de educação

Menor quantidade relativa de funcionários

Educação

Taxa de Pessoal em Educação

Quantitativo de pessoal na educação / Quantitativo de

pessoal total

Maior participação relativa do quantitativo funcional de educação

Educação

% da despesa de pessoal com Educação

Despesa com pessoal na educação / Despesa de Pessoal

Total

Maior participação relativa dos gastos com pessoal de educação

Educação

% da despesa prevista com Educação

Dotação orçamentária para educação / dotação orçamentária

total

Maior participação relativa dos gastos previstos com educação

Educação

24

INDICADOR FÓRMULA CRESCIMENTO INDICA DIREITO EM

FOCO Índice de crescimento de matrículas

Nº de matrículast / nº de matrículast+1

Aumento da população atendida pela rede pública de ensino

Educação

Leitos por 1000 habitantes

Nº de leitos / população residente * 1000

Melhoria de capacidade de atendimento

Saúde

Médicos por 1000 habitantes

Nº de médicos / população residente * 1000

Melhoria de condições de atendimento

Saúde

Mortalidade Nº de óbitos / população residente

Aumento da Taxa de Mortalidade

Saúde

Coeficiente de unidades de atendimento por 1000 habitantes

Nº de unidades de atendimento / população residente * 1000

Melhoria de capacidade de atendimento

Saúde

Taxa de Pessoal em Saúde

Quantitativo de pessoal na saúde / Quantitativo de pessoal total

Maior participação relativa do quantitativo funcional de saúde

Saúde

% da despesa de pessoal com Saúde

Despesa com pessoal na saúde / Despesa de Pessoal Total

Maior participação relativa dos gastos com pessoal de saúde

Saúde

% da despesa prevista com Saúde

Dotação orçamentária para saúde / dotação orçamentária total

Maior participação relativa dos gastos previstos com saúde

Saúde

Taxa de empregados com carteira

Empregados com carteira assinada / Pessoal ocupado

Diminuição da informalidade Trabalho

Taxa de assalariamento

Assalariados / total de ocupados Aumento da relativo na quantidade de assalariados

Trabalho

Taxa de desemprego

Desempregados / (desempregados + ocupados)

Aumento da população desempregada

Trabalho

Taxa de participação da PEA21 sobre PIA22

(ocupados + procurando trabalho / total de residentes com 10 anos

ou mais

Incremento relativo da PEA Trabalho

Taxa de Favelização

População residente em favelas / população residente total

Aumento relativo dos residentes em favelas

Moradia

Taxa de Urbanização

População residente em áreas urbanas / total da população

residente

Diminuição relativa das populações rurais

Moradia

Taxa de Residentes em imóveis próprios

População residente em imóveis próprios / total da população

residente

Aumento relativo das residências próprias

Moradia

21 População Economicamente Ativa; “Donas de casa, estudantes, aposentados, inválidos não fazem parte da PEA, sendo considerados inativos”. In “Indicadores Sociais no Brasil”, p.89 22 População em Idade Ativa

25

INDICADOR FÓRMULA CRESCIMENTO INDICA DIREITO EM FOCO

Taxa de Homicídios

Número de homicídios / total da população residente * 100000

Incremento nos índices de criminalidade

Segurança

Taxa de Pessoal em segurança

Quantitativo de pessoal na saúde / Quantitativo de pessoal total

Maior participação relativa do quantitativo funcional de segurança

Segurança

% da despesa de pessoal com segurança

Despesa com pessoal na saúde / Despesa de Pessoal Total

Maior participação relativa dos gastos com pessoal de segurança

Segurança

% da despesa prevista com segurança

Dotação orçamentária para saúde / dotação orçamentária total

Maior participação relativa dos gastos previstos com segurança

Segurança

Carga de Dependência de crianças e idosos

(crianças ≤ 14 anos + adultos ≥ 65 anos) / população residentes

de 15 a 64 anos

Diminuição relativa da População apta para o trabalho

Previdência

Quantidade de benefícios

Nº de benefícios concedidos no ano

Incremento na quantidade de beneficiários

Previdência

Gasto com benefícios

Gasto com benefícios no ano Aumento nominal do gasto com previdência

Previdência

Benefício Médio Gasto com benefícios no ano/ nº total de benefícios

Crescimento no valor médio pago a cada beneficiário

Previdência

Taxa de Natalidade

Nascidos Vivos no ano / População residentes estimada

no meio do ano * 1000

Incremento da natalidade Maternidade

Parturições Nº médio de filhos da população feminina entre 15 e 49 anos

Incremento da natalidade Maternidade

Nascimentos Hospitalares

Nº de nascimentos em hospitais / nº de nascidos vivos no ano

Aumento do acesso a hospitais

Maternidade

Esperança de vida ao nascer

Nº médio de anos de vida de recém nascido

Melhoria de condições de vida

Infância

Mortalidade Infantil

Nº de óbitos de 0 a 1 ano / nº de nascidos vivos * 1000

Aumento na mortalidade infantil

Infância

Mortalidade Neonatal

Nº de óbitos neonatais / Nº de óbitos de 0 a 1 ano

Aumento relativo dos óbitos associados a fatores biológicos

Infância

Mortalidade Pós-natal

Nº de óbitos pós-natais / Nº de óbitos de 0 a 1 ano

Aumento relativo dos óbitos associados a fatores sócio-econômicos

Infância

Investimento Preventivo em desenv. social

Investimento em Campanhas Mais investimento preventivo na área de desenvolvimento social

Desenvolvimento social

Taxa de Pessoal em Desenv. Social

Quantitativo de pessoal em desenv. social / Quantitativo de

pessoal total

Maior participação relativa do quantitativo funcional de desenv. social

Desenvolvimento social

26

INDICADOR FÓRMULA CRESCIMENTO INDICA DIREITO EM

FOCO % da despesa de pessoal com Desenv. Social

Despesa com pessoal em desenv. social / Despesa de

Pessoal Total

Maior participação relativa dos gastos com pessoal de desenv. social

Desenvolvimento social

% da despesa prevista com Desenv. Social

Dotação orçamentária para desenv. social / dotação

orçamentária total

Maior participação relativa dos gastos previstos com desenv. social

Desenvolvimento social

Investimento em equipamentos de esportes e lazer

Investimento em equipamentos Aumento nominal dos investimentos com equipamentos de esporte e lazer

Esporte e Lazer

Investimento em esportes e lazer

Investimento em campanhas Aumento nominal dos investimentos com esporte e lazer

Esporte e Lazer

Taxa de Pessoal em esporte e lazer

Quantitativo de pessoal em esporte e lazer / Quantitativo de

pessoal total

Maior participação relativa do quantitativo funcional de esporte e lazer

Esporte e Lazer

% da despesa de pessoal com esporte e lazer

Despesa com pessoal em esporte e lazer / Despesa de Pessoal

Total

Maior participação relativa dos gastos com pessoal de esporte e lazer

Esporte e Lazer

% da despesa prevista com esporte e lazer

Dotação orçamentária para esporte e lazer / dotação

orçamentária total

Maior participação relativa dos gastos previstos com esporte e lazer

Esporte e Lazer

Na avaliação referente aos indicadores específicos, é difícil estabelecer

medidas universais, uma vez que se referem a cenários diversos, sendo muito

complicado elaborar indicadores que atendam a qualquer realidade específica.

Deste modo, em adição aos índices sugeridos, outros deverão ser construídos em

conjunto com os gestores de políticas públicas, de modo a antecipar o que

pretende ser alcançado, onde se pretende chegar, como se pretende chegar e se

o rumo está sendo adequado.

Na construção dos itens descritos na tabela 3, procurou-se optar pela

descrição de outros aspectos também coletados pela atual Administração Pública

do estado do Rio de Janeiro que, além de permitir uma avaliação contínua ao

longo do tempo, também tratam de temas hoje considerados bastante relevantes,

mas que não pertencem ao grupo dos direitos fundamentais. Talvez os exemplos

mais claros dos indicadores pertencentes a este grupo sejam os indicadores

27

relativos a transportes e meio-ambiente. Mais uma vez, é prudente reforçar que

outros indicadores podem e devem ser construídos em função das prioridades

traçadas por cada gestor.

TABELA 3: INDICADORES ESPECÍFICOS PROPOSTOS

INDICADOR FÓRMULA CRESCIMENTO INDICA ASPECTO EM FOCO

Índice de autos de infração

Nº de autos de infraçãot / nº de autos de infraçãot-1

Crescimento nominal dos autos infração

Meio Ambiente

% de reflorestamento

Área reflorestada / área total Aumento das áreas reflorestadas

Meio Ambiente

Investimento Preventivo em meio ambiente

Investimento em Campanhas de meio-ambiente

Mais investimento preventivo na área de meio ambiente

Meio Ambiente

Gastos com preservação

Gasto com ações de preservação Maior destinação de recursos financeiros para preservação

Meio Ambiente

Fiscais em meio ambiente

Nº de fiscais de meio-ambiente Maior capacidade de fiscalização

Meio Ambiente

Taxa de Pessoal em meio ambiente

Quantitativo de pessoal em meio-ambiente / Quantitativo de

pessoal total

Maior participação relativa do quantitativo funcional de meio ambiente

Meio Ambiente

% da despesa de pessoal com meio ambiente

Despesa com pessoal em meio-ambiente / Despesa de Pessoal

Total

Maior participação relativa dos gastos com pessoal de meio ambiente

Meio Ambiente

% da despesa prevista com meio ambiente

Dotação orçamentária para meio-ambiente / dotação orçamentária

total

Maior participação relativa dos gastos previstos com meio ambiente

Meio Ambiente

Taxa média de passageiros por 1000 habitantes

média de passageiros diários de transportes públicos/ população

residente * 1000

Incremento na população usuária de transportes públicos

Transportes

Quantidade de veículos públicos por 1000 habitantes

Nº de veículos destinados a transporte público / População

residente * 1000

Incremento na capacidade de atendimento aos usuários

Transportes

Taxa de pavimentação

Km de estradas pavimentadas / Km total

Melhoria das condições de transporte

Transportes

Quantidade de veículos por 1000 habitantes

Nº de veículos / População residente

Incremento relativo da frota total

Transportes

28

INDICADOR FÓRMULA CRESCIMENTO INDICA ASPECTO EM

FOCO Taxa de Pessoal em transportes

Quantitativo de pessoal transportes / Quantitativo de

pessoal total

Maior participação relativa do quantitativo funcional de transportes

Transportes

% da despesa de pessoal com transportes

Despesa com pessoal em transportes / Despesa de Pessoal

Total

Maior participação relativa dos gastos com pessoal de transportes

Transportes

% da despesa prevista com transportes

Dotação orçamentária para transportes/ dotação

orçamentária total

Maior participação relativa dos gastos previstos com transportes

Transportes

Índice de investimento em cultura

Investimentos em culturat / Investimentos em culturat-1

Aumento nominal dos investimentos com cultura

Cultura

Taxa de Pessoal em cultura

Quantitativo de pessoal em cultura / Quantitativo de pessoal

total

Maior participação relativa do quantitativo funcional de cultura

Cultura

% da despesa de pessoal com cultura

Despesa com pessoal em cultura / Despesa de Pessoal Total

Maior participação relativa dos gastos com pessoal de cultura

Cultura

% da despesa prevista com cultura

Dotação orçamentária para cultura / dotação orçamentária

total

Maior participação relativa dos gastos previstos com cultura

Cultura

Taxa de Pessoal em urbanismo

Quantitativo de pessoal em urbanismo / Quantitativo de

pessoal total

Maior participação relativa do quantitativo funcional de urbanismo

Urbanismo

% da despesa de pessoal com urbanismo

Despesa com pessoal em urbanismo / Despesa de Pessoal

Total

Maior participação relativa dos gastos com pessoal de urbanismo

Urbanismo

% da despesa prevista com urbanismo

Dotação orçamentária para urbanismo / dotação orçamentária total

Maior participação relativa dos gastos previstos com urbanismo

Urbanismo

Índice de atendimentos

Nº de atendimentost / nº de atendimentost+1

Aumento nominal dos atendimentos de defesa civil

Defesa Civil

Investimento Preventivo em defesa civil

Investimento em prevenção em defesa civil

Mais investimento preventivo na área de defesa civil

Defesa Civil

Funcionário de defesa civil por 1000 habitantes

Quantitativo de pessoal em defesa civil / população residente

*1000

aumento quantitativo do quadro funcional de defesa civil

Defesa Civil

Taxa de Pessoal em defesa civil

Quantitativo de pessoal em defesa civil / Quantitativo de

pessoal total

Maior participação relativa do quantitativo funcional de defesa civil

Defesa Civil

29

INDICADOR FÓRMULA CRESCIMENTO INDICA ASPECTO EM

FOCO % da despesa de pessoal com defesa civil

Despesa com pessoal em defesa civil / Despesa de Pessoal Total

Maior participação relativa dos gastos com pessoal de defesa civil

Defesa Civil

% da despesa prevista com defesa civil

Dotação orçamentária para defesa civil / dotação

orçamentária total

Maior participação relativa dos gastos previstos com defesa civil

Defesa Civil

Construções M2 de obras construídas Aumento nominal das construções

Obras

Custo de obras Custo do m2 construído Aumento no custo de construção

Obras

Tempo de Execução

Tempo médio de execução Maior agilidade Obras

Investimento Preventivo em obras

Investimento em obras de prevenção

Mais investimento preventivo na área de obras

Obras

Taxa de Pessoal em obras

Quantitativo de pessoal em obras / Quantitativo de pessoal total

Maior participação relativa do quantitativo funcional de obras

Obras

% da despesa de pessoal com obras

Despesa com pessoal em obras / Despesa de Pessoal Total

Maior participação relativa dos gastos com pessoal de obras

Obras

% da despesa prevista com obras

Dotação orçamentária para obras / dotação orçamentária total

Maior participação relativa dos gastos previstos com obras

Obras

Área limpa Km de área limpa Incremento nominal da limpeza

Limpeza Urbana

Investimento em Limpeza Urbana

Investimento em equipamentos Aumento da capacidade na área de limpeza urbana

Limpeza Urbana

Investimento Preventivo em Limpeza Urbana

Investimentos em campanhas Mais investimento preventivo na área de limpeza urbana

Limpeza Urbana

Taxa de Pessoal em limpeza urbana

Quantitativo de pessoal em limpeza urbana / Quantitativo de

pessoal total

Maior participação relativa do quantitativo funcional de limpeza urbana

Limpeza Urbana

% da despesa de pessoal com limpeza urbana

Despesa com pessoal em limpeza urbana / Despesa de

Pessoal Total

Maior participação relativa dos gastos com pessoal de limpeza urbana

Limpeza Urbana

% da despesa prevista com limpeza urbana

Dotação orçamentária para limpeza urbana / dotação

orçamentária total

Maior participação relativa dos gastos previstos com limpeza urbana

Limpeza Urbana

Taxa de iluminação

Km de ruas iluminadas / Km total Aumento da taxa de iluminação

Iluminação Pública

30

INDICADOR FÓRMULA CRESCIMENTO INDICA ASPECTO EM

FOCO Instalação de pontos de iluminação

Instalações no ano Incremento da capacidade de iluminação

Iluminação Pública

Investimento em iluminação pública

Investimentos em melhorias Aumento nominal dos investimentos com iluminação pública

Iluminação Pública

Equipes de Atendimento

Nº de equipamentos de atendimento

Melhoria da capacidade de atendimento

Iluminação Pública

Taxa de Pessoal em ilum. pública

Quantitativo de pessoal em iluminação pública / Quantitativo

de pessoal total

Maior participação relativa do quantitativo funcional de iluminação pública

Iluminação Pública

% da despesa de pessoal com ilum. pública

Despesa com pessoal em iluminação pública / Despesa de

Pessoal Total

Maior participação relativa dos gastos com pessoal de iluminação pública

Iluminação Pública

% da despesa prevista com ilum. pública

Dotação orçamentária para iluminação pública / dotação

orçamentária total

Maior participação relativa dos gastos previstos com iluminação pública

Iluminação Pública

Fazer um estudo dos indicadores de modo isolado, entretanto, é pouco

elucidativo, dado que os resultados medidos refletem apenas uma situação

pontual, do momento da apuração dos resultados. Para uma análise mais

apurada, há que se considerar mais três efeitos: o do atingimento de objetivos

estabelecidos, o da evolução da trajetória do Município ou Estado e o da

comparação da entidade avaliada em relação às melhores práticas, o benchmark.

Desta forma, recomenda-se uma análise no tempo, de pelo menos três anos,

acompanhada dos objetivos traçados originalmente no orçamento do último ano

em questão e do cenário que se pretende alcançar. Este último é de difícil

definição, já que sempre deve representar um ponto crível, factível. Assim,

recomenda-se optar por medidas já alcançadas por outros Estados ou Municípios

e que notadamente representem uma situação desejável.

Apesar da definição apresentada na seção 4 deste trabalho, que indica que o

benchmark deve representar o melhor desempenho verificado do que se está

medindo, não é recomendável escolher como parâmetro aquelas entidades com

31

desempenhos excepcionais, que formariam um grupo de outliers23. Para evitar

esta situação, que poderia implicar em comparações espúrias, indica-se que a

escolha da instituição representativa do benchmark pertença ao grupo dos

melhores desempenhos, preferencialmente pertencendo ao quartil superior da

amostra disponível, garantindo a comparabilidade do indicador calculado com as

“boas práticas de gestão”24.

“A importância do benckmark é a de permitir ao gestor o estabelecimento de

metas em relação a um referencial de qualidade.”25

7. OBTENÇÃO DOS DADOS

É de extrema importância que os indicadores apresentados sejam confiáveis.

Para tanto, deve-se privilegiar a transparência quanto aos seus cálculos e suas

fontes de informação, conferindo maior transparência a todo o processo de

avaliação. De preferência, sempre que possível, deve-se optar por buscar

informações em órgãos cuja idoneidade seja reconhecida e cuja metodologia de

apuração de dados seja clara. Também é desejável que as informações sejam

universais e disponíveis a qualquer cidadão interessado em recalcular os índices

apresentados.

No entanto, alguns dados não são apurados de forma rápida, ou têm uma

periodicidade de medição incompatível com o desejável. Neste caso, é possível

aplicar algumas técnicas para contornar o problema, desde que a metodologia de

cálculo seja disponibilizada junto com o trabalho de análise.

No caso de dados cuja apuração é mais lenta do que a que se deseja, indica-

se como metodologia a projeção do indicador, conforme a seguinte sugestão:

Indicadort+1 = Indicadort / indicadort-1 * indicadort

23 Em estatística, são outliers os valores atípicos e,muitas vezes, correspondem a erros de medição ou eventos que ocorrem apenas sob circunstâncias extremas, cuja probabilidade de ocorrência é extremamente baixa. 24 In Manual de Auditoria de Nartureza Operacional, p.81. 25 In Análise do Desempenho de Organizações Públicas Municipais, p.13.

32

Na hipótese da periodicidade ser menor do que a desejada, pode-se utilizar

como artifício para estimar o indicador em períodos intermediários a seguinte

fórmula:

Indicadort+k = Indicadort * (Indicadort+τ / Indicadort)k/τ

Onde:

τ é a periodicidade de medição;

k é a periodicidade desejada.

Caso a necessidade seja de projetar valores futuros, para eventos cujo

crescimento esperado é geométrico (como no caso das populações), recomenda-

se o uso do seguinte cálculo:

Indicadort+k = Indicadort * (Indicadort / Indicadort-τ)k/τ

Onde:

t é o tempo onde foi realizada a última observação da variável;

τ é a periodicidade de medição;

k é a periodicidade desejada.

“Outra questão importante no gerenciamento dos indicadores é a formação

de uma série histórica, que é obtida através da guarda dos resultados obtidos ano

a ano. Estas informações permitem a análise através do tempo que, visualizada

em gráficos cartesianos, demonstram claramente se as ações empreendidas

estão surtindo o resultado esperado.”26 Adicionalmente, a montagem de um

banco de dados com as informações obtidas diminui o retrabalho e permite um

rápido acesso a informações passadas.

26 In Análise do Desempenho de Organizações Públicas Municipais, p.13.

33

8. EXPERIÊNCIAS BRASILEIRAS

Os trabalhos desenvolvidos no Brasil concentram-se, basicamente, na

realização de auditorias de desempenho. O Tribunal de Contas da União (TCU),

por exemplo, contém uma série de publicações com o resultado de auditorias de

programas sociais que visaram avaliar o “desempenho do Governo Federal em

áreas estratégicas para a sociedade brasileira.”27 Nestas publicações podemos

perceber uma preocupação em se fazer apenas uma verificação “ex-post” do que

ocorreu, conforme os seguintes trechos:

“O Tribunal de Contas da União realizou auditoria com o intuito de avaliar a

ação de identificação e assistência à saúde visual dos alunos matriculados na 1ª

série do Ensino Fundamental da Rede Pública, de forma a contribuir para a

diminuição dos índices de repetência e evasão escolar, coordenada pelo Fundo

Nacional de Desenvolvimento da educação – FNDE, do Ministério da educação –

MEC. (...)

O critério de seleção dos municípios participantes (municípios com 40.000

habitantes ou mais) restringe o acesso à Campanha prejudicando a promoção da

eqüidade. Dessa forma, a Campanha de 2000 atendeu apenas 4% dos

municípios com baixo Índice de Desenvolvimento humano – IDH (85 municípios),

deixando de atender 732.603 alunos matriculados na 1ª série do Ensino

Fundamental da Rede Pública dos 2.057 municípios com menos de 40.000

habitantes e baixo desenvolvimento humano. (...)

Os dados preliminares fornecidos pelo Conselho Brasileiro de Oftalmologia

demonstram ter ocorrido significativa perda de alunos nas diversas etapas de

atendimento na Campanha 2000, havendo grande variação de desempenho entre

as unidades da Federação.”28

“O Tribunal de Contas da União realizou, entre agosto e outubro de 2001,

auditoria com o intuito de avaliar o desempenho do Programa Irrigação e

Drenagem, constante do Plano Plurianual 2000-2003. (...)

27 In Avaliação do TCU sobre as ações de detecção e correção de problemas visuais, p.7. 28 In Avaliação do TCU sobre as ações de detecção e correção de problemas visuais, p.9 a 13.

34

O trabalho executado permitiu constatar a existência de fatores que dificultam

a melhoria do desempenho por parte dos perímetros de irrigação, dentre os quais

destacamos:

§ Inadimplência dos irrigantes com as tarifas de amortização do

investimento (K1) e de manutenção da infra-estrutura de uso comum

(K2);

§ Pouca integração entre órgãos responsáveis por ações ligadas à

irrigação;

§ Existência de grandes áreas irrigáveis ociosas nos perímetros de

irrigação;

§ Pouca organização por parte dos irrigantes para a comercialização

de sua produção;

§ Deficiência de gerenciamento do Programa;

§ Baixo grau de auto-sustentabilidade dos perímetros.”29

“O Tribunal de Contas da União realizou auditoria com o intuito de avaliar em

que medida o Programa de Erradicação do Trabalho Infantil – PETI tem

contribuído para retirar crianças e adolescentes de 7 a 14 anos, das atividades

laborais precoces, principalmente nas suas piores formas, mediante a

implementação das ações relativas à criança e ao adolescente em jornada escolar

ampliada. (...)

A pesquisa demonstrou que não existem dados precisos sobre o total de

crianças exercendo atividades laborais. Outro problema diagnosticado foi a

inexistência de critérios uniformes entre os municípios para a inclusão de crianças

no Programa, dificultando a identificação e seleção do público alvo. Existem,

ainda, municípios que entendem que o Programa destina-se às famílias pobres,

não o relacionando à condição de que as crianças estejam efetivamente

trabalhando.”30

29 In Avaliação do Programa Irrigação e Drenagem, p.9 a 11. 30 In Avaliação do TCU sobre o Programa de Erradicação do Trabalho Infantil, p.9 a 12.

35

“O Tribunal de Contas da União realizou auditoria com o objetivo de avaliar,

no Programa Valorização e Saúde do Idoso, as ações continuadas de assistência

social para atendimento mensal à pessoa idosa, que têm, como finalidade a

manutenção de serviços (alimentação, higiene, abrigo, material para lazer e

ocupação), a salvaguarda dos direitos sociais e o atendimento às vulnerabilidades

próprias desse ciclo de vida. (...)

A auditoria evidenciou problemas operacionais no cumprimento das diretrizes

governamentais, que dificultam o trabalho em conjunto entre os três níveis de

governo, e confirmou a pouca influência das ações governamentais no trabalho

desenvolvido pelas instituições prestadoras de serviços, sobretudo asilares.

Constatou, ainda, a falta de investimentos em novas modalidades de atendimento,

a insuficiência de recursos direcionados para a manutenção das instituições e o

atingimento de um número pequeno de pessoas, caso se compare a população

atendida com a população em situação de pobreza.”31

“O Tribunal de Contas da União realizou auditoria com o intuito de avaliar o

Programa Saúde da Família – PSF, criado em 1994, no âmbito do Ministério da

Saúde, a partir da experiência bem sucedida com o Programa de Agentes

Comunitários de Saúde – PACS. (...)

Assumem relevância a elevada rotatividade e a dificuldade na contratação

dos médicos das ESF [Unidade de Saúde da Família], decorrentes, dentre outros

motivos, da insatisfação com a precariedade do vínculo contratual de trabalho, o

excesso de atendimentos, a dificuldade de acesso ao local de trabalho e as falhas

no sistema de referência e contra-referência.(...)

A análise dos questionários indica que as ESF são responsáveis por um

número excessivo de famílias, além do limite máximo preconizado pelo Ministério

da Saúde (4.500 pessoas). O mesmo acontece com as ACS [ Agentes

Comunitários de Saúde], tendo em vista que apenas 27% deles não ultrapassam o

limite recomendado (750 pessoas). Assim, como a demanda espontânea às USF

31 In Avaliação do TCU sobre as ações de atendimento à pessoa idosa, p.9 a 11.

36

ainda é muito grande, o tempo disponível para a realização de ações de promoção

e prevenção à saúde fica prejudicado.

Outra constatação diz respeito aos sistemas de referência (serviço, ao qual é

encaminhado o beneficiário, para atendimento mais complexo e apoio

diagnóstico), ainda inadequados, para os níveis de média e alta complexidade.”32

De modo geral, o que se pode perceber é que, atualmente, a avaliação de

resultados vem se limitando a realização de auditorias de desempenho, limitando

as análises a constatações. Com isto, elimina-se uma etapa extremamente

importante da avaliação, uma vez que não é mais possível corrigir erros passados.

É claro que este trabalho também é bastante relevante, na medida em que aponta

possíveis medidas a serem adotadas, mas ainda pode ser aprimorado se for dada

a devida atenção ao planejamento inicial.

“As avaliações a serem realizadas devem comparar os níveis atuais de

performance ou desempenho com parâmetros ou indicadores de qualidade pré-

estabelecidos e apresentar um elenco de recomendações e padrões mínimos de

funcionamento que devem ser atingidos em determinado tempo, de modo a

proporcionar a melhoria do desempenho do órgão ou serviço avaliado.”33

Portanto, fica claro a relevância de se definir melhor as metas, orçamentos e

expectativas, muitas vezes relegados a um segundo plano. Esta etapa é

fundamental para a construção de indicadores que gerem informação e permitam

um diagnóstico preciso do que está sendo avaliado.

“Trabalhos recentes do Tribunal de Contas da União (...) mostram uma

tendência à vertente de fomento ao desenvolvimento de indicadores de

desempenho nos programas governamentais.”34

Deste modo, há que se concentrar esforços no desenvolvimento da

metodologia de avaliação de resultados como um todo e não apenas de uma

etapa deste. Há que se estender, também, a sua aplicação, uma vez que,

32 In Avaliação do Programa de Saúde da Família – PSF, p.9 a 12. 33 In Avaliação da ação dos governos municipais, p.9. 34 In Estratégias de auditoria de desempenho governamental: proposta de um modelo analítico, p.6.

37

atualmente, concentra-se na verificação de programas, enquanto poderia estar

sendo utilizada para monitoramento de organizações, políticas, órgãos, etc. Não é

possível identificar, hoje, um padrão a ser seguido, o que facilitaria a difusão dos

resultados encontrados.

A Fundação Cesgranrio apresenta outros trabalhos de avaliação de

resultados de programas dentro da área de educação. “A Cesgranrio adota uma

concepção de avaliação que procura estar em sintonia com os avanços na área do

conhecimento. De acordo com a coordenadora do Centro de Avaliação e

Desenvolvimento Institucional, Thereza Penna Firme, (...), a avaliação se

preocupa com o aperfeiçoamento. – Todo trabalho de avaliação – afirma ela – visa

a conclusões que levem a uma ação, a um aperfeiçoamento. E isso porque

envolve essencialmente o juízo de valor. (...) Uma avaliação termina com

recomendações que levem a uma ação. (...) E ela cita quatro características

fundamentais no processo de avaliação: deve ser útil para as pessoas envolvidas

no processo; viável, isto é, feita em tempo hábil; ética, ou seja, de maneira a

respeitar os valores das pessoas envolvidas, mas num processo de negociação,

de entendimento; e precisa, o que significa, ser bem feita, com cuidado, com

procedimentos adequados.”35

Nos Tribunais de Contas Estaduais também são encontrados alguns

trabalhos voltados para a ótica da avaliação de resultados. No TCE/RJ, por

exemplo, “esse tipo de abordagem foi utilizado no exame das contas de gestão do

Estado do Rio de Janeiro, exercício/99, embora a análise tenha sido prejudicada

em alguns aspectos, pela falta de indicadores e medidas de desempenho que

deveriam constar do Plano Plurianual, da Lei de Diretrizes Orçamentárias e da Lei

de Orçamento Anual do referido exercício.”36

Adicionalmente, foi iniciado em 2002, pelo Núcleo de Estudos

Socioeconômicos da Secretaria Geral de Planejamento, um estudo no sentido de

divulgar indicadores municipais que auxiliassem a elaborar e executar “planos, leis

de diretrizes orçamentárias e orçamentos anuais, fornecendo elementos que

35 In Revista Cesgranrio, nº1, p.14 e 15.

38

podem ser utilizados na realização de avaliações, bem como contribuindo para

que esses documentos, juntamente com as prestações de contas, e suas versões

simplificadas, se tornem verdadeiros instrumentos da transparência da gestão,

como determina a Lei de Responsabilidade Fiscal.”37

Nos demais Estados, pode-se destacar a atuação inovadora dos Tribunais de

Contas da Bahia e do Paraná, cujos trabalhos no sentido de implementar e

realizar auditorias de desempenho vêm crescendo significativamente. No entanto,

as atuações brasileiras, nesta área, ainda são bastante pontuais, o que indica uma

necessidade de buscar aprimorar a troca de experiência entre as entidades

fiscalizadoras, o que possibilitará um aprimoramento das técnicas empregadas.

9. CONCLUSÕES

Este trabalho pretendeu dar uma visão pragmática quanto à implantação dos

novos modelos de Administração Pública. Trata-se de um esforço pioneiro no

sentido de delimitar índices que sejam representativos da trajetória do Setor

Público.

Foi demonstrado que, mesmo sem um esforço no sentido de se construir um

detalhamento adequado das metas e objetivos, ainda assim, com uma gama de

indicadores gerais é possível se obter informações relevantes quanto ao caminho

que determinado Estado ou Município está tomando.

Este estudo faz parte de um esforço cada vez mais crescente de aumentar o

processo de transparência da gestão pública. Neste caso, entende-se por

transparência o reconhecimento do ponto onde estamos, para onde gostaríamos

de ir, para onde podemos, efetivamente, ir, e como podemos alcançar o que é

factível e como demonstrar isto à sociedade.

A este esforço soma-se os três instrumentos tornados obrigatórios a partir da

Constituição Federal de 1988: Plano Plurianual (PPA), a Lei de Diretrizes

36 In TCE-RJ e Análise das Contas Públicas: Avaliação de resultados e qualidade de vida,p.1 37 In Avaliação da ação dos Governos Municipais, p.9.

39

Orçamentárias (LDO) e a Lei Orçamentária Anual (LOA). E acrescenta-se a Lei

de Responsabilidade Fiscal (LRF) que, apesar de ter sido responsável pela

criação de mecanismos de controle de receitas, despesas e endividamento, não

deve servir como único balizador da gestão, e não deve esgotar esforços neste

sentido. O modelo de gestão atualmente requerido pela Nova Administração

Pública transcende estes fatores e deve englobar todos os direitos sociais

garantidos pela constituição de 1988, além de garantir o atendimento às novas

demandas que possam se tornar prioritárias para a sociedade, como parece estar

sendo o caso do meio-ambiente.

Desta forma, o trabalho aqui apresentado deve servir de base e estímulo

para a construção de novos indicadores e de um esforço no sentido de se buscar

detalhar melhor as metas incluídas em cada PPA ou LOA, uma vez que uma

análise mais apurada depende fortemente do estabelecimento de objetivos mais

detalhados a priori.

Vale destacar que todo este esforço só é possível com uma reestruturação

efetiva do controle interno, que, conforme nos lembra o trabalho do TCE-RJ

(2001), deve contemplar não apenas a mensuração física da gestão e dos

programas de governo, mas também deve ser capaz de estabelecer relações

pertinentes com emprego dos recursos, de forma que se possa avaliar o

progresso alcançado na consecução dos objetivos da política e das metas dos

programas de trabalho. Estas medidas representariam um auxílio significativo na

tarefa de reorientação de planos e programas, e ajudariam administração a

adaptar tais planos e programas à situação econômico-social vigente, além de

destinarem-se à implementação da avaliação quanto à eficiência relativa.

Mais objetivamente, segundo MESQUITA (2001), podemos pensar que o

investimento tanto no controle interno quanto no controle social não podem ser

negligenciados devido às sanções legais impostas com a aprovação de Lei de

Responsabilidade Fiscal.

Um fator que não fez parte do escopo deste estudo, mas também de extrema

importância, é que se busque ampliar a análise para os custos de oportunidade.

40

Um exemplo disso é avaliar se os recursos abdicados trouxeram benefícios acima

dos custos, ou se o bem-estar poderia ter sido ampliado com a utilização de outros

mecanismos de subsídio em detrimento de receitas tributárias. Só com a

incorporação deste conceito será possível avaliar integralmente o atendimento,

pelos gestores do setor público, dos princípios de transparência, legalidade,

impessoalidade, moralidade, publicidade e eficiência, disposto no caput do artigo

37 da Constituição federal de 1988.

Por fim, destaca-se o seguinte trecho do livro de Becker: “A mesma realidade

pode ser descrita de um enorme número de maneiras, visto que descrições podem

ser respostas para qualquer uma dentre uma multidão de questões. Podemos

concordar em princípio que nossos procedimentos devem permitir chegar à

mesma resposta para a mesma questão, mas, na realidade, nós só colocamos a

mesma questão quando as circunstâncias da interação e da organização social

produziram consenso sobre este ponto. Isto acontece quando as condições em

que vivem as pessoas permitem que elas vejam certos problemas como comuns,

como problemas que demandam certos tipos de representação da realidade social

em base rotineira, e, assim, criam as condições para o desenvolvimento de

profissões e qualificações que produzem estas representações para uso. Em

conseqüência, algumas questões são colocadas e respondidas, enquanto outras,

igualmente boas, interessantes e de valor, e mesmo cientificamente importantes,

são ignoradas, ao menos até que a sociedade mude o bastante para que as

pessoas que precisam destas respostas passem a controlar os recursos que lhes

permitiriam obter uma resposta.”38

38 In Métodos de Pesquisa em Ciências Sociais, p. 151 e 152.

41

10. BIBLIOGRAFIA

BARZELAY, M.; “Instituições Centrais e Auditoria de Desempenho: Uma Análise Comparativa das Estratégias Organizacionais na OCDE”.

BECKER, H.; “Métodos de Pesquisa em Ciências Sociais”; Segunda Edição; São Paulo; Editora Hucitec, 1994.

BRASIL. FUNDAÇÃO DE AMPARO À PESQUISA DO ESTADO DO RIO DE JANEIRO; “Indicadores Sociais do Estado do Rio de Janeiro”; Fundação de Amparo à Pesquisa do Estado do Rio de Janeiro; Rio de Janeiro; 1982.

BRASIL. FUNDAÇÃO CESGRANRIO; “ENSAIO: Avaliação e Políticas Públicas em Educação”; Fundação Cesgranrio; Rio de Janeiro; v.1, n.2 (jan./mar. 1994); 1994.

BRASIL. TRIBUNAL DE CONTAS DA UNIÃO; “Avaliação do Programa de Saúde da Família – PSF”; Tribunal de Contas da União; Brasília: TCU, Secretaria de Fiscalização e Avaliação de Programas de Governo, 2002.

BRASIL. TRIBUNAL DE CONTAS DA UNIÃO; “Avaliação do TCU sobre as ações de atendimento à pessoa idosa”; Tribunal de Contas da União; Brasília: TCU, Secretaria de Fiscalização e Avaliação de Programas de Governo, 2002.

BRASIL. TRIBUNAL DE CONTAS DA UNIÃO; “Avaliação do TCU sobre as ações de detecção e correção de problemas visuais”; Tribunal de Contas da União; Brasília: TCU, Secretaria de Fiscalização e Avaliação de Programas de Governo, 2002.

BRASIL. TRIBUNAL DE CONTAS DA UNIÃO; “Avaliação do TCU sobre o Programa de Erradicação do Trabalho Infantil”; Tribunal de Contas da União; Brasília: TCU, Secretaria de Fiscalização e Avaliação de Programas de Governo, 2002.

BRASIL. TRIBUNAL DE CONTAS DA UNIÃO; “Avaliação do TCU sobre o Programa Irrigação e Drenagem”; Tribunal de Contas da União; Brasília: TCU, Secretaria de Fiscalização e Avaliação de Programas de Governo, 2002.

BRASIL. TRIBUNAL DE CONTAS DA UNIÃO; “Manual de Auditoria de Natureza Operacional”; Tribunal de Contas da União; Brasília: TCU, Coordenadoria de Fiscalização e Controle, 2000.

BRASIL. TRIBUNAL DE CONTAS DO ESTADO DO RIO DE JANEIRO; “TCE-RJ e Análise das Contas Públicas: Avaliação de Resultados e Qualidade de Vida”; Tribunal de Contas do Estado do Rio de Janeiro; Cuiabá; TCE-RJ, gabinete Conselheiro Nader, 2001.

42

BRASIL. TRIBUNAL DE CONTAS DO ESTADO DO RIO DE JANEIRO; “Tópicos Gerais dos Estudos Sócio-econômicos de Municípios: 1997-2001”; Tribunal de Contas do Estado do Rio de Janeiro; Rio de Janeiro: TCE-RJ, Secretaria Geral de Planejamento; Mimeo.

CARLEY, M.; “Indicadores Sociais: Teoria e Prática”; Zahar Editores; Rio de Janeiro; 1985.

CRUZ, F.; “Auditoria Governamental”; Ed. Atlas; São Paulo; 2ª edição; 2002.

FILHO, A. & OLINQUEVITCH, J.L.; “Análise de Balanços para Controle Gerencial: Enfoque sobre o fluxo de caixa e previsão de rentabilidade”; Ed. Atlas; São Paulo; 3ª edição; 1993.

FIRME, T.; “Avaliação: Tendências e Tendenciosidades”, In: ENSAIO: Avaliação e Políticas Públicas em Educação; Fundação Cesgranrio; Rio de Janeiro; v.10, n.37 (out./dez. 2002); 2002.

FREITAS, C.; “Estratégias de Auditoria de Desempenho Governamental: Proposta de um Modelo Analítico”; Mimeo.

FREITAS, C.; “Notas de Aula – Curso Auditoria de Desempenho”; Mimeo, FGV; Rio de Janeiro, 2003.

JANNUZZI, P.; “Indicadores Sociais no Brasil”; São Paulo; editora Alínea, 2001.

MORAES, A. (Org); “Constituição da República Federativa do Brasil de 5 de outubro de 1988”; Ed. Atlas; São Paulo; 20ª edição; 2ª Tiragem; 2003.

MESQUITA, R., ALBUQUERQUE, G. & SENNA, E.; “Avaliação da Ação dos Governos Municipais”; TCE-RJ; Rio de Janeiro. Mimeo

MESQUITA, R.; “Emenda Constitucional 25: Lei de Responsabilidade Fiscal, Controle Social”; TCE-RJ; Rio de Janeiro, 2001.

MESQUITA, R.; “Novo Enfoque do exame das Contas Públicas”; TCE-RJ; Rio de Janeiro. Mimeo.

MESQUITA, R. & ALBUQUERQUE, G.; “Planos e Instrumentos de Planejamento – PPA, LDO e LOA – Pontos Controversos”; TCE-RJ; Rio de Janeiro. Mimeo.

MUCCHIELLI, A.; “Les Méthodes Qualitatives”; Presses Universitaires de France; Paris; 1ª edição; 1991.

PRAZERES, P.; “Dicionário de Termos da Qualidade”; Editora Atlas; São Paulo; 1996.

REVISTA CESGRANRIO, nº1, out/1997

43

SANDRONI, P.; “Dicionário de Economia”. São Paulo: Editora Best Seller; 1985.

SANTOS, O., RINGENBERG, D. & BERTOLOTTO, Z.; “Eficiência, Eficácia e Efetividade: Diretrizes a Nortear os Tribunais de Contas Diante da Lei de Responsabilidade Fiscal”; TCE-SC; Cuiabá; 2001.

SODERSTROM, E.; “Social Impact Assessment: Experimental Methods and Approaches”; Praeger Publishers; USA; 1981.

TEIXEIRA, R.; “O Tribunal de Contas do Estado do Espírito Santo e a Auditoria de Desempenho”; Dissertação de Mestrado, FGV; Rio de Janeiro; 2001.

WERNECK, V.; “A Velha e a Nova Questão de Avaliação”; In: ENSAIO: Avaliação e Políticas Públicas em Educação; Fundação Cesgranrio; Rio de Janeiro; v.4, n.13 (out./dez. 1996); 1996.

GOMES, R.; “Análise do Desempenho de Organizações Públicas Municipais”; ENANPAD, 1997. Mimeo.

www.kplus.com.br