avaliaÇÃo programas orÇamentÁrios dea · retirado pela esaf. avaliação de programas...

AVALIAÇÃO DE PROGRAMAS ORÇAMENTÁRIOS COM EMPREGO DA

ANÁLISE DE ENVOLTÓRIA DE DADOS

RETIRADO PELA ESAF

Retirado pela esaf

2004

“AVALIAÇÃO DE PROGRAMAS ORÇAMENTÁRIOS COM EMPREGO DA ANÁLISE DE ENVOLTÓRIA DE DADOS”

RESUMO

Retirado pela Esaf. Avaliação de Programas Orçamentários com Emprego da Análise de

Envoltória de Dados.

Este trabalho de pesquisa aborda a utilização de métodos de programação

matemática na avaliação de programas orçamentários. Por meio de um estudo de caso,

procura averiguar até que ponto a Análise de Envoltória de Dados, conjugada aos propósitos

gerenciais da Contabilidade Governamental, pode produzir informações que suportem

decisões sobre planejamento, controle e alocação de recursos orçamentários no Programa Rio

Creche da Prefeitura da Cidade do Rio de Janeiro.

O trabalho foi estruturado em 7 capítulos. No primeiro, é feita a introdução, é

descrito o objetivo e são apresentadas as justificativas para a pesquisa. No 2.o, é feita uma

revisão sobre os conceitos de avaliação de programas orçamentários, empregados no

planejamento e controle governamental brasileiro. No 3.o capítulo, são discutidos aspectos da

avaliação de eficiência do Programa Rio Creche e, no 4ocapítulo, é apresentada a metodologia

Análise de Envoltória de Dados. O 5.o capítulo descreve e analisa os resultados da aplicação

da Análise de Envoltória de Dados ao conjunto de unidades do Rio Creche. No 6.o, é

apresentada a conclusão da pesquisa e são feitas recomendações para futuras pesquisas e, no

7.o, as referências adotadas.

De acordo com os resultados apresentados na pesquisa, conclui-se que a DEA

pode auxiliar a geração de informações que suportem decisões sobre planejamento, controle e

alocação de recursos orçamentários no Programa Rio Creche, uma vez que ele fornece

critérios para formulação e acompanhamento dos convênios e ajuda gerentes a investigar e

detectar as causas dos desvios em relação aos padrões de desempenho estabelecidos, bem

como a identificar as melhores práticas.

1 INTRODUÇÃO

O presente trabalho aborda as atividades de controle e avaliação de programas

orçamentários, sobretudo na aferição da eficiência dos gastos públicos no orçamento da

Prefeitura do Rio de Janeiro. O estudo será aplicado no Programa Rio Creche, gerido pela

Secretaria Municipal de Desenvolvimento Social, em 2001.

1.1 Apresentação

Programas orçamentários se caracterizam pela utilização de múltiplos fatores

de produção na prestação de serviços.

A gestão por programas requer com freqüência a transferência de

responsabilidades e redistribuição de recursos orçamentários. Neste contexto, a Contabilidade

Governamental, entendida como especialização da Ciência Contábil, deve estudar, orientar,

controlar e demonstrar a organização e execução dos programas governamentais, o

patrimônio público, colocado à sua disposição, e as respectivas variações.

Este é um estudo sobre controle, coordenação e avaliação de eficiência na

alocação de recursos do Programa Rio Creche, da Prefeitura da Cidade do Rio de Janeiro.

A metodologia básica, os objetivos, e a forma de apresentação da pesquisa

serão detalhadamente descritos nos capítulos que se seguem, mas podem ser brevemente

resumidos nesta apresentação.

1.2 Justificativa

Para que a Contabilidade auxilie a coordenação dos programas governamentais

e suas unidades componentes, bem como forneça informações para planejamento e controle

das operações, deve ser auxiliada por um sistema de mensuração de performance e avaliação

de desempenho organizacional que possibilite a identificação das melhores práticas, a serem

disseminadas no orçamento.

As melhores práticas possibilitam a determinação da alocação eficiente dos

recursos orçamentários entre as unidades componentes de cada programa governamental. A

alocação pode ocorrer tanto por meio de aplicação direta de recursos, em unidades próprias da

Administração Pública, ou por meio de transferências às organizações da sociedade civil, em

unidades comunitárias.

A avaliação de desempenho das unidades que compõem cada programa, e a

conseqüente identificação das melhores práticas, requer a comparação das múltiplas e

diversas composições de insumos e serviços, sendo, portanto, de difícil mensuração.

1.3 Objetivo

No estado da arte atual, a técnica denominada Análise de Envoltória de Dados,

Data Envelopment Analysis (DEA), vem sendo utilizada para a mensuração comparativa de

eficiência de unidades componentes dos programas governamentais. Neste sentido, é de se

supor que o seu emprego, conjugado à Contabilidade, produza informações gerenciais que

suportem a alocação dos recursos orçamentários.

O objetivo deste trabalho de pesquisa é averiguar até que ponto a Análise de

Envoltória de Dados, conjugada aos propósitos gerenciais da Contabilidade Governamental,

produz informações que suportem decisões sobre planejamento, controle e alocação de

recursos orçamentários no Programa Rio Creche.

2

2 AVALIAÇÃO DE DESEMPENHO DE PROGRAMAS

ORÇAMENTÁRIOS

Este capítulo aborda a avaliação de desempenho de programas orçamentários

no contexto da Contabilidade e seus reflexos no planejamento e no controle governamental.

2.1 Contabilidade Governamental

De acordo com o IBRACON (1986, p. 10-11), o objetivo principal da

Contabilidade é permitir, a cada grupo de usuários, a avaliação econômica e financeira das

entidades, num sentido estático, bem como fazer inferências sobre tendências futuras. Este

objetivo deve ser aderente, de alguma forma explícita ou implícita, àquilo que os usuários

consideram importante para seu processo decisório.

Reis (1996) ressalta que, ao estender os Princípios Fundamentais da

Contabilidade, enunciados pela Resolução 750, à área governamental, foi possível obter

avanços que contribuíram para a melhoria da qualidade das informações contábeis

disponibilizadas aos contribuintes, em obediência ao mandamento constitucional.

Conforme a Lei 4.320/64, são objetivos da organização dos serviços de

Contabilidade governamental:

“Art. 83 – A contabilidade evidenciará perante a Fazenda Pública a situação de todos quantos, de qualquer modo, arrecadem receitas, efetuem despesas, administrem ou guardem bens a ela pertencentes ou confiados. Art. 85 – Os serviços de contabilidade serão organizados de forma a permitirem o acompanhamento da execução orçamentária, o conhecimento da composição patrimonial, a determinação dos custos dos serviços industriais, o levantamento dos balanços gerais, a análise e a interpretação dos resultados econômicos e financeiros”.

A legislação impõe que a Contabilidade seja organizada de forma que se

constitua instrumento de informação para a administração. Segundo os referidos artigos da

Lei 4.320/64, o Sistema de Contabilidade Governamental deve ser constituído dos seguintes

subsistemas:

3

I. Contabilidade Orçamentária – tem a finalidade de acompanhar e

demonstrar a execução do orçamento da receita e da despesa, inclusive as

alterações que porventura o orçamento sofra por injunções da própria

execução.

II. Contabilidade Financeira – tem a finalidade de acompanhar e demonstrar

o fluxo de caixa, no período financeiro, resultante da execução do

orçamento, bem como dos recebimentos e pagamentos extra-

orçamentários.

III. Contabilidade Patrimonial – tem a finalidade de acompanhar e

demonstrar a situação patrimonial da entidade governamental,

demonstrar os resultados financeiro e patrimonial obtidos durante o

período financeiro; e

IV. Contabilidade de Custos – tem a finalidade de apurar, analisar e

demonstrar os custos dos serviços ou produtos oferecidos pela entidade

governamental.

No subsistema de Contabilidade Orçamentária, por exemplo, comparações

entre a despesa orçada e o volume de despesa empenhada, permitem adoção de medidas tais

como a abertura de créditos adicionais suplementares, quando o saldo da despesa empenhada

no período não comporta mais uma nova despesa que se queira realizar. Entretanto, o sistema

não permite identificar as causas que determinaram um volume de gastos maior que o valor

originariamente orçado. As causas, segundo Reis (1986, p.27), só se poderão conhecer

mediante a alocação de um sistema de avaliação que seja voltado para este tipo de

preocupação, não importando se trata de projeto ou atividade.

Com o advento da Lei Complementar n.o.101, a Lei de Responsabilidade

Fiscal-LRF, acirrou-se o debate sobre a gestão governamental. O texto legal enfatiza o

planejamento e o orçamento, o controle de recursos para a as ações governamentais, o

equilíbrio entre a receita e a despesa, a transparência da gestão fiscal e a responsabilização

dos dirigentes pelo não cumprimento de seus preceitos.

Sem um sistema de contabilidade que possibilite informações consistentes e de

um sistema de medidas de padrões de desempenho dificilmente a administração pública

conseguirá controlar e avaliar a gestão governamental. (REIS, 1988, p.5-6)

4

2.2 Planejamento Governamental

Para Martins da Silva (1998, p.47), o planejamento é o processo racional em

que são definidos os objetivos e determinados os meios para alcançá-los, enquanto o

orçamento é o plano de trabalho governamental, expresso em termos monetários, que

evidencia a política econômico-financeira do Governo e em cuja elaboração foram observados

os princípios da unidade, universalidade, anualidade, especificação, dentre outros.

O orçamento deve refletir o planejamento em que figuram estratégias e

políticas, objetivos e metas, conjugados com recursos financeiros, materiais, técnicos e

humanos. O orçamento possibilita a consecução das finalidades da instituição, ou seja,

interliga o planejamento e as finanças. (REIS, 1986, p.2)

O Sistema Orçamentário é integrado pelos seguintes instrumentos: Plano

Plurianual, Diretrizes Orçamentárias e o Orçamento Anual. O Plano Plurianual é o

instrumento utilizado para o planejamento estratégico e deve refletir a política e os propósitos

estratégicos a serem atingidos. Os demais instrumentos compõem o planejamento

operacional. As Diretrizes Orçamentárias estabelecem as metas e prioridades da

administração a partir da identificação das necessidades da sociedade e a forma de satisfazê-

las. O Orçamento Anual considera os recursos reais disponíveis, sejam humanos, materiais,

de equipamentos ou de tecnologia, para o desenvolvimento dos programas num determinado

intervalo de tempo. (BRASIL - Constituição Federal da República, 1988, art. 165)

Consoante com os princípios orçamentários, estabelecidos na Constituição

Federal, o planejamento governamental pode ser classificado em estratégico e operacional.

No planejamento estratégico são definidas as diretrizes, objetivos e metas da Administração

Pública e no planejamento operacional são dimensionados os problemas e recursos e

formulada a solução técnica, de curto prazo, a partir das opções políticas delineadas pelo

planejamento estratégico. (MARTINS DA SILVA, 1998, p.42).

2.2.1 Orçamento-programa

A principal característica do orçamento-programa, que o distingue dos

chamados métodos tradicionais, é a ênfase no objetivo dos gastos, em vez de simples

preocupação com a categoria do dispêndio. Surge da preocupação com a eficiência dos gastos

governamentais. Não obstante, apresenta como premissa básica o estabelecimento prévio do

5

objetivo do gasto. Conseqüentemente, exige que os objetivos e recursos utilizados para a

implantação do orçamento sejam quantificados por programa. A quantificação dos objetivos

deve ser expressa em termos de metas a serem atingidas em períodos de tempo

predeterminados. (REZENDE, 2001, p.99)

No orçamento-programa, a classificação por programas, projetos e atividades e

a explicitação das metas físicas orçamentárias viabilizam os testes de eficácia, enquanto a

incorporação dos custos, estimativos (no orçamento) e efetivos (na execução) auxilia as

avaliações da eficiência. (GIACOMONI, p.240)

De acordo com a portaria n.º 42, de 14 de abril de 1999, do Ministério de

Orçamento e Gestão (MOG), o orçamento-programa é estruturado hierarquicamente por

função, subfunção, programa, projeto e atividade.

6

Para efeito da referida portaria n.º 42:

I. Função - representa o maior nível de agregação das diversas áreas de

despesa que competem ao setor público.

II. Subfunção - representa uma partição da função, visando agregar

determinado subconjunto de despesa do setor público. As subfunções

poderão ser combinadas com funções diferentes daquelas a que estejam

vinculadas.

III. Programa - é o instrumento de organização da ação governamental

visando à concretização dos objetivos pretendidos, sendo mensurado por

indicadores estabelecidos no plano plurianual.

IV. Projeto - é um instrumento de programação para alcançar o objetivo de

um programa, que envolve um conjunto de operações, limitadas no

tempo, das quais resulta um produto que concorre para a expansão ou o

aperfeiçoamento da ação de governo.

V. Atividade - é um instrumento de programação para alcançar o objetivo de

um programa, envolvendo um conjunto de operações que se realizam de

modo contínuo e permanente, das quais resulta um produto necessário à

manutenção da ação de governo.

No Quadro 1, são apresentados dois exemplos de classificações adotadas no

orçamento da Prefeitura do Rio, no Programa Rio Creche, em 2001 e 2002.

Quadro 1 – Classificações Adotadas pela Prefeitura Rio para o Rio Creche

Nível Classificatório Nomenclatura adotada em 2001

Nomenclatura adotada em 2002

Função Assistência Social Educação

Subfunção Administração Geral Educação Infantil

Programa Gestão Rio Creche Rede de Serviços Assistenciais

Projeto/Atividade Pessoal Creches Projeto Rio Criança Maravilhosa

Como se observa no Quadro 1, em 2001, o Rio Creche foi um dos programas

que compuseram a função Assistência Social. No nível classificatório projeto/atividade, foi

7

apresentada como exemplo, a atividade de alocação de pessoal nas creches. No entanto, no

ano de 2002, o Rio Creche passou a integrar a função Educação e deixou de ser programa e

passou a ser um projeto do programa Rede de Serviços Sociais.

2.2.2 Mensuração das Operações Governamentais

O acompanhamento e controle do orçamento tem por objetivo medir o trabalho

e seus resultados, estabelecendo relações entre o emprego dos recursos e metas

alcançadas. Segundo Reis (1986, p.12), a mensuração tem por finalidade:

I. Estabelecer a base física para a estimativa das despesas;

II. Permitir, em termos físicos, conhecer a carga de trabalho a realizar;

III. Permitir controle operacional mais preciso e comparar as realizações

físicas com os desembolsos de dinheiro;

IV. Facilitar o ajustamento dos planos às contingências da execução;

V. Reforçar o processo de tomada de decisões nos diferentes níveis de

governo;

VI. Possibilitar o intercâmbio de informações entre os sistemas de

planejamento e o de finanças;

VII. Permitir melhor conhecimento em termos quantitativos das metas

governamentais.

Segundo Reis (1988, p. 10-17), a avaliação do orçamento-programa deve ser

realizada por nível de mensuração, conforme apresentado no Quadro 2.

8

Mediante a técnica de orçamento-programa, as medidas de avaliação devem ser

estabelecidas hierarquicamente e diferenciadas, conforme o nível da abrangência do

planejamento.

Quadro 2 – Características de mensuração do orçamento-programa

Fonte: Adaptado de REIS, H.C. Sistema de Controle Interno e Avaliação de Desempenho Governamental. IBAM, Rio de Janeiro, v.23, n. 135, mar-abr 1988.

A avaliação do orçamento-programa por função, em razão da amplitude e do

elevado nível de agregação de objetivos, deve objetivar a apuração das vantagens sociais e

econômicas e a relação custo/benefício por áreas de ação governamental, enquanto que, na

avaliação por programa, devem ser verificados os produtos fornecidos ao público, por meio de

uma verificação da eficácia governamental, em termos de objetivos gerais de planejamento.

Por fim, na avaliação por projetos e/ou atividades, busca-se verificar o esforço desenvolvido

para a obtenção do resultado final, o que constitui a avaliação da eficiência dos programas de

governo. Como descrito na portaria MOG n.º 42, projetos e atividades constituem

instrumentos dos programas, enquanto que projetos visam ampliar os objetivos dos programas

e as atividades visam dar manutenção às ações do governo.

* Custo/Benefício * Determinação das vantagens sociais e

econômicas 1 - Função

* Nível decisório: alto nível político * Produtividade

* Determinação do produto fornecido ou a ser fornecido ao público * Nível decisório: alto nível

administrativo 2 - Programa

* Unidade de medida: expressão do produto ou meta, unidade de resultado

* Eficiência * Determinação do esforço

desenvolvido para a obtenção do resultado final

* Nível decisório: nível médio administrativo ou de execução

Níveis de Mensuração no

Orçamento-Programa

3 - Projeto ou Atividade

* Unidade de medida: expressão do esforço realizado; unidade de volume

de trabalho

9

As medidas estabelecidas para os projetos e/ou atividades podem ser

consideradas etapas intermediárias de metas mais gerais de longo prazo, fixadas para os

programas. Usualmente, na avaliação de eficiência, procura-se analisar se cada programa é

executado com minimização dos custos operacionais. (REZENDE, 2001, p.117)

A seguir serão revistos aspectos relativos ao estabelecimento de unidades de

medidas para avaliação do orçamento-programa.

2.2.3 Unidades de medidas

Por meio da mensuração dos insumos (inputs) e dos produtos (outputs) é

possível criar medidas e padrões de grande utilidade para a tomada de decisões dentro do

processo orçamentário. Segundo Giacomoni (1996, p.158), as unidades de mensuração são de

dois tipos principais: unidades de insumos (inputs) e unidades de produtos (outputs). Estas, por sua vez, classificam-se em unidades de produtos intermediários e unidades de produtos

finais. A distinção entre o produto intermediário e o produto final é importante tendo em vista

as necessidades dos diferentes níveis de mensuração.

Freqüentemente, ocorrem dificuldades na escolha da unidade de medida que

represente o produto final, no nível de mensuração de programas. Pois, o produto final de um

Programa é o seu resultado e não simplesmente o que é produzido em termos de ação-meio.

Em certos casos, é impossível identificar a unidade do produto final do programa, situação

freqüente no caso de programas de assistência social.

As unidades de insumos são as que mais facilmente podem ser identificadas. A

mensuração dos inputs ocorre em termos de projetos e atividades do orçamento-programa.

Sendo assim, na avaliação de projetos e atividades, o importante é estabelecer a relação entre

os insumos e os produtos intermediários.

10

Gustavo Acuña distingue três tipos de unidades de medida:

I. Medidas de volume de trabalho: as quais se expressam em unidades de

medição do trabalho que refletem o volume de ações internas que se

executam em um organismo para conseguir os resultados previstos.

Relaciona-se, por exemplo, com o número de atendimentos mensais

realizados em cada creche e não com o número de crianças que

concluíram sua passagem pelo Programa Creche e ingressaram na Pré-

escola;

II. Medidas de produto final: refletem os resultados da atividade ou trabalho de

uma organização e tem por objetivo direto atingir a meta fixada.

Representam os bens e serviços concretos proporcionados à comunidade.

Refere-se, por exemplo, ao número de crianças que concluíram sua

passagem pelo Programa de Creche e ingressaram na Pré-escola e não ao

número de atendimentos mensais realizados em cada creche; e

III. Medidas de realizações: refletem os efeitos dos resultados obtidos de um

programa, em termos dos objetivos traçados pela política governamental,

para satisfazer uma necessidade pública. Este tipo de medida relaciona-se,

por exemplo, com a diminuição da percentagem de crianças e famílias em

situação de risco e não com o número de atendimentos mensais realizados

em cada creche ou com o número de crianças que concluíram sua

passagem pelo Programa Creche e ingressaram na Pré-escola.

(ORGANIZAÇÃO DOS ESTADOS AMERICANOS (OEA), 1975, p.53-

4)

2.3 Controle Governamental

O controle é uma das funções administrativas já prevista pelo paradigma da

administração científica que fundamenta a Escola Clássica iniciada por Fayol e Taylor.

Segundo Meirelles (1978, p.618), na administração pública, o controle é a faculdade de

vigilância, orientação e correção que um Poder, órgão ou autoridade exerce sobre a conduta

de outro.

11

O controle, através de relatórios e orçamentos, reflete o esforço contínuo para

se obter informações sobre o desempenho organizacional e para avaliá-lo. Esse esforço é

particularmente importante nas organizações públicas, pois não há um sistema de preços para

orientar os administradores e o meio político lhes envia muitos sinais freqüentemente

contraditórios. Além das metas estratégicas, o processo de controle gerencial ocupa-se em

avaliar a realização de objetivos. Enquanto as metas se relacionam com considerações

externas ou políticas, o enfoque dos objetivos é basicamente interno e caracteriza o exercício

da discricionariedade gerencial em operações do governo. (GRAHAM; HAYS, 1994, p.206)

Na administração pública brasileira, o controle abrange não apenas os atos do

Poder Executivo, mas todos os atos dos três poderes quando exercendo atividade

administrativa. A finalidade do controle é garantir que a administração atue de acordo com os

princípios explícitos e implícitos na Constituição Federal que são: legalidade, moralidade,

finalidade pública e, mais recentemente introduzido, o princípio da eficiência.

A Emenda Constitucional n.º 19/1998 alterou a redação do art. 241,

acrescentado o princípio da eficiência: “...poderá exigir da administração pública o

cumprimento de suas obrigações da forma mais eficiente possível”. Este princípio, segundo

Moraes (2001, p.309), compõem-se das seguintes características básicas: direcionamento da

atividade e dos serviços públicos à efetividade do bem comum, imparcialidade, neutralidade,

transparência, participação e aproximação dos serviços públicos da população, eficácia,

desburocratização e busca da qualidade.

2.3.1 Tipos de controle

O sistema de controle deve assegurar o uso racional dos recursos públicos, por

meio de avaliações dos custos para a consecução das metas traçadas em comparação aos

benefícios esperados para as mesmas. (MARTINS DA SILVA, 1998, p.42-47).

Para Reis (1988, p.10), o controle governamental tem o propósito de:

acompanhar a execução e apontar as falhas e desvios dos programas; velar pela boa utilização,

manutenção e guarda dos bens patrimoniais; verificar a perfeita aplicação das normas e dos

princípios adotados e constatar a veracidade das operações realizadas.

A Constituição Federal de 1988, no artigo 70, estabelece: “a fiscalização

financeira e orçamentária da União será exercida pelo Congresso Nacional mediante controle

externo e pelos sistemas de controle interno do Poder Executivo, instituídos por lei”. Este

12

constitui o enfoque relativo ao órgão responsável pela realização do controle e está presente

em todas as normas legais.

O controle externo, exercido pelo Poder Legislativo, tem como objetivo

verificar a probidade da gestão, a guarda e legal emprego dos dinheiros públicos e o

cumprimento da Lei de Orçamento.

O controle interno, exercido pelos três Poderes de forma integrada, tem por

objetivos:

I. Avaliar o cumprimento das metas previstas no plano plurianual, a

execução dos programas de governo e dos orçamentos da União;

II. Comprovar a legalidade e avaliar os resultados quanto a eficácia e

eficiência da gestão orçamentária, financeira e patrimonial nos órgãos e

entidades da Administração Pública, conforme esfera governamental,

bem como da aplicação de recursos públicos por entidades de direito

privado;

III. Exercer o controle das operações de crédito, avais e garantias, bem

como dos direitos e haveres da entidade governamental;

IV. Apoiar o controle externo no exercício de sua missão institucional.

2.3.2 Desempenho governamental

O controle interno, conforme disposto no artigo 74 da Constituição Federal da

República, tem a finalidade de avaliar o desempenho governamental na execução do plano

plurianual e do orçamento nos aspectos da eficiência, economicidade, eficácia e efetividade.

Segundo Reis (1988, p.6), o sistema de avaliação de desempenho

governamental tem as seguintes finalidades:

I. certificar-se até que ponto metas e objetivos entregues à responsabilidade

da direção foram cumpridos;

II. investigar e identificar as causas dos desvios detectados em relação aos

padrões de desempenho estabelecidos;

III. providenciar soluções adequadas para cada caso, no sentido de corrigir os

desvios detectados;

13

IV. sugerir medidas que motivem a melhoria do desempenho;

V. permitir que comparações sejam feitas entre os vários setores da

organização.

Os padrões de desempenho oferecem a base de comparação entre o

desempenho efetivo e o planejado. A multiplicidade de objetivos, que acarreta a conjugação

de padrões, e a necessidade de atrelar aos objetivos medidas quantitativas constituem

dificuldades para a fixação de padrões de desempenho. Segundo Reis (1988, p.7), os padrões

de desempenho podem ser classificados em três grupos:

I. físicos, que incluem quantidades físicas de produtos e serviços a serem

produzidos;

II. monetários, que são expressos em moeda, incluem os custos de mão-de-

obra, de materiais e outros;

III. tempo, que abrange a rapidez com que os trabalhos devem ser feitos ou as

datas-limite em que devem ser terminados.

2.3.3 Enfoques do sistema de controle

Segundo Piscitelli (1988), são quatro os enfoques essenciais do sistema de

controle, na Administração Pública:

I. a revisão, a verificação das operações sob o aspecto eminentemente

contábil, formal e legal (este constitui o enfoque que mais tem sido

levado em conta no controle interno e externo);

II. a eficiência, que concerne aos meios empregados, aos recursos

utilizados para a consecução dos objetivos (a falta de um sistema de

Contabilidade de Custos impede a fixação das medidas de

desempenho, fundamentais para a implementação da eficiência. Logo,

para este enfoque ser implementado no sistema de controle, é

requerido o aperfeiçoamento da Contabilidade Governamental);

III. a eficácia, a verificação do produto, dos programas, dos fins

perseguidos (requer informações para acompanhamento físico-

14

financeiro das atividades e projetos e deve ser conjugada com a

eficiência); e

IV. a avaliação dos resultados, o julgamento da própria administração

(envolve a efetividade da Administração. Por este enfoque,

prevalece o questionamento dos objetivos e diretrizes definidas, além

das possibilidades operacionais dos controles de eficiência e eficácia).

(PISCITELLI, 1988, p.33)

No entendimento de Piscitelli (1988, p.33), a eficiência é obtida quando há o

máximo de aproveitamento dos insumos1 nas operações e a eficácia quando há o cumprimento

das metas propostas. A efetividade requer que os benefícios decorrentes das ações do órgão

ou entidade alcance os resultados esperados pela comunidade. A eficiência e eficácia, neste

sentido, representam aspectos tangíveis, mensuráveis objetivamente, enquanto a efetividade

diz respeito a aspectos de natureza política. No que tange à natureza política do controle,

procura-se verificar se o dispêndio deveria ter sido realizado, se correspondia à melhor opção,

qual o melhor modo de realizá-lo e o seu efetivo grau de prioridade.

A avaliação da eficiência governamental busca considerar os resultados em

face dos recursos disponíveis e, para tal, deve representar as realizações por meio de índices e

indicadores de desempenho e com padrões já alcançados anteriormente. A avaliação de

eficácia procura considerar o grau em que os objetivos e as finalidades do governo são

alcançados dentro da programação orçamentária. (RAMOS, p.44)

Em razão da pluralidade de definições, Pinheiro apud Reis (1992, p.6-16)

propõe um consenso entre os conceitos de eficiência, eficácia, efetividade e economicidade

empregados na avaliação de desempenho governamental:

“Eficiência: está relacionada a custo, à forma pela qual os meios são geridos. É a otimização dos recursos disponíveis, através da utilização de métodos, técnicas e normas, visando o menor esforço e o menor custo na execução das tarefas. A eficiência é, pois, um critério de desempenho. Eficácia: diz respeito ao atingimento dos objetivos e metas. Sua preocupação é com resultados. Se uma organização tem claramente definidos seus objetivos e estes são atingidos, a organização é eficaz. Efetividade: refere-se à preocupação da organização com seu relacionamento externo, sua sobrevivência e atendimento das

1 A rigor, insumos são fatores que se esgotam durante o processo de produção. Assim, todo insumo é um fator de produção e nem todo fator de produção é um insumo. Contudo, nesta pesquisa empregamos o significado corrente que trata como sinônimos os termos insumos e fatores de produção.

15

necessidades sociais, pressupondo ainda certo grau de eficiência e eficácia. Economicidade: refere-se aos prazos e condições nos quais são obtidos os recursos físicos, humanos e financeiros. Uma operação econômica pressupõe recursos em qualidade, quantidade, menor custo e a tempo hábil”.(PINHEIRO apud REIS, 1992, p.6-16)

2.3.4 Avaliação de programas

Em várias ocasiões, programas são integrados por um número significativo de

unidades, que congregam múltiplos inputs e outputs. As funções individuais que transformam

inputs em outputs nem sempre são conhecidas e há interesse em alcançar medidas relevantes

de eficiência e efetividade organizacional. Em resumo, neste trabalho, programas são

entendidos como organizações que necessitam ter seus desempenhos avaliados e nos quais

procura-se alocar os recursos disponíveis de forma eficiente.

Programas requerem avaliações realizadas permanentemente e apresentam

amplo espectro, não se limitando, naturalmente, a questões de natureza econômica. Em razão

do horizonte de vigência dos programas2, que em geral transcende aos anos fiscais e

orçamentários, deve ser considerada a natureza dinâmica dos programas e incluir a dimensão

tempo nas respectivas avaliações de desempenho. Para se obter comparabilidade, avaliar

tendências e gerar informações que indiquem como reajustar os esforços para o cumprimento

dos objetivos, é necessário que as avaliações incidam sobre um período de tempo igual ou

superior a cinco anos.

Conforme assinalam Marinho e Façanha (2001), não raramente, observa-se

alternância do foco das discussões sobre avaliações de programas. Por vezes, as discussões

voltam-se exclusivamente para preocupações com os resultados e impactos sociais desejados

de políticas e, por outras, para considerações de restrições de recursos, o que se dá por

questões legítimas, mas tende a limitar entendimentos, assim como esclarecimentos úteis e

indispensáveis, acerca dos complexos problemas de gerenciamento envolvidos no caso.

No que diz respeito aos questionamentos sobre dimensões desejáveis de

desempenho de programas, é comum encontrar na literatura especializada diversas referências

sobre efetividade, eficiência e eficácia. No uso corrente, a efetividade diz respeito à

2 Enquanto as Diretrizes Orçamentárias referem-se ao exercício financeiro seguinte e o Orçamento compreende o período de um ano, as diretivas do Plano Plurianual abrangem um período que costuma variar entre quatro e cinco anos.

16

capacidade de se promover resultados pretendidos; a eficiência denota competência para se

produzir resultados com dispêndio mínimo de recursos e esforços; e a eficácia, por sua vez,

remete a condições controladas e a resultados desejados de experimentos, critérios que, deve-

se reconhecer, não se aplicam automaticamente às características e realidade dos programas.

(MARINHO, FAÇANHA, 2001)

17

3 MENSURAÇÃO DE EFICIÊNCIA NO PROGRAMA RIO CRECHE

Neste capítulo, são reunidas justificativas para utilização da técnica da Análise

de Envoltória de Dados na avaliação de eficiência do Programa Rio Creche.

3.1 Programa Rio Creche

O Rio Creche objetiva garantir o desenvolvimento social, físico, emocional e

intelectual das crianças que estejam em situação de risco e/ou de pobreza absoluta, atendendo

às suas necessidades e às de suas famílias. No Rio Creche, são atendidas crianças de 0 a 3

anos e 11 meses de idade. As crianças que completarem 4 anos até 28 de fevereiro do ano da

matrícula, são encaminhadas automaticamente para as pré-escolas da Secretaria Municipal de

Educação.

São considerados casos de situação de risco as crianças portadoras do vírus

HIV, as que sofrem de desnutrição, violência doméstica, doença crônica, e as que têm pais

dependentes químicos, presidiários ou ex-presidiários. É considerada situação de pobreza

absoluta a renda familiar de até dois salários mínimos.

O Programa Rio Creche, em 210 unidades, atendeu, no ano de 2001, uma

média mensal de 18.052 crianças, distribuídas geograficamente de acordo com a percepção da

necessidade social dos responsáveis pela gestão do programa.

O Rio Creche é um programa de Assistência Social, que, como define a Lei

Orgânica de Assistência Social (LOAS), é a Política da Seguridade Social não contributiva,

que provê mínimos sociais, realizada através de um conjunto integrado de ações de iniciativa

pública e da sociedade para garantir o atendimento às necessidades básicas.

Para integrar as políticas sociais da Cidade do Rio de Janeiro, foi concebido o

Plano Municipal de Assistência Social, fundamentado na LOAS, e o Sistema Municipal de

Assistência Social (SIMAS), que articula as políticas sociais sobre dois eixos: promoção e

proteção social.

No eixo da promoção social, são executadas as políticas públicas setoriais nas

áreas de educação, saúde, habitação, trabalho e renda, esporte e lazer e culturas. Sobre o eixo

da proteção social, que contempla o Rio Creche, são executadas as políticas que visam

18

assegurar a todos os segmentos da população o acesso aos ativos sociais. O Rio Creche tem

destaque no eixo da proteção social por meio de ações preliminares, eliminadoras do extremo

risco social, vivido pelos segmentos expostos à vulnerabilidade e exclusão dos serviços

básicos setoriais.

É observado que as ações promocionais e protetivas, articuladas pelo SIMAS,

ocorrem de forma aglutinada por programas e descentralizadas, em suas unidades de

prestação de serviços sociais, que compõem uma ampla rede física de escolas, centros de

atendimento de assistência social, creches, hospitais e postos de saúde.

A Secretaria Municipal de Desenvolvimento Social (SMDS) é a responsável

pela coordenação do SIMAS e tem como missão buscar, através das políticas sociais

implementadas e dos serviços por ela prestados, otimizar o atendimento às demandas sociais

da Cidade.

A SMDS, neste contexto, organiza suas ações protetivas, atividades e serviços

de Assistência Social através de seis (06) programas: Programa Rio Creche, Programa Rio

em Família, Programa Rio Experiente, Programa Rio Jovem, Programa SOS Cidadania,

Programa Vem Pra Casa.

Consoante aos princípios da gestão adotados pela SMDS e com as diretrizes

estabelecidas nas Leis Federais de Assistência Social, da Saúde, da Criança e do Adolescente

e na própria Constituição da República, os programa constituem instrumentos de

planejamento integrado. Nestes instrumentos, o governo municipal e as comunidades se

articulam, inclusive por meio de convênios com organizações da sociedade civil. Vide Figura

5 – Disposição Esquemática do SIMAS.

19

Figura 5 – Disposição Esquemática do SIMAS SMDS

(Órgão Matriz, Coordenador do SIMAS)

SIMAS

Eixo de Proteção (Plano Municipal de Assistência Social)

Eixo de Promoção

SMDS+Funlar+Fundo Rio Secretarias Setoriais

Programas Sociais − Da Infância e Adolescência − Da Juventude − Do Idoso − Da Família

− De Educação − De Saúde − De Habitação − De Trabalho e Renda − De Culturas − De Esporte e Lazer

Fonte: Um estudo para elaboração de um plano de ação estratégico para enfrentamento da pobreza no Município do Rio de Janeiro. Coletânea Rio Estudo (SMDS, 2001)

3.2 Aspectos da Avaliação de Eficiência do Rio Creche

O Programa Rio Creche foi concebido e desenvolvido para atender um objetivo

genérico (reverter ou atenuar a situação de risco em que se encontram as crianças e suas

famílias), o que, a priori, é de difícil verificação.

A descentralização operacional que ocorre no Programa Rio Creche requereu

uma montagem organizacional e administrativa complexa, que leva a antever problemas de

coordenação de superação delicada, entre objetivos do Programa e objetivos dos agentes

executores, instâncias administrativas do próprio governo ou pertencentes à sociedade civil.

A ausência de uma avaliação da eficiência pode criar dificuldades na alocação

de recursos do orçamento do Programa Rio Creche a ser repassado para as múltiplas unidades,

PP e PNP, que prestam serviços nas comunidades.

Vale ressaltar também que o horizonte de vigência do Rio Creche transcende

os anos fiscais e orçamentários, o que submete o Programa a restrições globais de recursos e

20

disputas periódicas por verbas, de um lado, e de outro, em sentido positivo ou não, aos

mecanismos formais de controle das atividades governamentais.

3.2.1 Questões a serem respondidas na avaliação de eficiência

Na avaliação de eficiência do Programa Rio Creche, como em outras

instituições públicas, ocorrem problemas que a sociedade e os pesquisadores anseiam por ver

respondidos. Resumidamente, estes problemas podem ser assim discriminados:

I. Como definir, mensurar e coletar os dados?

II. Como medir o produto gerado pelo Programa?

III. Como comparar os resultados obtidos com os atingidos e atingíveis por

setores alternativos ou concorrentes?

IV. Como investir no Programa?

V. Como definir a distribuição geral dos recursos entre as unidades

componentes do Programa?

VI. Como definir os diferentes graus de contribuição dos múltiplos recursos

técnicos alocados na prestação do serviço?

Segundo Marinho (1996, p.64), a metodologia de programação matemática

denominada Análise de Envoltória de Dados, Data Envelopment Analysis (DEA), é uma

metodologia particularmente adequada, quando, devido à ausência de preços de mercado, a

importância relativa dos vários inputs e outputs empregados e utilizados pelas unidades

tomadoras de decisão não poderia ser definida, pelo menos de modo não arbitrado.

21

3.2.2 Motivação da Pesquisa

Em síntese, constituem motivações para o emprego da Análise de Envoltória de

Dados, Data Envelopment Analysis (DEA) na avaliação de eficiência do Programa Rio

Creche:

I. Existência de inventários que congregam múltiplos inputs e outputs,

para número significativo de unidades tomadoras de decisão, como é

característico em muitos programas;

II. Desconhecimento das funções individuais que transformam inputs em

outputs e que, por se tratar de uma organização complexa, não é

recomendável recorrer a especificações a priori ou simplificações a

respeito.

III. Indisponibilidade dos preços de mercado, dos inputs, dos outputs, ou de

ambos, e

IV. Interesse na obtenção de medidas relevantes de eficiência e efetividade

organizacional do conjunto de observações.

22

4 METODOLOGIA: Análise de Envoltória de Dados

A Análise de Envoltória de Dados, Data Envelopment Analysis (DEA), constitui uma metodologia de programação matemática para estimação de fronteiras de

possibilidade de produção3, que apresenta solução para o problema da avaliação de eficiência

comparativa de unidades que congreguem múltiplos inputs e outputs. Uma unidade é

considerada eficiente quando maximiza a razão entre a quantidade de outputs sobre e a

quantidade de inputs disponíveis, vide fórmula (1).

vm.Inputm ... v2.Input2 v1.Input1un.Outputn ... u2.Output2 u1.Output1

++++++ (1)

A metodologia DEA será devidamente descrita no transcorrer deste capítulo.

4.1 Avaliação de Eficiência

Existem duas abordagens tradicionais para a determinação da eficiência:

paramétrica e não paramétrica (SEIFORD; THRALL apud MOITA, 1995).

Pela abordagem paramétrica, por métodos econométricos, é desenvolvida a

função de produção teórica “ideal”. Uma medida de eficiência relativa pode ser obtida ao

comparar os outputs observados, de um dado conjunto de inputs, aos outputs “ideais”, com os

mesmos níveis de inputs. Por esta abordagem, os outputs “ideais” são calculados pela função

teórica de produção. O estabelecimento da função de produção teórica requer que seja

explicitada a relação funcional entre inputs e outputs e, em processos complexos, com

múltiplos inputs e outputs, é difícil de encontrar.

Farrell (1957) propôs que a eficiência fosse medida empiricamente. Ao invés

de utilizar o modelo funcional teórico, foram desenvolvidas medidas de eficiência não

paramétricas para unidades que congregavam múltiplos inputs. Para tal, investigou as

possibilidades do desenvolvimento de medidas de eficiência através de dois componentes: 3 De acordo com Button & Weyman-Johnes (1992) apud Marinho (1996), as três técnicas mais populares de mensuração de eficiência são: a programação paramétrica, a programação não paramétrica e a fronteiras estocásticas paramétricas.

23

eficiência técnica, que reflete a capacidade da unidade em obter o máximo de outputs para

uma quantidade de inputs fornecida, e eficiência alocativa, que reflete a capacidade da

unidade usar os inputs em proporções ótimas, considerada a diferença de preços.

4.1.1 Eficiência de Farrel

O modelo original da DEA, desenvolvido por Charnes, Cooper e Rhodes

(1978), considera explicitamente, entre suas referências fundamentais, o trabalho de Farrell

(1957). Para definir os componentes de mensuração de eficiência, Farrel (1957) desenvolveu

sua análise sobre um conjunto de unidades que utilizam dois inputs (x1 e x2) para produzir um

output (y), conforme representado na Figura 1.

Figura 1 – Mensuração de Eficiência de DMU’s com 2 Inputs e 1 Output

Fonte: adaptado de COOPER, W.W.; SEIFORD, L.M.; TONE, K. Data Envelopment Analysis: a comprehensive text with models, aplications, references and DEA-Solver Software. Norwell: Kluwer, 2000.

Na Figura 1, a curva SS’ representa a isoquanta unitária supostamente

conhecida, onde estão representadas todas as unidades eficientes. Se uma unidade utiliza as

quantidades de inputs estabelecidas no ponto P, a ineficiência técnica da unidade pode ser

representada pela distância GP, que corresponde ao montante de inputs que poderia ser

reduzido proporcionalmente sem reduzir a quantidade de outputs.

24

Usualmente, a ineficiência técnica (ITI) pode ser medida pela razão GP/0P, que

é a fração de redução que pode ser aplicada aos inputs para tornar a unidade eficiente.

Ou seja, a eficiência técnica (ETI), orientada para inputs4, de uma unidade pode

ser representada por ETI = 1 - ITI, ou de forma direta:

ETI = 0G/0P (2)

Desta forma, a eficiência técnica (ETI) constitui um indicador de eficiência de

cada unidade e poderá assumir valores entre 0 e 1. O valor 1 representa uma unidade

completamente eficiente. Por exemplo, o Ponto G representa uma unidade tecnicamente

eficiente pois está posicionado na isoquanta.

Se a razão entre os preços dos inputs também é conhecida, conforme

representado pelo segmento de reta AA’, a eficiência alocativa (AEI) também pode ser

calculada.

ATI = 0R/0G (3)

A distância RG representa a redução nos custos que poderia ocorrer na unidade

G, por reconhecer que a unidade G’ é alocativa e tecnicamente eficiente, enquanto a unidade

G é tecnicamente eficiente mas alocativamente ineficiente.

A eficiência econômica é definida pela razão:

EEI = 0R/0P (4)

EEI representa a fração de redução de custos que a unidade P pode realizar

para se tornar eficiente. Nota-se que a eficiência econômica é o produto da eficiência técnica

pela eficiência alocativa.

ETI X ATI = 0G/0P X 0R/0G = 0R/0P = EEI (5)

Na orientação para inputs, a eficiência técnica mede a fração da quantidade de

inputs que pode ser reduzida proporcionalmente sem reduzir a quantidade de outputs. Já, na

4 na orientação para inputs, a eficiência técnica mede a fração da quantidade de inputs que pode ser reduzida proporcionalmente sem reduzir a quantidade de outputs.

25

orientação para outputs, a eficiência técnica mede a fração da quantidade de outputs que pode

ser aumentada proporcionalmente sem aumentar a quantidade de inputs.

As diferenças entre as duas orientações podem ser ilustradas com a utilização

de um exemplo simples, que envolve unidades com um input (x) e um output (y), conforme

apresentado na Figura 2.

Figura 2 –Diferenças nas orientações para Inputs e para Outputs


Na Figura 2(a), estão representados a curva de eficiência, com retorno

decrescente de escala, e o ponto P, que caracteriza uma unidade ineficiente. Pela orientação

para inputs, a eficiência técnica seria dada por ET = AB / AP, enquanto que, pela orientação

para outputs, a eficiência técnica seria medida por ET = CP / CD. Assim, a avaliação de

eficiência por ambas orientações só produzirá resultados equivalentes quando houver retorno

constante de escala, como pode ser observado na 2(b), onde é válida a igualdade AB / AP =

CP / CD.

A descrição da mensuração de eficiência, orientada para outputs, pode ser

procedida por intermédio de um exemplo simples, que envolve unidades que utilizam um

único input (x) e dois outputs (y1 e y2). Novamente, ao assumir retornos constantes de escala,

a curva de possibilidade de produção unitária (ZZ’) pode ser representada em duas dimensões,

conforme apresentado na Figura 3.

26

Figura 3 –– Mensuração de Eficiência Orientada para Outputs


Como se pode observar, na Figura 3, o ponto A representa uma firma

tecnicamente ineficiente, pois está abaixo da curva de possibilidades de produção, onde se

encontram todas as firmas tecnicamente eficientes. Sendo assim, a eficiência técnica

orientada para outputs (ETO), com retorno de escala constante, pode ser medida por:

ETO = 0A / 0B (6)

Se a razão entre os preços dos inputs também é conhecida, conforme

representado pelo segmento de reta DD’, a eficiência alocativa (AEO) também pode ser

calculada.

EAO = 0B / 0C (7)

A eficiência econômica:

EEO = 0A / 0C = (0A / 0B) X (0B / 0C) = ETO X EAO (8)

27

Antes de concluir esta subseção, dois aspectos merecem ser destacados:

I. A eficiência técnica de Farrell pode ser medida como a distância dos

inputs e outputs das unidades ineficientes até a fronteira de eficiência;

II. A mensuração da eficiência das unidades, por meio de razões entre

outputs e inputs, não varia em função da substituição das unidades de

medidas dos inputs e outputs.

4.1.2 Análise de Envoltória de Dados

Pela DEA, a função de produção, lócus das unidades eficientes, é obtida por

observações empíricas. Em vez de uma unidade organizacional representativa, tem-se uma

fronteira, ou superfície representativa, de eficiência. A identificação das unidades eficientes

e, concomitantemente, das ineficientes, tem a vantagem adicional de permitir ao analista, sem

prejuízo dos procedimentos usuais, estudar as possíveis fontes de ineficiência e fazer projeção

para torná-las eficientes. (MARINHO, 1996, p.78)

Resumidamente, a DEA procura encontrar os coeficientes (u e v) que

maximizem, para cada unidade avaliada, i-ésima, a razão u` yi,/ v`xi,5, sujeita às restrições da

não negatividade dos coeficientes e da não negatividade do modelo. Para facilitar as

comparações, também é imposta a restrição que estabelece que nenhuma unidade pode ter

eficiência maior do que a unidade ou 100%.

Para cada unidade, é obtida uma medida escalar e adimensional de eficiência

em relação ao seu conjunto de referência de acordo com a ponderação mais favorável que as

restrições permitam.

4.2 Principais Modelos

A seguir, com o propósito de discriminar aspectos empregados neste trabalho

de pesquisa, serão abordados os principais modelos de Análise de Envoltória de Dados: CCR

e BCC.

5 Os inputs e outputs da i-ésima DMU são representados respectivamente por xi e yi.

28

4.2.1 O Modelo Original: CCR

Charnes et al (1978) propõem a utilização da DEA, para se obter, entre outras

medidas, fronteiras e scores de eficiência relativa. As medidas obtidas são comparativas, uma

vez que se baseiam na identificação das melhores práticas dentre os casos observados e

analisados, e, para cada caso, podem ser decompostas em medidas de ajuste e de desajuste em

relação a valores de fronteira (target) para cada input e para cada output. Essa informação é

valiosa e reveladora da consistência do desempenho de unidades e do sistema para avaliadores

e gestores.

Baseado em Charnes et al (1978), Marinho (1996) explica que a DEA constitui

uma tecnologia para transformação de um problema não convexo original de maximização de

eficiência em um problema ordinário de programação linear, constituído basicamente das

seguintes etapas:

I. o problema recíproco (de minimização de ineficiência) do problema

não convexo6 original de maximização de eficiência é transformado em

um problema ordinário de programação linear;

II. o dual deste problema linear de minimização é equivalente a um

problema ordinário de programação linear fracionária; e

III. através da utilização do dual do problema linear de minimização,

resolve-se o problema ordinário de programação

Em sua formulação original, o problema consiste em encontrar os valores de u

e v que maximizam a eficiência da i-ésima unidade, como descrito a seguir:

Sejam N DMU`s, que utilizam K inputs e M outputs na realização de suas

atividades. Para a i-ésima DMU, xi e yi são respectivamente seus vetores de inputs e outputs;

X é a matriz, KxN, de inputs. Y é a matriz, MxN, de outputs. u e v são os vetores de pesos,

Kx1 e Mx1, respectivamente dos inputs e outputs de cada DMU.

6 Diz-se que um conjunto é convexo se, unindo dois pontos do conjunto por um segmento de reta, todos os pontos deste segmento também pertencem ao conjunto.

29

A especificação matemática é dada por:

Problema I

Max u` yi,/ v`xi, Sujeito a

uÝ - v´X ≤ 0

u, v ≥ 0 (9)

O problema fracionário originário, não convexo, conduz a infinitas soluções.

Para transformar o Problema I num problema linear, Charnes et al (1978) recorrem aos

seguintes passos:

I. é imposta uma nova restrição v`xi = 1 ao problema;

II. uma transformação de variáveis é feita de modo que

µ = u´/ v`xi, e

ν = v´/ v´xi

A nova formulação passa então a:

Problema II

Max µ,ν (µýi)

Sujeito a

ν `xi = 1,

µ Ý - ν ´X ≤ 0

µ, ν ≥ 0 (10)

Utilizando a característica da dualidade dos problemas de programação linear

30

Problema III

Minθ λ θ

Sujeito a

Yλ - yi ≥ 0

θ xi - Xλ ≥ 0

λ ≥ 0 (11)

θ é um escalar e λ é um vetor N x 1 de constantes. O valor de θ obtido

representa o score de eficiência, que assumirá valores entre 0 e 1. O score 1 indica o ponto de

fronteira e representa uma DMU tecnicamente eficiente, de acordo com a definição de Farrel

(1958).

A representação da fronteira de eficiência gerada pela DEA é composta de

trechos lineares, o que não é comum quando são empregados métodos econométricos. A

forma linear cria o problema das folgas na mensuração de eficiência, em razão da ocorrência

de trechos da fronteira de eficiência paralelos aos eixos de representação.

As DMU’s situadas nestes trechos da fronteira de eficiência são, portanto,

tecnicamente eficientes, conforme a definição de Farrel (1957), embora seja possível a

redução de uma parte de seus inputs com a inalterada quantidade de todos outputs, folgas de

inputs, ou o aumento da quantidade de parte dos outputs com a inalterada quantidade de todos

inputs, folgas de outputs. Evidentemente, a existência de folgas acrescenta um novo

problema para a avaliação de eficiência que precisa ser solucionado para a utilização da DEA.

Vide Figura 4.

31

Figura 4 – Folgas e Mensuração de Eficiência


Na Figura 4, como se pode observar a projeção A’ é tecnicamente eficiente,

segundo Farrel, porém apresenta folga no input x2.

Conforme sugerem Cooper, Seiford e Tone (2000), o problema das folgas pode

ser resolvido por intermédio da solução de um segundo estágio de programação linear, onde

são maximizadas a soma das folgas com o intuito de mover de um ponto ineficiente para

outro eficiente da fronteira, o que no exemplo da Figura 4 significa mover do ponto A’ para

C.

Por definição, as folgas de inputs e outputs podem ser representadas

respectivamente por s- = θ xi - Xλ e s+ = Yλ - yi Para mensurar as folgas de inputs e

outputs, o problema é subdividido em duas fases:

Fase I – Conforme mencionado na solução do Problema IV, mediante a

aplicação do Teorema da Dualidade, é obtido o valor ótimo da função objetivo θ , que

representa o valor CCR da eficiência, ou eficiência técnica de Farrel.

Fase II – O valor de θ , obtido na Fase I, torna-se constante e, utilizando as

variáveis λ , s- e s+, é resolvido o problema de programação linear seguinte:

32

Problema IV

Max ω = e s- + e s+

Sujeito a

s- = θ xi - Xλ

s+ = Yλ - yi

λ ≥ 0, s- ≥ 0, s+ ≥ 0 (12)

4.2.2 O Modelo BCC

Banker, Charnes e Cooper (1984) desenvolveram, a partir do modelo CCR, um

novo modelo de fronteira de eficiência que admite retornos variáveis de escala. Este novo

modelo, em homenagem aos seus idealizadores é conhecido como modelo BCC.

No modelo BCC, no dual, é adicionado ao problema a restrição Σ λj = 1.

Conseqüentemente, no primal, a função µ Ý - ν ´X = 0, do modelo CCR, passa ter a fórmula

µ Ý - ν ´X = u, no modelo BCC.

Problema V (Primal)

Max µ,ν (µýi) +ui

Sujeito a

ν `xi = 1,

µ Ý - ν ´X = u

µ, ν ≥ 0 (13)

Problema VI (Dual)

Minθ λ θ + (e s- + e s+ )

Sujeito a

Xλ + s- – θ xi = 0

yi – Yλ + s+ = 0

Σ λj = 1, λ ≥ 0, s- ≥ 0, s+ ≥ 0 (14)

33

4.2.3 Eficiência DEA(CCR) e Pareto-Koopmans

Segundo Cooper, Seiford e Tone (2000), a eficiência DEA(CCR) é equivalente

a eficiência de Pareto-Koopmans. Para chegar a esta conclusão, os referidos autores partem

das seguintes definições:

Definição 1 – uma DMU é plenamente eficiente, para Pareto-Koopmans, se e

somente se não for possível alterar as quantidades de inputs ou outputs sem que se altere as

quantidades dos demais inputs ou outputs.

Definição 2 - Para uma DMU ser CCR-eficiente, deve atender a ambas

condições seguintes:

I. θ = 1 (Eficiência Técnica de Farrel - ou seja, para atender a esta condição,

uma DMU ineficiente (θ < 1) deve reduzir proporcionalmente todos os

inputs ou aumentar proporcionalmente seus outputs);

II. Todas as folgas serem iguais a zero

Por analogia, uma DMU que satisfaça apenas a condição (I) não é Pareto-

Koopmans-eficiente, pois, para esta unidade, ainda é possível reduzir os excessos, folgas, de

parte dos inputs, sem que seja necessário alterar as quantidades dos demais inputs ou dos

outputs. De forma análoga, para as unidades que satisfaçam apenas a condição (I) e

apresentem folgas de outputs, é possível aumentar parte dos outputs sem que se altere os

inputs ou os demais outputs. Com este entendimento, Cooper, Seiford e Tone (2000)

concluem que para uma DMU ser Pareto-Koopmans-eficiente, as condições (I) e (II) devem

ser simultaneamente atendidas, o que, pela definição 2, é atendido para unidades CCR-

eficientes.

4.3 Pesquisas sobre o emprego da DEA

A quantidade de trabalhos de pesquisa desenvolvidos sobre a aplicação da

DEA sugerem a sua aplicabilidade na avaliação de eficiência de programas orçamentários.

Somente em Cooper, Seiford e Tone (2000) são apresentados 1500 trabalhos sobre diversas

34

aplicações da DEA. No Brasil, os seguintes trabalhos constituem referência de aplicação da

DEA:

I. Moita (1995) – foi medida a eficiência relativa de escolas municipais de Rio Grande

(RS);

II. Marinho (1996) – foi avaliada a eficiência de centros de ensino na UFRJ e

apresentados e discutidos diversos trabalhos baseados nesta metodologia;

III. Façanha, Resende e Marinho (1997) - foi avaliada a eficiência comparativa de

universidades federais;

IV. Façanha e Marinho (1998) – foi feito um estudo comparativo de hospitais

universitários federais;

V. Façanha e Marinho (1999) – a DEA foi utilizada para exame da consistência de regra

de alocação de recursos utilizada pelo Ministério da Educação e do Desporto (MEC) e

para apresentação de proposta alternativa;

VI. Marinho (2001) - foi estudada a eficiência de hospitais públicos e privados;

VII. Façanha e Marinho (2001), foi utilizada a análise de envoltória para fins de

mensuração possível de efetividade e de eficiência comparativa no âmbito de

programas sociais.

VIII. Cardoso, Façanha e Marinho (2002) – foi avaliada a eficiência relativa e os esquemas

de incentivo de programas sociais (PNAE, PLANFOR, PROGER)

IX. Coordenação de Indicadores Sociais/SMS (2002) – foi avaliada a eficiência dos

hospitais gerais do SUS, na cidade do Rio de Janeiro.

X. Kassai (2002) – foi avaliada a utilização da Análise de Envoltória de Dados (DEA) na

Análise de Demonstrações Contábeis.

XI. Façanha e Resende (2003) – foi avaliada a possibilidade de utilização de esquemas de

incentivo para a formação de preços dos serviços de Telecomunicações no Brasil.

35

5 APLICAÇÃO DA DEA AO PROGRAMA RIO CRECHE

Neste capítulo, são descritos e analisados os resultados da aplicação da

metodologia DEA na avaliação de eficiência na alocação de recursos orçamentários no

Programa Rio Creche, gerido, em 2001, pela Secretaria Municipal de Desenvolvimento

Social.

As 210 unidades, representadas por seus respectivos conjuntos de variáveis de

input e output, descritas no transcorrer deste capítulo, foram submetidas ao software DEA-

Solver, disponível em Cooper, Seiford e Tone (2000).

5.1 Dados submetidos a avaliação

As 210 unidades integrantes do Programa foram avaliadas por meio de

comparações entre os conjuntos de variáveis de input e output, que caracterizaram o serviço

prestado em cada unidade, em 2001.

5.1.1 Aspectos Quantitativos e Qualitativos

Não pretendemos, neste ponto, ingressar na acirrada polêmica sobre a

adequabilidade ou não, da adoção de indicadores ou métodos quantitativos na avaliação de

programas. Segundo Marinho (1996), uma referência favorável pode ser encontrada em

Johnes (1992) e outra bastante diversa em Leitão (1987). Resumidamente, podemos dizer que

em nosso entendimento, seria impossível, na ausência de indicadores numéricos, alocar

eficientemente os escassos recursos nas diversas unidades do Programa Rio Creche. A

própria Secretaria de Estado e Assistência Social, atual Ministério da Assistência Social,

adota um sistema de distribuição de recursos financeiros para creches municipais que se

baseia em indicadores quantitativos.

Como forma de viabilizar a presente análise, consideramos, nesta pesquisa, que

a qualidade dos serviços prestados nas diversas unidades que integram o Programa é uniforme

e que a eficiência será medida pela relação dos outputs sobre os inputs.

36

5.1.2 Unidades Avaliadas

Do conjunto de 210 unidades do Programa Rio Creche, 107 unidades eram

geridas diretamente pela Prefeitura do Rio (prédios públicos – PP) e 103 unidades por

organizações da sociedade civil (creches comunitárias em prédios não públicos – PNP). As

creches comunitárias (PNP) foram incorporadas ao Programa por meio de convênios de apoio

integral.

As creches comunitárias que realizaram convênios apenas para apoio

nutricional não foram consideradas para efeito das análises realizadas neste estudo, pois, na

Prefeitura, nossa principal fonte, não havia informações que atendessem aos propósitos de

comparação de desempenho definidos.

5.1.3 Variáveis submetidas à análise

O Programa Rio Creche foi representado por seus requisitos mínimos, como

um modelo de transformação de inputs em outputs e sobre este modelo foi aplicada a técnica

de Análise de Envoltória de Dados.

Variáveis de input

Para escolher as variáveis de inputs que foram empregadas nesta pesquisa, foi

considerado o controle que as unidades exerceram sobre tais variáveis. Como se pretendia

avaliar comparativamente as unidades, PP e PNP, os recursos que não estiveram sobre o

controle destas unidades não foram utilizados para estabelecer comparações de desempenho.

A escolha das variáveis de input que foram submetidas à DEA se iniciou pela

análise do orçamento da Prefeitura do Rio de Janeiro, referente ao ano de 2001, vide Tabela 1.

Tabela 1 – Dotação Orçamentária do Programa Rio Creche de 2001 Classificação R($) %

Capital - Obras e Reformas 3.000.000 6,3% Capital - Aquisições Permanentes 1.446.365 3,0% Custeio - Pessoal Direto 3.303.148 6,9% Custeio (Subvenções Sociais) 31.578.635 66,1% Custeio - alimentação 8.432.000 17,7%

Total da Dotação do Programa 47.760.148 100,0% Fonte: Fundo Rio. Programa Rio Creche. Rio de Janeiro, 2001.

37

Conforme se observa na Tabela 1, os recursos do orçamento do Programa Rio

Creche foram assim repartidos: 90,7% destinados a custeio e 9,3% destinados a despesas de

capital. Por esta análise, se observa que, no orçamento do Programa, ocorreu uma prevalência

dos gastos com custeio em relação aos gastos de capital. Além do mais, o presente trabalho

está restrito a avaliação comparativa de eficiência das unidades do Programa Rio Creche, em

função dos recursos do orçamento da Prefeitura do Rio nelas empregados.

Como os recursos de capital foram alocados exclusivamente às unidades PP e

como não dispúnhamos de informações suficientes sobre o emprego de recursos de capital nas

unidades PNP7, nesta pesquisa foram considerados na avaliação comparativa de eficiência,

como variáveis de inputs, somente os recursos de custeio.

Como se pode observar, na Tabela 1, as subvenções sociais constituíram o

principal componente do orçamento de custeio do Programa Rio Creche, R$ 31.578.635 (66,1

%). Estas subvenções sociais foram destinadas a cobrir o custeio das organizações da

sociedade civil conveniadas, principalmente para o pagamento do pessoal contratado e

alocado às unidades do Programa. Os demais componentes do custeio do Programa foram:

pagamento de pessoal da própria Prefeitura, R$ 3.303.148,00 (6,9%), e alimentação, R$

8.432.000,00 (17,7%).

Sendo assim, as seguintes variáveis foram escolhidas como inputs:

I. recreadores– quantidade média mensal de recreadores que trabalharam

em cada unidade;

II. aux_serv– quantidade média mensal de auxiliares de serviço geral que

trabalharam em cada unidade;

III. cozinheiros– quantidade média mensal de cozinheiros que trabalharam

em cada unidade.

IV. alimentação – custo médio mensal dos gêneros alimentícios consumidos

em cada unidade;

V. funcionários– quantidade média mensal de funcionários que trabalharam

em cada unidade;

7 Caso fosse oportuno, poderiam ser empregadas variáveis que caracterizam a capacidade das instalações das unidades, como espaço físico, para representar inputs de capital.

38

Variáveis de output

Conforme mencionado na subseção 2.3.2., o produto do Programa Rio Creche

pode ser mensurado por medidas de volume de trabalho, medidas de produto final ou por

medidas de resultado.

Nesta pesquisa, em razão do objetivo genérico do Programa Rio Creche e para

empregar variáveis controláveis pelas unidades, empregamos as metas físicas do Plano

Plurianual como medidas de output do Programa, que constituem medidas de volume de

trabalho. Sendo assim, a variável utilizada para medir o produto final do Programa, output,

foi: “crianças”, medida pela quantidade média mensal de crianças atendidas por unidade.

5.1.4 Caracterização dos dados submetidos à análise

Os quantitativos de crianças atendidas e de empregados contratados pelas

organizações da sociedade civil foram extraídos dos formulários internos utilizados para

controle e avaliação das prestações de contas das organizações da sociedade civil

conveniadas. O custo de alimentação foi extraído do Sistema de Controle de Gêneros

Alimentícios (SISGEN) e os quantitativos de funcionários da Prefeitura foram extraídos do

Sistema de Folha de Pagamento.

Como a Secretaria Municipal de Desenvolvimento Social (SMDS) não

dispunha, no ano de 2001, de um sistema de custos integrado, os dados utilizados neste

trabalho de pesquisa, extraídos de fontes internas distintas, tiveram a confiabilidade e

consistência asseguradas mediante o confronto com o Relatório de Custos do Programa Rio

Creche, emitido pelo Fundo Municipal de Desenvolvimento Social (2001).

As 210 creches avaliadas e as respectivas variáveis de inputs e outputs

encontram-se discriminadas no Anexo 1. Na Tabela 2, estão discriminadas as estatísticas dos

inputs e outputs destas unidades.

39

Tabela 2 - Estatísticas das variáveis de inputs e outputs submetidas à avaliação

Estatísticas

Variáveis

Mínimo

Média

Coeficiente

Variação

Máximo

Mínimo /

Desvio

Padrão

Máximo /

Desvio

Padrão

funcionários 0 5 180% 48 0,56 4,78

recreadores 1 11 36% 25 2,50 3,50

cozinheiros 0 3 33% 7 3,00 4,00

aux_serv 0 2 100% 6 1,00 2,00

alimentação 4.547,93 17.215,99 34% 32.718,04 2,13 2,61

crianças 30 86 33% 160 2,00 2,64

Como se observa, na Tabela 2, a variável funcionários foi a que apresentou

maior razão entre o valor máximo observado e o desvio padrão (4,78). Porém, os valores

observados nesta variável se concentraram próximos à média de 5 funcionários públicos por

unidade, com um desvio padrão de 9 funcionários por unidade.

Cerca de 50% das creches funcionaram em prédios não públicos, PNP, logo,

em tais unidades, não foram alocados funcionários da Prefeitura do Rio. Ao todo, 190

creches alocaram de 0 a 14 funcionários públicos e somente 20 creches alocaram mais de 14.

As variáveis “cozinheiros” e “recreadores” apresentaram maior amplitude entre

os valores máximos e mínimos, por desvio padrão. Entretanto, estas variáveis apresentaram

razão desvio de padrão / média em torno de 0,3, o que mostra que os dados se concentraram

em torno das médias e não próximos aos limites mínimos e máximos.

As variáveis “alimentação”, “crianças” e “aux_serv” apresentaram pequena

amplitude entre os valores máximo e mínimo observados. Para melhor caracterizar as

variáveis submetidas à DEA, considere as correlações existentes entre os inputs e a variável

de output “crianças” conforme apresentado na Tabela 3.

Tabela 3 – Correlação entre as variáveis de inputs e a variável “crianças” Variáveis de Input Correlação

funcionários 0,194 recreadores 0,788 cozinheiros 0,674 aux_serv 0,362 alimentação 0,803

40

A variável “crianças” é único output e, portanto, é uma boa medida de escala

de operações do Programa Rio Creche. Quanto aos inputs, se for levada em consideração a

análise de correlação, com a variável “crianças”, a variável “alimentação” pode ser

considerada uma boa medida da escala de operações, pois apresenta coeficiente de correlação

0,803 em relação à variável “crianças”.

Nesta subseção foram caracterizadas as variáveis a serem submetidas à

aplicação da metodologia DEA.

5.1.5 Modelos implementados

Aplicamos, no presente estudo, dois modelos clássicos de Análise de

Envoltória de Dados: o modelo CCR (Charnes, Cooper, Rhodes, 1978) e o modelo BCC

(Banker, Charnes, Cooper; 1984). Pretendemos com esta dupla abordagem realçar um

aspecto fundamental de estudos relacionados à avaliação de programas orçamentários: a

natureza dos retornos de escala. O modelo CCR pressupõe uma fronteira eficiente com

retornos constantes de escala. Já o modelo BCC admite retornos variáveis.

Entendemos que os modelos orientados a inputs são mais adequados às

situações em que as demandas sociais são conhecidas e os outputs inalteráveis, que

acreditamos ser a situação encontrada na formulação do orçamento. Porém, por se tratar de

um estudo acadêmico, implementamos também a avaliação na orientação para output. Ao

todo, nesta pesquisa, foram aplicados três modelos de Análise de Envoltória de Dados. O

modelo CCR foi aplicado apenas em uma das orientações, para inputs, pois os resultados da

aferição de eficiência em modelos com retornos constantes de escala não se modificam

conforme a orientação. Já o modelo BCC foi implementado nas duas orientações, para inputs

(BCC-IN) e para outputs (BCC-OUT).

5.2 Limitações do Estudo

Conforme já comentado, serviram de base para o presente estudo informações

extraídas das prestação de contas dos convênios, do sistema de folha de pagamento e do

sistema de controle de gêneros alimentícios. Em razão da disponibilidade das informações, o

41

estudo abrangeu um único ano, 2001. Torna-se necessário, pois, descrever aspectos que

limitam as possibilidades de interpretação dos resultados do presente estudo.

A análise de informações, obtidas de fontes distintas, depende, evidentemente,

da garantia de consistência das mesmas, que pode ser assegurada por um adequado sistema de

controle. Neste contexto, a implementação de centros de responsabilidade pode contribuir

significativamente à integração dos sistemas e assegurar a consistência das informações. Em

termos práticos, esta garantia só será assegurada na medida que tiver sido concluída a

implantação do Sistema de Custos da Prefeitura, prevista para 2004.

Em relação ao período de um ano, que compreendeu o conjunto de observações

submetidas a análise, reafirmamos mais uma vez que para obter comparabilidade, avaliar

tendências e gerar informações que indiquem como reajustar os esforços para o cumprimento

das metas traçadas no Plano Plurianual, teria sido necessário que as avaliações incidissem

sobre um período de tempo igual ou superior a cinco anos.

5.3 Descrição dos Resultados

Para cada uma das unidades, nos três modelos analisados, foram obtidos os

seguintes resultados:

• Score de Eficiência

• Unidades que serviram de referência

• Padrões de eficiência de cada variável (targets)

• Folgas encontradas por variável

• Ajustes para correções de ineficiências

Devido ao grande número de informações produzidas, consideramos

conveniente apresentar os resultados da aplicação da DEA, nos modelos propostos, por meio

de estatísticas descritivas.

Os resultados da aferição de eficiência relativa das 210 unidades, nos três

modelos, estão sintetizados na Tabela 4.

42

Tabela 4 – Comparação entre os resultados dos modelos aplicados Modelo

CCR Modelo BCC-IN

Modelo BCC-OUT

Número de unidades Eficientes

9 22 22

Número de unidades Ineficientes

201 188 188

Como se observa, na Tabela 4, o número de unidades eficientes nos modelos

BCC é maior que no modelo CCR. Isto ocorre, como esclarece Marinho (1996; p.145), em

razão de toda unidade eficiente no modelo CCR ser também eficiente no modelo BCC,

embora a recíproca nem sempre seja verdadeira.

5.3.1 Scores de Eficiência

O primeiro aspecto explorado nesta descrição foi a distribuição de freqüência

dos scores de eficiência obtidos na avaliação.

No modelo CCR, a média dos scores de eficiência foi 0,6772, com um desvio

padrão de 0,1319 e coeficiente de variação de 19,48%. Vide Tabela 5.

Tabela 5 - Distribuição de Freqüência das unidades por Score de Eficiência(CCR) Limite Superior

da Faixa de Eficiência (CCR)

Freqüência Absoluta de unidades por

faixa

Freqüência Relativa de

unidades por faixa

Freqüência Acumulada de unidades por

faixa 0,4794 6 2,9% 2,9% 0,5453 29 13,8% 16,7% 0,6113 41 19,5% 36,2% 0,6772 46 21,9% 58,1% 0,7431 28 13,3% 71,4% 0,8090 31 14,8% 86,2% 0,8750 10 4,8% 91,0% 0,9375 7 3,3% 94,3% 1,0000 12 5,7% 100,0%

Na Tabela 5, a distribuição de freqüência apresentou maior acúmulo de

unidades com score de eficiência inferior à média, 58,1% do total das unidades avaliadas,

enquanto 41,9% destas apresentaram score acima da média. Esta diferença mostra que o

43

desvio médio central das unidades avaliadas acima da média é superior ao desvio médio das

unidades avaliadas abaixo da média. Em outras palavras, uma menor quantidade de unidades

obteve maiores scores de eficiência, mais próximo de 1,0000, enquanto que uma maior

quantidade de unidades obteve scores de eficiência pouco abaixo da média. Para um melhor

entendimento, a Figura 6 mostra a distribuição de freqüência das unidades avaliadas pelo

modelo CCR.

Figura 6 –Distribuição de Freqüência das unidades por Score de Eficiência (CCR)

Somente 12 unidades, no modelo CCR, se situaram na faixa de 0,9375 a

1,0000, que inclui as eficientes, que resulta num percentual de 5,7% do total de unidades

avaliadas. A classe modal foi a que compreendeu as unidades que obtiveram scores de

eficiência entre a média e 0,6113.

Nos modelos BCC, que levaram em consideração retornos variáveis de escala,

houve um aumento significativo do número de unidades eficientes, em comparação ao modelo

CCR, que considerou retornos constantes de escala. Conseqüentemente, a média dos scores

de eficiência se elevou. No modelo BCC-IN, orientado a inputs, a média foi 0,7594, com um

desvio padrão de 0,1487 e coeficiente de variação de 19,58%, e , no modelo BCC-OUT,

orientado a output, a média foi 0,7827, com um desvio padrão de 0,1352 e coeficiente de

variação de 17,27%.

A Tabela 6 apresenta a distribuição de freqüência das unidades em função dos

scores de eficiência obtidos pela aplicação do modelo BCC-IN.

05

101520253035404550

0,479

4

0,545

3

0,611

3

0,677

2

0,743

1

0,809

0

0,875

0

0,937

5

1,000

0

score de eficiência obtido na avaliação

Freqüência de DMU´s por

score de eficiência

44

Tabela 6 - Distribuição de Freqüência das unidades por Score de Eficiência(BCC-IN) Limite Superior da Faixa de Eficiência

(BCC-IN)

Freqüência Absoluta de

unidades por faixa


unidades por faixa

Freqüência Acumulada de

unidades por faixa0,4620 1 0,5% 0,5% 0,5363 19 9,0% 9,5% 0,6107 18 8,6% 18,1% 0,6851 40 19,0% 37,1% 0,7594 27 12,9% 50,0% 0,8338 28 13,3% 63,3% 0,9081 48 22,9% 86,2% 0,9825 4 1,9% 88,1% 1,0000 25 11,9% 100,0%

Conforme se observa na Tabela 6, pelo modelo BCC-IN, 50,0% das unidades

avaliadas obtiveram scores de eficiência inferior a 0,7594 (média), o que nos leva a antever

um equilíbrio da distribuição em relação à média. A classe modal foi a que compreendeu as

unidades que obtiveram scores de eficiência entre 0,8338 e 0,9081.

A última classe abrangeu as unidades eficientes e foi responsável por 11,9%

das unidades avaliadas, em razão de 25 unidades terem obtido scores de eficiência entre

0,9825 e 1,0000. Para um melhor entendimento, vide Figura 7.

Figura 7 –Distribuição de Freqüência das unidades por Score de Eficiência (BCC-IN)

Uma análise gráfica da Figura 7 mostra que da distribuição de freqüência dos

resultados da aplicação da metodologia DEA, modelo BCC-IN, não se aproximou de uma

distribuição normal.

0

10

20

30

40

50

60

0,462

0

0,536

3

0,610

7

0,685

1

0,759

4

0,833

8

0,908

1

0,982

5

1,000

0




45

Na Tabela 7, é apresentada a distribuição de freqüência das unidades, em

função dos scores de eficiência obtidos pela aplicação do modelo BCC-OUT.

Tabela 7 - Distribuição de Freqüência das unidades por Score de Eficiência(BCC-OUT)

Limite Superior da Faixa de Eficiência

(BCC-OUT)

Freqüência Absoluta de

unidades por faixa


unidades por faixa

Freqüência Acumulada de

unidades por faixa0,5122 3 1,4% 1,4% 0,5799 9 4,3% 5,7% 0,6475 25 11,9% 17,6% 0,7151 31 14,8% 32,4% 0,7827 34 16,2% 48,6% 0,8503 44 21,0% 69,5% 0,9179 23 11,0% 80,5% 0,9855 16 7,6% 88,1% 1,0000 25 11,9% 100,0%

Conforme assinalado na Tabela 7, pelo modelo BCC-OUT, 48,6% das

unidades avaliadas obtiveram scores de eficiência inferior a 0,7827 (média). A classe modal

foi a que compreendeu as unidades que obtiveram scores de eficiência entre 0,7827 (média) e

0,8503. Para um melhor entendimento, vide Figura 8.

Figura 8 –Distribuição de Freqüência das unidades p/ Score de Eficiência (BCC-OUT)

05

101520253035404550

0,512

2

0,579

9

0,647

5

0,715

1

0,782

7

0,850

3

0,917

9

0,985

5

1,000

0




46

A última classe, no modelo BCC-OUT, foi composta por 25 unidades com scores

de eficiência entre 0,9855 e 1,0000, ou seja, incluiu as unidades eficientes e perfez 11,9% das

unidades avaliadas.

Na comparação entre os três modelos aplicados, verificou-se que houve um

predomínio de unidades ineficientes no modelo que empregou retornos constantes de escala.

Além de apresentar uma média de scores de eficiência inferior, na análise da distribuição de

freqüência, verificou-se também que a maior parte das unidades obtiveram scores de

eficiência abaixo de 0,6772 (média CCR), 122 unidades em termos absolutos. No modelo

BCC-IN, somente 75 unidades (35,7% do total das unidades avaliadas) e, no modelo BCC-

OUT, 50 unidades (23,8% do total das unidades avaliadas) obtiveram score de eficiência

abaixo de 0,6772.

5.3.2 Projeções de eficiência

A DEA projeta medidas eficientes para todas as unidades avaliadas, a partir de

combinações lineares de medidas observadas nas unidades eficientes, que constituem seu

conjunto de referência. Para isto, a metodologia DEA apresenta entre seus produtos os

coeficientes que deverão ser utilizados para projeção das medidas de eficiência de cada

unidade.

Na Tabela 8, são apresentados exemplos de coeficientes de combinação linear,

extraídos do modelo CCR, para projeção de medidas de eficiência (targets).

47

Tabela 8 –Coeficientes de Combinação Linear (CCR) para Projeção de Eficiência Unidade Avaliada Unidades Eficientes (de Referência) Coeficientes

PP - 31 de Outubro PNP - E. Gente Baixinha 0,261 PNP - Engenho da Rainha 0,562 PP - Marlene da Silva Cardoso 0,103 PNP - Ação Social Padre Anchieta (ASPA)

PNP - Abrigo Maria Imaculada 0,061 PNP - E. Gente Baixinha 0,345 PNP - Tia Tercília 0,805 PNP - Alegria da Criança

PNP - E. Gente Baixinha 0,202 PNP - São Sebastião 1,154

Para explicar como a DEA projetou a eficiência das unidades avaliadas,

considere o exemplo da projeção de eficiência da PNP - Alegria da Criança, no modelo CCR.

Conforme disposto na Tabela 8, constituíram referência para a projeção de medidas de

eficiência, desta unidade, a PNP - E. Gente Baixinha, com coeficiente 0,202, e a unidade PNP

- São Sebastião, com coeficiente 1,154. As medidas originais da PNP - Alegria da Criança e

das duas unidades de referência estão discriminadas na Tabela 9 e a projeção de eficiência na

Tabela 10.

Tabela 9 –Medidas da PNP - Alegria da Criança e unidades de referência

Unidades

Variáveis

PNP - Alegria da Criança

PNP - E. Gente Baixinha

PNP – São Sebastião

funcionários - - - recreadores 14 10 7 cozinheiros 4 2 2 aux_serv - - - alimentação 20.613,97 20.265,20 9.339,54 crianças 105 120 70 Dados originais observados antes da projeção de eficiência

48

Tabela 10 – Projeção eficiente da PNP - Alegria da Criança

Os dados originais de cada unidade de referência foram multiplicados pelos respectivos coeficientes de combinação linear, para obter a projeção de eficiência da PNP – Alegria da Criança.

Na Tabela 10, é apresentado o exemplo da Projeção eficiente (modelo CCR) da

PNP - Alegria da Criança. Nas duas primeiras colunas, foram dispostos os resultados das

multiplicações das variáveis de cada unidade de referência: PNP - E. Gente Baixinha

(multiplicada por 0,202) e a PNP – São Sebastião (multiplicada por 1,154). Na última coluna,

estão dispostos os valores resultantes da totalização das duas primeiras colunas, ou seja, a

combinação linear que resulta na projeção eficiente da PNP - Alegria da Criança. Da mesma

forma como a PNP - Alegria da Criança, para as demais unidades ineficientes, nos três

modelos, foram apontadas projeções eficientes (targets). Os targets são muito importantes

para avaliar de ajuste da produção, seja através da possibilidade de redução de seus inputs ou

do aumento de outputs.

5.3.3 Conjuntos de Referência

No modelo CCR, foi apurada uma quantidade de 9 unidades eficientes,

enquanto que nos modelos BCC-IN e BCC-OUT, a quantidade apurada foi de 22 unidades

eficientes. Comparativamente com os modelos BCC, o modelo CCR obteve um grupo menor

de unidades eficientes, utilizado para compor conjuntos de referência para projeção de

eficiência de um grupo maior de unidades ineficientes.

As unidades eficientes apresentaram, no modelo CCR, em média, 63

participações em conjuntos de referência e, nos modelos com retorno variável de escala, esta

média caiu para 32 participações, BCC-IN, e 29 participações, BCC-OUT. Vide Tabela 11.

Unidades Variáveis

PNP - E. Gente Baixinha (x 0,202)

PNP – São Sebastião

(x 1,154)

Projeção Eficiente PNP - Alegria

da Criança funcionários - - - recreadores 2,02 8,08 10,10 cozinheiros 0,40 2,31 2,71 aux_serv - - - alimentação 4.093,57 10.777,83 14.866,89 crianças 24,24 80,78 105

49

Tabela 11–Freqüência de participação das unidades eficientes em conjuntos de referência

Unidades Eficientes

Freqüências Absolutas e Relativas

(BCC-IN)

Freqüências Absolutas e Relativas

(BCC-OUT)

Freqüências Absolutas e

Relativas (CCR) PNP - Abrigo Maria

Imaculada 66 31,6% 21 10,0% 34 16,3%

PNP - E. Gente Baixinha

144 68,9% 155 74,2% 170 81,3%

PNP - Engenho da Rainha

89 42,6% 43 20,6% 102 48,8%

PP - Marlene da Silva Cardoso

41 19,6% 11 5,3% 44 21,1%

PNP - São Sebastião

69 33,0% 46 22,0% 98 46,9%

PP - Sementinha do Amor

2 1,0% 1 0,5% 1 0,5%

PP - Sonho de Criança

41 19,6% 55 26,3% 61 29,2%

PNP - Tia Tercília 29 13,9% 36 17,2% 51 24,4% PP - Visconde de

Sabugosa 0 0,0% 0 0,0% 2 1,0%

PNP - Coelhinho Travesso

5 2,4% 3 1,4%

PP - Criança Feliz 11 5,3% 1 0,5% PP - Daniela Perez 31 14,8% 61 29,2%

PP - Herbert de Souza

3 1,4% 7 3,3%

PNP - Jardim Pedra Azul - Paróquia

Santa Clara

17 8,1% 1 0,5%

PNP - Jardim Santa Cruz

0 0,0% 17 8,1%

PP - Julinho Cacau 0 0,0% 0 0,0% PP - Nair da

Fonseca 3 1,4% 0 0,0%

PP - Odetinha Vidal de Oliveira

2 1,0% 35 16,7%

PP - Pintando o Sete

37 17,7% 59 28,2%

PNP - São João Batista - Paróquia

São Pedro Apóstolo

109 52,2% 40 19,1%

PP - Vila Kennedy 5 2,4% 39 18,7% PP - Zacarias o

Trapalhão 1 0,5% 7 3,3%

50

Nas 9 primeiras linhas da Tabela 11, encontram-se as unidades que foram

avaliadas como eficientes nos três modelos e, nas 13 linhas seguintes, aquelas que foram

eficientes somente nos modelos BCC. A explicação destas 13 unidades terem sido avaliadas

como eficientes, nos modelos BCC, provém da mudança do tratamento da escala na

avaliação, que fez com que as 9 unidades deixassem de ser referência para as 13 últimas.

Conseqüentemente, estas unidades passaram a fazer parte dos conjuntos de referência de

outras unidades.

Por exemplo, a PNP - São João Batista foi avaliada CCR-ineficiente (score

0,84), pois, para ela, no referido modelo, constituíram referências as unidades PNP - E. Gente

Baixinha e PNP - São Sebastião. Com a mudança do critério de escala, nos modelos BCC, a

PNP - São João Batista deixou de ter tais unidades como referência e foi avaliada como

eficiente. No modelo BCC-IN, a PNP - São João Batista passou a ser referência de outras 109

unidades e, no modelo BCC-OUT, foi referência de outras 40 unidades.

5.3.4 Eficiência e Folgas

Tanto as unidades tecnicamente eficientes, score de eficiência θ = 1, como as

tecnicamente ineficientes, score de eficiência θ < 1, podem apresentar folgas. Conforme já

mencionado na seção 3.3, segundo Cooper, Seiford e Tone (2000), para que uma unidade seja

eficiente, de acordo com a metodologia DEA, dever atender simultaneamente a duas

condições:

I. Score de Eficiência θ = 1 (Eficiência Técnica de Farrel);

II. Todas as folgas serem iguais a zero

A projeção de eficiência obtida pela DEA, com base em combinação de

unidades de referência, atende simultaneamente as condições I e II. Para explicar como a

metodologia apurou as folgas, estas duas condições devem ser analisadas separadamente.

Primeiramente, para corrigir as ineficiências técnicas, foi utilizado o score de

eficiência obtido pela aplicação da DEA. Nos modelos orientados a inputs, foram

identificadas as necessidades de redução proporcional dos inputs, mediante a multiplicação

pelo score obtido na avaliação a todos os inputs. De forma análoga, no modelo orientado a

51

outputs, foram identificadas necessidades de aumento do nível de atendimento de crianças,

mediante a divisão da variável “crianças” pelo score obtido na avaliação de cada unidade.

O passo seguinte, para que fossem apuradas as folgas, consistiu na comparação

entre os resultados obtidos da correção de eficiência técnica com os resultados obtidos pela

projeção de eficiência, a partir de conjunto de unidades de referência.

Para exemplificar como foi apurada a folga encontrada na PNP - Alegria da

Criança, vide Tabela 12.

Tabela 12 – Folgas da PNP - Alegria da Criança (modelo CCR) Unidade

Variáveis


(dados originais)


(dados corrigidos)


(CCR eficiente)


(folgas) funcionários - - - - recreadores 14 10,10 10,10 - cozinheiros 4 2,88 2,71 0,17 aux_serv - - - - alimentação 20.613,97 14.866,89 14.866,89 - crianças 105 105 105 -

A PNP - Alegria da Criança foi avaliada como ineficiente (score θ = 0,721), no

modelo CCR (orientado a inputs). A correção de sua ineficiência técnica foi feita mediante a

multiplicação de todos os inputs por 0,721.

Os dados originais observados na PNP - Alegria da Criança foram dispostos na

primeira coluna da Tabela 12. Na coluna seguinte, foi corrigida a eficiência técnica, mediante

a redução proporcional de todos os inputs, pela multiplicação do score de eficiência (θ =

0,721), resultante da avaliação CCR, a todos os inputs. Na terceira coluna foram apresentadas

as variáveis projetadas pelo modelo CCR. Por fim, as folgas, resultantes das diferenças entre

a segunda e terceira colunas, foram apresentadas na última coluna. Na PNP - Alegria da

Criança, foi apurada uma folga na quantidade média mensal de cozinheiros de 0,17.

No presente estudo, nenhuma unidade tecnicamente eficiente, no modelo CCR,

apresentou folgas. O mesmo ocorreu no modelo BCC-OUT, em que nenhuma unidade

posicionada na fronteira de eficiência, com θ = 1, apresentou folgas. Já, no modelo BCC-IN,

a unidade tecnicamente eficiente PP – Marcolina, apresentou folgas nas variáveis

Funcionários e Alimentação. A discriminação da apuração da PP – Marcolina encontra-se

discriminada na Tabela 13

52

Tabela 13 – Análise das Folgas da PP – Marcolina Funcio-

nários Recrea-dores

Cozi-nheiros

aux_serv Alimen-tação

crianças

Observado 31 1 - 3 11.682,20 50 Projeção 20 1 - 3 11.198,85 50 Folgas (11) - - - (483,35) -

A unidade que serviu de referência para a projeção eficiente da unidade PP –

Marcolina foi a PP - Criança Feliz. Como se observa na Tabela 13 e com base na referência

adotada, a PP – Marcolina, para se tornar eficiente, deveria diminuir a média de gastos

mensais com alimentação em R$ 483,35 e em 11 a média de funcionários da Prefeitura por

mês.

A Tabela 14 resume as folgas encontradas nos três modelos da metodologia

DEA aplicados neste trabalho.

Tabela 14 – Resumo das folgas encontradas nos três modelos

CCR BCC-IN BCC-OUT

Tipo de Folga

Encontrada por Variável

N.º de unidades

com Folgas

Folga Média

N.º de unidades

com Folgas

Folga Média

N.º de unidades

com Folgas

Folga Média

Excesso de funcionários 17 0,476 19 0,494 27 0,501

Excesso de recreadores 6 0,041 23 0,193 57 0,533

Excesso de cozinheiros 159 0,530 102 0,302 79 0,335

Excesso de aux_serv 11 0,018 22 0,079 67 0,265

Excesso de alimentação 54 613,09 54 466,88 28 378,84

Sub-atendimento de crianças

0 0,000 9 0,149 0 0,000

De acordo com as informações apresentadas na Tabela 14, a variável

Cozinheiro foi a que maior número de vezes apareceu com folgas entre as unidades avaliadas,

respectivamente 159, 102 e 79 vezes, nos modelos CCR, BCC-IN e BCC-OUT. A variável

“crianças” só apresentou folgas em 9 unidades, e somente no modelo BCC-IN.

A folga média da variável “alimentação” foi de R$ 613,09, no modelo CCR,

de R$ 466,88, no modelo BCC-IN, e de R$ 378,84, no modelo BCC-OUT.

53

A eliminação das folgas constitui apenas a etapa final da correção das

ineficiências, apuradas pela metodologia explorada nesta pesquisa. Para se apurar o real

impacto causado pela aplicação da DEA, devem ser analisadas as variações totais entre as

composições de inputs a outputs identificadas, tanto pela correção da ineficiência técnica

como pela eliminação das folgas. Na subseção seguinte, serão apresentados os resumos das

variações totais.

5.3.5 Variações totais

A metodologia DEA identificou unidades ineficientes nos modelos CCR e

BCC, respectivamente 201 e 188. Para as unidades ineficientes, a DEA apontou quais os

ajustes necessários para torná-las eficientes. A composição dos ajustes varia conforme o tipo

de orientação adotada pelo modelo utilizado na análise de eficiência.

Nos modelos orientados a inputs, CCR e BCC-IN, os ajustes requeridos dos

inputs, foram compostos tanto de correções de eficiência técnica como de correções para

eliminação das folgas. Entretanto, os ajustes requeridos para o output “crianças”, nos

referidos modelos, constituíram-se exclusivamente de folgas, encontradas somente no modelo

BCC-IN.

Inversamente, no modelo BCC-OUT, os ajustes requeridos do output

“crianças” foram compostos tanto de correções de eficiência técnica como de correções para

eliminação das folgas. Enquanto isso, os ajustes requeridos para os inputs, no referido

modelo, foram constituídos exclusivamente de folgas.

As Tabelas 15, 16 e 17 resumem as correções requeridas pela DEA, nos três

modelos aplicados neste trabalho, para tornar eficientes as unidades ineficientes.

Tabela 15– Resumo das correções de eficiência técnica de inputs e output por modelo

CCR BCC-IN BCC-OUT

variáveis média média média Funcionários -19,03% -15,30% 0,00% Alimentação -32,28% -24,06% 0,00% Aux_Serv -20,26% -16,34% 0,00% Recreadores -32,29% -24,06% 0,00% Cozinheiros -31,61% -24,01% 0,00% Crianças 0,00% 0,00% 31,87%

54

A Tabela 15 mostra as correções de eficiência técnica, como já comentado

neste trabalho. Foram compostas por reduções proporcionais dos inputs, nos modelos

orientados a inputs, ou por aumentos do atendimento de crianças, no modelo orientado a

outputs.

Tabela 16 – Resumo das variações de folgas de inputs e output por modelo

CCR BCC-IN BCC-OUT

variáveis média média média Funcionários -4,06% -3,50% -3,16% Alimentação -3,63% -2,83% -2,38% Aux_Serv -0,61% -2,63% -8,84% Recreadores -0,29% -1,27% -3,78% Cozinheiros -15,33% -7,87% -9,75% Crianças 0,00% -0,35% 0,00%

A Tabela 16 mostra as correções das folgas e a Tabela 17 o total das correções

dos dois tipos.

Tabela 17 – Resumo das variações totais de inputs e outputs por modelo CCR BCC-IN BCC-OUT

variáveis média média média Funcionários -23,09% -18,80% -3,16% Alimentação -35,91% -26,89% -2,38% Aux_Serv -20,87% -18,97% -8,84% Recreadores -32,58% -25,33% -3,78% Cozinheiros -46,94% -31,88% -9,75% Crianças 0,00% 0,35% 31,87%

Na próxima seção estas possibilidades de correções serão analisadas com maior

profundidade.

5.4 Análise dos Resultados e considerações finais

Neste seção, serão analisadas as possibilidades de re-alocação dos gastos

orçamentários, a partir do sistema de medidas de padrões de desempenho,obtidas da

aplicação desta metodologia DEA, no presente trabalho. As análises serão procedidas com o

intuito de verificar a adequação dos padrões de desempenho aos propósitos de controle e

avaliação da execução do orçamento do Programa Rio Creche. Serão analisadas as

55

possibilidades de obtenção de alocações eficientes dos recursos orçamentários entre as

unidades componentes do Programa Rio Creche. Para tal, serão consideradas as possíveis

reduções dos inputs, como forma de redução de custos, e os possíveis aumentos do volume de

atendimento, para incorporar parcela da população não atendida pelo serviço.

5.4.1 Benchmarking

A DEA avaliou a eficiência do Programa Rio Creche por meio de comparações

de desempenho de suas unidades componentes. Este processo é chamado de benchmarking

competitivo. Através do benchmarking, buscou-se a melhor forma de desenvolver as

atividades com base no padrão estabelecido pelas melhores práticas (ATIKINSON; BANKER

et al, 2000, p. 694).

As melhores práticas foram identificadas a partir da unidades avaliadas como

eficientes. No modelo CCR, 9 unidades serviram de referência para o estabelecimento das

melhores práticas e para projeção de medidas de padrão de desempenho para as outras 211

unidades. Nos modelos BCC, 22 unidades eficientes servirão para estabelecer os padrões de

desempenho das outras 188 unidades.

As possibilidades de modificação na alocação de recursos orçamentários e

aumento dos níveis de atendimento do Programa Rio Creche serão apresentadas nas

subseções seguintes.

5.4.2 Economia de recursos orçamentários

Conforme já assinalado na subseção 2.2.3, a Eficiência está relacionada ao

custo, à forma pela qual os meios são geridos e à otimização dos recursos disponíveis, através

da utilização de métodos, técnicas e normas, visando o menor esforço e o menor custo na

execução das tarefas. A eficiência é, pois, um critério de desempenho, enquanto a

Economicidade refere-se aos prazos e condições nos quais são obtidos os recursos físicos,

humanos e financeiros. Uma operação econômica pressupõe recursos em qualidade,

quantidade, menor custo e a tempo hábil.

56

As possibilidades de redução de consumo de inputs, indicadas na aplicação da

metodologia DEA, neste trabalho, apontaram possíveis economias orçamentárias no Custeio

do Programa Rio Creche.

A partir das melhores práticas, seguidas pelas unidades eficientes, foi possível

identificar as composições eficientes de gastos com alimentação, com pessoal e subvenções

sociais de cada unidade submetida à avaliação. As possíveis economias foram apuradas

mediante a aplicação das taxas de variações (reduções) de inputs, obtidas da aplicação da

metodologia, proporcionalmente à parcela do orçamento destinada ao custeio de cada

unidade.

Em ralação à aplicação do modelo CCR-IN, foram identificadas possibilidades

de redução nos gastos com alimentação, R$ 3.092.426,19 (36,7%), com pagamento de

funcionários, R$ 1.319.218,04 (39,9 %) e nas subvenções sociais, destinadas ao custeio das

organizações da sociedade civil, R$ 12.017.220,87 (38,1%). No total, se as práticas das

unidades eficientes, identificadas pelo modelo CCR, tivessem sido seguidas pelas demais,

teria sido possível efetuar uma redução total do custeio do Programa Rio Creche de R$

16.428.865,10 (37,9%).

Como é sabido, no modelo BCC-IN, são levados em consideração os retornos

variáveis de escala. Como já comentado na seção 4.3, este modelo apresenta uma quantidade

de unidades eficientes superior ao modelo com retornos constantes de escala, CCR. Sendo

assim, uma maior quantidade de unidades encontra-se na fronteira de eficiência ou próxima a

ela e, conseqüentemente, é requerida uma menor redução de inputs para transformar as

unidades ineficientes em eficientes. Este aspecto foi comprovado no presente trabalho, pois,

com a adoção do modelo BCC-IN, foram encontradas menores possibilidades de redução de

inputs.

No orçamento do Programa Rio Creche, de acordo com os resultados obtidos

na aplicação do modelo BCC-IN, teria sido possível obter uma economia de R$ 2.349.233,23

(27,9%), nos gastos com alimentação, de R$ 1.067.200,99 (32,3%), nos gastos com

pagamento de funcionários, e de R$ 9.458.981,10 (30,0 %), nas subvenções sociais. Embora

inferior à possível economia obtida com a aplicação do modelo CCR-IN, o modelo BCC-IN

assinalou uma possível e significativa economia no orçamento de custeio do Programa Rio

Creche, R$ 12.875.415,31 (29,7%).

Na seção seguinte, é apresentada outra possibilidade de interpretação dos

resultados da DEA, que exploram as possibilidades de ampliação dos níveis de atendimento à

população, sem aumento dos níveis de alocação de recursos orçamentários em cada unidade.

57

5.4.3 Ampliação do Volume de Trabalho

Os modelos DEA orientados a outputs exploram as possibilidades de aumento

da capacidade de atendimento do Programa Rio Creche, sem que seja requerida ampliação

dos níveis de recursos alocados. A aplicação da DEA, na orientação para outputs, possibilita a

identificação de padrões de eficiência a serem estabelecidos, sobretudo, na elaboração das

metas físicas constantes no Plano Plurianual.

A variável utilizada para medir o produto final do Programa Rio Creche foi

“crianças” (quantidade média mensal de “crianças” atendidas por unidade), que constitui uma

Medida de Volume de Trabalho, conforme já mencionado na seção 2.3.2.

A escolha desta variável para representar o output do Programa apresenta como

vantagem sua fácil mensuração e a possibilidade de sua utilização na formulação das metas

físicas do Plano Plurianual.

A ampliação do volume de trabalho é particularmente importante, quando se

leva em consideração que o atendimento à população é o objetivo principal de um programa e

que, em razão do Princípio da Universalização (vide LOAS), as demandas sociais reprimidas

devem ser sanadas.

De acordo com os resultados obtidos no modelo CCR, teria sido possível

ampliar a quantidade média de crianças atendidas por mês de 18.052 para 27.541, o que

representaria um aumento de 52,6% do atendimento total do Programa realizado em 2001. Já

no modelo BCC-OUT, teria sido possível ampliar a quantidade média de “crianças” atendidas

por mês de 18.052 para 22.920, o que representaria um aumento de 27 %.

As diferenças entre as possibilidades de aumento dos níveis de atendimento,

nos dois modelos, ocorreram em razão da diferença de tratamento dadas aos retornos de

escala no modelo CCR e no modelo BCC.

5.4.4 Critérios para formulação de convênios

Na gestão 2001, do Programa Rio Creche, foram firmados convênios entre a

Prefeitura do Rio de Janeiro e organizações da sociedade civil. Para a celebração destes

convênios, as organizações da sociedade civil interessadas tiveram que tomar a iniciativa e

apresentar seus planos de atendimento à Prefeitura do Rio, para que ela os avaliasse, quanto

ao interesse social da comunidade e à viabilidade de celebração do convênio.

58

Das 18.052 crianças atendidas pelo Rio Creche, em 2001, 7.847 crianças

(43,5%) foram atendidas nas unidades PNP e, por este motivo, dependeram da iniciativa de

organizações da sociedade civil para que fossem firmados os convênios e assegurassem a

prestação do serviço.

Apesar destas iniciativas serem importantes e merecerem incentivo por parte da

Administração Pública, sem um adequado dimensionamento da demanda pode se tornar

inviável assegurar a universalização do acesso aos serviços. Pois, se a demanda pelo serviço,

em uma comunidade, for desconhecida pela Prefeitura e não houver uma organização da

sociedade civil que apresente um plano viável de atendimento, a comunidade não será

atendida pelo Programa.

O ideal seria que a Prefeitura adotasse como meta, no Plano Plurianual, o

atendimento integral da demanda social. Supondo que isto fosse possível, o critério adotado

na avaliação dos planos de atendimento, para formulação de convênios, poderia privilegiar as

propostas mais eficientes, mediante a comparação das unidades que compõem o Programa. A

decisão da Prefeitura recairia sobre firmar o convênio ou prestar diretamente o atendimento à

comunidade.

Por este critério, a decisão a cargo da Prefeitura seria eminentemente

econômica e a metodologia DEA poderia fornecer um conjunto de padrões de desempenho,

melhores práticas, que constituiria o critério para avaliação dos planos de atendimentos,

propostos pelas organizações da sociedade civil, e da decisão de celebrar ou não o convênio.

Para melhor entendimento, considere como exemplo, a simulação a seguir:

Simulação de Aplicação da DEA na Avaliação de Proposta de Convênio

a) Admitamos por simulação que, no Plano Plurianual, referente ao

Programa Rio Creche, tivesse sido estabelecida a meta de atendimento

de 95 crianças, para uma comunidade específica, e que o atendimento a

esta comunidade viesse sendo prestado pela PP - 31 de Outubro, nas

mesmas condições observadas, neste trabalho, conforme apresentado na

18.

59

Tabela 18 – Medidas de inputs e outputs da PP - 31 de Outubro Creche Funcio-

nários Recrea- dores

Cozi- nheiros

Aux_Serv Alimen- tação

Crianças

PP - 31 de Outubro 4,69 10 4 3 14.697,74 90

b) Por simulação, admita que a PP - Visconde de Sabugosa tivesse

apresentado sua proposta para atender a referida comunidade e que

tivessem sido mantidas todas as condições, já assinaladas nesta

pesquisa. Assim, o plano de atendimento da PP - Visconde de

Sabugosa poderia ser representado conforme disposto na Tabela 19.

Tabela 19 – Medidas de inputs e output da PP - Visconde de Sabugosa Creche Funcio-

nários Recrea- dores

Cozi- nheiros

Aux_Serv Alimen- tação

Crianças

PP -Visconde de Sabugosa 42,75 1 2 3 20.826,68 95

c) A Prefeitura deveria optar, neste caso, entre ampliar o atendimento da

PP - 31 de Outubro, de 90 para 95 crianças, ou firmar um convênio com

a PP - Visconde de Sabugosa, para atender as 95 crianças.

d) De acordo com os resultados da avaliação de eficiência DEA (modelo

BCC-OUT), já comentado neste trabalho, a PP - 31 de Outubro é

ineficiente, pois obteve score θ = 0,763, e a PP - Visconde de

Sabugosa é eficiente, pois obteve score θ = 1 e não apresentou folgas.

e) Nestas condições, a PP - 31 de Outubro só seria eficiente se elevasse

seu atendimento mensal para 118 crianças por mês. Caso atendesse 95

crianças por mês, ainda permaneceria ineficiente.

f) Entretanto, a PP - Visconde de Sabugosa poderia atender 95 crianças

eficientemente, cumprindo a meta traçada no Plano Plurianual.

g) Nesta simulação, a DEA poderia indicar para a Prefeitura que seria

mais eficiente celebrar o convênio com a PP - Visconde de Sabugosa do

que procurar elevar o atendimento da PP - 31 de Outubro.

De acordo com os resultados obtidos nesta pesquisa, a DEA apontou

possibilidades de ampliação do atendimento para 27.541 crianças, no modelo CCR, e para

22.920, no modelo BCC-OUT, sem que seja necessário efetuar acréscimos no orçamento do

60

Programa. Contudo, a simulação desenvolvida anteriormente mostra que o aumento do

atendimento deve estar condicionado ao conhecimento prévio da demanda pelo serviço.

Em pesquisa de opinião dos usuários do Programa Rio Creche, desenvolvida

pelo Instituto de Pesquisa Econômica Aplicada (IPEA, 2001), por solicitação da SMDS, o

principal motivador para as crianças serem atendidas pelo Programa Rio Creche é para que

suas mães possam trabalhar (86% dos entrevistados). Subentende-se, assim, que um bom

indicador da demanda do Programa Rio Creche poderia ser obtido pela conjugação da

distribuição de renda domiciliar per capita. com a distribuição demográfica por faixa etária.

5.4.5 Esquemas de Incentivos

No presente trabalho, é oportuno salientar que, no estado atual da arte, vêm

sendo desenvolvidas pesquisas que buscam verificar a aplicabilidade da DEA na formulação

de esquemas de incentivos. Bogetoft (1997) mostrou que esquemas de incentivo, que

reembolsam custos efetivos mais fração de reduções de custos estimadas pela Análise de

Envoltória de Dados, induziriam as firmas a reduzir custos.

Marinho, Resende e Façanha (op. cit.) propuseram um modelo alternativo para

distribuição de verbas públicas para custeio, aplicado pelo MEC, a partir de regra linear de

incentivo.

Bowlin, Wallace e Murphy (1989) apresentaram solução combinada de DEA

com modelos de regressão de uma variável dependente, que representa as participações

orçamentárias de bases militares americanas. Os autores utilizam variáveis independentes

resumidas por aquelas representativas da produção e das necessidades das unidades,

negociadas com gestores e especialistas, e com valores “ajustados” (targets) para a fronteira

de eficiência.

61

6 CONCLUSÃO E RECOMENDAÇÃO PARA FUTURAS PESQUISAS

6.1 Conclusão

A proposta do presente estudo foi verificar a aplicabilidade da metodologia de

Análise de Envoltória de Dados (DEA) a partir de informações extraídas do Sistema de

Contabilidade Governamental.

De acordo com os resultados apresentados neste trabalho, concluímos que a

DEA pode auxiliar a geração de informações que suportem decisões sobre planejamento,

controle e alocação de recursos orçamentários no Programa Rio Creche, uma vez que:

• As melhores práticas, identificadas pela metodologia, a partir de

comparações de desempenho entre as unidades participantes do

Programa Rio Creche, possibilitam a racionalização na definição das

metas físicas, no Plano Plurianual. Evidentemente, o emprego racional

de recursos, proposto pela DEA, não suprime a necessidade de ser dado

um tratamento adequado aos aspectos externos ou políticos, que afetam

a formulação das metas físicas.

• O emprego da DEA pode auxiliar o processo de controle gerencial, na

consecução e coordenação dos objetivos traçados pelas múltiplas

instâncias que compõem o Programa Rio Creche, uma vez que pode

fornecer critérios para formulação e acompanhamento dos convênios.

• A DEA, para sua aplicação, requer inventários dos múltiplos inputs e

output, de um número significativo de unidades tomadoras de decisão e,

por conseguinte, reforça a necessidade de se ter previamente

estabelecido um Sistema de Contabilidade de Custos que assegure a

integridade e consistência dos dados inventariados por centros de

responsabilidade.

• A DEA pode fornecer suporte às avaliações das ações decorrentes da

discricionariedade gerencial, sobre as operações do governo que

acarretem arranjos de inputs e output, e pode mostrar o quanto

62

eficientes foram os gestores no cumprimento das metas e objetivos

entregues a sua responsabilidade.

• A DEA possibilitou a investigação e identificação de causas de desvios

em relação aos padrões de desempenho estabelecidos e indicou

soluções adequadas para cada caso, no sentido de corrigir os desvios

detectados, sugerindo medidas que motivem a melhoria do

desempenho.

• As possibilidades de redução de consumo de inputs, indicadas na

aplicação da metodologia DEA, apontaram possíveis economias

orçamentárias no Custeio do Programa Rio Creche (apesar de análises

mais completas exigirem um período de observação igual ou superior a

cinco).

• A DEA faculta a utilização de padrões de desempenho físicos,

monetários e de tempo.

A DEA, a partir de um sistema de medidas de padrões de desempenho,

permitiu a identificação das causas que determinaram um volume de gastos desnecessários,

decorrentes de ineficiências, enquanto verificamos que a Contabilidade assegurou a

consistência das informações submetidas a avaliação.

6.2 Recomendações para futuras pesquisas

Esperamos que os resultados deste trabalho despertem a atenção de

pesquisadores para as possibilidades de utilização da metodologia de programação

matemática Análise de Envoltória de Dados na avaliação de programas.

Em razão das limitações encontradas na realização desta pesquisa, muitas

informações não puderam ser obtidas. O Sistema de Custos da Prefeitura do Rio, que

assegura a consistência das informações submetidas à avaliação, só foi definitivamente

implantado no segundo semestre de 2003. Por este motivo, nos modelos aplicados, foram

consideradas medidas de volume de trabalho, ao invés de medidas de produto final e de

realizações.

Como sugestão para novas pesquisas, propomos que os modelos DEA sejam

aplicados na avaliação de programas orçamentários mediante a utilização de medidas de

63

produto final ou de realizações. Com a consistência das informações asseguradas pelo

Sistema de Custos da Prefeitura do Rio, será possível estender a pesquisa a todos os

programas da SMDS e, até mesmo, da Prefeitura, para um período de tempo superior a um

ano. A partir destas pesquisas, será possível consolidar um conjunto de estudos e generalizar

os resultados encontrados.

Por fim, também julgamos que seja recomendável o desenvolvimento de

pesquisas sobre a aplicabilidade da DEA na formulação de esquemas de incentivos na

distribuição de verbas públicas no custeio dos convênios nos programas orçamentários.

64

7 REFERÊNCIAS

ANTHONY, R.; YOUNG, A.N. Management Control in Nonprofit Organization. Ilinois:

Irwin Inc., 1993.

ANTHONY, R; DEARDEN, J. Management Control Systems. Ilinois: Irwin Inc., 1980.

ATKINSON, A.A.; BANKER, R.D.; KAPLAN, R.S.; YOUNG, S.M. Contabilidade

Gerencial São Paulo: Atlas., 2000.

BANCO MUNDIAL. 1999. Anais do Fórum Eletrônico Aprendendo com as Parcerias

com a Sociedade Civil: conceitos, definições e objetivos da parceria. Disponível em:

www.worldbank.org/devforum/highlights_partnering.html Acesso em: 10 jan. 2001.

BANDEIRA, Pedro. Participação, Articulação de Atores Sociais e Desenvolvimento

Regional. Texto para Discussão do IPEA, n.o.630, Brasília, 1999. Disponível em

http://www.ipea.gov.br. Acesso em: 20 ago. 2002.

BANKER, R.D. Econometric Estimation and Data Envelopment Analysis, In: J.L. Chan and

J.M. Patton., eds. Research in Governmental and Nonprofit Accounting, no. 5, pp. 231-43,

1989. JAI Press. Greenwich, CT. Abstract: Carnegie Mellon U

BANKER, R.D.; CHARNES, A.; COOPER, A.Y. Some models for estimating techinical na

scale inefficiencies in Data Envelopment Analysis. Management Science, 1984. n.o. 30, p.

1078-1092.

BANKER, R.D.; CHARNES, A.; COOPER, W.W.; SWARTS, J. e THOPAS, D. An

Introduction to Data Envelopment Analysis with Some of Its Models and Their Uses, In: J.L.

Chan and J.M. Patton., eds. Research in governmental and nonprofit accounting, no. 5, pp.

125-63, 1989. JAI Press. Greenwich, CT

BANKER, R.D.; DAS, S. e DATAR, S.M. Analysis of Cost Variances for Management

Control in Hospitals, In: J.L. Chan and J.M. Patton., eds. Research in Governmental and

Nonprofit Accounting, no. 5, pp. 268-291, 1989. JAI Press. Greenwich, CT.

65

BANKER, R.D.; MOREY R.C. Efficiency Analysis for Exogenously Fixed Inputs and

Outputs. Operations Research, vol. 34, no. 4, pp. 513-521, Jul, 1986-Aug 31, 1986.

BOBBIO, N. O conceito de sociedade civil em Gramsci. Rio de Janeiro: Edições Graal,

1982.

BOND, Michael Shaw. Reação contra ONG's. Coletânea Rio Estudos, n.o.16, Rio de Janeiro,

maio 2001. Disponível em http://www.armazemdedados.rio.rj.gov.br/index.htm. Acesso em:

20 set. 2001.

BOGETOFT, P. DEA-based yardstick competition: the optimality of best practice regulation.

Annals of Operations Research, v. 73, p. 277-298, 1997.

BOWLIN, W. J., WALLACE, I. J. R., MURPHY, R. L. Efficiency based budgeting. The

Journal of Cost Analysis, v. 8, p. 33-54, 1989.

BRASIL. Constituição da Federal de República. Brasília: Senado Federal, 1988.

BRESSER PEREIRA, L. C., WILHEIN, Jorge e SOLA, Lourdes, orgs. Sociedade em

Transformação. Brasília: ENAP, 1999.

CADERNO COMUNIDADE SOLIDÁRIA. Marco Legal do Terceiro Setor. Brasília: IPEA,

1996, 5v.

CARDOSO, L.C.; FAÇANHA, L.O.; MARINHO, A. Avaliação de programas sociais

(PNAE, PLANFOR, PROGER): eficiência relativa e esquemas de incentivo. Rio de Janeiro:

IPEA, jan. 2002 (Texto para Discussão n.o.859).

CARVALHO FILHO, J.S. Manual de Direito Administrativo. Rio de Janeiro: LUMEN,

1999.

CHARNES, A.; COOPER, W.W.; RHODES. Mensuring the efficiency of decision making

units. European Journal of Operations Research, 1978. vol.2, p. 429-444.

66

COOPER, W.W.; SEIFORD, L.M.; TONE, K. Data Envelopment Analysis: a

comprehensive text with models, aplications, references and DEA-Solver Software. Norwell:

Kluwer, 2000.

COORDENAÇÃO DE INDICADORES GERENCIAIS/SECRETARIA MUNICIPAL DE

SAÚDE (SMS). Avaliando a eficiência dos hospitais gerais do SUS através da metodologia

de Análise de Envoltória de Dados - DEA. Coletânea Rio Estudos, n.º 44, Rio de Janeiro,

jan. 2002. Disponível em http://www.armazemdedados.rio.rj.gov.br/index.htm. Acesso em:

10 jun. 2002.

COUTINHO, C. N. Gramsci: um estudo sobre o pensamento político. Rio de Janeiro:

Campus, 1992.

DI PIETRO, M.S.Z. Parcerias na Administração Pública. São Paulo: Atlas, 1999.

EHRLICH, Pierre Jacques. Pesquisa Operacional. São Paulo: Atlas, 1988.

FAÇANHA, L. O., MARINHO, A. Hospitais universitários: mecanismos de coordenação e

avaliação comparativa de eficiência. Ensaio: Avaliação e Políticas Públicas em Educação, v.

19, n. 6, p. 201-235, abr./jun. 1998.

FAÇANHA, L. O., RESENDE, M. Price Cap Regulation, Incentives and Quality: the Case

of Brazilian Telecomunications. Instituto de Economia, Universidade Federal do Rio de

Janeiro. 2003.

FAÇANHA, L. O., RESENDE, M., MARINHO, A. Brazilian federal universities: relative

efficiency evaluation and data envelopment analysis. Revista Brasileira de Economia, v. 51, n.

4, p. 489-508, out./dez. 1997.

FARREL, M.J. The mensurement of productive efficiency. Journal of the Royal Statistical

Society. 1957. A CCX, part 3, p. 253-290.

FERNANDES, R.C. Privado porém público: o terceiro setor na América Latina. Rio de

Janeiro, Relume-Dumará, 1994.

67

FUNDO MUNICIPAL DE DESENVOLVIMENTO SOCIAL (Fundo Rio). Programa Rio

Creche. Rio de Janeiro, 2001.

GIACOMONI, James. Orçamento público. 9ªed. São Paulo: Atlas, 1996.

GOMES, J. S. Controle de Gestão na Era da Globalização. XV Congresso Brasileiro de

Contabilidade, 1996.

GOMES, J. S.; SALAS, J. M. A. Controle de Gestão: uma abordagem contextual e

organizacional. São Paulo: Atlas, 1999.

GRAHAM, C.B.; HAYS, S.W. Para administrar a organização pública. Rio de Janeiro:

Jorge Zahar Editores, 1994. 280 p.

HOFSTEDE, G. H. Diagnostic Organizational Cultures. Working Paper, I.R.I.C., jun.,

1987.

INSTITUTO BRASILEIRO DE CONTADORES (IBRACON). Princípios de Contabilidade

Geralmente Aceitos: estrutura conceitual básica da Contabilidade. IPECAFI, São Paulo,

1988.

INSTITUTO PEREIRA PASSOS (IPP) – PREFEITURA DA CIDADE DO RIO DE

JANEIRO. Onde estão nossas crianças. Coletânea Rio Estatística, n.o.3, Rio de Janeiro,

maio 2003. Disponível em http://www.armazemdedados.rio.rj.gov.br/index.htm. Acesso em:

1 ago. 2002.

KASSAI, S. Uma utilização da Análise por Envoltória de Dados (DEA) na Análise de

Demonstrações Contábeis. 2002. 318 p. Dissertação (Doutorado em Contabilidade e

Controladoria) – Departamento de Contabilidade e Atuaria da Faculdade de Economia,

Administração e Contabilidade, Universidade de São Paulo, São Paulo.

LE BOTERF, Guy. A participação das comunidades na administração da educação. Revista

de Administração Pública. São Paulo, v.16, n.1, p.107-142, 1982.

LIPSCHUTZ, Seymour. Álgebra Linear. São Paulo: McGraw-Hill, 1972.

68

LORANGE, P. e MORTON, M. S. S. A framework for management control systems.

Sloan Management Review, 1974.

MACHADO JR. José Teixeira. Teoria e Prática de Orçamento Municipal. Rio de Janeiro:

FGV, 1962.

MACHADO JR; J. T.; REIS, H.C. A lei nº 4.320 comentada. 30ª ed. Rio de Janeiro: IBAM,

2000/2001.

MARINHO, A. Avaliação organizacional de uma universidade pública: uma abordagem

não paramétrica da Universidade Federal do Rio de Janeiro. 1996. 244 p. Dissertação

(Doutorado em Economia) – Escola de Pós-graduação em Economia, Fundação Getúlio

Vargas, Rio de Janeiro.

________________. Dois estudos sobre a distribuição de verbas públicas para instituições

federais de ensino superior: o aporte de recursos públicos para instituições federais de ensino

superior. Texto para Discussão do IPEA, n.o.679, Rio de Janeiro, 1999. Disponível em

http://www.ipea.gov.br. Acesso em: 20 ago. 2002.

________________. Estudo de eficiência em alguns hospitais públicos e privados com a

geração de Rankings. Texto para Discussão do IPEA, n.o.794, Rio de Janeiro, 2001.

Disponível em http://www.ipea.gov.br. Acesso em: 20 ago. 2002.

MARINHO, A. ; FAÇANHA, L.O. Programas sociais: efetividade, eficiência e eficácia. Rio

de Janeiro: IPEA, abr. 2001 (Texto para Discussão n.o.787) e Universidade Federal do Rio de

Janeiro/Instituto de Economia, jul. 2001.

________________. Dois estudos sobre a distribuição de verbas públicas para instituições

federais de ensino superior: instituições federais de ensino superior: modelos de

financiamento e o incentivo à eficiência. Texto para Discussão do IPEA, n.o.679, Rio de

Janeiro, 1999. Disponível em http://www.ipea.gov.br. Acesso em: 20 ago. 2002.

MARTINS DA SILVA, L. Contabilidade governamental: um enfoque administrativo. 4ª ed.

São Paulo: Atlas, 1998.

69

MEIRELES, Hely Lopes. Direito Administrativo Brasileiro. São Paulo: Malheiros, 1995.

MINISTÉRIO DA PREVIDÊNCIA E ASSISTÊNCIA SOCIAL Lei Orgânica de Assistência

Social. Brasília:1993

MINTZBERG, H. Criando organizações eficazes. Hertfordshire: Prentice Hall, 1995.

________________. The rise and fall of stategic planing. Hertfordshire: Prentice Hall,

1994.

MOITA, Márcia H.V. Medindo a eficiência relativa de escolas municipais de Rio Grande

(RS) usando a abordagem DEA (Data Envelopment Analysis). 1995. 65 p. Dissertação

(Mestrado em Engenharia) - Programa de Pós-graduação em Engenharia de Produção,

Universidade Federal de Santa Catarina, Florianópolis.

MORAES, Alexandre. Direito Constitucional. São Paulo: Atlas, 2001.

ORGANIZAÇÃO DOS ESTADOS AMERICANOS (OEA), Programa de administração para

o desenvolvimento. Avaliação orçamentária. Revista ABOP. Brasília, 1(1):3772, maio/ago.

1975.

OSBORNE, D.;GAEBLER, T. Reinventando o governo: como o espírito empreendedor está

transformando o setor público. Brasília: MH Comunicação, 1994.

OZANIRA, M. et al. Avaliação de políticas e programas sociais: teoria e prática. São Paulo:

Veras, 2001.

PEREIRA, José Matias. Finanças públicas: a política orçamentária no Brasil. São Paulo:

Atlas, 1999.

PISCITELLI, R.B. Controle interno na administração pública federal. Brasília: ESAF,

1988, 105p.

PROGRAMA DAS NAÇÕES UNIDAS PARA O DESENVOLVIMENTO (PNUD);

PREFEITURA DA CIDADE DO RIO DE JANEIRO; INSTITUTO DE PESQUISA

70

ECONÔMICA APLICADA (IPEA). Desenvolvimento Humano e Condições de Vida na

cidade do Rio de Janeiro e seus bairros. Coletânea Rio Estudos, n.o.4, Rio de Janeiro, mar.

2001. Disponível em http://www.armazemdedados.rio.rj.gov.br/index.htm. Acesso em: 20 set.

2001.

SOUSA, M.C.S., F.S. Eficiência técnica e retornos de escala na produção de serviços públicos

municipais: o caso do Nordeste e do Sudeste Brasileiros. Rio de Janeiro. Revista Brasileira

de Economia. v.4. out-dez, 1999.

RAMOS, Naimar M.. Aperfeiçoamento das técnicas de avaliação de desempenho na

administração pública: uma contribuição. Brasília. Revista ABOP. v.4. jan-abr, 1978.

REIS, H.C. Auditoria governamental: uma visão da qualidade. Revista de Administração

Municipal. IBAM, Rio de Janeiro, v.40, n. 209, out-dez 1993.

________________. Avaliação do desempenho governamental com utilização de

informações contábeis. Rio de Janeiro: IBAM, 1986.

________________. Em busca da transparência. na contabilidade governamentais. Revista de

Administração Municipal IBAM, Rio de Janeiro, v.39, n. 202, jan-mar 1992.

________________. Fundos especiais: nova forma de gestão de recursos públicos. Revista de

Administração Municipal IBAM, Rio de Janeiro, v.38, n. 201, out-dez 1991.

________________. Princípios Fundamentais da Contabilidade (Resolução 750/93 do

Conselho Federal de Contabilidade) e a Lei 4.320/64. Revista Brasileira de Contabilide.

IBAM, Rio de Janeiro, v.25, n. 100, jul-ago 1996.

________________. Sistema de Controle Interno e Avaliação de Desempenho

Governamental com Utilização de Informações Contábeis. Revista de Administração

Municipal IBAM, Rio de Janeiro, v.23, n. 135, mar-abr 1988.

________________. A transparência nas demonstrações contábeis de uma administração

municipal: um estudo de caso. 1988. Dissertação (Mestrado em Contabilidade) - Fundação

Getúlio Vargas (FGV/RJ), Rio de Janeiro.

71

RESENDE, Marcelo.Relative efficiency measurement na prospects for yardstick competition

in Brazilian electricity distribution. Energy Policy. N.o.30 de 2002. Disponível em

http://www.elsevier.com/locate/enpol. Acesso em: 30 set. 2003.

REZENDE, Fernando A. Finanças públicas. São Paulo: Atlas, 2001.

ROSSETTI, J. P. Política e programação econômica. São Paulo: Atlas, 1978

SECRETARIA MUNICIPAL DE DESENVOLVIMENTO SOCIAL (SMDS);

SECRETARIA MUNICIPAL DE ADMINISTRAÇÃO (SMA). Um estudo para elaboração

de um plano de ação estratégico para enfrentamento da pobreza no Município do Rio de

Janeiro. Coletânea Rio Estudos, n.º 40, Rio de Janeiro, nov. 2001. Disponível em

http://www.armazemdedados.rio.rj.gov.br/index.htm. Acesso em: 10 jan. 2002.

TEIXEIRA, L.; MACDOWEL; BUGARIN, A. Consórcios Intermunicipais de Saúde: uma

abordagem da Teoria dos Contratos. Texto para Discussão do IPEA, n.o. 894, Rio de

Janeiro, 2002. Disponível em http://www.ipea.gov.br. Acesso em: 10 set, 2002.

1 de 9 Anexo 1 – Relação Inputs e Outputs das DMU´s do Programa Rio Creche em 2001Unidades Funcionários Recreadores Cozinheiros AuxServ Alimentação Crianças

PNP - Abrigo Maria Imaculada 0 15 0 0 21.696,91 100PNP - Ação Social Padre Anchieta (ASPA) 0 16 4 0 21.225,27 120PNP - Alegria da Criança 0 14 4 0 20.613,97 105PNP - Amália Andrade Coelho 0 5 2 0 8.714,83 45PNP - AMAS - Inhoaíba 0 13 4 0 20.179,15 115PNP - AMOR 0 14 4 0 18.676,42 105PNP - Arueira 0 8 2 0 13.298,57 60PNP - Caçula 0 9 4 0 13.140,95 50PNP - Cantinho da Amizade 0 9 2 0 13.175,65 60PNP - Cantinho da Natureza 0 11 4 0 16.654,88 90PNP - Cantinho Feliz 0 9 2 0 12.891,22 65PNP - Cape Acari 0 12 3 0 19.689,00 115PNP - Cardeal Câmara 0 11 3 0 16.232,93 90PNP - Casa de Davi 0 8 2 0 18.829,92 70PNP - Casulo AMIG 0 17 4 0 22.620,38 110PNP - Centro de Educação e Assistência BabyHouse 0 5 2 0 9.528,71 35PNP - Centro de Recuperação Infantil 0 7 3 0 13.487,88 65PNP - Chameguinho 0 9 2 0 13.661,59 60PNP - Chave do Tamanho 0 16 3 3 32.718,04 120PNP - Coelhinho Travesso 0 8 2 0 7.318,39 60PNP - Convivência 0 8 2 0 9.896,30 40PNP - Coração de Mãe 0 8 2 0 16.036,00 70PNP - Criança do Futuro 0 16 5 3 23.152,58 120PNP - da Amizade 0 8 2 0 13.281,18 65PNP - do Morro da Matriz 0 11 3 0 13.257,00 65PNP - Dona Marcela 0 12 4 0 11.684,84 65PNP - Dulcinéia Costa Reis 0 16 4 0 28.259,86 120PNP - E. Clínica DEPSI 0 11 2 0 16.600,35 74PNP - E. Encanto de Maria 0 8 2 0 13.886,54 65PNP - E. Gente Baixinha 0 10 2 0 20.265,20 120PNP - E. Jardim Arco-Íris 0 8 2 0 13.449,48 70PNP - E. Jardim Balão Mágico 0 16 4 0 29.874,10 120PNP - E. Pinguinho de Gente 0 12 4 0 19.577,78 100PNP - E. Sementes do Amanhã 0 8 3 0 17.782,21 75PNP - E. Sempre Vida Santo Antonio de Pádua 0 12 4 3 17.432,78 75PNP - E. Sonhar Conceição 0 10 3 0 23.493,91 100PNP - E. Tio João LTDA 0 14 2 0 20.938,80 75PNP - E. Ursinho Panda 0 12 3 0 20.552,19 120PNP - Eliana Saturnino Braga 0 9 2 0 13.136,34 68PNP - Engenho da Rainha 0 7 1 3 4.547,93 88PNP - Esperança do Futuro 0 6 2 0 11.452,43 45PNP - Estrelinha Dourada 0 5 2 3 11.035,06 50

PNP: Prédio Não Público, PP: Prédio Público


PNP - Fabinho 0 7 2 0 10.774,68 60PNP - Gota da Esperança 0 6 2 0 9.690,52 45PNP - Guadalupe 0 14 5 0 26.243,94 100PNP - Jardim Duas Praias 0 8 2 0 14.969,80 70PNP - Jardim E. Ernesto Fagundes Varela 0 8 2 0 13.056,93 70PNP - Jardim Esperança 0 9 2 0 17.492,14 65PNP - Jardim João Goulart 0 11 3 0 21.165,02 82PNP - Jardim Pedra Azul - Paróquia Santa Clara 0 6 2 0 6.249,34 45PNP - Jardim Santa Cruz 0 17 5 0 32.015,13 135PNP - Jardim Tio Patinhas 0 11 3 0 17.630,70 90PNP - Jeronyma Mesquita 0 10 3 0 22.613,86 90PNP - João Ferreira 0 8 2 0 13.466,49 65PNP - Lar Irmão Francisco 0 11 3 0 22.137,86 90PNP - Lar Paulo de Tarso (Meninos de Luz) 0 14 2 0 27.477,10 105PNP - Lar Presbiteriano 0 8 2 0 15.236,79 60PNP - Larzinho da Pedreira 0 10 3 0 13.670,55 90PNP - Mãe Astéria 0 9 2 0 20.459,36 65PNP - Manguinhos 0 8 2 0 13.046,67 65PNP - Meus Primeiros Passos 0 10 3 0 22.750,45 95PNP - Nossa Senhora das Graças 0 8 2 0 8.785,40 55PNP - Nossa Sra. da Paz 0 8 2 0 12.686,02 65PNP - Novo Palmares 0 8 3 0 14.808,87 70PNP - O Canarinho 0 9 2 0 13.339,29 65PNP - Os Meneditinhos 0 9 2 0 15.290,76 60PNP - Oswaldo Damasceno 0 11 3 0 14.341,11 90PNP - Papudinho 0 6 2 0 9.115,38 45PNP - Pato Donald 0 6 2 0 8.042,59 45PNP - Pedro Nolasco 0 13 3 0 25.946,36 100PNP - Peixinho Dourado 0 13 3 0 22.863,38 110PNP - Peteleco 0 9 2 0 13.856,37 65PNP - Peter Pan 0 8 2 0 17.213,39 65PNP - Pingo de Gente 0 8 2 0 11.696,74 55PNP - Porfírio Dias 0 8 2 0 14.300,31 70PNP - Preventório Rainha Dona Amélia 0 6 2 0 9.915,50 45PNP - Primeiros Passos 0 8 2 0 12.499,63 70PNP - Raphael de Paula 0 9 2 0 18.915,46 50PNP - Rio das Pedras 0 11 4 0 20.132,74 90PNP - Riske e Rabiske - Paroquia Santo Antônio Maria Zacaria 0 8 2 0 10.096,28 50PNP - Rocha Miranda 0 16 4 0 22.271,85 115PNP - Sagrado Coração de Maria 0 11 3 0 19.277,57 90PNP - Santa Clara 0 10 3 0 14.362,04 90PNP - Santa Paula Frassinete - Paróquia Nossa Senhora de Fátima 0 9 2 0 15.081,78 65



PNP - Santo Antônio 0 17 4 0 27.485,74 120PNP - São João Batista - Paróquia São Pedro Apóstolo 0 3 2 0 5.978,02 30PNP - São José da Capelinha 0 8 2 0 15.542,84 70PNP - São Sebastião 0 7 2 0 9.339,54 70PNP - São Sebastião - Paróquia São Sebastião 0 9 2 0 13.973,27 65PNP - Sempre Vida do Chuveirinho 0 6 2 0 11.942,54 45PNP - Sempre Vida Elza Rabelo de Andrade 0 11 4 3 15.051,23 75PNP - Sempre Vida Pavão - Pavãozinho 0 6 2 0 9.786,03 40PNP - Sonho Real 0 6 2 0 8.776,38 45PNP - Tia Auta 0 11 3 0 13.757,73 90PNP - Tia Ruth 0 6 2 3 11.918,79 60PNP - Tia Tercília 0 10 3 0 10.128,00 90PNP - Tiquinho Tauá 0 6 2 0 8.867,64 45PNP - União Faz a Força 0 14 4 0 22.829,98 115PNP - Verginia Lemos 0 14 4 3 21.218,14 90PNP - Victorino Freire 0 9 2 3 10.857,59 60PNP - Vila da Amizade 0 8 2 0 12.124,41 60PNP - Vila dos Mineiros 0 8 2 3 12.869,87 65PNP - Zulmira Telles 0 8 2 0 11.895,51 70PP - 31 de Outubro 4,69 10 4 3 14.697,74 90PP - Aconchego 7,09 14 4 3 19.824,10 90PP - Adalberto Ismael de Souza 12,47 10 3 3 14.097,66 90PP - Adalto Bastos 9,07 10 3 3 20.393,16 90PP - Adélia Vieira 8,06 7 3 3 11.690,24 60PP - Albert Sabin 4,23 11 4 3 12.992,59 70PP - Alegria de Nova Cidade 5,38 16 5 3 24.144,63 120PP - Amália F. Condes 6,27 10 2 3 14.286,14 65PP - Amanhecer de Luz 23,07 7 1 3 17.524,95 90PP - Barbosa Lima Sobrinho 4,75 22 7 3 30.494,29 150PP - Benedita Siqueira Lopes 6,33 16 5 3 25.914,37 120PP - Betinho 9,81 13 4 3 23.400,08 95PP - Buriti Congonhas 7,23 10 3 3 12.848,29 90PP - Cantinho da Tia Dolores 23,45 11 1 3 24.108,86 100PP - Cantinho do Queto 7,43 10 2 3 19.761,53 85PP - Cantinho Feliz 5,69 5 2 3 10.468,83 45PP - Cecília Meirelles 14,88 10 4 3 15.279,17 90PP - Célia Alencar 6,08 15 3 3 18.181,04 105PP - Chico Bento 8,79 16 5 3 23.260,46 120PP - Chico Mendes 26,14 4 3 3 20.056,75 100PP - Clemente Ferreira 5,58 11 4 0 15.807,78 70PP - Cora Coralina 7,71 25 6 3 25.314,67 150PP - Coração de Geneve 4,77 11 4 3 19.725,71 75



PP - Criança Feliz 20,56 1 0 3 11.198,85 50PP - Daniela Perez 10,75 10 6 3 30.657,60 150PP - Dente de Leite 38,22 6 2 3 26.254,04 120PP - Dina Sfat 6,00 12 4 3 11.768,02 60PP - Direitos Humanos 3,92 13 4 3 21.665,82 105PP - Djanira Maria de Ramos 4,36 16 5 3 22.245,86 120PP - Dr. Antônio Monteiro 7,57 22 6 3 27.689,36 150PP - Dramaturgo Alfredo de Freitas Dias Gomes 6,77 16 5 3 24.083,77 120PP - Eduardo Moreira dos Santos 6,23 9 4 3 14.200,15 60PP - Emília Joana Fonseca Marques 4,86 16 5 3 22.822,26 120PP - Gardenia Azul 5,13 10 3 3 19.055,26 90PP - Geralda de Jesus Aleixo 5,20 16 3 3 15.277,67 96PP - Gercinda Rosa Fonseca 4,50 20 5 3 26.114,91 120PP - Guaraciara Rodrigues Diniz 6,00 16 5 3 11.584,32 120PP - Herbert de Souza 7,69 22 7 3 23.347,16 150PP - Irmã Dulce 5,00 16 5 3 19.462,71 120PP - Jacó Inácio Gomes 5,23 20 6 3 20.352,87 125PP - Jardim dos Vieiras 14,33 15 4 3 25.151,36 115PP - Jardim Monte Santo 5,36 16 5 3 24.326,57 120PP - Jardim Tio Mário 32,28 12 2 3 24.133,25 110PP - José Goulart 5,38 15 4 3 10.032,91 75PP - José Raimundo de Souza Alves 6,73 20 5 3 21.994,73 120PP - José Vieira da Silva 10,53 10 3 3 18.306,53 90PP - Julinho Cacau 32,32 5 0 3 22.117,53 105PP - Ladeira dos Funcionários 5,77 16 5 3 27.087,80 120PP - Luis Carlos Prestes 7,36 14 6 3 12.329,19 70PP - Luiz de Souza da Costa Barros 6,75 16 4 3 23.822,96 120PP - Mané Garrincha 7,64 11 4 3 15.481,33 75PP - Mané Garrincha 7,57 13 4 3 17.375,82 110PP - Marcolina 31,27 1 0 3 11.682,20 50PP - Maria Altamira Chaves Olegário 5,69 14 4 3 21.396,94 95PP - Maria Helena Papera Monteiro 4,00 10 3 3 21.340,62 90PP - Mário Lombardi 7,88 10 2 3 14.308,97 70PP - Marlene da Silva Cardoso 30,35 1 0 3 13.363,69 90PP - Meimei 5,43 9 3 3 18.492,18 95PP - Monteiro Lobato 28,67 9 2 3 24.381,01 110PP - Morro da Fé 4,07 10 3 3 17.295,81 90PP - Mulheres do Quafá 5,15 16 5 3 22.400,39 120PP - Nação Mangueirense 4,17 10 3 3 19.397,88 120PP - Nair da Fonseca 22,20 2 0 3 10.353,72 45PP - Nossa Senhora da Glória 28,93 4 0 3 13.389,66 60PP - Nova Aliança 8,92 16 4 3 24.127,78 120



PP - Nova Brasília 31,44 12 3 3 12.869,00 100PP - Nova Brasília 12,20 16 4 3 19.324,28 110PP - Nova Holanda 18,25 8 2 0 10.608,42 70PP - O Sonho de Ramon Pascual 4,83 16 5 3 12.670,87 120PP - Odetinha Vidal de Oliveira 6,71 22 6 6 17.609,66 150PP - os Sabidinhos 13,21 5 2 3 7.966,44 50PP - Pescador Albano Rosa 6,53 20 5 3 32.654,84 125PP - Pintando o Sete 5,14 15 4 3 8.922,13 124PP - Quinta do Cajú 5,62 17 5 3 18.729,77 110PP - Raquel Leite Dias 5,59 16 5 3 16.997,66 120PP - Recanto Feliz 5,15 16 5 3 24.371,37 120PP - Rio Novo e Rio das Flores 5,69 11 4 3 17.326,31 75PP - Samora Móises Machel 5,86 14 4 3 20.245,76 95PP - Santa Terezinha 14,88 18 5 3 25.904,33 130PP - Sementinha do Amor 10,94 8 0 3 11.218,65 65PP - Sempre Vida Colônia 6,43 11 4 3 15.734,32 75PP - Sempre Vida Dique 3,85 11 4 3 19.435,92 75PP - Sempre Vida Estrela de Alagados 10,56 11 4 3 17.505,37 75PP - Sempre Vida Fazenda Coqueiros 6,00 7 2 3 12.402,23 70PP - Sempre Vida Josué 3,92 5 2 3 8.590,61 35PP - Sempre Vida Loreto 3,92 11 4 3 17.325,41 75PP - Sempre Vida Parque Conquista 4,82 5 2 3 9.426,49 45PP - Sempre Vida Parque Santa Cruz 3,92 7 2 3 9.736,59 70PP - Sempre Vida Terra da Paz 4,77 11 4 3 17.803,38 75PP - Sempre Vida Vale do Sol 9,36 5 2 3 10.755,82 45PP - Seninha 5,83 17 5 3 18.066,44 115PP - Sonho de Criança 38,67 2 0 3 13.848,41 105PP - Sonho Feliz 12,94 16 5 3 20.059,40 120PP - Talita e Larissa 23,58 6 2 0 18.197,77 45PP - Tia Andreza 5,00 11 3 3 18.932,75 100PP - Tia Malú 5,92 8 2 3 11.984,84 65PP - Tia Ruth Costa dos Santos 13,87 16 5 3 29.185,69 120PP - Tio Sebastião Xavier 5,73 10 3 3 18.455,95 90PP - Victorino Freire 3,92 9 2 3 10.857,59 60PP - Vila dos Mineiros 5,31 8 2 3 12.869,87 65PP - Vila Kennedy 5,08 21 6 3 31.655,66 160PP - Visconde de Sabugosa 42,75 1 2 3 20.826,68 95PP - Vitória da Paz (Vilar Carioca) 5,10 16 5 3 25.151,23 120PP - Vovó Lucíola 6,89 12 4 3 16.322,93 75PP - Vovó Maria Joana 5,93 11 4 3 16.752,66 75PP - Zacarias o Trapalhão 48,09 4 1 3 27.528,76 120PP - Zuzu Angel 7,50 5 2 3 9.103,42 50


6/9

n.º Creche Avaliada (Decision Making Unit - DMU )Modelo

CCRModelo

BCC-OUTModelo BCC-IN

1 PP - 31 de Outubro 0,66 0,76 0,67 2 PNP - Abrigo Maria Imaculada 1,00 1,00 1,00 3 PNP - Ação Social Padre Anchieta (ASPA) 0,78 0,99 0,95 4 PP - Aconchego 0,50 0,67 0,50 5 PP - Adalberto Ismael de Souza 0,64 0,75 0,64 6 PP - Adalto Bastos 0,62 0,71 0,62 7 PP - Adélia Vieira 0,56 0,57 0,59 8 PP - Albert Sabin 0,50 0,60 0,51 9 PNP - Alegria da Criança 0,72 0,87 0,74 10 PP - Alegria de Nova Cidade 0,59 0,83 0,66 11 PNP - Amália Andrade Coelho 0,80 0,86 0,94 12 PP - Amália F. Condes 0,47 0,57 0,55 13 PP - Amanhecer de Luz 0,66 0,80 0,69 14 PNP - AMAS - Inhoaíba 0,83 0,96 0,92 15 PNP - AMOR 0,75 0,91 0,81 16 PNP - Arueira 0,69 0,69 0,83 17 PP - Barbosa Lima Sobrinho 0,58 0,96 0,90 18 PP - Benedita Siqueira Lopes 0,58 0,82 0,64 19 PP - Betinho 0,52 0,69 0,52 20 PP - Buriti Congonhas 0,67 0,78 0,67 21 PNP - Caçula 0,54 0,54 0,57 22 PNP - Cantinho da Amizade 0,68 0,68 0,79 23 PNP - Cantinho da Natureza 0,78 0,82 0,78 24 PP - Cantinho da Tia Dolores 0,61 0,87 0,61 25 PP - Cantinho do Queto 0,60 0,70 0,61 26 PP - Cantinho Feliz 0,58 0,59 0,70 27 PNP - Cantinho Feliz 0,74 0,75 0,82 28 PNP - Cape Acari 0,88 0,97 0,94 29 PNP - Cardeal Câmara 0,79 0,83 0,79 30 PNP - Casa de Davi 0,73 0,74 0,87 31 PNP - Casulo AMIG 0,68 0,89 0,75 32 PP - Cecília Meirelles 0,62 0,73 0,62 33 PP - Célia Alencar 0,59 0,83 0,61 34 PNP - Centro de Educação e Assistência BabyHouse 0,60 0,64 0,88 35 PNP - Centro de Recuperação Infantil 0,79 0,81 0,83 36 PNP - Chameguinho 0,66 0,66 0,78 37 PNP - Chave do Tamanho 0,61 0,96 0,67 38 PP - Chico Bento 0,59 0,84 0,66 39 PP - Chico Mendes 0,86 0,89 0,86 40 PP - Clemente Ferreira 0,62 0,66 0,62 41 PNP - Coelhinho Travesso 0,96 1,00 1,00 42 PNP - Convivência 0,54 0,55 0,85 43 PP - Cora Coralina 0,59 0,99 0,98 44 PP - Coração de Geneve 0,51 0,58 0,52 45 PNP - Coração de Mãe 0,73 0,75 0,87 46 PNP - Criança do Futuro 0,61 0,97 0,88 47 PP - Criança Feliz 0,79 1,00 1,00 48 PNP - da Amizade 0,74 0,74 0,86 49 PP - Daniela Perez 1,00 1,00 1,00 50 PP - Dente de Leite 0,78 0,96 0,86 51 PP - Dina Sfat 0,42 0,50 0,46 52 PP - Direitos Humanos 0,62 0,79 0,62 53 PP - Djanira Maria de Ramos 0,61 0,86 0,69 54 PNP - do Morro da Matriz 0,63 0,65 0,66 55 PNP - Dona Marcela 0,63 0,69 0,67 56 PP - Dr. Antônio Monteiro 0,60 0,97 0,93 57 PP - Dramaturgo Alfredo de Freitas Dias Gomes 0,59 0,83 0,66 58 PNP - Dulcinéia Costa Reis 0,67 0,92 0,72

Anexo 2 – Medidas de Eficiência Relativa Obtidas pela Aplicação da DEA em cada Modelo

7/9


CCRModelo



59 PNP - E. Clínica DEPSI 0,71 0,71 0,76 60 PNP - E. Encanto de Maria 0,73 0,73 0,85 61 PNP - E. Gente Baixinha 1,00 1,00 1,00 62 PNP - E. Jardim Arco-Íris 0,80 0,80 0,89 63 PNP - E. Jardim Balão Mágico 0,65 0,92 0,68 64 PNP - E. Pinguinho de Gente 0,77 0,85 0,77 65 PNP - E. Sementes do Amanhã 0,78 0,80 0,81 66 PNP - E. Sempre Vida Santo Antonio de Pádua 0,51 0,66 0,52 67 PNP - E. Sonhar Conceição 0,83 0,83 0,84 68 PNP - E. Tio João LTDA 0,60 0,62 0,65 69 PNP - E. Ursinho Panda 0,90 1,00 0,99 70 PP - Eduardo Moreira dos Santos 0,47 0,52 0,49 71 PNP - Eliana Saturnino Braga 0,77 0,77 0,84 72 PP - Emília Joana Fonseca Marques 0,60 0,85 0,68 73 PNP - Engenho da Rainha 1,00 1,00 1,00 74 PNP - Esperança do Futuro 0,64 0,67 0,85 75 PNP - Estrelinha Dourada 0,80 0,85 0,88 76 PNP - Fabinho 0,81 0,82 0,91 77 PP - Gardenia Azul 0,66 0,73 0,66 78 PP - Geralda de Jesus Aleixo 0,58 0,78 0,59 79 PP - Gercinda Rosa Fonseca 0,52 0,81 0,58 80 PNP - Gota da Esperança 0,69 0,72 0,87 81 PNP - Guadalupe 0,62 0,78 0,62 82 PP - Guaraciara Rodrigues Diniz 0,80 0,93 0,86 83 PP - Herbert de Souza 0,63 1,00 1,00 84 PP - Irmã Dulce 0,63 0,87 0,72 85 PP - Jacó Inácio Gomes 0,58 0,88 0,69 86 PP - Jardim dos Vieiras 0,56 0,82 0,60 87 PNP - Jardim Duas Praias 0,76 0,77 0,87 88 PNP - Jardim E. Ernesto Fagundes Varela 0,81 0,81 0,89 89 PNP - Jardim Esperança 0,61 0,62 0,79 90 PNP - Jardim João Goulart 0,64 0,68 0,66 91 PP - Jardim Monte Santo 0,59 0,83 0,66 92 PNP - Jardim Pedra Azul - Paróquia Santa Clara 0,83 1,00 1,00 93 PNP - Jardim Santa Cruz 0,69 1,00 1,00 94 PP - Jardim Tio Mário 0,59 0,88 0,61 95 PNP - Jardim Tio Patinhas 0,76 0,80 0,76 96 PNP - Jeronyma Mesquita 0,75 0,75 0,77 97 PNP - João Ferreira 0,74 0,74 0,86 98 PP - José Goulart 0,55 0,60 0,57 99 PP - José Raimundo de Souza Alves 0,54 0,83 0,61 100 PP - José Vieira da Silva 0,60 0,72 0,61 101 PP - Julinho Cacau 0,89 1,00 1,00 102 PP - Ladeira dos Funcionários 0,57 0,82 0,63 103 PNP - Lar Irmão Francisco 0,68 0,74 0,70 104 PNP - Lar Paulo de Tarso (Meninos de Luz) 0,72 0,87 0,75 105 PNP - Lar Presbiteriano 0,64 0,65 0,82 106 PNP - Larzinho da Pedreira 0,89 0,90 0,89 107 PP - Luis Carlos Prestes 0,45 0,55 0,48 108 PP - Luiz de Souza da Costa Barros 0,59 0,86 0,67 109 PNP - Mãe Astéria 0,60 0,61 0,79 110 PP - Mané Garrincha 0,51 0,60 0,52 111 PP - Mané Garrincha 0,66 0,84 0,71 112 PNP - Manguinhos 0,75 0,75 0,86 113 PP - Marcolina 0,62 0,85 1,00 114 PP - Maria Altamira Chaves Olegário 0,52 0,70 0,52 115 PP - Maria Helena Papera Monteiro 0,67 0,71 0,68 116 PP - Mário Lombardi 0,50 0,61 0,56

8/9


CCRModelo



117 PP - Marlene da Silva Cardoso 1,00 1,00 1,00 118 PP - Meimei 0,76 0,79 0,76 119 PNP - Meus Primeiros Passos 0,79 0,79 0,81 120 PP - Monteiro Lobato 0,64 0,88 0,65 121 PP - Morro da Fé 0,67 0,75 0,68 122 PP - Mulheres do Quafá 0,61 0,85 0,69 123 PP - Nação Mangueirense 0,89 0,97 0,95 124 PP - Nair da Fonseca 0,64 1,00 1,00 125 PP - Nossa Senhora da Glória 0,65 0,65 0,90 126 PNP - Nossa Senhora das Graças 0,79 0,82 0,91 127 PNP - Nossa Sra. da Paz 0,76 0,76 0,87 128 PP - Nova Aliança 0,59 0,86 0,66 129 PP - Nova Brasília 0,68 0,82 0,71 130 PP - Nova Brasília 0,57 0,81 0,62 131 PP - Nova Holanda 0,91 0,92 0,93 132 PNP - Novo Palmares 0,76 0,77 0,79 133 PNP - O Canarinho 0,73 0,73 0,82 134 PP - O Sonho de Ramon Pascual 0,75 0,93 0,83 135 PP - Odetinha Vidal de Oliveira 0,60 1,00 1,00 136 PNP - Os Meneditinhos 0,61 0,62 0,77 137 PP - os Sabidinhos 0,54 0,54 0,78 138 PNP - Oswaldo Damasceno 0,83 0,88 0,83 139 PNP - Papudinho 0,71 0,73 0,89 140 PNP - Pato Donald 0,75 0,79 0,93 141 PNP - Pedro Nolasco 0,65 0,80 0,66 142 PNP - Peixinho Dourado 0,75 0,89 0,75 143 PP - Pescador Albano Rosa 0,49 0,83 0,58 144 PNP - Peteleco 0,71 0,71 0,81 145 PNP - Peter Pan 0,68 0,69 0,84 146 PNP - Pingo de Gente 0,67 0,68 0,83 147 PP - Pintando o Sete 0,98 1,00 1,00 148 PNP - Porfírio Dias 0,77 0,78 0,88 149 PNP - Preventório Rainha Dona Amélia 0,69 0,71 0,86 150 PNP - Primeiros Passos 0,82 0,83 0,90 151 PP - Quinta do Cajú 0,57 0,79 0,62 152 PNP - Raphael de Paula 0,46 0,47 0,71 153 PP - Raquel Leite Dias 0,66 0,88 0,76 154 PP - Recanto Feliz 0,59 0,83 0,66 155 PNP - Rio das Pedras 0,72 0,75 0,72 156 PP - Rio Novo e Rio das Flores 0,50 0,59 0,51 157 PNP - Riske e Rabiske - Paroquia Santo Antônio Maria Zacaria 0,67 0,68 0,85 158 PNP - Rocha Miranda 0,72 0,94 0,83 159 PNP - Sagrado Coração de Maria 0,73 0,77 0,73 160 PP - Samora Móises Machel 0,53 0,71 0,53 161 PNP - Santa Clara 0,87 0,88 0,88 162 PNP - Santa Paula Frassinete - Paróquia Nossa Senhora de Fátima 0,67 0,67 0,80 163 PP - Santa Terezinha 0,58 0,88 0,72 164 PNP - Santo Antônio 0,66 0,93 0,74 165 PNP - São João Batista - Paróquia São Pedro Apóstolo 0,84 1,00 1,00 166 PNP - São José da Capelinha 0,74 0,75 0,87 167 PNP - São Sebastião 1,00 1,00 1,00 168 PNP - São Sebastião - Paróquia São Sebastião 0,70 0,71 0,81 169 PP - Sementinha do Amor 1,00 1,00 1,00 170 PP - Sempre Vida Colônia 0,51 0,60 0,52 171 PP - Sempre Vida Dique 0,52 0,59 0,53 172 PNP - Sempre Vida do Chuveirinho 0,63 0,66 0,85 173 PNP - Sempre Vida Elza Rabelo de Andrade 0,55 0,69 0,56 174 PP - Sempre Vida Estrela de Alagados 0,48 0,58 0,49

9/9


CCRModelo



175 PP - Sempre Vida Fazenda Coqueiros 0,68 0,68 0,70 176 PP - Sempre Vida Josué 0,48 0,50 0,74 177 PP - Sempre Vida Loreto 0,52 0,61 0,53 178 PP - Sempre Vida Parque Conquista 0,60 0,62 0,72 179 PP - Sempre Vida Parque Santa Cruz 0,72 0,72 0,74 180 PNP - Sempre Vida Pavão - Pavãozinho 0,61 0,63 0,85 181 PP - Sempre Vida Terra da Paz 0,51 0,60 0,52 182 PP - Sempre Vida Vale do Sol 0,52 0,52 0,65 183 PP - Seninha 0,60 0,83 0,67 184 PP - Sonho de Criança 1,00 1,00 1,00 185 PP - Sonho Feliz 0,62 0,86 0,69 186 PNP - Sonho Real 0,72 0,74 0,90 187 PP - Talita e Larissa 0,63 0,66 0,85 188 PP - Tia Andreza 0,67 0,80 0,67 189 PNP - Tia Auta 0,85 0,89 0,85 190 PP - Tia Malú 0,57 0,61 0,61 191 PNP - Tia Ruth 0,80 0,82 0,84 192 PP - Tia Ruth Costa dos Santos 0,54 0,80 0,59 193 PNP - Tia Tercília 1,00 1,00 1,00 194 PP - Tio Sebastião Xavier 0,65 0,73 0,66 195 PNP - Tiquinho Tauá 0,72 0,74 0,90 196 PNP - União Faz a Força 0,76 0,93 0,81 197 PNP - Verginia Lemos 0,52 0,74 0,53 198 PP - Victorino Freire 0,50 0,56 0,60 199 PNP - Victorino Freire 0,54 0,59 0,65 200 PNP - Vila da Amizade 0,72 0,72 0,84 201 PP - Vila dos Mineiros 0,58 0,61 0,61 202 PNP - Vila dos Mineiros 0,65 0,66 0,69 203 PP - Vila Kennedy 0,63 1,00 1,00 204 PP - Visconde de Sabugosa 1,00 1,00 1,00 205 PP - Vitória da Paz (Vilar Carioca) 0,58 0,83 0,65 206 PP - Vovó Lucíola 0,48 0,59 0,49 207 PP - Vovó Maria Joana 0,50 0,60 0,51 208 PP - Zacarias o Trapalhão 0,93 1,00 1,00 209 PNP - Zulmira Telles 0,84 0,85 0,91 210 PP - Zuzu Angel 0,61 0,62 0,73

avaliaÇÃo programas orÇamentÁrios dea · retirado pela esaf. avaliação de programas...

Documents