alvino sanches filho - avaliação da capacidade de gestão de oss

8/19/2019 Alvino Sanches Filho - Avaliação Da Capacidade de Gestão de OSs

1/9

ARTIGO ARTICLE642

Cad. Saúde Pública, Rio de Janeiro, 20(6):1642-1650, nov-dez, 2004

Avaliação da capacidade de gestãode organizações sociais: uma propostametodológica em desenvolvimento

Evaluation of management capacityin social organizations: an in-processmethodological proposal

1 Escola de Administração,

Universidade Federal da

Bahia, Salvador,Brasil. 2 Escola de Nutrição,

Universidade Federal da

Bahia, Salvador,Brasil.

3 Escola de Enfermagem,Universidade Federal da

Bahia, Salvador,Brasil.

Correspondência

C. Melo

Escola de Enfermagem,

Universidade Federal

da Bahia. Campus

Universitário do Canela

s/n, Salvador, BA

40 110-060, Brasil.

[email protected]

Maria do Carmo Lessa Guimarães 1

Sandra Maria Chaves dos Santos 2

Cristina Melo 3

Alvino Sanch es Filho 1

Abstract

A bill for Publ ic Sec tor Administrative Reform

in Brazil introduces administrative strategies

based on broad deleg ation of authority and “a

posteriori” demands for results, thereby high-

lighting the issue of evaluation in public orga-

nizations. This article presents a methodologi-

cal proposal to evaluate management capabili-

ty in so-called social organizations, a kind of

non-government public entity created within

this Reform. Drafting of the bill included the de-

finition of an underlying management concept

and its dimensions, which oriented the con-

struction of variables, indicators, parameters,

and an analytical plan for evaluation. The final

remarks include the argument that the concep-

tual choices and procedural decisions aim to

produce an evaluation design that would guar-

antee the results’ reliability and their sensitivity

for approaching the phenomenon under evalu-

ation, as well as the methodology’s applicability

and reproducibility in different contexts.

Evaluation; Management Capacity; Social Or-

ganizations

Introdução

O artigo apresenta uma proposta metodológi-ca para avaliação da capacidade de gestão deorganizações sociais. Estas são entidades pú-blicas não estatais, criadas no bojo da Reforma Admini strativa do Estado Brasile iro 1, na pri-meira gestão do governo de Fernando Henri-que Cardoso, para atuarem em setores consi-derados não exclusivos do Estado.

O desenvolvimento da proposta contou coma parceria da Secretaria de Administração doEstado da Bahia (SAEB), responsável pelo acom-panhamento e avaliação das organizações so-ciais implantadas no estado. A metodologiaproposta encontra-se em implantação, não es-tando ainda validada.

O escopo teórico da proposta metodológicapara a avaliação pretendida contempla esco-lhas conceituais que orientaram a construçãodo conceito-guia de gestão e dos indicadoresque compõem o Plano de Indicadores e o Planode Análise dos Resultados .

Uma das características importantes doprocesso de avaliação é a necessidade de queas variáveis e os indicadores sejam factíveis deserem construídos e que aquilo que expressamsejam valores compartilhados por todos os en-volvidos. Desta forma, o desenvolvimento daproposta implicou momentos de trabalho co-letivo com os técnicos da SA EB, com gestoresde organizações sociais e com outros técnicos


2/9

AVALIAÇÃO DA CAPACIDADE DE GESTÃO DE ORGANIZAÇÕES SOCIAIS 1643


das secretarias setoriais da administração pú-blica estadual, envolvidos com a implantação eimplementação das organizações sociais.

Nesta perspectiva, a formulação desta pro-

posta metodológica exigiu, antecipadamente,revisões e debates teóricos e metodológicos so-bre as organizações sociais e a avaliação daação pública com os técnicos participantes, vi-sando a construção de marcos conceituais e deinstrumentos para a avaliação.

A constr ução do Plano de Indicadores sedeu num encontro com técnicos da adminis-tração estadual, do Ministério do Planejamen-to e Orçamento e das organizações sociais naBahia, bem como a realização de Oficinas deTrabalho com a participação de consultores ex-ternos. Um segundo momento contemplou arevisão crítica da metodologia, pelos autores,após os resultados do estudo piloto numa dasorganizações sociais em funcionamento, paraverificação da consistência e viabilidade dosindicadores propostos. Um terceiro momentocontemplou a realização de um Encontro Téc-nico com a participação de consultores exter-nos (Dra. Marta Arretche, Universidade Esta-dual Paulista Júlio de Mesquita Filho; Dr. Os- waldo Tanaka, Universidade de São Paulo; Dra.Celina Souza, Universidade de São Paulo/Uni-versidade Federal da Bahia) para a verificaçãoda consistência, coerência e viabilidade doconjunto dos indicadores propostos.

Apresen ta-se a metodologi a de avaliaçãoem três seções. A primeira explicita os aspectosteórico-metodológicos orientadores da pro-posta de avaliação, discutindo as escolhas con-ceituais para construção de um conceito-guiade gestão e das suas dimensões. A segunda se-ção informa sobre o processo de construção doPlano de Indicadores e apresenta, exemplar-mente, a premissa e indicadores para cada umadas dimensões adotadas na matriz de indica-dores construída para a avaliação, compostaoriginalmente de 34 indicadores utilizados. A terceira seção explicita o Plano de Análise dos Indicadores , contemplando as decisões queconduziram o processo de atribuição dos valo-res numéricos que, por fim, buscaram traduzirde forma objetiva os pressupostos de toda aavaliação. Finaliza o trabalho uma seção deconsiderações finais.

Aspectos teórico-metodológicosda avaliação

O espaço da avaliação

O projeto de Reforma Administrativa do Esta-do Brasileiro 1, iniciado na primeira gestão dogoverno de Fernando Henrique Cardoso, e de-corrente de um amplo processo de reforma cu- jo eixo é a descen tralização, contou com umrelativo consenso da sociedade brasileira emfunção da forte e positiva associação entre a re-forma e a chamada crise fiscal do Estado, a con-tinuidade do sucesso do Plano Real e a promes-sa de que a reforma tornaria o serviço públicoeficiente 2,3. Esse projeto se voltou para o forta-lecimento das funções de regulação e coorde-nação do Estado, com separação das atividadesde regulação das de execução, transferindo es-tas para o chamado “setor público não-estatal”,representado pelas organizações sociais, fican-do a produção de bens e serviços para o mer-cado 4. As organizações sociais são representa-das por pessoas jurídicas de direito privado econstituídas sob a forma de associação, funda-ção ou sociedade civil sem fins lucrativos que,se habilitam, mediante a assinatura de um con-trato de gestão, a absorver atividade pública,administrando serviços, instalações e equipa-mentos pertencentes ao Poder Público, e rece-bendo recursos orçamentários necessários aoseu funcionamento 5.

Outro aspecto importante da Reforma Ad-ministrativa do Estado Brasileiro, em face desua complexidade, é a descentralização verti-cal dos serviços sociais, com implicações paraestados e municípios, especialmente para osmunicípios, bem como para a consecução deobjetivos como a ampliação da efetividade,universalização e democratização dos serviçospúblicos sociais 6. Sobre a descentralização,Souza & Carvalho 7 ressaltam que seus benefí-cios não se distribuem uniformemente, princi-palmente em um país de vasta dimensão terri-torial, marcado por profundas desigualdadesinter e intra-regionais e sociais como o Brasil.

Este conjunto de inovações apresenta-secomo fundado na idéia de uma administraçãopública gerencial, em que é possível desenvol-ver estratégias administrativas baseadas na am-pla delegação de autoridade e na cobrança aposteriori de resultados. Estes pressupostos,por sua vez, estão assentados num movimentoteórico denominado de Novo GerencialismoPúblico, que tem como objetivo tornar a admi-


3/9

Guimarães MCL et al.644


nistração pública mais eficiente e moderna,além de voltada para o atendimento das neces-sidades e satisfação plena dos cidadãos 8,9. Es-te projeto de reforma gerencial foi apresentadocomo uma oportunidade para corrigir os ru-mos da administração pública latino-america-na naquilo que sua trajetória escreveu com

mais cores: rigidez conjugada com ineficiência;ausência de mecanismos de controle externo;distanciamento e não compromisso com as de-mandas dos cidadãos; excessos burocráticos euso político da máquina estatal para realizarinteresses particulares. Frente ao desafio, o re-conhecimento e a valorização de um espaçopúblico não-estatal como ator na provisão deserviços públicos ganhou relevância.

O pressuposto balizador, que orienta a trans-ferência da gestão de serviços públicos para or-ganizações de natureza não-estatais, é o de queexiste um espaço público não-estatal, que en-volve a capacidade da sociedade atuar juntocom o Estado na oferta de serviços públicos,não apenas controlando-os, mas também co-mo executora, sempre visando a ganhos emeficiência e efetividade 10.

A avaliação e o acompanhamento do de-sempenho da gestão pública, bem como destesnovos parceiros instituídos por meio da conces-são dos serviços públicos e dos contratos degestão, são vistos como importantes para subsi-diar as correções necessárias na formulação daspolíticas governamentais e na sua implementa-ção, bem como no aperfeiçoamento dos instru-mentos jurídicos e administrativos que balizamas novas modalidades de gestão de serviços pú-blicos previstos pela Reforma Administrativa doEstado Brasileiro. É nesta direção, e em sintoniacom estes desafios, que se elaborou a propostametodológica para avaliar a capacidade de ges-tão de organizações sociais objeto deste artigo.

O tipo de avaliação que orientou o processo

de construção da metodologia

Embora o termo avaliação seja utilizado quasesempre com o mesmo significado, o de expres-sar juízo de valor a alguma coisa, a variação eas imprecisões do conceito decorrem do fatode que o termo avaliação, para ganhar inteligi-bilidade, necessita estar acompanhado de ou-tros termos que informem sobre o objeto e osujeito da avaliação, além dos seus propósitos,objetivos e modos de proceder. Assim, as con-trovérsias observadas situam-se no plano daprática, do como esta deve ser conduzida, oumais precisamente na seleção do foco, dos mé-todos e do grau de objetividade e de sistemati-zação utilizados para se avaliar.

Por outro lado, também se observa na lite-ratura que o conceito de avaliação está em evo-lução, e muda de acordo com o contexto, in-corporando as concepções anteriores e acres-centando novas perspectivas, tornando o pro-cesso de avaliar mais complexo em informa-ções e mais sofisticado em termos de seus pro-

pósitos 11.Diante disso, torna-se necessário ressaltar

algumas escolhas prévias sobre o tipo de ava-liação que orientaram a proposta metodológi-ca para avaliar a capacidade de gestão de orga-nizações sociais, a saber:(a) A natureza e o tipo de avaliação adotados seaproximam do que é denominado de pesquisainteressada ou Policy Oriented , a qual, segundoDraibe 12, tem como objetivo detectar dificulda-des e obstáculos e produzir recomendações –corrigir rumos do programa ou disseminar li-ções e aprendizagens – visando a melhoria daqualidade do processo de implementação e dodesempenho da política;(b) O foco da avaliação proposta é a gestão, oque implicou a adoção de um tipo de avaliaçãode processo, entendida como aquela que focaas condições e o desenho da organização e o co-mo são desenvolvidas as ações programadas.Pode-se detectar, assim, os fatores que, ao lon-go da implementação, facilitam ou impedemque um dado programa/atividade atinja seusresultados da melhor maneira possível 12;(c) Esse tipo de avaliação exige levantamentode hipóteses/premissas, que são formuladas àluz de uma imagem-objetivo referenciada pe-los avaliadores e os outros atores envolvidos,construindo compromissos em relação a umadireção futura que se pretende alcançar e/outransformar.

O foco da avaliação

Algumas decisões importantes orientaram aelaboração da proposta metodológica para ava-liar a capacidade de gestão de organizações so-ciais. Uma delas diz respeito ao foco da avalia-ção. O modelo de organizações sociais é bas-tante polêmico no Brasil. Contudo, ainda que adiscussão sobre o modelo em si seja importan-te para o seu aperfeiçoamento, não foi este oobjeto da metodologia de avaliação apresenta-da neste artigo.

O foco da avaliação proposta é a gestão. Es-ta opção fundamentou-se nas consideraçõesde que, dentre os argumentos utilizados pelogoverno federal para a criação do modelo deorganizações sociais, três princípios se desta-caram: maior autonomia decisória destas orga-nizações frente aos níveis hierárquicos da es-


4/9



trutura burocrática da administração públicabrasileira, por possibilitar um processo decisó-rio mais rápido e mais efetivo; maior flexibili-dade para romper com a rigidez da estruturaorganizacional, objetivando maior interdepen-dência e compartilhamento na autoridade e naresponsabilidade 13; por fim, maior transpa-rência, ao instituir, na estrutura organizacionalda organizações sociais, os conselhos adminis-trativo e fiscal, com a participação de represen-tantes do Estado e da sociedade civil, com vis-tas a gerar decisões mais consensuais, além deinstituir canais e expedientes que possam, aodivulgar e socializar estas decisões para traba-lhadores e usuários, contribuir para a constru-ção de um processo decisório mais transparen-te e, por conseqüência, sujeito a um maior con-trole social.

Cabe ressaltar que, embora a proposta me-todológica esteja centrada no modelo de orga-nizações sociais, os resultados da avaliaçãonão autorizam aferir qualquer juízo de valor aomodelo em si, como antes referido. Isto porqueoutras variáveis e outros tipos de avaliação, aexemplo daqueles que avaliam resultados e im-pactos, precisariam ser também incorporados.

A construção de um conceito-guia de gestão

A definição do conceito-guia de gestão tomouem consideração que o conceito de gestão é am-plo, diversificado e por isto mesmo controver-tido. Os conceitos existentes na literatura fun-damentam-se em campos teóricos diversos e apolarização qualitativa encontra-se entre o cam-po da administração e o da ciência política.

No campo da administração, o conceito degestão se aproxima da idéia de gerência e destaforma toma um caráter mais operacional e ins-trumental ao prevalecer o entendimento deque se trata de uma função organizacional vol-tada para a coordenação e o controle.

No campo da ciência política, do qual tam-bém se aproxima a administração pública, oconceito de gestão incorpora uma dimensãopolítica que se traduz em aspectos menos pro-cedimentais, privilegiando a discussão sobre opoder e sua legitimidade, politizando assim osconflitos presentes no processo de decisão noâmbito das organizações, inclusive nas organi-zações públicas.

Neste debate, constata-se que estes pólosconceituais não são antagônicos e/ou exclu-dentes entre si, e em certa medida eles se com-plementam na discussão sobre o conceito degestão.

Nessa perspectiva, a construção de um con-ceito-guia sobre gestão partiu, inicialmente, da

discussão levantada por Matus 14 sobre a capa-cidade de governo, que se aproxima, tanto doponto de vista conceitual como operacional,da capacidade de gestão. Para Matus 14, a capa-cidade de governo é aferida com base em trêsdimensões, interdependentes entre si, cujas re-lações compõem o Triângulo de Governo. Es-

sas dimensões revelam a capacidade de gover-no por meio da articulação dinâmica entre aexistência de projetos de governo (Dimensão1), do grau de governabilidade do sistema (Di-mensão 2) e da capacidade de governo (Dimen-são 3). Com este entendimento, Matus 14 agre-ga conceitos que se situam em campos teóri-cos que tradicionalmente se polarizam na dis-cussão sobre gestão: o da administração e o daciência política. Este modelo triangular de go-verno privilegia tanto categorias normativas(existência de projetos) e categorias adminis-trativas (capacidade técnica), como categoriaspolíticas (governabilidade do sistema).

Assim, o conceito-guia de gestão adotado,assume que a capacidade de gestão de uma or-ganização pode ser também aferida pela capa-cidade de formular projetos, políticas e normaslegais; pelas condições técnicas e administrati-vas (recursos humanos, materiais e financei-ros), que representam as condições logísticaspara a execução e por sua capacidade de arti-cular e de mobilizar alianças e parcerias, assimcomo recursos políticos e estratégicos, no sen-tido de assegurar as condições políticas para abusca dos objetivos perseguidos por meio daspolíticas, dos planos e dos programas.

Outros aspectos foram agregados ao pro-cesso de construção do conceito-guia de ges-tão. O primeiro relativo à escolha sobre o tipode gestão, ou seja, qual a imagem-objetivo queestá sendo perseguida sobre a gestão. Não setratava, no caso, de avaliar uma idéia descon-textualizada ou descomprometida de gestão. Ao contrário, como antes discutido, tratava-sede desenhar a avaliação de modelo de gestãoorientado por princípios previamente estabe-lecidos. Nesse sentido, o tipo assumido de ges-tão orientava-se na direção de decisões maispartilhadas, contando com trabalhadores com-prometidos com a organização e usuários sa-tisfeitos com o atendimento de suas necessida-des, contemplando ainda maior autonomia de-cisória em todos os níveis e menores entravesburocráticos e distanciamentos hierárquicos, oque permite conferir legitimidade aos gestorese confiabilidade à organização.

Esta constatação conduziu à necessidadedesta imagem-objetivo de gestão estar baliza-da nos princípios orientadores dos novos mo-delos de gestão pública que são, por sua vez,


5/9



baseados nas teses do Novo Gerencialismo Pú-blico. Observou-se, por exemplo, no bojo das just ificativas para criação dos novos modelosde gestão de serviços públicos, que além dosprincípios da flexibilidade e da maior autono-mia decisória, esses novos modelos de gestãotambém perseguem uma maior capacidade de

sustentar resultados, no sentido da construçãode estratégias de gestão que possam assegurara continuidade dos resultados obtidos e favo-recer maior confiabilidade à organização.

Diante disso, o conceito de capacidade degestão agregou, na sua dimensão política, aidéia de sustentabilidade, contemplando as-pectos relacionados com a institucionalizaçãode mecanismos e estratégias que ampliem e/ouconsolidem apoios e alianças capazes de favo-recer a manutenção das decisões e dos resulta-dos pretendidos.

Nesta perspectiva, o conceito de gestão queserviu de referência para a construção da pro-posta de avaliação, parte do entendimento deque a decisão é o elemento central que perpas-sa o processo de gestão e se revela por meio detrês dimensões: uma dimensão organizacional que evidencia o formato do processo decisório(quem e como se decide); uma dimensão ope-racional (capacidade de executar) que indicainiciativas de gestão no sentido de manter eampliar as condições logísticas e gerenciais daorganização, mobilizando recursos, inclusiveos estratégicos; e a dimensão da sustentabili-dade (capacidade de sustentar resultados) querevela como os gestores vêm construindo a ca-pacidade de sustentar os resultados de gestão.

Dessa forma, a capacidade de gestão de umaorganização social foi concebida como sendo a

faculdade de uma organização em decidir com

autonomia, flexibilidade e transparência , mo-bilizando recursos e construindo a sustentabili-dade dos resultados de gestão. Este conceito foia ferramenta teórico-analítica do modelo me-todológico desenhado para aferir a capacidadede gestão de organizações socais.

A construção do Plano de Indicadores

A convenção de conceitos operacionais

O Plano de Indicadores foi construído em duasetapas. A primeira envolveu a definição das di-mensões e das variáveis. A segunda contem-plou a seleção do conjunto de indicadores, suasdescrições, cálculos, fórmulas, requisitos e pa-râmetros, orientados por premissas a seremconfirmadas e que representam o caminho devolta que os indicadores deverão realizar.

Vale ressaltar que a construção do Plano de Indicadores exigiu decisões metodológicas queconformam a proposta de avaliação em sua to-talidade. Neste particular, partiu-se do enten-dimento de que esta construção deve ser vistacomo um exercício contínuo, o que significarevisões e adaptações continuadas e contex-

tualizadas dos indicadores, tendo em vista oaperfeiçoamento da capacidade de aferir aqui-lo a que se propõem. Nesta perspectiva, o Pla-no de Indicadores não se constitui em um pro-duto universal e acabado, ao contrário, defen-de-se que este deve ser sempre submetido àscríticas que possibilitem ajustes, principal-mente no que diz respeito à parametrizaçãodos diversos indicadores propostos.

Foi também necessário convencionar umconceito operacional importante, o de Indica-dor, que foi concebido como sendo elementoque indica certa condição, característica, qua-lidade, atributo ou medida numérica que, aoregistrar, compilar e analisar facilita que con-ceitos mais complexos se tornem mensuráveis.Nesse sentido, o Indicador sintetiza ou repre-senta e/ou dá maior significado ao que se queravaliar. Pode ser representado por um número,por uma relação entre dois eventos ou umaqualidade do evento. O mais importante é queo Indicador só é válido no contexto específicoonde se processa a avaliação.

Para que os indicadores permitissem a lei-tura do fenômeno foi necessário também defi-nir os parâmetros da avaliação. Obtido um de-terminado resultado, e sendo necessário emitirum julgamento, tornou-se essencial, como emqualquer avaliação, estabelecer um ótimo es-perado, e outras gradações, como referênciapara a emissão do juízo de valor.

Importante destacar que, em se tratando daavaliação da capacidade de gestão de organi-zações sociais, entidades relativamente recen-tes, uma das maiores dificuldades referiu-se àcondição de sistematizar ou adaptar indicado-res e parâmetros já testados. Dessa forma, tra-tou-se predominantemente de construir indi-cadores e propor parâmetros, tendo por refe-rência o conceito-guia e os pressupostos sobrea inovação do modelo de organizações sociaisno campo da gestão.

Resultou de todo este processo a elabora-ção de uma matriz contemplando 34 indicado-res, distribuídos nas dimensões organizacio-nal, operacional e da sustentabilidade da ges-tão, que estruturam o conceito-guia de gestãoe somam um total de 194 pontos. A matriz écomposta pelos indicadores, cálculos, fórmu-las, requisitos e parâmetros adotados, orienta-dos por premissas a serem confirmadas, que


6/9



representam o caminho de volta que os indica-dores devem realizar.

Na etapa da construção das três dimensõesforam adotadas questões e premissas para tra-çar o caminho de ida para a construção dos in-dicadores.• Na Dimensão Organizacional, temos como

exemplo:Questão: os gestores da organizações so-

ciais têm capacitação técnica e experiência pré-via em gestão e os conselheiros foram eleitospara o cargo e sua atuação é reconhecida peloconjunto de trabalhadores da organização?

Premissa: um perfil desejável de gestor con-templa capacitação técnica e experiência pré-via como requisitos desejáveis para lhe confe-rir legitimidade técnico-política para decidir. A legitimidade política é conferida pela condu-ção via eletiva aos cargos e pelo exercício efeti-vo da liderança.

Indicador 1: porcentual de atendimento pe-los gestores de requisitos para exercício da fun-ção gerencial. Pontuação prevista: 4 (2,0 pon-tos a cada 25% de respostas positivas).• Na Dimensão Operacional, temos comoexemplo:

Questão: os gestores têm promovido inicia-tivas no sentido de ampliar alianças e parceriaspara manter ou ampliar as condições logísticase gerenciais da organização?

Premissa: a autonomia decisória e a flexibi-lidade administrativa prevista para o modelode organizações sociais possibilitam aos gesto-res condições para manterem e ampliarem ascondições logísticas e operacionais da organi-zação, incorporando novas fontes de financia-mento, de recursos técnicos e estratégicos.

Indicador 20: tipo (diversidade) de recursosincorporados por intermédio de parceiros ex-ternos. Pontuação prevista: para 2 ou mais ti -pos = 4 pontos; pelo menos 1 tipo = 2 pontos.• Na Dimensão da Sustentabilidade, temoscomo exemplo:

Questão: as iniciativas de gestão têm con-templado a construção de um processo de tra-balho e de decisão calcado na liderança e nabusca de alianças, elevando a satisfação dostrabalhadores, dos usuários e dos parceiros coma condução da organização pelos gestores?

Premissa: uma gestão autônoma e orienta-da pela flexibilidade gerencial, propiciada pelomodelo de organizações sociais, utiliza distin-tos expedientes de divulgação e difusão de in-formações dentro da organização e institucio-naliza mecanismos de gestão para ausculta dostrabalhadores e dos usuários, o que eleva o graude transparência do processo de decisão e dasatisfação destes com a condução da organiza-

ção pelos gestores, o que soma para a sustenta-bilidade dos resultados de gestão.

Indicador 26: percentual de trabalhadoresque referem existência de mecanismos de re-torno sobre a avaliação de seu desempenho.Pontuação prevista: 3; 1,5 pontos para cada25% de respostas positivas.

O Plano de Análise

O Plano de Indicadores sistematiza as variá-veis e os indicadores que integram a metodo-logia de avaliação. No entanto, saber que da-dos e informações são necessários e os seusmeios de verificação não encerra a tarefa daavaliação. Partindo da premissa central de queavaliar é atribuir um julgamento de valor, im-põe-se a necessidade de emitir um julgamen-to desses dados em função de uma escala decritérios que podem ser explícitos ou implíci-tos 15,16.

Dupuis 15 acrescenta que a definição doscritérios e valores para julgamento dos resulta-dos em uma avaliação estabelece a efetiva dife-renciação entre esta e a realização de uma au-ditoria ou de um controle administrativo. Poroutro lado, esses critérios devem estar devida-mente justificados e partilhados pelo maior nú-mero de atores envolvidos com o alvo da ava-liação. Isto porque critérios e valores atuam naavaliação como os fundamentos que orientamtodas as análises, o que permite dar sentido aum conjunto de dados e informações que, semeste referencial, não ultrapassariam a condiçãode meros descritores da situação avaliada.

No caso desta proposta metodológica assu-miu-se que: (a) a avaliação tem o sentido deproduzir respostas sobre a capacidade de ges-tão de organizações sociais; (b) que todos oscritérios para a avaliação seriam explícitos, in-clusive como forma de garantir a aplicação dametodologia e a análise comparativa dos acha-dos no tempo e entre diferentes organizações.

De outra parte, reuniões e oficinas foramrealizadas visando a pactuar com atores das or-ganizações sociais, com aqueles que vêm seresponsabilizando pela implantação e acom-panhamento deste modelo de gestão no âmbi-to da administração pública e também com es-pecialistas da área, as variáveis, os indicadorese as premissas da avaliação. Todo este processoresultou na construção de uma escala concei-tual que partiu de categorias mais abstratas atéalcançar variáveis mensuráveis, organizadassobre a forma de indicadores.

Uma dificuldade adicional na construçãoda matriz de indicadores foi a ausência de refe-


7/9



renciais testados que pudessem ser adotadoscomo parâmetros para esta avaliação.

Frente ao exposto, partindo-se da constru-ção teórica e adotando como cenário os princí-pios que, no plano conceitual e também políti-co, justificam a adoção do modelo de organiza-ções sociais, construiu-se os critérios para as

análises dos resultados de cada um dos indica-dores.

Visando a permitir uma melhor compreen-são dos achados e, também, como forma de fa-vorecer o acompanhamento dos resultados notempo, optou-se por esclarecer os critérios epontuar os resultados, de acordo com uma es-cala numérica. Dessa forma, uma situação idealseria representada pelo alcance do máximo depontuação possível para cada um dos indica-dores, tendo em vista os pontos atribuídos e oscritérios adotados para a pontuação a partirdas respostas obtidas no levantamento dos da-dos. O anverso desta situação seria, em teoria,representado pela inexistência de pontuação(zero ponto), o que significaria o não alcancede pontos em qualquer dos indicadores consi-derados.

Tomada esta decisão metodológica, o passoseguinte foi estabelecer como seriam valoradosos diferentes indicadores. Para tanto, conside-rou-se: (a) que os indicadores detêm naturezadistinta na medida em que mensuram fenôme-nos diversos e, por essa razão, detêm poder dedefinição também diferenciada sobre a capaci-dade de gestão; (b) que os indicadores buscammensurar fenômenos que expressam, no pro-cesso de gestão, os princípios que orientaram aopção pelo modelo de organizações sociais. Al-guns dos indicadores precedem a outros emordem de importância porque medem aspec-tos do fenômeno que, segundo sua natureza,são também mais importantes na caracteriza-ção dos princípios que regem a consolidaçãoda organização social.

Resultou das considerações acima, a seguin-te ponderação, apresentada por ordem de prio-ridade dos indicadores selecionados:1. Indicadores de participação: conjunto deindicadores que mensuram o envolvimento dediferentes atores no processo de planejamentoutilizado pela organização.2. Indicadores de conhecimento: conjunto deindicadores que mensuram a disseminação deconhecimentos estratégicos entre diferentesatores organizacionais.3. Indicadores de satisfação: conjunto de in-dicadores que mensuram a satisfação referidade diferentes atores internos e externos com osaspectos estratégicos na gestão de uma organi-zação social.

4. Indicadores de existência: conjunto de in-dicadores que mensuram a existência efetivaou referida, na organização, de procedimentose ou mecanismos que são estratégicos na im-plementação e sustentação de um modelo di-ferenciado de gestão.

Os valores atribuídos a cada um dos indica-

dores representam um máximo de pontuaçãoque pode ser alcançado. Desta forma, foi ne-cessário definir critérios para pontuar os dife-rentes resultados que podem advir quando daaplicação da metodologia. Para tanto, importaconsiderar que: (a) alguns indicadores contem-plam resultados dicotômicos (sim e não). Nes-tes casos, os pontos serão totalmente atribuí-dos para a resposta positiva; (b) os indicadoresque mensuram a freqüência de determinadasrespostas entre um conjunto de atores podemassumir valores entre zero e o total de respos-tas possíveis.

Assim, a pontuação total prevista foi redis-tribuída de forma a corresponder às possibili-dades das respostas, o que se fez a partir dosseguintes princípios:• Adoção de uma escala numérica com quatropontos de corte (25%, 50%, 75% e 100%), que re-presentam o percentual de respostas esperadas.• Para alguns indicadores arbitrou-se que sóé possível alcançar a pontuação máxima com ototal de respostas positivas. Este critério foi ado-tado para aqueles indicadores (a exemplo doindicador 3: percentual de trabalhadores quereferem conhecimento sobre existência do Con-selho Curador ou Administrativo com um totalde 8 pontos possíveis de obter a partir de 25%de respostas positivas) que expressam fenôme-nos mais relevantes e para os quais a maiorpontuação possível é teoricamente viável.• Para outros indicadores (a exemplo do in-dicador 7: percentual de trabalhadores que re-ferem ter participado do processo de elabora-ção do Plano de Metas ou de outro instrumen-to de planejamento utilizado pela organização,com um total de 10 pontos para 25% de respos-tas positivas) arbitrou-se a divisão dos pontostotais em até 25%, 50% e 75% de respostas po-sitivas, o que significa aceitar que em algunscasos, um percentual de respostas menor que100% é também relevante.

Para alcançar os resultados finais da avalia-ção, após registrar os valores obtidos em cadaum dos indicadores, procede-se à soma dos va-lores. Dessa forma os avaliadores chegarão aum valor numérico que expressa a capacidadede gestão da organização.

Por último, importa ressaltar a metodologiautilizada para a leitura dos achados. Neste sen-tido, assumindo que o foco da avaliação é o pro-


8/9



cesso de gestão, admite-se que o resultado con-clusivo da análise deve sinalizar para um mo-mento específico no desenvolvimento da capa-cidade de gestão de uma organização social. Is-to implica que a metodologia não avalia umagestão como boa ou má, evitando as armadi-lhas de avaliações binárias que não geram pers-

pectivas de aperfeiçoamento, seja para os “bons”,seja para os “maus”.

Da mesma forma, considerou-se que qual-quer metodologia de avaliação deve revelar ospontos críticos que vêm constrangendo o de-senvolvimento pleno da capacidade de gestãode uma organização. Assim, tanto os gestoresda organização como os gestores do processode implementação do modelo de organizaçõessociais podem incorporar os resultados da ava-liação como parte do planejamento de açõespresentes e futuras, e não apenas julgar o quenão foi feito ou o que foi feito inadequadamen-te no passado.

Também para esta avaliação da capacidadede gestão como um continnum fez-se necessá-rio arbitrar valores. Neste caso optou-se poruma leitura inclusiva dos resultados, o que le-vou à concepção da seguinte escala de valores:(a) entre zero e 48,5 pontos (até 25% de desem-penho): insuficiente desenvolvimento da capa-cidade de gestão; (b) entre 48,6 e 97,0 pontos(26 a 50%): baixo desenvolvimento da capaci-dade de gestão; (c) entre 97,1 e 145,5 pontos(51 a 75%): médio alto desenvolvimento da ca-pacidade de gestão; (d) entre 145,6 e 194 pon-tos (76% ou mais de desempenho): alto desen-volvimento da capacidade de gestão.

Para reconhecer os pontos de constrangi-mentos e também os pontos altos da capacida-de de gestão faz-se uma lei tura crítica dos re-sultados obtidos com os indicadores. Tendo emvista o desenho da avaliação, isto permite: (a)identificar os indicadores que obtiveram piorese melhores resultados; (b) promover discussõesinternas com a equipe sobre os determinantese os condicionantes do comportamento de de-terminadas variáveis; (c) identificar constrangi-mentos e sua inserção, os quais podem ser in-ternos ou externos à organização; (d) definir earticular estratégias para a superação de cons-trangimentos no curto, médio e longo prazos.

Considerações finais

O desenvolvimento da metodologia para ava-liação da capacidade de gestão de organizaçõessociais encerrou uma série de desafios e, por is-to mesmo, permitiu aprendizagens sobre a pró-pria proposta de organizações sociais, sobre o

conceito de gestão e sobre muitos dos aspectosque envolvem a avaliação de qualquer ação.

Por outro lado, importa destacar que os au-tores adotaram um caminho metodológicocompatível com as exigências da pesquisa aca-dêmica para o desenvolvimento da propostade avaliação, mas os objetivos do trabalho vãoalém dos relativos à produção de conhecimen-to. Tendo em vista o entendimento de que aavaliação deve ser uma prática incorporada aocotidiano das organizações públicas, argumen-ta-se que os instrumentos de avaliação devemser factíveis e viáveis. Desta forma, o rigor quepresidiu as escolhas conceituais e decisões pro-cedimentais visaram a produzir um desenho deavaliação que, de um lado, possa garantir a con-fiabilidade dos resultados e também sua sensi-bilidade em aproximar-se do fenômeno emavaliação, por outro, a aplicabilidade do instru-mental e sua reprodutibilidade em diferentescontextos também deveria estar preservada.

Um aspecto relevante foi o constante diálo-go entre os pesquisadores e os técnicos do es-tado e das organizações sociais no desenho daproposta. É reconhecido que esse diálogo nãose faz sem dificuldades, o que valoriza aindamais o esforço em se tratando de uma avaliaçãoque gera resultados sobre o trabalho de muitaspessoas.

Cabe ainda ressaltar que presidiu o desen-volvimento do trabalho o entendimento de queuma avaliação é positiva quando é capaz decontribuir para a identificação dos problemase de proposições para o seu enfrentamento.Desta forma, pressupõe-se que a avaliação pro-posta não se encerra em si mesma, ao contrá-rio, subsidia o planejamento de um futuro nadireção da conquista de um desenvolvimentopleno da capacidade de gestão.


9/9



Referências

1. Ministério da Administração Federal e Reformado Estado. Organizações sociais. Brasília: Secreta-ria da Reforma do Estado, Ministério da Adminis-tração Federal e Reforma do Estado; 1997. (Ca-dernos MARE da Reforma do Estado 2).

2. Diniz E. Governabilidade, democracia e reformado Estado: os desafios da construção de uma no-va ordem no Brasil dos anos 90. In: Diniz E, Aze-vedo S, organizadores. Reforma do Estado e de-mocracia no Brasil. Brasília: Editora Universidadede Brasília; 1997. p. 28-35.

3. Gaetani F. The reform of the Brazilian State appa-ratus: an ex-ante analysis [Master Dissertation].London: Department of Government, LondonSchool of Economics and Political Science; 1998.

4. Fleury S. Fundamentos de la reforma del Estado.In: Anais do XXV Congresso Brasileiro de Pós-gra-duação em Administração [CD-ROM]. Foz do Igua-çu: Associação Nacional dos Programas de Pós-graduação em Administração; 2001.

5. Secretaria da Administração do Estado da Bahia.Guia de constituição de organizações sociais. Sal-

vador: Secretaria da Administração do Estado daBahia; 2002.6. Arretch M. Federalismo e relações intergoverna-

mentais no Brasil: a reforma de programas socais.Dados Rev Ciênc Sociais 2002; 45:431-58.

7. Souza C, Carvalho IMM. Reforma do Estado, de-scentralização e desigualdades. Lua Nova: Revistade Cultura e Política 1999; 48:187-212.

8. Barselay M. A nueva gerencia pública: um ensayobibliográfico para estudiosos latinoamericanos (y outros). Revista del CLAD, Reforma y Democracia2001; 19.

9. Schneider B. La política de la reforma adminis-trativa: dilemas insolubres y soluciones improba-

bles. Revista del CLAD, Reforma y Democracia2001; 20. http://www.clad.org.ve/reforma.html(acessado em 25/Ago/2003).

10. Centro Latinoamericano de Administración parael Desarrollo. Una nueva gestión publica para America Latina. http://www.clad.org.ve/fulltext/0032400.pdf (acessado em 20/Out/2001).

11. Pestana C. Práticas de avaliação na gestão des-centralizada de saúde: a experiência de Vitória daConquista: 1998-2001 [Dissertação de Mestrado].Salvador: Escola de Administração, UniversidadeFederal da Bahia; 2002.

12. Draibe S. Avaliação de programas. In: BarreiraMCRN, Brant MCC, organizadores. Tendências eperspectivas na avaliação de políticas sociais. SãoPaulo: Instituto de Estudos Especiais, PontifíciaUniversidade Católica de São Paulo; 2001. p. 165-81.

13. Motta PR. Gestão contemporânea: a ciência e aarte de ser dirigente. Rio de Janeiro: Editora Re-cord; 1991.

14. Matus C. Política, planejamento e governo. Bra-

sília: Instituto de Pesquisa Econômica Aplicada;1993.15. Dupuis J. Les raisons du faible impact des évalua-

tions. Cahiers de la Décentralisation 1998; 38:38-9.16. Figueiredo MF, Figueiredo AMC. Avaliação políti-

ca e avaliação de políticas: um quadro de referên-cia teórica. São Paulo: Instituto de Estudos Eco-nômicos, Sociais e Políticos de São Paulo; 1986.

Recebido em 07/Out/2003 Versão final reapresentada em 10/Mai/2004 Aprovado em 09/Jun/2004

Colaboradores

Todos os autores participaram da pesquisa que deuorigem ao artigo. C. Melo coordenou a pesquisa e ela-borou o artigo que foi revisto pelos demais autores.

Resumo

O projeto de Reforma Administrativa do Estado Brasi-

leiro, ao introduzir estratégias administrativas basea-

das na ampla delegação de autoridade e na cobrança

a posteriori de resultados, colocou em relevo a questão

da avaliação nas organizações públicas. Este artigo

apresenta uma proposta metodológica para avaliar acapacidade de gestão de organizações sociais, ente pú-

blico não-estatal criado no bojo dessa Reforma. A

construção da proposta contemplou a definição de um

conceito-guia de gestão e suas dimensões, os quais

orientaram a seleção e construção de variáveis, indi-

cadores, parâmetros e plano de análise para a avalia-

ção. Nas considerações finais argumenta-se que as es-

colhas conceituais e decisões procedimentais visaram

a produzir um desenho de avaliação que garantisse a

confiabilidade dos resultados e sua sensibilidade em

aproximar-se do fenômeno avaliado, e a aplicabilida-

de e reprodutibilidade da metodologia em diferentes

contextos.

Avaliação; Capacidade de Gestão; Organização Social

alvino sanches filho - avaliação da capacidade de gestão de oss

Documents