1
UM CAMINHO PARA A AVALIAÇÃO INSTITUCIONAL
Documento para su presentación en el IX Congreso Internacional en Gobierno,
Administración y Políticas Públicas GIGAPP. (Madrid, España) del 24 al 27 de
septiembre de 2018.
Autora: Dayane Gomes da Silva Rodrigues1
IFPB/Itaporanga
E-mail: [email protected]
Lincoln Moraes de Souza2
UFRN
E-mail: [email protected]
Resumo
Esse artigo visa lançar uma proposta para avaliação institucional. A ideia é que através
da designação de dimensões avaliativas, possa ser estabelecido um caminho para aferição
da eficácia de uma dada instituição.
Palavras-chave: Avaliação; instituições; dimensões avaliativas.
Abstract
This article aims to launch a proposal for institutional evaluation. The idea is that through
the designation of evaluative dimensions, a way can be established to gauge the
effectiveness of a given institution.
Keywords: Evaluation; institutions; dimensions.
1. Introdução
Em sentido geral, avaliar implica em valorar algo (WEISS,1978), em atribuir
conceitos que podem ser positivos ou negativos, em relação ao que avalia. As pesquisas
avaliativas desenvolvidas no campo das ciências sociais, têm frequentemente se
debruçado sobre a avaliação de programas e projetos púbicos. A avaliação institucional,
no entanto, ainda permanece como uma não-questão nessa área. A avaliação das
instituições públicas, sob conotações específicas, apenas tem encontrado algum espaço
1 Dayane Gomes da Silva Rodrigues é professora de Sociologia do Instituto Federal de Educação, Ciência
e Tecnologia do Estado da Paraíba- IFPB. 2 É professor associado da Universidade Federal do Rio Grande do Norte- UFRN. É líder do Grupo
Interdisciplinar de Estudos e Avaliação de Políticas Públicas (GIAPP).
2
em parte da literatura educacional e dos estudos organizacionais. A primeira perspectiva,
pela sua própria natureza, tem como foco as universidades, enquanto modelo específico
de instituições. Já a segunda, abrange uma gama maior de tipos institucionais, mas
comumente têm assumido uma postura essencialmente “gerencialista”.
O desafio a qual se colocou esse artigo, fruto de uma pesquisa maior sobre a
temática, é a partir do que se tem escrito nas ciências sociais, sobretudo em relação à
avaliação de eficácia, na literatura educacional e na administração organizacional, traçar
um caminho possível para o desenvolvimento de uma avaliação institucional que tenha
como ponto de partida as questões já colocadas, mas que ao mesmo tempo fuja da
aplicação pura de um ou outro modelo investigativo. Para tanto, foi construído uma
proposta de estabelecimento de “dimensões” institucionais a serem avaliadas, a saber:
organizacional, administrativa, material, humana e “da finalidade central da instituição”.
Vale salientar, que o “modelo” sugerido aqui, para guiar o avaliador institucional,
não tem pretensões normativas, nem se pretende constituir-se como único caminho, mas
apenas enquanto um caminho possível para os que pretendem avaliar a eficácia
institucional.
Medir a eficácia não implica em aferir o desempenho institucional, não no sentido
meramente quantitativista que a denominada nova gestão pública imprimiu a esse
conceito. A ideia de eficácia vai além da ideia de desempenho gerencial. Trata-se de
avaliar a capacidade da instituição em formular seus objetivos e responder com eficácia
a eles, identificando-se e apreendendo-se os aspectos internos que contribuem e
dificultam esse processo.
Acredita-se que a eficácia de uma instituição está atrelada ao bom desempenho de
suas dimensões como um todo, ainda que se tenha que considerar a preponderância da
dimensão-fim, isto é, das atividades oficialmente declaradas como objetivos
institucionais. Propõe-se que para cada dimensão sejam relacionados aspectos centrais a
serem examinados. A estes, em consequência, devem ser atreladas perguntas norteadoras
e indicadores.
2. Avaliação Institucional na Educação
3
Tem sido comum a confusão entre avaliação institucional e avaliação educacional.
Isso porque, a ação avaliativa das instituições desenvolve-se ao mesmo tempo que a
avaliação das instituições de ensino. Ao passo que a literatura sobre a avaliação
institucional, por muito, praticamente se reduziu aos escritos sobre avaliações do ensino,
especialmente, o superior.
Uma importante gama de trabalhos a serem considerados por oferecer bons
caminhos metodológicos para o desenvolvimento de uma avaliação institucional são os
escritos de José Dias Sobrinho, autor que se tornou uma das principais referências para
área. Embora o autor escreva voltado à avaliação de instituições educacionais,
especialmente os centros de ensino superior, ele aponta para questões essenciais a
avaliação de qualquer aparato institucional.
Dias Sobrinho (2003) discute alguns caminhos metodológicos para avaliação
institucional sugeridos por organismos internacionais. O Conselho de Universidades
Europeias, por exemplo, aponta como passos a serem seguidos: fazer descrição da
instituição e do contexto no qual se insere; relatar quais os objetivos e as metas; expor
quais os recursos com os quais conta, estrutura e práticas; demostrar os resultados
alcançados; apresentar a percepção da comunidade da instituição e, por fim, tecer
ponderações a respeito dos pontos fortes e fracos encontrados relacionando assim as
metas propostas e os resultados efetivamente alcançados. Nota-se que seria, então, uma
atividade mais ligada à avaliação de resultados alcançados e metas traçadas, incorporando
uma forma de aferição de satisfação de envolvidos.
No texto “Avaliação Institucional: marcos teóricos e políticos”, de 1996, Dias
Sobrinho enfatiza que as maiores dificuldades à realização de uma avaliação institucional
são de caráter político, pois estão situadas no campo das vontades, das ideias, das
sensibilidades. Argumenta que se tenta difundir a possibilidade e necessidade de uma
avaliação despolitizada, neutra, quando na realidade as avaliações sempre acontecem em
meio a valores, pois desde o momento em que o pesquisador ou um órgão destina-se a
investigar algo, já existe aí valoração em relação ao objeto da avaliação, seja numa
perspectiva de afirmação ou de negação.
As avaliações se produzem em determinadas situações concretas a partir de
condições objetivas, num quadro de valores relativamente estruturados que lhe
dão justificativas e os esquemas conceituais de coerência. Reciprocamente, as
avaliações operam como instrumentos quase científicos quase técnicos, sempre
4
sociais e éticos de consolidação e de denegação de valores. (DIAS SOBRINHO,
1996, p. 16)
Toda avaliação produz efeitos que de pouco ou muita intensidade são importantes
para sociedade. Assim, nenhuma avaliação jamais poderia ser neutra, ainda que baseada
em instrumentos considerados apenas técnicos e objetivos. No mesmo sentido, nenhuma
avaliação pode produzir certezas, pois nenhuma pesquisa científica é capaz de fazer isso.
(DIAS SOBRINHO, 2003)
Dias Sobrinho (1996; 2003), alerta que devem ser observadas cuidadosamente
pelo avaliador as múltiplas dimensões de uma instituição, os interesses geralmente
conflitantes de seus grupos internos, sua história, suas condições estruturais e
circunstanciais, algo que tende a escapar às avaliações meramente quantitativistas, que se
apresentam de caráter exclusivamente técnico, neutro e despolitizado, mas que atuam
politicamente como criadores de escalas hierarquizantes entre as organizações, não as
ajudando a melhorar e sendo, portanto, insuficientes.
Como procedimento metodológico, o primeiro e fundamental passo é fazer uma
descrição objetiva minuciosa da instituição. Essa fase detalhista é extremamente
importante, embora não deva ser considerada como passo único, mesmo porque até as
informações que consideramos objetivas são um processo de escolha, seleção e
interpretação.
Não basta, portanto, apenas conhecer a estrutura aparente e enumerar os produtos
de uma instituição. Expressões numéricas de volumes, grandezas, quantidade só
concernem a qualidades quando estiver bem explícito seu sistema de referências,
em que normas, critérios, objetivos, metodologia e usos sejam noções produzidas
pública e socialmente em processos da comunidade acadêmica. (DIAS
SOBRINHO, 1996, P. 17)
Dias Sobrinho (1996; 1998) enumera alguns postulados conceituais e
metodológicos para realização de uma avaliação institucional:
a) é preciso considerar a instituição como um todo, avaliando-a em toda sua
complexidade, e não toma-la a partir de seus componentes isoladamente. Uma
instituição se realiza institucionalmente pela prática concreta de seus agentes
enquanto organização;
b) é necessário avaliar a globalidade, embora se deva olhar os aspectos parciais,
eles só servem enquanto significação do todo, captando a multidimensionalidade
5
da realidade. A avaliação deve procurar compreender toda a instituição “[...] em
sua multidimensionalidade, evitando sempre que possível as visões pontuais e
fragmentadas.” (DIAS SOBRINHO, 1998, p. 2)
c) embora a avaliação institucional seja feita em etapas, sua força maior está no
conjunto articulado dessas etapas. De modo que, mesmo que seja cabível começar
a avaliação por um levantamento de dados objetivos detalhados, a avaliação
quantitativa deve ser revertida em qualitativa ao longo da pesquisa, o que é mais
adequado às instituições sociais.
d) a avaliação é um processo pedagógico permanente que não pode acabar quando
se findam os relatórios avaliativos. É um processo formativo que deve visar
conhecer a instituição para melhorá-la.
Em outras palavras, a avaliação busca conhecer não para execrar o passado,
punir o presente e condenar o futuro, mas, para compreender as dificuldades e
equívocos e potenciar as condições de construir com melhor qualidade os
agentes, as instituições e os contextos. (DIAS SOBRINHO, 1996, p. 23)
Dias Sobrinho (1996) aponta ainda para alguns riscos a serem evitados numa
avaliação institucional. O primeiro deles é o fato das instituições estudadas deixarem
escapar a titularidade da avaliação, ou seja, não se apropriarem do modelo de avaliação
que lhe foi posta, pois é comum agências externas imporem seu modelo seguindo critérios
completamente estranhos à instituição. O segundo risco consiste na possibilidade de cair
numa “avaliação laudatória”, onde se faz muitos elogios à instituição e se omite suas
características negativas. O terceiro, faz menção ao fato da pesquisa desmerecer aspectos
importantes, mas supervalorizar os secundários, atribuindo valores diferentes a uma
mesma realidade. O quarto risco vislumbrado é o de o pesquisador comparar realidades
institucionais diferentes, pois para o autor cada instituição é única e só pode ser
comparada consigo mesma. A dica é que se utilize de uma comparação temporal, que
repense a história da organização observada. Por fim, o quinto e último risco é o conselho
de que a avaliação não deve servir apenas à administração.
A partir de síntese de parte da literatura, feita por Bielschowski (1996), que
realizou uma avaliação educacional da Universidade Federal do Rio de Janeiro, também
é possível extrair alguns direcionamentos metodológicos para uma avaliação
institucional, que possa ajudar na avaliação da ENAP. Ele afirma que ao mesmo tempo
6
em que é preciso que se avaliem valores, é igualmente imprescindível que seja feita uma
coleta sistemática de informações, inclusive estatísticas, se for necessário para
formulação do julgamento da instituição pelo avaliador.
Para o autor, são vários os enfoques que podem ser assumidos numa avaliação e,
buscando esta responder às indagações feitas por três grupos de interessados (os que
internamente têm poder de decisão sobre a instituição; os que estão fora, mas influem
diretamente ou não na formulação de políticas relacionadas a ela; e os que fazem parte do
cotidiano da instituição) cada pesquisa avaliativa priorizará aquela abordagem capaz de
oferecer as melhores respostas às preocupações dos interessados. Cada grupo de
interessados formula perguntas específicas para as quais é necessária uma metodologia
adequada para gerar as formações almejadas. O maior objetivo da avaliação seria
responder a todos esses interesses. Como chama a atenção Bielschowski (1996)
“Conhecida como abordagem responsiva ela leva em consideração toda e qualquer
indagação que se apresente ao longo do processo avaliativo, detectando ou criando, para
cada uma, os procedimentos metodológicos mais pertinentes.” (BIELSCHOWSKI, 1996,
p. 31).
Bielschowski (1996) defende a realização de uma meta-avaliação institucional,
que possua uma visão permanentemente crítica do próprio processo avaliativo. Isso
porque, segundo ele, temos instituições cada vez mais dinâmicas, mas métodos de
avaliação que não acompanham esse ritmo, o que se deve não a produção de
conhecimento na área, mas devido à prática avaliativa não caminhar junto das proposições
teórico-metodológicas sobre a temática. Sendo assim, muitas avaliações terminam sendo
pseudo-avaliações, dada a fragilidade e superficialidade, ou são quase-avaliações,
pesquisas nem sempre úteis aos propósitos avaliativos. A existência de uma verdadeira
avaliação estaria condicionada a um julgamento adequado de questões de diversos tipos,
unindo as dimensões políticas, filosóficas, sociais, técnico-científicas, dentre outras, e
considerando suas variadas implicações.
Mas quais os critérios que devem nortear uma verdadeira avaliação? De acordo
com a visão de uma comissão interdisciplinar, de 1981 (a Joint Commitee on Standards
for Educational Evaluation), Bielschowski (1996) agrupou quatro grandes categorias: a
utilidade, a viabilidade, a exatidão e a ética. Uma avaliação deve ser útil a todos os
envolvidos; sua execução deve ser viável em relação ao tempo, espaço condições
7
políticas, administrativas, acadêmicas, dentre outros; deve possuir exatidão em relação
aos instrumentos metodológicos utilizados, as informações obtidas; e, por fim, uma
avaliação deve ser ética, justa e justificada com transparência e respeito para os que dela
participam.
Ao analisar a Universidade Federal do Rio de Janeiro- UFRJ, Bielschowski (1996)
seguiu alguns passos metodológicos. Inicialmente, ele afirma que é preciso selecionar os
temas que preocupam os avaliadores. Depois, a partir desses temas, devem ser levantadas
as questões a serem respondidas. Num terceiro momento, é preciso que sejam
selecionados os indicadores capazes de responder aos questionamentos levantados. A
quarta etapa seria a de coleta de informações, buscando encontrar as evidências apontadas
pelos indicadores. A próxima fase consistiria na sistematização das informações obtidas.
Na sexta etapa, seriam interpretados os resultados encontrados, formulando-se os juízos
de valor sobre a instituição e sugerindo os pontos que merecem correção. Por último, é
necessário que sejam divulgados os resultados da avaliação, ou seja, as respostas aos
questionamentos feitos no início do processo.
A partir das perspectivas de avaliação institucional discutidas ao longo do texto,
pode-se ressaltar que a descrição minuciosa da instituição avaliada é um passo essencial.
Essa descrição pode e deve ser exercida de maneira “qualitativa” e “quantitativa”. As
ferramentas estatísticas tendem a ser extremamente úteis no processo avaliativo. Todavia,
é preciso que o avaliador dê um passo na frente, que não fique restrito apenas a essa fase,
e que mesmo em relação aos dados numéricos obtidos, desenvolva todo um exame
qualitativo da situação, percebendo características subjetivas que permeiam toda e
qualquer instituição. É preciso, por exemplo, que se esteja atento aos valores
institucionais, ao corpo de funcionários e as relações entre eles. A coleta de informações
sobre a instituição avaliada deve receber atenção especial para que haja um casamento
perfeito entre os questionamentos suscitados pela avaliação, a seleção das informações e
a construção dos indicadores que servirão como respostas as questões da avaliação.
Também se pôde concluir que para que a avaliação institucional ligue-se a um
processo de mudança política, social e, especialmente, institucional é imprescindível que
os resultados da pesquisa avaliativa sejam discutidos e expostos, apontando sempre os
aspectos de entrave ao desenvolvimento organizacional e, ainda, propondo mudanças.
Uma verdadeira avaliação institucional é marcada por uma análise consistente e por uma
8
perspectiva totalizante da organização, percebendo seus mais variados aspectos como
faces de um mesmo corpo. O estudo das partes deve servir como elemento de
compreensão da instituição como um todo.
Segundo Dias Sobrinho (2003)
Uma avaliação é viciada e produz efeitos perversos quando, por exemplo, atribui
pesos e valores distorcidos: supervalorização de aspectos objetivamente menores
nos quais a instituição se sobressai e desqualificação de outros de grande
importância, nos quais ele não obtém êxito. O próprio processo de avaliação
pode ser desqualificado ou, pelo contrário, totalmente validado,
independentemente de sua qualidade intrínseca; no primeiro caso, são
produzidos juízos que mostram a fragilidade da instituição e, no segundo, se
convenientemente for favorável a ela. Para assegurar a legitimidade do processo
é necessário que as pessoas que se dedicam à avaliação tenham respeitabilidade,
tanto pela sua independência ética e política, quanto pela sua competência
técnica e sua ampla visão dos papéis da educação superior. Se a avaliação não é
um empreendimento a serviço da administração, também não pode ser um
processo diletante, voluntarista e descomprometido em relação ao projeto da
instituição. (DIAS SOBRINHO, 2003, p. 134).
Fica evidente a necessidade do avaliador ter em mente que uma avaliação
institucional jamais será algo meramente técnico, ainda que se propusesse a tal. Toda
avaliação é inerentemente política. Avaliar implica em atribuir um juízo de valor, mas a
questão é como esse julgamento vai ser tecido e quais os critérios que vão norteá-lo. É
isso que delineará a diferença entre uma pesquisa avaliativa e uma opinião sem
fundamentos teórico-metodológicos. O avaliador deve ter muito cuidado com o
direcionamento que ele dá a avaliação, de forma que não minimize ações importantes que
a instituição trace e supervalorize ações menores, guiando-se pelos juízos que formulou
sobre a mesma. O avaliador deve ter integridade ética e competência técnica suficiente
para conseguir ponderar todos os fatos que encontra.
Entende-se que avaliar uma instituição implica em observá-la como um todo e não
através de um ou mais de seus aspectos integrantes. Essa avaliação precisa contar com
uma descrição detalhada dos aspectos centrais da instituição em foco, partindo-se daquilo
que lhe é basilar, seus objetivos e metas, analisando também suas condições
administrativas, materiais e seus recursos humanos.
3. Avaliação da capacidade institucional
9
Na área dos estudos organizacionais desenvolveu-se uma literatura que aponta
para a avaliação das organizações através da mensuração do que é chamado de
“capacidade institucional”. Essa seria a forma de avaliação feita pelos Organismos de
desenvolvimento mundial, a exemplo do Banco Mundial, O Fundo das Nações Unidas
para a Infância- UNICEF e do Programa das Nações Unidas para o Desenvolvimento-
PNUD, conforme destaca Sagi (2009).
A capacidade de uma instituição é mensurada pela habilidade da mesma em
definir objetivos e alcançá-los, desempenhar funções, resolver problemas. Capacidade de
escolher fins para perseguir. Refere-se ao funcionamento das regras do jogo adequadas
para alcance dos objetivos traçados, realizar tarefas e ajustar-se a novos desafios. Sendo
assim, ao aferir a capacidade institucional se estaria avaliando as habilidades de uma
instituição. (SAGI, 2009)
De acordo com Rodrigues (2014), a capacidade institucional significa a
competência de um determinado órgão em gerir os recursos humanos e materiais para
executar de forma adequada e exitosa um dado programa ou projeto. Supõe a avaliação
de três níveis: programação e organização; execução das atividades programadas e;
capacidade de controle interno e externo (se há procedimentos para o controle interno e
se respondem aos controles externos corretamente).
Para Souto et al. (2012) avaliar a capacidade institucional é mais do que verificar
se ações foram ou não implementadas. Trata-se de verificar os recursos disponíveis para
instituição e sua capacidade em mobilizá-los para concretização de seus objetivos,
gerando uma consciência institucional sobre as fragilidades e suas possíveis formas de
superação. “Capacidade institucional é a habilidade de identificar, criar e utilizar,
eficientemente, recursos para estabelecer e atingir os objetivos institucionais.” (SOUTO,
et. al, 2012, p. 5)
Para Apable Partners Program (cap) & Usaid (2015), a capacidade institucional
se relaciona com a capacidade de uma instituição de manter-se forte e sustentável ao
longo do tempo (o que pode ser visto através de sua estrutura organizacional e a
implementação de estratégias de longo prazo); com o estabelecimento de sistemas
administrativos e de gestão de programas eficaz; e com competências técnicas (boas
práticas, pessoal adequado). Avaliar capacidade implicaria, necessariamente, em medir
forças e fraquezas da instituição.
10
Sagi (2009) detalha que para entender a situação em que as instituições se
encontram seria necessário averiguar: como estão organizadas, como está capacitada, as
ligações e redes dentro da instituição e dela para com as outras, os processos decisórios,
sua estrutura administrativa e a relação estabelecida com a sociedade, seus recursos
humanos e financeiros.
Sagi (2009) e Forss e Venson (2002), afirmam que a capacidade institucional se
materializa em três níveis: o individual, o organizacional e o sistêmico. Em relação ao
aspecto individual deveriam ser analisados fatores como a motivação (que envolve acima
de tudo aspectos pessoais), habilidades e desempenho, incentivos financeiros e não-
financeiros e sua correspondência com a responsabilidade que possuem os indivíduos
frente à organização.
Em relação à organização, seria preciso analisar o que a motiva e quais as
estruturas de incentivo, perguntando-se: os objetivos são claros e compatíveis? A
organização tem recursos financeiros e humanos e práticas administrativas suficientes
para colocar em prática tais objetivos? Tem capacidade administrativa para desempenhar
as novas funções? Dessa forma, seriam avaliados os princípios e cultura organizacional,
a estrutura administrativa, a estrutura física, os recursos humanos e as práticas e processos
administrativos.
A dimensão sistêmica corresponde ao contexto no qual está inserida a
organização. Nesse caso, seria importante avaliar se a instituição possui e em que nível
uma rede de cooperação (arranjos institucionais), qual seu papel no conjunto das ações
governamentais e como ela se relaciona com o governo. Seria importante entender a
situação política geral na qual a instituição está inserida, apontando sua função para o
desenvolvimento do setor maior no qual está inserida a organização avaliada e seu
relacionamento com a gesto pública.
Como procedimento metodológico para mensurar a capacidade institucional,
Souto et al. (2012) afirmam que o avaliador deve concentrar-se nos recursos que possui
a instituição e na sua capacidade de mobilizá-lo para alcançar os objetivos traçados. Tais
recursos podem ser humanos e materiais (são os tangíveis, e englobam desde pessoas, a
equipamentos e recursos financeiros); técnicos (conhecimentos e habilidades para
utilização dos recursos humanos/materiais); organizacionais (normas, regras e
procedimentos que orientam a utilização dos recursos humanos, materiais e técnicos); e
11
simbólicos (não tangíveis, são as crenças e os valores que permeiam os agentes dentro da
organização).
O marco para fazer uma avaliação da capacidade institucional, para os autores,
deveria ser o próprio plano da instituição, porque se mede a capacidade de concretizar
aquilo ao que se propôs, a partir da utilização dos quatro tipos de recursos (materiais e
pessoais, técnicos, organizacionais, simbólicos).
Souto et al. (2012) sugerem o uso combinado da autoavaliação (a própria
instituição avaliando sua capacidade. A partir de evidências empíricas os integrantes da
instituição vão expor as suas opiniões em relação ao desempenho da instituição, em
relação a forma como tem utilizado de seus recursos, dentre outros aspectos), com a
coavaliação, quando uma instituição avalia as outras instituições com as quais se
relaciona, ao mesmo tempo em que é avaliada por elas, se apropriando das avaliações
feitas sobre ela.
Sobre a autoavaliação na capacidade institucional, Apable Partners Program (cap)
& Usaid (2015), afirmam que é importante que o avaliador provoque os integrantes da
instituição a refletir sobre quais serviços a instituição poderia fazer? Qual o motivo de
não fazer? Como avalia o desempenho da instituição? Em que poderia melhorar? É central
que que os agentes da instituição reflitam e respondam sobre “Onde está a instituição no
momento? Onde pretende-se ir? Deve-se oferecer novos serviços? Adentrar em novas
áreas?
Souto et al. (2012), sugerem mecanismos de categorização das respostas. Como
exemplo, eles citam a concatenação dos seguintes dados: total de planos planos
concluídos planos em andamento dentro do prazo planos em andamento com
dificuldades planos iniciados e parados planos não iniciados.
4. Avaliação gerencialista
A perspectiva gerencialista não é necessariamente uma tipologia avaliativa, mas
uma forma específica de pensar e direcionar a avaliação para fins específicos. Uma de
suas aplicações pode ser encontrada tanto dentro das avaliações das instituições de caráter
12
educativo, quanto no que se convencionou chamar de avaliação da capacidade
institucional.
Na avaliação de políticas públicas é comum pensar a avaliação enquanto uma
pesquisa. Na perspectiva gerencialista a avaliação aproxima-se muito mais de uma
auditoria que pensa o Estado como uma empresa que deve dar lucro. Algo muito típico
dos preceitos da “Nova Gestão Pública”, orientadores da reforma do Estado brasileiro. É
nesse contexto que surge preocupação em avaliar constantemente o desempenho
administrativo e a eficiência (leia-se especialmente funcionário e finanças).
Souza (2014) enumera diversas características presentes no discurso da Nova
Gestão Pública que estão profundamente em sintonia com os da avaliação gerencialista:
aumento da performance estatal; instituição de um governo lucrativo, descentralização
institucional, Constrangimentos legais do orçamento, defesa do planejamento estratégico
e mudança de estilo de gestão, auditorias do desempenho, prestação de
contas/responsabilização/accountability, defesa da competição no setor público, dentre
outras.
Derlien (2001) percebe três funções básicas para a avaliação: a informação, a
realocação e a legitimação. A primeira função é típica das avaliações anteriores aos anos
1990, quando se passou de um modelo de avaliação cujo objetivo central era a informação
para um em que se busca primordialmente a realocação, o que se deve a
institucionalização da avaliação enquanto ferramenta gerencial de governo.
Nesse mesmo sentido, Stein (2003) assevera que
A avaliação, ora centrada nas pessoas, ora nos processos institucionais, tornou-
se um recurso adotado pelos administradores, principalmente, na segunda
metade da década de 90, momento histórico marcado pela globalização da
economia e por um projeto de governo ancorado nas bases do neoliberalismo a
partir do governo Collor [...]. (STEIN, 2003, p. 32)
Quando a ideologia neoliberal começou a ganhar terreno, difundindo-se, as teorias
de avaliação, que entre os anos 1960 e 19703 vinha iniciando o desenvolvimento de uma
postura antipositivista, começaram a centrar-se na mensuração dos resultados
3 Farias (2005) afirma que nos anos 1960 nos EUA a avaliação era tida como instrumento para formuladores das políticas fazerem melhores planejamentos.
13
quantificáveis, tornando-se de interesse dos governos. Com a avaliação seria tanto
possível medir performance quanto, ao passo que isso acontece, estimular a
competitividade interna e a lógica de mercado. A avaliação vira instrumento essencial
para o controle. (SOUZA, 2014)
Nos anos 1990, há na América Latina uma propagação das avaliações da gestão
pública. Farias (2005) lembra que o argumento era o de que as gestões precisavam se
modernizar a fim de que fosse feita uma “reforma” do Estado. Por muitas vezes a
necessidade da avaliação de políticas públicas foi justificada utilizando-se do argumento
de que ela era a última das etapas do ciclo das políticas e que, assim, seria uma forma de
mensurar os resultados de todo o ciclo das políticas, de gerar elementos capazes de
propiciar um aprimoramento das políticas implementadas e também como meio para
prestação de contas e geração de accountability. Essa forma de pensar a avaliação, que
em alguma medida toca em seu sentido político enquanto forma de justificativa, prioriza
seu papel como “instrumento gerencial”.
Os avaliadores confundiram-se com os auditores, que são os diretamente
responsáveis por aferir resultados. Isso porque as avaliações nesse contexto têm sempre
questões de ordem quantitativa a responder, ou seja, que programas podem ser reduzidos
ou extintos? Quais as consequências da privatização de determinadas atividades públicas?
Como certo programa pode se reorganizar para gastar menos? (FARIAS, 2005)
Assim, os mecanismos avaliativos nessa época foram utilizados sobretudo como
instrumento da chamada reforma do Estado. Quando a avaliação foi institucionalizada,
ela tornou-se, de acordo com o discurso reformista, ferramenta essencial para que o gasto
público fosse melhor direcionado e controlado. Acreditava-se que a partir de então as
decisões sobre as políticas iriam tornar-se mais racionais ao mesmo tempo em que seriam
legitimadas
As avaliações imbuíram-se da essência reformista, atuando, formalmente, como
meio para gerar redução dos gastos públicos (o que implicaria em melhoria da eficiência,
da flexibilização dos governos, da capacidade da gestão pública em dar respostas à
sociedade, aumento da transparência e da responsabilização dos gestores. Tudo isso teria
como interesse central o aperfeiçoamento da prestação de serviços e bens aos cidadãos-
consumidores); e ajudaria a decidir quais instituições e políticas públicas eram
estritamente "necessárias" e quais poderiam ser entregues à empresa privada. Desse jeito,
14
as avaliações seriam peças fundamentais para implantação das mudanças previstas pelas
reformas, além de atuar na legitimação dessas ações, pois dava credibilidade aos
processos de redução do tamanho dos governos. (FARIAS, 2005)
A avaliação tem sido tratada pela ciência política convencional, como se fosse um
mero instrumento administrativo, mas ela não é. A atividade avaliativa é sobretudo uma
ação política, que tem intenções políticas prévias. É ingênuo pensá-la apenas como
instrumento que auxiliam os gestores públicos a tomar melhores decisões, a formular
melhores políticas. Ela tem outros “usos” e as decisões nem sempre são tomadas com
base em seus resultados. Na interpretação de Farias (2005), além de possuir esse uso
instrumental, que serve como base de apoio de decisões e meio para resolução de
problemas, a avaliação também possuiria um uso conceitual, sua função “educativa”, e
um uso simbólico, dada pela sua perspectiva “política”.
Farias (2005) sintetiza quatro tipos de usos para avaliação: a) instrumental; b)
conceitual; c) como instrumento de persuasão; e, d) para o esclarecimento. O uso
instrumental depende da qualidade da avaliação e da divulgação adequada de seus
resultados e da factibilidade das suas recomendações. Ele acontece quando as implicações
que podem ser geradas pelas descobertas feitas pela avaliação não são muito “perigosas”,
quando as sugestões não são muito volumosas, podendo ser postas em prática
tranquilamente pelos implementadores, quando a gestão do programa goza de certa
estabilidade ou mesmo quando o programa está em crise e não se tem definido exatamente
o que será feito.
O uso conceitual acontece quando as descobertas da avaliação podem mudar a
forma como os técnicos do programa percebem a natureza e o impacto do mesmo. Já o
uso da avaliação como instrumento de persuasão, ocorre quando os envolvidos com a
implementação do programa já tem em mente quais mudanças querem fazer, mas
precisam mobilizar apoio para tal. O uso da avaliação para o esclarecimento acontece
quando o conhecimento produzido pelas avaliações gera impactos sobre os profissionais,
os formadores de opinião, sobre crenças, interferindo na agenda governamental. Nesse
caso o uso das avaliações ultrapassa a esfera do programa avaliado.
A avaliação institucional mais voltada à medição de centros educativos e a
avaliação da capacidade das instituições não estão muito longe da perspectiva
gerencialista de avaliação. Vimos anteriormente, alguns autores que tentam alargar a
15
avaliação educacional, introduzindo critérios mais “subjetivos”. Todavia, a perspectiva
originária da avaliação institucional surge igualmente atrelada as ideias de controle da
Nova Gestão Pública. Souza (2014) a partir de leitura de Lima, mostra que a:
[...] educação contábil, envolve a obsessão pela eficácia e eficiência via discurso
produtivista, tem a atenção concentrada no cálculo e mensuração dos resultados
e padronização e também inclui a avaliação. E a avaliação, ressalta, é
apresentada agora como uma técnica inovadora de gestão e de controle de
qualidade e abarca o pessoal, os alunos, as instituições, os cursos etc. Mas esta
avaliação, dirá posteriormente Lima (2011), está diretamente vinculada à “teoria
da escolha pública” (aspas do original) com a defesa da competividade entre as
Escolas. E os processos de avaliação são instrumentos privilegiados de regulação
e também de meta-regulação de tipo mercantil. A meta-regulação, afirma, seria
garantida pela avaliação da educação no espaço europeu e ligada à legitimação
de financiamentos diferenciados e competitivos e situada na lógica dos
mercados. Assim, diríamos, a avaliação passa ter, igualmente, a função ou papel
de controle. (SOUZA, 2014, p. 26)
A perspectiva gerencialista, está fortemente presente na cultura avaliativa
contemporânea, percebendo a avaliação como um mecanismo para aferir eficiência das
instituições e políticas públicas, mostrando quais são no entendimento gerencialista,
verdadeiramente indispensáveis.
5. Uma proposta metodológica para avaliação institucional
Acredita-se que os frutos produzidos pela avaliação podem servir para aperfeiçoar
a instituição, desde que sejam reconhecidos como racionalmente válido pela sua gestão e
que exista vontade política para tal. Por isso, a relevância de um trabalho avaliativo que
conte com procedimentos claros e válidos.
O grande desafio de uma avaliação institucional é o desenvolvimento de uma
metodologia que permita a avaliação de uma instituição pública enquanto um todo, isto
é, sem percebê-la apenas por uma de suas ações, programas ou projetos, mas que ao
mesmo tempo seja exequível, frente à tamanha complexidade de uma organização que se
dedica a múltiplas tarefas e possui tempo de funcionamento considerável.
É importante apontar que para averiguar a existência da eficácia institucional, é
preciso verificar se a instituição possui os recursos de várias ordens necessários para tal,
e se consegue mobilizá-los para alcance de suas finalidades centrais explicitadas. Para
16
tanto, devem ser delimitados os fatores entendidos como benéficos e os prejudiciais a tal
processo.
Acredita-se, assim como Figueiredo & Figueiredo (1986), Arretche (1998), e
Dias Sobrinho (1996;2003), que a atividade de avaliação não é neutra, já que a própria
ação de escolha do objeto perpassa convicções valorativas. Todavia, o uso de técnicas e
procedimentos adequados garantirá a viabilidade científica do estudo feito. A avaliação
de uma instituição deve seguir os mesmos preceitos que regem a pesquisa científica,
orientada à produção de informações relevantes, baseando-se para isso em técnicas de
investigação e extração de dados e análise e interpretação compatíveis com as normas
científicas, a exemplo dos questionários e da análise documental.
Pode-se resumir que os principais critérios norteadores de uma avaliação,
utilizados em maior escala, são a eficácia, a eficiência e a efetividade. Essas sugestões
metodológicas dizem respeito à eficácia, especialmente quando o objetivo é aferir o
desempenho institucional em relação aos seus objetivos, isso é, a relação entre o que ela
formalmente se propõe a fazer e o que tem feito, além de elencar os elementos que geram
percalços e os que facilitam nesse processo.
A avaliação da eficácia deve se realizar a partir do uso de diversos indicadores,
que por sua vez precisam estar atrelados à dimensões avaliativas. Uma sugestão de
pesquisa, é categorizá-las em organizacional, administrativa, de recursos humanos e
materiais, aspectos típicos nas instituições de maneira geral. Somada a essas categorias,
deve-se adicionar uma outra, relativa à finalidade específica da instituição avaliada.
Assim, por exemplo, ao avaliar uma instituição como a Escola Nacional de Administração
Pública, voltada à formação da alta gestão pública no Brasil, além das quatro dimensões
gerais, estudou-se a dimensão educacional, algo diretamente ligado à finalidade da
Escola.
Em relação à posição do pesquisador, é necessário esclarecer que embora se trate
de uma pesquisa de caráter externo, a existência de autoavaliaçções produzidas pela
instituição em questão, seu perfil, se tem pretensões de controle institucional ou de auto-
superação, conforme destaca Gaspareto (1999), bem como seus resultados, devem ser um
dos instrumentos de análise. Isso porque se entende que a avaliação interna, produzida
pelos membros da instituição, tem relevante papel diagnóstico, quando a isto se prestam,
podendo também indicar a presença de esforço institucional para superação de possíveis
17
problemas de desempenho ainda que, a partir das observações de Bertelli & Eyng (2004),
se reconheça as limitações que a proximidade com o objeto avaliado pode gerar na
identificação dos limites institucionais. Na realidade, ainda que o pesquisador constate
que a autoavaliação realizada é frágil, inconsistente, isso já é um indicador relevante para
pensar a instituição.
Ao mesmo tempo, é importante destacar que a avaliação externa realizada não
deve se colocar como uma avaliação tecnocrática, no sentido apontado por Sobrinho
(2003). Entende-se, que o papel desta avaliação não é o de promover uma hierarquização
via quantificação, nem mesmo o de repreensão pelas possíveis falhas apresentadas pela
Escola. Antes disso, pretende-se que a instituição possa se apropriar da avaliação feita e
de seus resultados, conforme julgue necessário.
No mesmo sentido, é preciso manter cuidado constante para que não se aja durante
a pesquisa de forma reducionista, comparando a instituição com um modelo idealizado
do que ela deveria ser. Quando se coloca um alvo referencial imaginário e se tenta
verificar se o objeto avaliado está próximo ou não desse alvo, acaba-se por cair numa
abordagem reducionista, que tende a diminuir os possíveis êxitos da instituição pois
dificilmente eles corresponderão ao perfil ideal imaginado.
Ao mesmo tempo o estudo deve estar atento para não cair num perfil apenas
“laudatório”, quando se omite as críticas, nem tão pouco supervalorizar aspectos
secundários que desmereçam a instituição, esquecendo-se do que é primordial.
A partir do que já foi sintetizado a respeito da análise institucional realizada por
Neves (2010), acredita-se que é fundamental para avaliação de qualquer instituição
realizar um resgate histórico cuidadoso, capaz de destacar como e porque surgiu, além de
mostrar sua atuação (tarefa já realizada no segundo capítulo).
É nesse sentido que a primeira etapa assumida na pesquisa deve ser a descrição
precisa e minuciosa da instituição, levando em consideração toda sua complexidade e não
apenas seus componentes isolados, conforme destaca Dias Sobrinho (1996;1998). Assim,
um passo importante, e presente nos argumentos de Dias Sobrinho (2003) e Sechi (2003),
deve ser a preocupação em entender a instituição avaliada como multidimensional,
formada por partes que a dão sentido.
18
5.1 A AVALIAÇÃO DAS DIMENSÕES
A divisão da avaliação de uma instituição a partir de dimensões, tem como
finalidade facilitar sua apreensão como um todo, de modo que ela não seja reduzida a
apenas um de seus aspectos, o que certamente levaria o pesquisador para fora do eixo da
avaliação institucional.
A escolha pelo que se chama de cinco dimensões institucionais, ou mesmo das
cinco gamas de recursos institucionais, tem fins didáticos e metodológicos, atuando como
facilitadora para que a avaliação consiga perceber a instituição a partir de seus objetivos
formais, mais precisamente em como está organizada para cumprimento deles. Essas
dimensões são distintas e interdependentes, e apesar de não esgotarem toda a
complexidade institucional, tendem a constituir-se como um recorte das condições
apresentadas para alcance do que a mesma propõe-se explicitamente.
Ao final, a investigação dessas dimensões deve oferecer subsídios para responder
a uma questão fundamental para os estudos da eficácia institucional: a instituição que
estou analisando, é eficaz? Isto é, seus objetivos formais estão sendo alcançados? Se sim,
em que medida isso tem ocorrido? Quais os principais fatores que levam ao seu sucesso
e/ou insucesso?
Embora cada instituição seja única e, como tal, possua aspectos próprios, há
características que lhe são comuns. Eles se organizam de uma dada maneira, possuem
determinada estrutura administrativa, recursos materiais e humanos sem os quais não
poderia, minimamente, manter um funcionamento. Além disso, toda instituição existe por
uma “função fim” específica.
A partir dessa constatação, propõe-se como dimensões avaliativas:
a) dimensão organizacional, que diz respeito ao desenvolvimento da instituição
de modo geral, mais precisamente o modo como se organiza para desenvolver suas
funções; b) administrativa, que refere-se à estrutura e a gestão administrativa da
instituição; c) material, que fala das condições materiais da instituição, os recursos físicos
que possui para desenvolver suas atividades; e, d) os recursos humanos, que são os
servidores que compõe a instituição, suas funções, forma de admissão, perspectivas sobre
a instituição da qual fazem parte, dentro outros aspectos. Além dessas, é preciso incluir
no estudo, uma e) “dimensão fim”, que diga respeito à finalidade declarada da instituição.
19
Para cada dimensão analisada (organizacional, administrativa, material, humana
e a “específica”, devem ser selecionados aspectos centrais a serem investigados. Em
relação a estes aspectos precisam ser tecidos questionamentos norteadores. Foi elaborado
um quadro (exposto a seguir), não com intuito normativo, mas como sugestão de aspectos
e questões básicas que podem ser feitas durante a avaliação. A instituição pode ser
observada a partir da existência e da forma como mobiliza essa gama de recursos
(dimensões) compreendidos como fundamentais ao seu bom desempenho, conforme
sugerido por Souto et al. (2012).
QUADRO 01. Dimensões, aspectos e questões da avaliação institucional
DIMENSÃO/
RECURSOS
ANALISADOS ASPECTOS QUESTÕES
Características
organizacionais
1. Missão/objetivos
2. Monitoramento/
avaliação
Os objetivos estão claros? Há ambiguidade nos
objetivos? Há contradição? Os objetivos são
amplos? Os objetivos são factíveis? Há
objetivos conflitantes? Há objetivos
implícitos? A relação entre missão- objetivos-
metas dá-se de forma satisfatória? Os objetivos
são operacionalizáveis? O problema ao qual se
quer intervir está bem descrito? Os objetivos
mudaram ao longo do tempo? As ações
realizadas contribuem para o alcance dos
objetivos? A instituição possui controle sobre
a relação ações implementadas/metas
traçadas? DRAIBE, 2001; AGUILLAR &
ANDER EGG, 1994; COSTA &
CASTANHAR, 2003; HENRICH, 2010;
WEISS, 1978).
Existem avaliações ou monitoramentos
internos? Se sim, há quais conclusões chegou?
Gestão
administrativa
1. Forma de
“escolha” da
Gestão
2. Tempo de
duração no cargo
3. Perfil dos
gestores
4. Mecanismos
para tomada de
decisão
Qual o mecanismo para escolha do gestor?
Quanto tempo o gestor passa no cargo?
Qual o perfil acadêmico/atuação dos gestores?
As decisões são tomadas de forma
democrática?
Existe um conselho que participe da tomada de
decisões sobre a instituição? Como é formado?
Como é feito o Planejamento da instituição?
Todos (internamente e externamente) têm
conhecimento das metas e demais notícias
institucionais?
20
5. Conselho de
Gestão
6. Planejamento
7. Distribuição de
informações
8.Relações
externas da
instituição
9. Organograma
A Instituição mantém contato com as demais
instituições/órgãos que são receptoras de seus
serviços?
Como está organizada administrativamente a
instituição?
Condições
materiais
1. Espaço físico
2. Equipamentos
3.Recursos
financeiros
Os recursos materiais são suficientes? Em que
medida eles favorecem/desfavorecem o
desempenho da instituição?
Os recursos são advindos de onde? São
suficientes?
Recursos
humanos
1.Quantidade de
funcionários
2. Distribuição dos
funcionários
3.Forma de
admissão
4. Nível de
formação/aptidões
para o cargo
ocupado
5. Perspectiva
sobre a instituição
8. Incentivo à
qualificação
Há funcionários suficientes?
Como estão distribuídos os funcionários dentro
dos setores da Escola?
Qual o mecanismo utilizado para admissão dos
funcionários)?
Os funcionários estão qualificados de forma
adequada para a função que exercem?
Como os funcionários analisam a instituição
(em relação ao ambiente de trabalho,
remuneração, seu desempenho)?
A instituição tem alguma política para
incentivo de qualificação?
Dimensão fim _____________ _____________________________
Fonte: elaboração própria, 2018.
Cada dimensão analisada deve implicar num conjunto de indicadores. Assim, por
exemplo, a dimensão material pode ser verificada a partir do que se chamou de
indicadores materiais e a dimensão organizacional, a partir dos indicadores
organizacionais.
O conjunto de indicadores selecionados devem fornecer respostas às questões
traçadas. Desse modo, as interrogações tecidas sobre o aspecto missão/objetivo da
instituição pode ter como um dos indicadores a qualidade do plano institucional. A forma
de coleta de cada indicador precisa estar clara e ser factível. O quadro abaixo, sintetiza
uma forma de realizar tal conexão.
21
QUADRO 02. Exemplo de conexão entre dimensão, indicador e forma de
coleta.
ÁREA
TEMÁTICA INDICADOR FORMA DE COLETA
Indicadores
organizacionais
Qualidade do plano
institucional
Documentos internos (Plano de
Desenvolvimento Institucional, e
Relatório de Comissão Interna)
Site oficial
Entrevista com servidores gestores Fonte: elaboração própria, 2018.
Por fim, cada dimensão deve ser avaliada individualmente com todas as conexões
investigativas previamente apontadas, de forma que possam ser elencados em quais das
dimensões há sucesso e quais não há, e quais os fatores específicos responsáveis.
Com os dados em mãos e conexões investigativas realizadas, é necessário frisar
que o pesquisador deve, em meio as suas ponderações, que lhe permitirão concluir sobre
a eficácia da instituição avaliada, manter-se atento ao peso da “dimensão fim” em relação
as demais.
Por exemplo, numa instituição de caráter educativo, em que esta dimensão
apresenta alta eficácia, contra baixa eficácia dos “aspectos materiais”, é preciso analisar
cuidadosamente até que ponto a eficácia institucional está abalada, pois ainda que a
instituição não possa ser entendida por apenas uma de suas partes, o seu todo está voltado
ao desempenho de uma finalidade, e isso precisa ser levado em consideração.
Considerações finais
Os avaliadores institucionais encontram-se numa encruzilhada: como desenvolver
na prática uma avaliação desse porte? Como proceder? Por onde começar? A literatura é
relativamente escassa e mais ainda são as descrições sobre tal prática avaliativa.
Por isso, esse artigo teve como objetivo traçar um caminho metodológico para
avaliação institucional, que de forma prática, possa ser utilizado por quem deseja
ingressar nesse universo. Esse modelo serviu de base para avaliação de uma instituição
em específico, a ENAP, mas acredita-se que pelo menos em sua essência, possa contribuir
enquanto forma de dinamização da rotina avaliativa.
22
Não se pretendeu, com isso esgotar a temática e as possibilidades de avaliação
instituição, pois já se sabe que tal empreitada seria impossível, mas unicamente oferecer
uma contribuição ao fazer avaliativo, elencando aspectos que precisam ser considerados
à aferição da eficácia institucional.
Referencial bibliográfico
APABLE PARTNERS PROGRAM (CAP) & USAID. Avaliação e Desenvolvimento da
Capacidade Institucional da Organização. In: Guia Essencial das ONGs para a Gestão de
Adjudicações USAID. Disponível em: http://pdf.usaid.gov/pdf_docs/pnaea103.pdf.
Acesso em: 11/12/2015.
ARRETCHE, Marta. Tendências no estudo sobre avaliação. 1998. In:RICO, Elizabeth.
Avaliação de Políticas: uma Questão em Debate. São Paulo:Cortez, p.29-39.
BERTELLI, Eliseu Miguel; EYNG, Ana Maria. 2004. Avaliação institucional: a relação
dialógica dos dados da avaliação interna e externa na melhoria educacional. In: IV
Colóquio Internacional sobre Gestão Universitária na América do Sul, 2004,
Florianópolis. Gestão Universitária na América do Sul "Alianças Estratégicas, Integração
e gestão Universitária. Florianópolis: Universidade Federal de Santa Catarina, v. 01. p.
01-15
BIELSCHOWSKI. Carlos Eduardo. 1996. Avaliação na Universidade Federal do Rio de
Janeiro: a metodologia. Avaliação: revista de avaliação da educação superior, Campinas,
v.1, n. 1.
DERLIEN, Hans-Ulrich. 2001. Uma Comparación Internacional em la Evaluación de lãs
Políticas Públicas. Brasília, Revista do Serviço Público, ano 52, n.1, jan./mar.
DIAS SOBRINHO, José. 1998. Avaliação institucional da educação superior: fontes
externas e fontes internas. Avaliação: Revista da Avaliação da Educação Superior,
Campinas, v.3, nº 34.
DIAS SOBRINHO, José. 1996. Avaliação institucional: marcos teóricos e políticos.
Avaliação: Revista da Avaliação da Educação Superior. Campinas, v. 1, n. 1, jul-, pp.
15-24.
23
DIA SOBRINHO. 2003. Avaliação: políticas educacionais e reforma da educação
superior. São Paulo: Cortez.
FARIAS, Carlos A. P. de. 2005. A política da avaliação de políticas públicas. Revista
Brasileira de Ciências Sociais, São Paulo, v. 20, n. 50, p. 97-169, out.
FIGUEIREDO, Marcus F.; FIGUEIREDO, Argelina M. C. 1986. Avaliação política e
avaliação de políticas: um quadro de referência teórica. Análise e Conjuntura, Belo
Horizonte, v. 1, n. 3, p. 107-127.
FORSS, Kim & VENSON Pelonomi. 2002. An Evaluation of the Capacity Building
Efforts of United Nations Operational Activities in Zimbabwe: 1980-1995. Disponível
em: http://www.un.org/esa/coordination/Capacity_Building_supported_by_the_UN.pdf
Acesso em 12 de junho de 2016.
GASPARETTO, Agenor. 1999. Avaliação institucional: processo doloroso de mudança;
a experiência da UESC, Ilhéus, Bahia. Avaliação: revista de avaliação da educação
superior, v. 4, n.4,
RODRIGUES, José de Arimatéa. 2014. Sistema de Avaliação da Capacidade
Institucional (SECI). Disponível em:
http://idbdocs.iadb.org/wsdocs/getdocument.aspx?docnum=38190339 . Acesso em 13 de
dezembro de 2015.
SAGI, Luciana Carla. 2009. Capacidade institucional para a gestão do turismo: definição
de indicadores e análise com base no estudo de caso de Santa Catarina. Revista
Hospitalidade. São Paulo, Ano VI, n. 1, jun..
SECCHI, Leonardo. 2013 Políticas Públicas: conceitos, esquemas de análise, casos
práticos. São Paulo: Cengage Learning, v. 1.
SOUTO, Simão. Et. al. 2012. Avaliação da capacidade institucional para a melhoria da
qualidade educativa: materiais de apoio à formação em competências de inspetores da
educação em Angola. Instituto Internacional de Planejamiento de la Educación IIPE-
Unesco: Buenos Aires.
SOUZA, Lincoln Moraes de. 2014. Três ensaios sobre avaliação de políticas públicas.
Natal: EDUFNR.
24
STEIN, Maria das Graças Dias Ferreira. 2003. O referencial teórico e histórico da
avaliação institucional no Brasil pós-constituição de 1988. Avaliação- Revista da Rede
de Avaliação Institucional da Educação Superior. Campinas, v. 8, n. 4, dez., pp. 31-51.
WEISS, Carol H. 1978. Investigación evaluativa: métodos para determinar la eficiência
de los programas de acción. México: Trilhas