modelos de avaliaÇÃo momentosfunçãoprocedência. os autores cohen e franco (2004:73) reforçam...
TRANSCRIPT
MODELOS DE MODELOS DE AVALIAÇÃOAVALIAÇÃO
MomentosMomentos
Função Função
Procedência Procedência
Os autores Cohen e Franco (2004:73) reforçam essa idéia e,
citando Ander-Egg (1984):
“se planejar é introduzir organização e racionalidade na
ação para a consecução de determinadas metas e
objetivos, a avaliação é um modo de verificar essa
racionalidade, medindo o cumprimento – ou perspectiva
de cumprimento – dos objetivos e metas previamente estabelecidos e a capacidade
para alcançá-los.”
AVALIAÇÃOAVALIAÇÃO A AVALIAÇÃO representa uma potente ferramenta de gestão na
medida em que pode ser utilizada no planejamento e formulação de
uma intervenção, no acompanhamento de sua
implementação e conseqüentes ajustes a serem adotados, e até nas
decisões sobre sua manutenção, aperfeiçoamento, mudança de rumo
ou interrupção.
AVALIAÇÃO não deve simplesmente distinguir intervenções exitosas ou fracassadas. De acordo com Rua (2003:1) "muito mais importante e
proveitoso é apropriar-se da avaliação como um processo de apoio a um aprendizado contínuo, de busca de melhores decisões
e de amadurecimento da gestão".
CICLO AVALIATIVOCICLO AVALIATIVO
MODELOS DE AVALIAÇÃO : Ciclo Avaliativo
Avaliação “ex-
ante”
Avaliação
ResultadoEFEITO
M o n i t o r a m e n t o d a s A ç õ e s
Avaliação Resultado IMPACTPO
Avaliação MARCO
ZERO
Avaliação “on going”
Avaliação Processo FORMATIVA Avaliação
“ex post”
MARCO ZEROMARCO ZEROÉ 1ª ação avaliatória, preliminar, “EX-ANTE”,
de contexto - (diagnóstico inicial – olhar crítico e compartilhado que garantirá uma
visão comum sobre determinada realidade), deve ocorrer antes de se desencadearem as primeiras atividades do programa ou projeto.
Serve para determinar a pertinência, viabilidade e eficácia potencial para a tomada
de decisão sobre a possibilidade de se elaborar e pôr em movimento um programa,
projeto ou atividade.
Deve-se levar em conta a coerência entre as soluções propostas e a realidade que se
pretende alterar.
Deve orientar o planejamento das ações futuras e servir de parâmetro para as outras
fases da avaliação.
PERGUNTAS ORIENTADORASPERGUNTAS ORIENTADORAS :
MARCO MARCO ZEROZERO
Quais são os indicadores do local ( Natalidade,Mortalidade, Escolaridade, Trabalho e Renda, etc)
onde se quer atuar?
Quais são os indicadores específicos ( Educação – evasão ; Trabalho – falta de qualificação;
Renda – exclusão do consumo; Vulnerabilidade –pobreza, DQ, drogas, etc; saúde – DSTs,
desnutrição, etc ?
Por quais problemas passam hoje?
Quem sofre com esses problemas ?
Onde vive as pessoas-alvo? ( comunidade, território, região, município, etc )
Qual o quadro geral da situação?
ALIAÇÃO DE PROCESSO ALIAÇÃO DE PROCESSO OU FORMATIVA OU FORMATIVA
Após o planejamento, na implementação da ações - “DURANTE” “ON GOING”, compreende
além do MONITORAMENTO MONITORAMENTO contínuo das atividades, a reflexão frequente sobre as
dinâmicas interna e externa da equipe responsável, isto é, as relações entre os
membros da equipe e sua interação com o público-alvo;
Fornece informações acerca do andamento da execução com o objetivo de estabelecer até
que ponto a proposta inicial está sendo cumprida
Não se trata de controle operacional, permite fazer um juízo sobre os pressupostos e decidir
sobre o enfrentamento das dificuldades e barreiras encontradas, se os objetivos
operacionais devem ser reformulados ou mantidos.
POSSIBILIDADES :POSSIBILIDADES : Avaliação de cobertura - até que ponto o público beneficiário está
sendo atingido (até que ponto conhece o projeto, se há barreiras ou se o projeto é acessível, se é aceito pela população) e até que ponto a área de atuação é coberta.
Avaliação da implementação - julga se os instrumentos planejados para a implementação são necessários, suficientes, idôneos (no sentido de ter capacidade de cumprir as metas estabelecidas), potentes e eficazes.
Avaliação do ambiente organizacional - se a organização responsável pelo projeto, em seus aspectos internos, favorece ou dificulta seu andamento.
Avaliação do rendimento pessoal, onde importa considerar se os indivíduos envolvidos na implementação possuem habilidades e atitudes que favoreçam o desempenho das tarefas, se são capazes de aplicar seus conhecimentos e de sistematizar a própria experiência, assim como de organizar o trabalho e solucionar problemas concretos.
PERGUNTAS ORIENTADORAS : PERGUNTAS ORIENTADORAS :
PROCESSOPROCESSO
Como todos os participantes estão
percebendo o Programa / Projeto?
Quais os pontos fortes e fracos das atividades do cotidiano?
Como o processo de implementação pode ser aperfeiçoado?
Qual a ordem da dificuldade? teórica, metodológica, pessoal, recursos?
PERGUNTA AVALIATIVA
INDICADOR ( ES )
Programa
Inter Ação
Objetivo
Ampliar as oportunidades de inclusão
social de crianças e
adolescentes que vivem em situação de
risco na cidade do RJ.
1ª Em que medida o Projeto está conseguindo contribuir para o desenvolvimento físico adequado das crianças e adolescentes atendidos ?
Existência de estratégia adequada para acompanhamento periódico da curva de crescimento (peso e altura) ; Percentual de crianças e adolescentes na faixa normal da curva de crescimento; Existência de estratégias adequadas para atendimento especial face a problemas de crescimento e/ou nutrição; Percentual com problemas de crescimento que estão recebendo atendimento especializado.
2ª Em que medida o Projeto contribui
para o desenvolvimento
cognitivo e de habilidades e competências
necessárias para o sucesso das crianças na
escola e na vida ?
Desenvolvimento do gosto pela leitura, pela escrita e domínio da língua oral; Desenvolvimento de raciocínio lógico e capacidade resolutiva para o cotidiano; Desenvolvimento de regras de conduta, habilidades para trabalhar diferenças, ouvir o outro , trabalhar em grupo e criatividade; Evolução das notas escolares, percentual de aprovação, de matriculados na escola e de evasão escolar.
AVALIAÇÃO SOMATIVA AVALIAÇÃO SOMATIVA
EFEITOEFEITO
Na fase intermediária, ou próxima do final –“EX-POST”, está voltada para os resultados, analisa os benefícios
proporcionados aos participantes (público alvo, parceiros, equipe responsável, etc)
durante e após a implementação.
Requer indicadores definidos, isto é, critérios norteadores
do sucesso do projeto.
É fundamental que todos que participaram, direta ou indiretamente, sejam ouvidos
e que a metodologia utilize parâmetros quantitativos e qualitativos de
resultados.
AVALIAÇÃO DE IMPACTOAVALIAÇÃO DE IMPACTOSegundo Marino (1998) “o efeito final ou
impacto de um projeto deve ser examinado após tempo decorrido do período de
implementação das ações”.
Os indicadores de resultados devem ser comparados àqueles iniciais, observados no Marco Zero, pois para se avaliar um
projeto ou programa social, deve-se fazer um esforço, desde o planejamento inicial das atividades, para identificar e desenvolver
indicadores de resultados do projeto.
Segundo Valarelli (1999), “em projetos sociais, indicadores são parâmetros
qualificados e/ou quantificados que servem para detalhar em que
medida os objetivos de um projeto foram alcançados, dentro de um prazo delimitado de tempo e numa
localidade específica”.
PERGUNTAS ORIENTADORAS : PERGUNTAS ORIENTADORAS :
RESULTADOSRESULTADOS
Os resultados previamente estabelecidos foram cumpridos?
Quais efeitos e possíveis impactos do Programa / projeto tem sobre os envolvidos
e sobre a realidade social ?
Quais são os indicadores de resultados qualitativos e quantitativos?
OBJETIVO
PERGUNTA AVALIATIVA
INDICADOR ( ES )RESULTADO IMPACTO
Avaliar o Resultado e o Impacto do
Projeto X.
EX:
Quais os Efeitos e Impactos do
Projeto X implantado
em 10 comunidades da Zona Norte da
Cidade do RJ para atender jovens evadidos do ensino fundamental,
sem atividade laboral e sem qualificação
profissional durante o período 1999/2002
?
Conclusão do ensino fundamental; Capacitação para o mundo do trabalho; Empregabilidade; Elevação da renda familiar; Acesso aos bens e à rede de Serviços Locais; Ressignificação das relações afetivo-familiares e comunitárias; Mudança de hábitos e padrões de risco; Outras formas de inclusão e conquistas evidenciadas.
Elevação dos índices de escolarização; Elevação dos níveis de renda e maior atividade econômica local; Redução dos índices de mortes por causas externas ( violentas ); Redução dos índices de incidência/reincidência de jovens envolvidos em conflitos com a lei; Participação comunitária; Fortalecimento da rede protetiva local; Implantação de políticas/programas intersetoriais voltados para jovens; Implicações ecológicas; Educação ambiental.
PROCEDÊNCIA DOS PROCEDÊNCIA DOS AVALIADORES AVALIADORES
EM FUNÇÃO DE QUEM EM FUNÇÃO DE QUEM REALIZA REALIZA
AVALIAÇÃO SOLICITANTE MOTIVOATORES
ENVOLVIDOS NA REALIZAÇÃO
PAPEL DO AVALIADOR
MARCO ZERO
EX ANTE
Própria Equipe
Conhecer as necessidades do público alvo e o contexto social onde o
Projeto vai atuar.
Interno – Staff da própria
Equipe do Projeto
Aprofundar conhecimento
sobre a problemática tratada pelo
Projeto.
PROCESSO
FORMATIVADURANTE
Própria Equipe
Financiadores
Descobrir o que funciona, o que não, e melhorar o processo de
implantação. Avalia a influência das condições e processos de
trabalho, dos atores envolvidos, dos dispositivos de participação e
decisão, dos processos gerenciais, organizacionais e institucionais na
produção e execução dos serviços/ações.
EX: Os recursos e as atividades estão organizadas de forma a alcançar os
objetivos ? São suficientes quali-quantitativamente ?
Pessoa ou Equipe do próprio
Projeto, contando com eventual ajuda
de um especialista.
Facilitar o processo e assegurar a melhoria do
Projeto
RESULTADOS
EFEITOS
Própria Equipe
Financiadores
Descobrir se as atividades desenvolvidas ou o projeto como um todo realmente provocou mudanças na vida do público-alvo. EX: Grau e cobertura; eficácia dos resultados; aceitabilidade ; acessibilidade etc. Também, a relação entre recursos
empregados e efeitos obtidos . Rendimento.
Pessoa ou Equipe do
próprio Projeto, contando com eventual ajuda
de um especialista.
Dependendo da complexidade, um avaliador
externo é recomendado.
Facilitar a definição de
indicadores de resultados junto à Equipe do pp
Projeto, interessados e público-alvo.
AVALIAÇÃO SOLICITANTE MOTIVOATORES
ENVOLVIDOS NA REALIZAÇÃO
PAPEL DO AVALIADOR
IMPACTOSOMATIVA
PrópriaEquipe
FinanciadoresAgências
GovernamentaisTomadores de
Decisão( Gestão
Estratégica e Tática )
Descobrir sucessos e /ou insucessos do Projeto na
realidade em queele se propôs.
EX: Elevação de índices , níveis de renda e
atividade econômica local;Redução dos índices /
incidência;Participação comunitária, Fortalecimento da Rede
protetiva local; implantação de políticas, programas
intersetoriais; implicações ecológicas; educação
ambiental; etc
Avaliador ExternoEquipe formada
para tal finalidade;
Julgar o mérito dos efeitos do
Projeto
CUSTO BENEFÍCIO
SOCIAL
PrópriaEquipe
FinanciadoresAgências
GovernamentaisTomadores de
Decisão( Especialmente
os responsáveis por
políticas públicas )
Verificar os indicadores financeiros relacionados ao benefício social do Projeto
EX: Análise do custo-benefício expressos em termos
monetários eAnálise de custo-efetividade :
custo expresso em termos monetários e efetividade em
indicadores reais de resultado.
Avaliador Externo
Fazer auditoria dos dados
financeiros e relacioná-los
com os resultados
sociais do Projeto.
AVALIAÇÃO AVALIAÇÃO ELEMENTOS ELEMENTOS
Os Quatro Os Quatro Elementos Elementos da Avaliação da Avaliação
Os Quatro Elementos Os Quatro Elementos da Avaliação da Avaliação
TerraTerra
ÁguaÁgua FogoFogo
ArAr
ElementoElemento: : AR AR
Atribuição de Atribuição de SentidoSentido
Natureza: reflexiva e
abstrata
ElementoElemento: : AR AR
Atribuição de Atribuição de SentidoSentido : Finalidade e : Finalidade e
Papel da AvaliaçãoPapel da Avaliação
“ “ POR QUE?”POR QUE?”
ElementoElemento: : TERRA TERRA
Investigação da Investigação da RealidadeRealidade
Natureza : Natureza : científica, concreta e científica, concreta e
ferramental ferramental
ElementoElemento: : TERRA TERRA
Investigação da Investigação da Realidade :Realidade : Métodos e Métodos e
Instrumentos.Instrumentos.
“ “ COMO ?”COMO ?”
ElementoElemento: : TERRA TERRA
Investigação da Investigação da Realidade Realidade
(1)(1) Perguntas Avaliativas;Perguntas Avaliativas; (2)(2) Indicadores;Indicadores; (3)(3) Fontes de Informação;Fontes de Informação; (4)(4) Formas de Coleta; Formas de Coleta; (5)(5) Coleta de Informações;Coleta de Informações; (6)(6) Análise;Análise; (7)(7) Comunicação dos Comunicação dos
Resultados.Resultados.
ElementoElemento: : ÁGUA ÁGUA
Ética Ética Natureza : Natureza :
transparente, lubrificar, transparente, lubrificar, cuidar para que estejam cuidar para que estejam
“limpos”“limpos”
ElementoElemento: : ÁGUA ÁGUA
Ética :Ética : Condução pautada Condução pautada em Princípios Éticos.em Princípios Éticos.
““PARA QUE? “PARA QUE? “
““PARA QUEM?”PARA QUEM?”
ElementoElemento: : ÁGUA ÁGUA
Ética nos ProcessosÉtica nos Processos (a)(a) Respeito aos envolvidos; Respeito aos envolvidos; (b)(b) Clareza das intenções; Clareza das intenções; (c)(c) Justiça no registro das Justiça no registro das informações - positivas/negativas; informações - positivas/negativas; (d)(d) Transparência na Comunicação Transparência na Comunicação (acesso aos resultados); (acesso aos resultados); (e)(e) Responsabilidade Fiscal. Responsabilidade Fiscal.
ElementoElemento: : FOGO FOGO
Capacidade Capacidade Avaliativa:Avaliativa:
Natureza :Natureza :
multiplicadora, combustível, multiplicadora, combustível, geradora de conhecimento geradora de conhecimento
e práticas. e práticas.
ElementoElemento: : FOGO FOGO
Capacidade AvaliativaCapacidade Avaliativa
(a) Busca de Identidade entre os Interessados; (b) Transferência de poder - autonomia e emancipação; (c) Motivação pela Aprendizagem; (d) Desenvolvimento de Competên- cias de Investigação e Gestão; (e) Alocação de Recursos.
ElementoElemento: : FOGO FOGO
Capacidade Avaliativa:Capacidade Avaliativa: Dissiminação e Dissiminação e
EmancipaçãoEmancipação
““EMPOWERMENT”EMPOWERMENT”