fortalecimento da avaliação de projetos sociais no brasil
TRANSCRIPT
Fortalecimento da Avaliação de
Projetos Sociais no Brasil
Objetivos do projeto:
• Conhecer o “estado da arte” da avaliação de programas
e projetos sociais no Brasil.
• Contribuir para a articulação de uma comunidade de
avaliadores.
• Conhecer e debater a produção acadêmica brasileira
focada em avaliação de programas e projetos sociais.
• Produzir material de apoio à reflexão e prática da
avaliação no Brasil.
Identificação e análise da produção acadêmica brasileira sobre avaliação de
projetos sociais
Objetivos:
• 1º objetivo: localizar um conjunto de trabalhos acadêmicos de interesse para a área de “avaliação de programas e projetos sociais”
• 2º objetivo: iniciar algumas análises sobre ela, a partir das seguintes perguntas:
– O que a academia tem produzido sobre avaliação de programas e projetos sociais?
– Que campos do saber têm se dedicado à estudar a avaliação?
– O que estudam em relação à avaliação?
– Como esta produção pode contribuir com as práticas de avaliação no Brasil?
Síntese do método
1. Localização de estudos (dissertações de mestrado, teses de doutorado ou trabalhos de conclusão de cursos de pós-graduação) que formassem uma base
abrangente sobre o campo sócio-ambiental (público e privado)
2. Localização aproximada de estudos que poderiam se
aproximar do campo da avaliação.
3. Seleção dos estudos específicos que do
campo da avaliação.
4. Análises preliminares desses estudos
Método - 1. Localização de estudos Escolha das base de dados
• Banco de Teses (CAPES)
– Base referencial– Ampla cobertura e satisfatória
organização: mais de 400 mil Dissertações e Teses
– Preenchimento obrigatório pelos PPG
– Atualização feita principalmente para a “avaliação trienal”
– “Objetivo”: subsidiar avaliação e acompanhamento da pós-graduação
– Criada em 2002– Período 1987/2007
• Biblioteca Digital de Teses e Dissertações (IBICT)
– Base com texto completo– Ampla cobertura e satisfatória
organização: Mais de 67 mil dissertações e teses.
– Bibliotecas “credenciadas”– Atualização variável (“diária”)
bibliotecas não credenciadas– Objetivo: disseminar
informações– Criada em 2002– Período 1970/2008
Mais completa Disponibiliza texto completo
Método - 1. Localização de estudos Definição de termos e palavras-chave
• Definição de termos, palavras-chave e associações por consultores em “avaliação de projetos sociais”
• Decisão de realizar a busca, numa primeira etapa, a partir de um grupo restrito de palavras
• Escolha de termos abrangentes – minimizar perda de informações
• CAPES: ONG; organização não-governamental, programa social, projetos sociais e terceiro setor
• IBICT: ONG; organização não-governamental, programa social, projetos sociais, terceiro setor e políticas sociais
Método - 1. Localização de estudos Definição de termos e palavras-chave
• Busca nas bases a partir das palavras e expressões realizadas por um biblioteconomista.
– CAPES: termo a termo “expressão exata” campo assunto 16 a 30 de julho 1987/2007
– IBICT: entre 15 e 20 de agosto de 2008 “com a expressão” no título e resumo 1970/2008
– Produção de uma base de 1393
Base abrangente com estudos relacionados ao campo social
Método - 2. Localização aproximada de estudos do campo da avaliação
Tratamento do material
• Unificação das bases CAPES e IBICT• Exclusão registros duplicados• Localização de palavras-chave que caracterizariam nossa área de interesse mais específica.
AvaliaçãoAbordagensEstudo e EnsinoMonitoramentoAnáliseGestãoValorIndicadoresEficiênciaEficáciaEfetividadeAdministraçãoEstratégiaGerenciamentoPlanejamentoResponsabilidade SocialSócio-ambientalResultadosPolíticas
E
Projetos SociaisProgramas SociaisTerceiro SetorAção SocialPolíticas SociaisONGOrganização Não-governamentalFundaçãoInstituto EmpresarialResultados SociaisImpactos Sociais
Método - 2. Localização aproximada de estudos do campo da avaliação
Tratamento do material
• Seleção de estudos que tivessem pelo menos um dos cruzamentos acima.
• Leitura de títulos e resumos a partir de uma amostra (200): análise qualitativa e afinamento de critérios– Novo critério: manter apenas estudos que continham pelo menos
Gestão e duas das palavras/expressões ou se estivesse associada aos termos Programa(s) social(is) ou Projeto(s) social(is): 577
• Exclusão de estudos que não eram nada significativos (distorções e ruídos da busca)
541 estudos com maior grau de relevância.
Método - 3. Seleção dos estudos específicos que do campo da avaliação.
Análises
• Leitura dos títulos e resumos de 391 registros e análise a partir dos seguintes recortes:
– É significativo? Realmente é de interesse específico do campo da
avaliação?
– Em que Instituição foi produzida e defendida (região de
localização)?
– Em que ano foi publicado?
– Em que área do conhecimento?
– Qual o “tema” do estudo
– Quais as palavras-referência que o identificaram?
Método
Algumas aprendizagens a partir do método
• Área difícil de definir: – muitas palavras “giram em torno” da área– A palavra “avaliação” sozinha não se mostra a melhor para localizar
estudos de avaliação!
• Amplitude de possibilidades, aplicações, metodologias, objetos...– Na leitura dos estudos se identificam muitas possibilidades de “fazer
avaliações”.– Ao mesmo tempo, não é qualquer análise que pode ser chamada de
avaliação
• Qualquer recorte/ definição parece um pouco arbitrária e será parcial.
A produção acadêmica em avaliação
Onde se esconde a avaliação de programas e projetos sociais?Análise das palavras-referência (base de 130 estudos)
Ocorrência
Análise 68
Avaliação 61
Resultados 52
Gestão 51
Políticas sociais 40
Organizações não governamentais 40
Projetos sociais 36
Programas sociais 32
Terceiro setor 29
Estratégia 23
Valor 22
Ocorrência
Abordagem 19
Eficiência 18
Efetividade 17
Indicadores 17
Ação social 14
Planejamento 12
Responsabilidade social 12
Eficácia 11
Fundação 11
Administração 9
Monitoramento 4
Gerenciamento 1
Sócio-ambiental 1• Mais análise do que avaliação
• Mais resultados do que processos
• Muita gestão
• Mais políticas, projetos e programas sociais do que ONG ou Terceiro Setor
A produção acadêmica em avaliaçãoOnde se esconde a avaliação de programas e projetos sociais?
Análise das palavras-referência
Resultados
A base construída• 577 dissertações e teses que representam uma base relevante para o
campo, porém:– 66% Não são dissertações e teses relativas à área de avaliação – 35% são dissertações e teses relativas à área de avaliação.
Gestão do 3º setor
Questão política e 3o setor
Responsabilidade social
Capital Social
Redes sociais
Avaliação
Questões jurídicas 3o setor
Análises históricas e contextuais de propostas de
políticas sociais
Estudos de técnicas e metodologias específicas de
gestão
Discussões sobre propostas de de gestão de políticas sociais
Outros
Base relevante
Debate conceitual, metodológico ou político sobre
avaliação
Avaliação de programa ou projeto do 3º setor
Avaliação de programa sócio-ambiental público
Avaliação Econômica
29%35%
6%30%
Outros focos
A produção acadêmica em avaliação
Temas
37%
32%
11%
6%
5%
5%
3%
1%
0% 5% 10% 15% 20% 25% 30% 35% 40%
Avaliação de programa social público
Avaliação de programa ou projeto do 3º setor
Debate conceitual, metodológico ou político
Responsabilidade social
Gestão do 3º setor
Questão política e 3o setor
Avaliação Econômica
Capital Social
Análises a partir da base “avaliação”
A produção acadêmica em avaliação
Ano de defesa
0
5
10
15
20
25
30
35
40
1995 1996 1197 1998 1999 2000 2001 2002 2003 2004 2005 2006 2007 2008
tese
s e
dis
sert
açõ
es e
m a
vali
ação
0
2000
4000
6000
8000
10000
12000
14000
16000
tese
s e
dis
sert
açõ
es g
eral
BD
TDAvaliação
BDTD geral
• A variação anual parece acompanhar o mesmo movimento da produção acadêmica no geral (em comparação com o BDTD)...
ano Produção em
Avaliação
1995 2
1996 0
1197 0
1998 1
1999 6
2000 11
2001 3
2002 12
2003 17
2004 24
2005 36
2006 38
2007 19
2008 5
A produção acadêmica em avaliação
Ano de defesa
0
5
10
15
20
25
30
35
40
1995 1996 1197 1998 1999 2000 2001 2002 2003 2004 2005 2006
tese
s e
dis
sert
açõ
es e
m a
vali
ação
0
5000
10000
15000
20000
25000
30000
35000
40000
nú
mer
o d
e ti
tula
do
s n
a P
ós-
Gra
du
ação
*
Avaliação
titulados
* Relatório Trienal CAPES, 2004
• A variação anual parece acompanhar o mesmo movimento da produção acadêmica no geral (e em comparação com o número de titulados em cursos de Pós-Graduação)...
A produção acadêmica em avaliação
Ano de defesa e tema
•Os temas variaram ao longo dos anos de maneira semelhante...
0
10
20
30
40
50
60
70
1995 1996 1997 1998 1999 2000 2001 2002 2003 2004 2005 2006 2007 2008
Debate conceitual, metodológico ou político sobre avaliação
Avaliação de programa ou projeto do 3º setor
Avaliação de programa social público
Gestão do 3º setor
Questão política e 3o setor
Responsabilidade social
Capital Social
Avaliação Econômica
A produção acadêmica em avaliação
Região de produção
• Pouca presença do Norte
• Reprodução de padrões sobre a produção científica e tecnológica..
Distribuição da produção pelas regiões e UFs
80
18
9
18
93 2 1
19
2 16 5
10
10
20
30
40
50
60
70
80
90
SP RJ MG PE BA PB RN CE DF GO MT RS SC PA
Sudeste = 82 Nordeste = 24 Centro-Oeste=15 Sul=9 Norte
A produção acadêmica em avaliação
Área do conhecimento
Administração26%
Educação14%
Ciências sociais13%
Serviço social9%
Psicologia6%
Economia5%
Engenharias5%
Saúde8%
Multidisciplinar4%
Ciências ambientais
3%
Ciências contábeis
5%
Ciências da comunicação
2%
• Muita presença da área de Administração, Educação, Ciências Sociais e Serviço Social...
• Mas quem será que estuda “o quê”?...
A produção acadêmica em avaliação
Área do conhecimento e tema
0% 20% 40% 60% 80% 100%
Debate conc., met. ou político
Avaliação de progr./ proj. 3º setor
Avaliação progr. soc. público
Gestão 3º setor
Questão pol. e 3o setor
Responsabilidade social
Capital Social
Avaliação Econômica
Administração Educação Ciências sociaisServiço social Saúde PsicologiaEconomia Engenharias Ciências contábeisMultidisciplinar Ciências ambientais Ciências da comunicaçãoOutros História Não indica
• O tema do debate conceitual: está distribuído entre várias áreas
• Avaliações de projetos do 3º setor: presença maior da Administração
•Avaliações programas públicos: áreas da Educação e Ciências Sociais
A produção acadêmica em avaliação
Área do conhecimento e tema
0% 20% 40% 60% 80% 100%
Administração
Educação
Ciências sociais
Serviço social
Saúde
Psicologia
Economia
Engenharias
Ciências contábeis
Multidisciplinar
Ciências ambientais
Ciências da comunicação
Outros
História
Não indica
Debate conc., met. ou político Avaliação de progr./ proj. 3º setorAvaliação progr. soc. público Gestão 3º setorQuestão pol. e 3o setor Responsabilidade socialCapital Social Avaliação Econômica
A produção acadêmica em avaliação
O que os resultados dessas análises nos dizem?
Que definições emergem dos estudos acadêmicos?
A avaliação é uma análise de
processos e resultados que permite o
aperfeiçoamento da gestão de ONGs, projetos e programas sociais, no âmbito
público ou do Terceiro Setor...
“Não existe uma definição certa para a avaliação, uma definição que, se pudesse ser encontrada, poria para sempre fim às discussões sobre qual a melhor maneira de proceder e quais as suas verdadeiras razões de ser. Aceitamos as definições de avaliação como construções intelectuais, cuja correspondência com a ‘realidade’ não é, nem pode ser, uma questão”.
[Guba e Lincoln, 1989: 21]
•Como isso nos posiciona frente à avaliação?
•O que essas aprendizagens nos dizem?
A produção acadêmica em avaliação
O que os resultados dessas análises nos dizem?
•Produção sobre avaliação parece ser recente (últimos 10 anos).
•A produção sobre avaliação segue a curva da produção acadêmica como um todo.
•Avaliação perpassa diversas áreas: é estudada por muitos campos do saber.
•A Administração parece enfocar mais o Terceiro Setor, enquanto a Educação e o Serviço Social os programas sociais públicos.
•Uma produção acadêmica significativa sobre avaliação começa a existir.Torna-se possível a configuração de espaços (encontros, congressos, periódicos) para divulgar estes estudos.