parte i: apresentaÇÃo - oxfam novib homepage · em angola ocorreu por volta de 1997, (1) durante...

CCPE ANGOLA Relatório Final ( Volume I - Parte I ) Set 2008 (VERSÃO CORRIGIDA)

1

PARTE I: APRESENTAÇÃO

1. INTRODUÇÃO

1.1 Antecedentes da avaliação

1.2 Principais objectivos e equipa

1.3 Estrutura do relatório

2. ABORDAGEM METODOLÓGICA

2.1 Âmbito e parâmetros da avaliação

2.2 Quadro analítico e aspectos metodológicos

2.3 Cronograma e etapas do trabalho

2.4 Alguns constrangimentos e limitações


2

1. INTRODUÇÃO

1.1 Antecedentes da avaliação Como analisaremos em detalhe mais adiante (vd. capítulo 4), o início das actividades da ON em Angola ocorreu por volta de 1997, (1) durante o curto período de “nem paz nem guerra” que sucedeu aos Acordos de Lusaka (1994) e terminou com o reinício da guerra civil (1998) que, como sabemos, se prolongaria até Março de 2002. (2)

Antes desse período, Angola já tinha abandonado de facto a construção do socialismo e o modelo de governação monopartidário (1991) e iniciado a abertura das portas à actuação da ajuda humanitária das agências das Nações Unidas, das ONGs internacionais e outras. Registando assim, durante os anos 1991-1998, um grande afluxo de ONGs internacionais (3) para apoiar a reconstrução do país após várias décadas de guerras sucessivas. (4)

Para o sistema holandês de ajuda internacional, inclusive, desde 1995 Angola passou a ser encarada como um país “em transição”, deixando de ser elegível somente para receber ajuda com objectivos humanitários ou de reabilitação. (5) Consequentemente, as agências e ONGs holandesas (como a Oxfam Novib, ICCO, Cordaid, Hivos, Niza e outras) passaram a dispor de maiores facilidades para trabalhar em Angola. Em particular, para canalizar recursos complementares (aos seus orçamentos), oriundos do sistema da cooperação, para implementar projectos menos emergenciais e imediatistas (short-cycle). E passaram, assim, a desenvolver parcerias e a apoiar programas no país com abordagens mais desenvolvimen-tistas e com estratégias de mais longo prazo. (6)

• Programa Angola 2002-2006

No contexto acima, após sua implantação e gradual intensificação das suas actividades em Angola no período 1997-2001, por volta de princípios da presente década a ON já mantinha um portfolio de país com cerca de uma dezena e meia de contrapartes (ONGs internacionais e locais). (7) Como veremos adiante (vd. capítulo 4), o Programa 2002-2006 (8) manteria essa média anual de parcerias locais e viria rapidamente a ser um dos programas de país mais

1 Pelo menos, de forma mais directa e regular. Tudo indica que, antes de dessa data, houve algum esforço

da ON para apoiar, de forma indirecta e pontual, algumas acções/projectos em Angola, através de parceiros seus em outros países e já implantados em Angola (ACORD, e.g.). Sem, contudo, haver ainda um programa de país da ON bem definido e coerente.

2 Após a morte de Jonas Savimbi (22.02.2002), o Governo decretaria um cessar-fogo (13.03.2002) e assinaria os Acordos de Luena com a UNITA (04.04.2002).

3 E conheceu igualmente uma forte “explosão” de ONGs angolanas, cuja criação foi entretanto facilitada (Lei das Associações 14/91).

4 A guerra colonial ou “primeira guerra” (1961-1974), e a guerra civil ou “segunda guerra” (1975-2002). Esta última, de facto, conheceria uma primeira fase no período 1975-1994 (“guerra do mato”) e, após a violação sistemática do Protocolo de Lusaka, uma segunda fase em 1998-2002 (“guerra das cidades”).

5 Vd detalhes sobre essa análise em Sogge (2006b). 6 Curiosamente, a ON parece ter sido a única das quatro grandes agências holandesas da época que

menos recorreu a esse procedimento de reforço orçamental. 7 ON, 2003. 8 O período inicialmente previsto foi o quinquénio 2002-2006. Este foi depois alargado (vd. 2.1).


3

importantes da ON em África (cobrindo uma grande parte de seus 8 SCOs). Nesses cinco anos, ele financiaria um total de 21 contrapartes, com cerca de quatro dezenas de projectos e com um valor global investido rondando os 10 milhões de Euros (vd. anexo IVb). (9)

Essa implantação em força da ON em Angola, ainda inesperada no início da década de 1990, (10) foi no entanto coerente com o seu planeamento estratégico (e do conjunto das Oxfams) nessa época, o qual previa o incremento dos investimentos na Ásia e na África Sub-sahariana (considerada em situação de “crescente empobrecimento”) em 2001-2004, em detrimento da América Latina. (11)

• Contexto da avaliação do CCP Angola

Em paralelo com a implementação do Programa Angola acima esboçado, a ON passou por um substantivo processo interno de ajuste/mudanças (a partir dos finais da década de 1990).

Para além desse processo decorrer do natural amadurecimento interno dos métodos de trabalho da ON, visando aumentar a sua eficiência ou aprofundar os impactos/resultados dos seus programas à escala internacional, tudo parece indicar que ele foi igualmente influencia-do por dois tipos de factores externos: pela sua política de parcerias estratégicas à escala global e pelas suas relações institucionais ou de captação de recursos no nível nacional.

Contexto de mudanças

Assim, nesse contexto de mudanças e suas influências, parecem ter tipo particular destaque a estratégia de adesão da Oxfam Novib à família das Oxfams -- o que significou a neces-sária consolidação do seu programa e suas metodologias, para torná-los mais consistentes e coerentes com as abordagens estratégicas e metodológicas 13 das filiadas à OI). (12)

Por outro lado, parecem ter tido um impacto/influência ainda mais marcantes as relações institucionais da ON com o sistema holandês da cooperação que assegura a maior parte de seus recursos, (13) e que vinha ele mesmo passando por um processo de mudanças rele-vantes em função da evolução da política de cooperação internacional do país.

Com efeito, embora o sistema de cooperação holandês se mantivesse alinhado com algu-mas das políticas do Banco Mundial (acções de ajustamento estrutural, e.g.), desde meados da década de 1990 os seus financiamento, em países como Angola, tenderam cada vez mais a fomentar acções igualmente em outras áreas temáticas, como o combate à pobreza,

9 Estimativas aproximadas (visando apenas dar uma ideia global do portfolio), englobando o ano de 2007 e

relativas aos orçamentos iniciais desses projectos (de acordo com a documentação da ON consultada). Note-se que alguns desses orçamentos/projectos podem extrapolar o período considerado (2002-2007). Ou seja, ter se iniciado um ano antes (2001) ou ter uma duração que se prolonga em 2008 ou 2009. Por outro lado, não se incluíram nessas estimativas a maior parte dos projectos da ON iniciados em 2007 (excepto 3 projectos da DWA).

10 A programação da ON para 1994-1997 ainda não a previa qualquer actuação em Angola (ON, 1993). 11 Nessa estratégia, visava-se que a ON passasse de um patamar de 27% dos investimentos na região sub-

sahariana em 1999 para cerca de 35-37% em 2004 (Fighting for Rights. A global movement. Novib Multi-Annual Plan 2001-2004).

12 Situação das filiadas em 2007. 13 Este assegura, em média, cerca de 70% dos seus financiamentos anuais. Embora esta participação

possa estar a diminuir nos últimos anos, graças a uma maior ofensiva da ON junto ao público doador holandês, em 2006 ela ainda representou 69% dos seus recursos.


4

apoio ao processo de paz, (14) à “boa governação” e à promoção da SC e dos DH. (15) Estes financiamentos foram sendo canalizados directamente ou ainda (e principalmente) através de programas de outras agências da APD em Angola (das NU, Banco Mundial, etc.) e das próprias ONGs holandesas (neste caso, sobretudo a partir de 1999 em diante).

Todavia, como é sabido, desde princípios da presente década, esse sistema de cooperação vinha passando por profundas mudanças na sua sistemática de atribuição de fundos às ONGs holandesas. Seja alargando o leque das entidades elegíveis aos seus financiamentos plurianuais (antes muito focados em meia dezena de ONGs de peso). Seja instituindo regras e critérios mais rigorosos para a atribuição desses recursos -- por exemplo, em termos de análise/avaliação dos programas plurianuais dessas ONGs, que sustentam os suas deman-das de financiamento; de exigências sobre a eficiência ou o “nível de profissionalismo” da gestão dessas entidades; ou de “qualidade global” dos seus programas (traduzida na avaliação da consistência de suas acções e estratégias globais, da sua eficácia ou alcance do impacto previsto, das suas perspectivas de sustentabilidade, etc.).

Seja como for, essa evolução da política oficial em matéria de cooperação ao desenvolvi-mento tendeu, inevitavelmente, a criar maior competitividade pelos (e maior insegurança no acesso aos) recursos do Governo entre as principais ONGs holandesas com amplos progra-mas de cooperação/desenvolvimento nos países do Sul. E tendeu igualmente, no seio das ONGs, a incentivar uma “corrida” pela busca de níveis sempre maiores de eficiência e eficácia dos seus processos de trabalho -- de “profissionalismo” e credibilidade, em síntese.

Busca de mais eficiência e eficácia: nova “cultura institucional” e efeitos colaterais

Tomando como exemplo o caso da ON que nos ocupa, quer nos parecer que a busca desse acréscimo de eficiência/eficácia seguiu padrões formais mais ou menos comuns a outras ONGs em situações similares.

Ou seja, focando-se no sistema de planeamento estratégico dos seus programas (no nível regional ou por país), no sistema avaliação preliminar (ex ante evaluation) e aprovação das acções/programas a financiar (com a criação de ferramentas de gestão e análise dos riscos e oportunidades dessas acções. e.g.), na criação de ferramentas de gestão e monitoria dos programas. Principalmente, na orçamentação e monitoria por objectivos/resultados (mas, ao que tudo indica, menos nos sistemas de monitoria regular e qualitativa in loco). Apresenta-se no box 1.1 a seguir uma síntese dessas mudanças e inovações.

Em simultâneo, este objectivo global de maior eficiência gerencial e administrativa parece ter igualmente levado a uma “corrida” pela melhoria dos processos de trabalho da “máquina” administrativa da própria ON em Haia (da estrutura administrativa/operacional, dos fluxos de comunicação e reporting, dos métodos e sinergias de trabalho, etc.) -- ou seja, à instituição do que alguns interlocutores chamaram de uma “nova cultura institucional” da ON, a qual

14 Por exemplo, fornecendo um pequeno contingente de “capacetes azuis” às UNAVEM II e III (1991-1997),

participando no esforço de desminagem (1995-2005) ou no co-financiamento dos programas do Banco Mundial de reintegração dos ex-combatentes (PGDR) logo após os Acordos de Luena (Sogge, 2006b).

15 Como analisa um especialista no assunto, o Governo holandês sempre demonstrou grande habilidade em “administrar” essas políticas e objectivos em certa medida paradoxais (Sogge, op cit.).


5

parece ter induzido efeitos colaterais que afectaram o acompanhamento dos programas de país, pelo menos o de Angola. (16) O foco desta avaliação não nos permitiu aferir com muita propriedade essa hipótese (prevista inicialmente). Ou seja, saber em que medida esse forte investimento da ON no aprimoramento das funções meio pode ter ocasionado impactos indesejáveis (formalização e burocratização excessiva dos processos, e.g.) nas funções fim.

Box 1.1

Algumas das mudanças e ferramentas estratégicas da ON (2002-2006)

Para caracterizar o processo de mudanças internas da ON no período aqui avaliado, as quais influenciaram o Programa Angola, podemos sintetizá-lo nos seguintes “momentos”, decisões estratégicas globais ou ferramentas mais significativas:

• O aprimoramento do enfoque global da ON em articulação com a Oxfam Internacional (1999-2000), visando facilitar e desenvolver a colaboração entres as Oxfams. Esse enfoque passou a ser baseado em 5 grandes direitos (rights based approach) dos quais decorrem 5 macro-objectivos (aims) e seus 8 objectivos estratégicos de mudança (SCOs); (17)

• A selecção de Angola (2003) como um dos 19 “Core Countries” do programa mundial da ON, (18) com a consequente pressão para configurar o “Core Country Programme” (CCP) desses países de forma mais coerente/articulada e consistente com os 5 “aims” e diferentes SCOs;

• A elaboração da metodologia Caixa de Ferramentas (Toolbox, 2001-2003), com base nos princípios da gestão de oportunidades e riscos, de forma a orientar todo o processo de relações entre a ON e as organizações contrapartes (avaliação e aprovação de novos financiamentos, monitoria orientada para aferição dos resultados de mudança, etc.);

• A adopção da metodologia de Gestão Estratégica de Programas (SPM - Strategic Programme Manage-ment) para os “core countries” (2003). Esta, é baseada no enfoque de oportunidades e riscos e orientadora da maioria das decisões sobre o portfolio: gestão do programa global da ON, escolha de novos contrapartes e financiamentos, planificação de médio e longo prazo, definição de políticas, etc.;

• A elaboração da Política de Avaliações da Oxfam Novib (2003) com o projecto Avaliação de Programas e Projectos, destinado a melhorar a qualidade das avaliações da organização, especialmente nos “core countries” ou relacionadas com os programas regionais temáticos.

• O Programa de Avaliação dos “Core Countries” (CCPE), iniciado em 2005, foi fruto dessa nova política, visando subsidiar a revisão das futuras políticas e estratégias de actuação da ON nesses países.

Não obstante essa limitação da avaliação, um dos aspectos que, de certa forma, parece ter se compadecido dessa “corrida” por níveis cada vez maiores de profissionalismo (no caso de Angola), e que poderia ser um indicador de um possível resultado indesejado, foi a área da

16 Mesmo considerando que algumas das suas ferramentas visavam e tenderiam, também, a racionalizar o

trabalho e a poupar tempo aos responsáveis pelo acompanhamento dos projectos. Tal parece ter sido o caso do “toolbox” que, segundo os responsáveis pela monitoria da África, melhorou o diálogo com as ONGs e reduziu as demandas de “papelada” para a avaliação/aprovação dos projectos a partir de 2004.

17 Em consonância com os MDGs que viriam a ser aprovados em finais de 2000 pelas Nações Unidas. 18 Esta escolha deveu-se ao alto nível de pobreza observado no país, bem como às oportunidades de poder

contar com um espaço cada vez maior para a actuação da sociedade civil e de poder construir fortes sinergias e efeitos multiplicadores desenvolvendo um trabalho conjunto com as outras duas Oxfams presentes no país (OGB e Intermón).


6

monitoria dos projectos no terreno. (19) As dificuldades desse acompanhamento num país considerado “particularmente difícil” como Angola levaria a ON, desde 2006, a reforçar a equipa responsável. Contudo, somos de opinião de que essa matéria necessitaria de avalia-ção mais apurada. E, confirmadas essas hipóteses, haveria igualmente necessidade de ajustes, sob pena de comprometer a qualidade futura do Programa (vd. detalhes no cap. 5).

Programa de avaliação dos países-núcleo (CCPE)

A presente avaliação do Programa Angola enquadra-se nessa política de mudanças e de desenvolvimento de novas ferramentas estratégicas de gestão da ON, com vistas a melhorar a eficácia dos seus programas e estratégias nos países e a nível central (Haia).

Isto é, uma política definida a partir de 2003 e implantada a partir de 2005 (com previsão de ser desenvolvida entre 2005-2010), que visa a avaliação gradual dos resultados de mudança obtidos/influenciados pelos seus programas e contrapartes em 19 países-núcleo (core coutries) que, pela sua importância e nível de integração, (20) têm particular relevância no seio do programa global da ON (o qual abrange 56 países e 11 regiões).

1.2 Principais objectivos e equipa Prevê-se que os resultados dessas avaliações “independentes e imparciais” (ou seja, realiza-das por avaliadores externos à ON) possam subsidiar a eventual revisão e o aprofundamento da qualidade e da eficácia das políticas e estratégias de actuação da organização à escala mundial. Incluindo, entre outros, os seus processos de decisão, de avaliação dos riscos/opor-tunidades e suas escolhas estratégicas (tanto as relacionadas com os programas dos países, como a nível do próprio sistema de tomada de decisões da ON).

Equipa de avaliação

Para essa avaliação do Programa Angola, foi contratada uma equipa de consultores inde-pendentes. Esta foi constituída por (i) um avaliador senior principal, incumbido de adequar a abordagem metodológica global do Programa de Avaliação dos “Core Coutries”, (21) detalhar sua aplicação em Angola e coordenar o processo dessa avaliação (Rui Gonçalves, Brasil); (ii) um avaliador senior, para apoiar o trabalho do coordenador (David Sogge, Holanda), seja na avaliação dos contrapartes exteriores (sobretudo a GW), seja nas análises do Relatório

19 Esta pode ter sido, de certa forma, um pouco vítima do aumento de trabalho interno (administrativo-buro-

crático na sede da ONG em Haia) gerado por essa evolução, com vistas ao aumento do profissionalismo e da eficiência. Posto que, por hipótese, a sofisticação dos processos de trabalho pode ter tendido a consumir uma parte adicional do tempo dos técnicos responsáveis por essa monitoria. E, portanto, a reduzir a sua disponibilidade para a monitoria à distância e, sobretudo, in loco. Embora não tenha sido possível aprofundar esse aspecto com rigor, essa eventual insuficiente “presença no terreno” para efeitos de acompanhamento dos projectos e programa global foi uma observação recorrente durante o trabalho de campo (referimo-nos tanto às entrevistas e encontros com as equipas das ONGs, quantos aos infor-mantes privilegiados e responsáveis do Programa Angola desde finais da década de 1990 a esta data).

20 Ou seja, considerando o nível de empobrecimento da população, as oportunidades de protagonismo das OSCs locais, o número de contrapartes/projectos financiados, a variedade das áreas temáticas (aims e SCOs) trabalhadas, o nível de integração do programa do país (entre SCOs, entre projectos, entre o programa nacional e regional, etc.).

21 De acordo com as orientações básicas definidas pela ON com o apoio do South Research (ON, 2006).


7

Final; e, por fim, por (iii) um avaliador junior local, de apoio ao trabalho de campo -- em particular, a avaliação de alguns contrapartes e a realização dos workshops e reuniões dos grupos focais previstos (Belisário dos Santos, Angola). (22)

1.3 Estrutura do relatório O presente documento constitui o Relatório Final da avaliação e, para facilitar a sua leitura e compreensão, o seu texto está organizado em quatro grandes secções distintas.

A primeira, (parte I), apresenta brevemente os antecedentes e objectivos da avaliação, bem como uma síntese dos principais aspectos da abordagem metodológica que foi adoptada (âmbito, metodologias de campo, fases de trabalho, actores envolvidos, etc.);

A segunda secção (parte II), faz uma descrição detalhada do contexto do Programa Angola, resumindo a evolução desse contexto desde os antecedentes da independência e aprofundando as transições históricas pelas quais o país passou nas últimas décadas (1975-2007). Nesse intuito, foca particularmente as questões temáticas mais pertinentes às estratégias e áreas de trabalho da ON em Angola. Por fim, procura-se dar uma visão global do Programa (2002-2007) e situar o posicionamento estratégico da ON no país;

A terceira dessas secções (parte III), constitui o corpo principal da avaliação. Ou seja, por um lado, apresenta as principais conclusões e recomendações da avaliação do Progra-ma Angola. Por outro, sintetiza as avaliações dos vários contrapartes avaliados (13 ONGs), com foco nos resultados de mudança nas práticas e nas políticas alcançados pelos seus programas financiados pela ON, organizando essa síntese de acordo com os aims e SCOs mais destacados do Programa Angola (aims 1, 2 e 4). Por fim, faz uma breve análise das contribuições específicas da ON para a obtenção desses resultados;

A última secção (parte IV), apresenta os principais anexos pertinentes à avaliação (calendário dos trabalhos, listagem dos entrevistados, bibliografia consultada, etc.).

• Avaliações individuais e síntese executiva

O presente texto corresponde, de facto, ao Volume I do Relatório Final, destinado a apresen-tar os resultados e recomendações da avaliação global do Programa (ou seja, da avaliação globalizada dos resultados dos contrapartes e das contribuições da ON). Um segundo texto (Volume II deste Relatório), deverá agregar o conjunto das avaliações preliminares ou parciais (por contraparte) que serviram de base a esta avaliação global. Ou seja, que agrupa os files da avaliações individuais das 13 entidades/ONGs que foram seleccionadas para servir de base à avaliação global do Programa Angola. Por outro lado, para além deste extenso Relatório Final, foi igualmente elaborada uma Síntese Executiva que resume (23) os aspectos mais relevantes das análises, conclusões e recomendações da avaliação, destinado a facilitar uma apreensão rápida e abrangente da avaliação do Programa da ON em Angola.

22 Além dessa equipa central, a avaliação contou com serviços de secretariado (Luanda e Lubango)

contratados para apoiar os seus aspectos logísticos. E contou igualmente com o apoio técnico de vários voluntários de instituições parceiras locais da ON (em particular, da SNV Angola e do CFPLa da FOS). Vd. detalhes sobre essa equipa no anexo II.

23 Resumo com apenas cerca de 12% da extensão (número de páginas) do Relatório Final completo.


8

2. ABORDAGEM METODOLÓGICA

2.1 Âmbito e parâmetros da avaliação

Como dissemos, a presente avaliação baseou-se na selecção de uma amostragem dos contrapartes da ON em Angola durante o quinquénio 2002-2006, período mais tarde alargado para 2002-2007. (24) Dessa forma, ela envolveu 13 ONGs representando cerca de 62% dos contrapartes da ON nesse período (21), como se detalha na tabela 2.1. Contudo, os 32 projectos dessas organizações representam 80% da totalidade do portfolio de projectos (40) financiados pela ON em Angola nesses 6 anos. (25)

Tabela 2.1: Amostragem das ONGs e abrangência territorial dos financiamentos da ON (2002 – 2007)

Contrapartes Projectos Províncias envolvidas Concluídos Em curso Huíla Luanda Outras

01 ACORD Angola 2 1

02 ADRA - Huíla 4 1

03 ADRA - Nacional (*) 1

04 ASD 2 1

05 CLUSA - Cooperative League of the USA 1

06 DWA - Development Workshop Angola 2 2

07 GW - Global Witness (*) 2

08 HRW - Human Rights Watch (*) 1 1

09 Oxfam GB (*) 5 1

10 Oxfam Intermón 1

11 PRAZEDOR 1 1

12 Rede Terra (*) 1

13 SOS Habitat 1

Total 23 9 10 8 9

(*) Contrapartes com projectos financiados pela ON que não possuem áreas territoriais bem delimitadas (grande parte são de abrangência nacional: podendo cobrir várias províncias). No caso da OGB, considerou-se o JOAI.

• Critérios da amostragem

A escolha da amostragem foi feita com base em parâmetros que permitissem obter a melhor representatividade possível das situações reais dos contrapartes da ON. Para tal, após uma negociação entre avaliadores e ON (considerando os parâmetros do CCEP), adoptaram-se alguns critérios empíricos e assumiram-se algumas premissas, dentre os quais destacamos:

máxima cobertura dos macro-objectivos estratégicos (aims) e SCOs pertinentes a Angola;

24 Durante o trabalho de campo (realizado em finais de 2007), verificou-se que muitas das informações mais

pertinentes fornecidas tanto pelas equipas dos contrapartes, quanto pelos demais entrevistados (análises sectoriais, de contexto, de impactos, etc.), referiam-se regularmente a actividades e resultados ou a análises de contexto que extrapolavam o limite temporal de 2006. Assim, a equipa de avaliadores enten-deu por bem expandir o período avaliado, incluindo igualmente o ano de 2007.

25 Não incluímos algumas pequenas iniciativas/financiamentos pontuais, de apoio ao programa global da ON (realização de seminários, conferências e estudos, apoio a viagens para troca de experiências, etc.). E também não incluímos alguns projectos iniciados em 2007 (vd. detalhes no anexo IV).


9

cobertura geográfica abrangente (inclusão de contrapartes com projectos em todas as províncias do Programa da ON desse período);

incluir contrapartes com uma longa presença no programa da ON em Angola;

incluir contrapartes com orçamentos consistentes no período (9 casos), bem como outros com orçamentos reduzidos (4 casos); E, em todo o caso, obter uma amostragem global com uma boa representatividade financeira do orçamento global da ON nesse período; (26)

incluir contrapartes com (por hipótese) forte potencial de interpretação/integração e implemen-tação da filosofia e das metodologias da ON, e outros com menos potencial para tal;

incluir projectos concluídos (5 casos) e projectos novos ou em execução (8 casos); (27)

incluir bons exemplos (para tirar lições) e também exemplos “menos bons” (para aprender com a prática dos últimos anos);

incluir, tanto quanto possível, projectos inovadores e que abrem novas perspectivas e áreas temáticas consideradas estratégicas para o futuro programa da ON.

• Cobertura geográfica

Em termos geográficos, essa amostragem do portfolio da ON cobre, em princípio, acções implementadas em 7 das 18 províncias do país, principalmente da sua metade Centro/Sul (com excepção da província de Luanda, situada mais a Norte):

Contudo, nessa abrangência territorial destacam-se nitidamente as regiões de implantação histórica do Programa da ON em Angola. Ou seja, a região da Huíla (parte dos projectos desta província expandindo algumas das actividades para as províncias do Cunene e Namibe) e a região de Luanda. Por um lado, 85% desses contrapartes possuem a sua sede (ou antena/representação) numa ou outra dessas duas regiões. (28) Por outro, nestas duas regiões actuaram, directa ou indirectamente, respectivamente 77% e 61% da totalidade dos contrapartes seleccionados pela amostragem (contando-se as ONGs com projectos de abrangência territorial não delimitada e, em princípio, com impacto nacional). (29)

• Cobertura temática

Apresenta-se no capítulo 5 uma análise detalhada sobre a cobertura temática da amostragem escolhida (principais aims e SCOs) após o ajuste das suas premissas iniciais. (30) Isto é, depois das avaliações dos programas desses diferentes contrapartes. O que permitiu tomar em consideração não só o foco temático real das suas actividades mais relevantes no contexto histórico do Programa 2002-2007, como também (em alguns casos) a viabilidade da sua avaliação. Tendo-se, assim, sobressaído nesta cobertura os aims 1, 2 e 4 (vd. 5.1).

26 Como se detalha mais adiante (vd. análises sectoriais da parte III e do capítulo 9), essa representatividade

alcançou 95% do orçamento total mobilizado pela ON durante o período (9,9 milhões de Euros). 27 Em alguns casos (31% do total) os financiamentos dos projectos se prolongam nos anos de 2007 e 2008. 28 Os restantes 15% (ou 2 contrapartes) não possuem sede/representação em Angola. 29 Pela mesma razão histórica que privilegiou Luanda e a Huíla, as 5 restantes províncias abrangidas pelo

Programa da ON (Benguela, Bié, Cunene, Huambo e Namibe) tiveram fraca representação nessa amostragem. Considerando a actuação das ONGs com projectos de abrangência nacional, essas províncias registaram, grosso modo, a actuação de 6 a 7 contrapartes cada uma. Mas nenhum desses contrapartes era oriundo ou possuía representação permanente nessas províncias.

30 Gonçalves, 2007.


10

2.2 Quadro analítico e aspectos metodológicos

Podemos resumir este enquadramento analítico e metodológico da avaliação na preocu-pação de articular três grandes dimensões de estudo complementares, seguindo os princípios metodológicos globais da avaliação. (31) Ou seja, três diferentes vertentes ou focos da análise que necessitaram ser articulados para garantir uma melhor aferição dos processos de implementação e contribuições do Programa da ON para as mudanças nas práticas e políticas (ou da adequação dos seus focos temáticos e estratégias em Angola). A essa preocupação se associaria uma outra -- a de determinar os principais actores sociais que interferiram nesse processo de mudanças, seja para o facilitar ou o inibir.

Vertentes de análise articuladas

Essas vertente são: (i) a análise do contexto global do país (histórico, político-institucional, económico, etc.) e seus principais actores, com alguns aprofundamentos nos sectores pertinentes aos focos de interesse do programa da ON; (ii) análise institucional preliminar das ONGs contrapartes (files), seguida da análise das principais actividades e impactos/ resultados por elas obtidos (pelos programas e projectos apoiados pela ON e em cada um dos aims e SCOs); e, por fim, (iii) uma rápida análise das estratégias da ON em Angola nesse período (2002-2007) e da sua contribuição específica para esses resultados.

A equipa da avaliação procurou, sempre que possível, desenvolver suas análises com base no cruzamento das informações e enfoques analíticos específicos dessas três dimensões, visando determinar o papel de cada uma delas. Contudo, consciente de que o resultados globais nascem não da mera soma, mas das sinergias entre essas diferentes dimensões e suas influências.

Actores e influências

Por outro lado, para nos permitir melhor compreender esses resultados no contexto mais global e complexo do país e das suas múltiplas influências e interferências, ao longo dessa abordagem procurou-se, igualmente, tomar em particular consideração o papel dos diferentes actores da arena institucional, social e económica do país, com seus diferentes interesses e estratégias.

Nesse intuito, consideraram-se em especial: (i) os agentes do Estado/Governo, suas políti-cas públicas e sua cultura institucional; (ii) os agentes económicos e do “mercado”, (32) com destaque para o tecido empresarial da economia extractiva predominante; (iii) as forças vivas da SC, com destaque para as elites locais, as OSCs/ONGs, as Igrejas, os media e outros formadores de opinião; (iv) sem esquecer, obviamente, de considerar os segmentos internacionais desses actores, representados pelas instituições internacionais (multilaterais e bilaterais), as empresas multinacionais, agências da APD e ONGs internacionais actuantes no país (com destaque para a própria ON, obviamente). 31 ON, 2006a. 32 Distinguimos aqui a SC e os agentes económicos/mercado por mera facilidade de exposição, muito

embora estes actores, de certa forma, também façam parte da SC (seus segmentos sociais e entidades empresariais).


11

• Colecta das informações

As formas de colecta da informação utilizadas pela equipa foram muita variadas. Procurou-se articular diferentes métodos e ferramentas para colectar e organizar as várias formas de informação secundária (33) pertinente à avaliação (incluindo a informação em formato electró-nico disponível na internet), bem como para colectar informação primária (34) junto aos vários actores sociais e institucionais envolvidos, directa ou indirectamente, no Programa da ON ou, ainda, junto a seus parceiros e outros informantes-chave pertinentes. Apresenta-se uma síntese desses diversos métodos na tabela 2.2 a seguir.

Métodos participativos

Dentre essas ferramentas, destacaram-se os métodos directos e participativos para colectar informação primária, bem como para facilitar a reconstituição de dados e o debate e troca de ideias sobre o Programa, seus resultados e algumas temáticas-foco da avaliação (problemá-tica fundiária, DH, VIH/SIDA e protagonismo da SC, e.g.). (35)

Os principais métodos desse tipo utilizados foram dois workshops (oficinas), (36) entrevistas individuais e entrevistas de grupo (com as equipas das ONGs avaliadas e, em alguns casos, igualmente com grupos de beneficiários) (37) e reuniões temáticas (38) ou reuniões de grupos focais (39) sobre temas escolhidos (com uma dezena de participantes previamente seleccio-nados). Apresenta-se em anexo (vd. anexo II) o detalhamento minucioso dos envolvidos por esses métodos (pessoas e entidades entrevistadas ou participantes).

33 Por informação secundária entendemos os vários tipos de informações escritas (em suporte papel ou

electrónico) com carácter técnico-administrativo, de estudo/pesquisa, de informação estatística, políticas públicas, análises sectoriais, etc. Tais como: propostas, relatórios e avaliações de projectos; documentos de referência sobre Angola ou a ON; publicações de diversas fontes: Governo angolano, ON, ONGs contrapartes e parceiras, pesquisadores e entidades académicas, imprensa, sites e blogs a internet, etc.

34 Por informação primária entendemos a informação ainda não disponível em formato papel ou electrónico (principalmente, informação oral e oriunda da experiência acumulada sobre situações ou práticas passadas e presentes). Tais como: dados empíricos, opiniões e análises, lições tiradas, etc. Esta informa-ção, embora subjectiva, é particularmente importante para o resgate da memória histórica e institucional (do programa da ON em Angola e dos programas dos contrapartes, e.g.), para a avaliação das relações institucionais e aspectos críticos dessas acções (geralmente não “passados para o papel”), para as análises de contexto nacional e/ou sectorial, para a apreciação da imagem “exterior” e dos impactos do Programa ON, etc. Em alguns casos, ela pode até fornecer indicadores (subjectivos ou não) que permi-tem fazer uma ”mensuração empírica” e aproximada desse impacto na sociedade angolana em geral.

35 Vd. em anexo as apresentações e programas desses Grupos Focais. 36 Um workshop inicial (Outubro 2007), para apresentar a metodologia da avaliação e colectar as primeiras

contribuições dos vários contrapartes envolvidos (24 participantes). E, após a realização do trabalho de campo, um workshop final (Março 2008), para apresentar as primeiras conclusões gerais (provisórias) sobre os resultados da avaliação e recolher contribuições, críticas/sugestões para consolidar essa avaliação preliminar (26 participantes).

37 Este trabalho com as equipas e beneficiários dos contrapartes envolveu cerca de uma centena de pessoas (mais de 20% dos quai são beneficiários desses contrapartes). Vd. detalhes no anexo II.

38 Foram realizadas 2 reuniões destas: sobre a problemática fundiária (Lubango, 14.11.2007, com 5 partici-pantes) e sobre a Rede Mulher (Luanda, 10.12.2007, com 6 participantes). Vd. detalhes no anexo II.

39 Foram realizados 4 reuniões deste tipo (3 no Lubango e 1 em Luanda), com um total de três dezenas e meia de pessoas. Vd. detalhes no anexo II.


12

Pesquisa documental

Por outro lado, foi feito um trabalho sistemático de colecta, consulta e síntese de informação secundária existente na sede da ON em Haia, nas sedes da ONGs avaliadas, em diversas entidades/ONGs parceiras e junto a entidades governamentais e internacionais com sede em Angola. Essa colecta foi complementada e enriquecida com uma ampla pesquisa de notícias (órgãos da imprensa, sites, blogs, etc.), diagnósticos, estudos, bibliografia e outra documen-tação pertinente através da internet. Métodos, informantes e tipos de análise

Tabela 2.2: Tipo de informantes e de análises visadas segundo as ferramentas de colecta de informação Métodos ou ferramentas Informantes abrangidos Tipo de análise de colecta das informações Contrapartes Parceiros Outros Contexto do Resultados Estratégias Amostra Outros estratég. actores país/sectores contrapartes da ON

1 Workshops (com contrapartes e parceiros estratégicos)

(*)

2 Entrevistas individuais (com as equipes das ONGs, parceiros ou informantes-chave estratégicos)

(*)

3 Entrevistas de grupo (reuniões de trabalho/debate em pequenos grupos c/ as equipas das ONGs, parceiros e informantes-chave seleccionados)

(*)

4 Reuniões temáticas / Grupos focais (debates de grupo s/ temas seleccionados)

5 Visitas de campo (**) (conversas informais in loco c/ técnicos e beneficiários de projectos seleccionados)

6 Bibliografia e documentação

7 Pesquisa documental na internet

(*) Entre estes “outros actores” incluíram-se os responsáveis da equipa África e outros responsáveis da ON em Haia. (**) Ferramenta pouco utilizada de facto, devido às limitações do tempo de campo. Contudo, em alguns casos, organiza-

ram-se reuniões com pequenos grupos de beneficiários (caso da OGB/ JOAI e da Rede Mulher).

• Tipo de informantes-chave envolvidos

Como vimos acima, seguindo as directrizes da ON, durante a fase de campo foram envolvi-dos diferentes tipos de actores institucionais e sociais considerados informantes-chave para as necessidades da avaliação.

Assim, procurou-se escolher actores/informantes com diferentes visões e níveis de envolvi-mento e de subjectivismo com relação ao Programa da ON. Desde os mais envolvidos nesse programa e directamente interessados na avaliação, aos menos comprometidos com ele e, em princípio, mais neutros com relação aos resultados finais da avaliação (vd. tabela 2.3)

Em termos esquemáticos, pode-se dizer que os primeiros são detentores de dados e informações mais acurados, especializados e concretos sobre o Programa da ON ou suas temáticas e resultados, mas igualmente mais sujeitos a um eventual subjectivismo susceptí-vel de interferir nas suas opiniões e avaliações.


13

Os segundos, embora detentores de menos informação “interna” ao Programa, são supostos compensar esse distanciamento com sua maior objectividade e capacidade de transmitir uma visão/opinião mais globalizada, neutra e crítica. Em especial, porque estes foram seleccionados pela sua experiência e conhecimento sobre as áreas temáticas avaliadas (particularmente, sobre o trabalho de outras ONGs agências da APD em Angola) e/ou sobre a actual fase histórica país. De forma a contribuir para que pudéssemos alcançar uma visão mais alargada e aprofundada sobre o contexto global do Programa da ON, a pertinência das suas estratégias ou sua contribuição para impactos à escala nacional.

Tabela 2.3: Actores institucionais e sociais envolvidos in loco (*)

Tipo de actores Objectivos de informação Universo potencial (**)

1 Contrapartes avaliados (amostragem ) Responsáveis e técnicos das ONGs contrapartes que serão avaliadas (amostragem)

Informação básica Avaliação do Programa propriamente dita: colecta de informações s/ as actividades e os resultados, influência dos processos e estratégias da ON, etc.

Equipas de 13 ONGs

Cerca de uma centena de pessoas envolvidas (equipas + beneficiários)

2 Outros contrapartes (fora da amostragem) Responsáveis das restantes ONGs contrapartes envolvidas/financiadas pela ON

Informação complementar Consolidar a avaliação do Programa global (resultados e impactos, estratégias da ON, etc.).

Represent. de 8 ONGs

Perto de 2 dezenas de pessoas envolvidas

3 Parceiros estratégicos Responsáveis e técnicos dos principais parceiros estratégicos da ON em Angola (OGB, Intermón, SNV, Open Society, Mãos Livres, AJPD, etc.).

Opiniões e análises exteriores Consolidar avaliação com opiniões independentes e com visão “externa”: impactos e estratégias da ON, análises de contexto, etc.

Cerca de 7 dezenas de representantes dessas entidades parceiras e outros informantes-chave (responsáveis

4 Outros actores sociais e informantes-chave Actores externos ao programa da ON ou às suas parcerias directas, considerados informantes-chave (seleccionados em função da sua experiência e/ou do seu conhecimento dos sectores e temáticas da avaliação).

Opiniões e análises exteriores Consolidar a avaliação com opiniões de outros activistas e especialistas em determinados sectores ou temas-chave: análise de contexto do país e das suas oportunidades, visão crítica sobre o Programa da ON e parceiros, etc.

de ONGs, activistas sociais, jornalistas, funcionários, religiosos, universitários, políticos, activistas de ONGs emergentes, etc.)

(*) Além destes actores/informantes em Angola, o avaliador principal teve encontros de trabalho e entrevistas com mais de duas dezenas de responsáveis e parceiros da ON em Haia, entre Junho e Julho de 2007 (vd. anexo II);

(**) Apresenta-se em anexo a lista completa desses diferentes actores envolvidos (vd. anexo II).

2.3 Cronograma e etapas do trabalho

Apresenta-se a seguir (tabela 2.4) o cronograma das 9 principais etapas de trabalho do processo global da avaliação.

Estas vão desde a sua fase preparatória na Holanda (Junho - Setembro 2007) ou em Angola (Setembro 2007), à sua fase de campo (Outubro – Dezembro 2007 ) e à sua fase final (Dezembro 2007 – Agosto 2008). Esta última tendo sido dedicada à organização/análise da informação colectada no terreno (e realização de pesquisa documental adicional), à elabora-ção dos files dos contrapartes e à redacção do relatório final global da avaliação.


14

Tabela 2.4: Principais fases e etapas da avaliação (2007-2008)

Etapas de trabalho 2007 2008 JUN JUL AGO SET OUT NOV DEZ JAN FEV MAR ABR MAI JUN JUL AGO

1 Visita introdutória (Haia)

2 Visita preparatória (Angola)

3 Workshop inicial (Lubango)

4 Fase do trabalho de campo (Angola)

5 Elaboração dos Files dos Contrapartes (*)

6 Workshop de restituição (Lubango)

7 Elaboração do Relatório Final

8 Visita de trabalho a Amsterdam/Haia

9 Follow-up Phase & De-briefing (**)

(*) Corresponde à elaboração dos relatórios de avaliação das 13 ONGs/contrapartes da amostragem (vd. anexo I). (**) Fase inicialmente prevista, mas ulteriormente cancelada.

2.4 Alguns constrangimentos e limitações

O desempenho da avaliação foi sujeito a alguns constrangimentos e seus resultados finais possuem algumas inevitáveis limitações que gostaríamos de resumir. Como é natural em todos os trabalhos de monta deste tipo, que apresentam uma grande complexidade de processos e de intervenientes/actores, aliada à possível interferência de grande número de factores externos aleatórios e de pressupostos assumidos (e, na prática, nem sempre confirmados), que na maioria das vezes escapam ao controlo da agência e das ONGs avaliadas ou dos avaliadores, etc.

Em poucas palavras, podemos dizer que os principais constrangimentos e limitações se prendem com os seguintes aspectos:

Características intrínsecas da avaliação

Neste domínio, limitamo-nos aos três principais tipos de constrangimentos constatados com relação às opções básicas pré-definidas para essa avaliação:

Dimensão, diversidade e complexidade: O grande número de ONGs e programas, de tipos de contrapartes (com diferentes focos, estratégias, visões, etc.) e actores sociais envolvidos, dimensionaram necessidades globais de trabalho para essa avaliação até certo ponto incompatíveis com as disponibilidades reais de meios (sobretudo, de dias/avaliador). Por outro lado, a complexidade dos objectivos de avaliação (de áreas ou aims/SCOs e dimensões de análise, e.g.) obrigaram a uma grande quantidade de tarefas e métodos, bem como a garantir condições administrativas e logísticas de significativa dimensão, reforçando essas dificulda-des. Em todo caso, levaram a tarefas de difícil execução por uma equipa reduzida, com tempo limitado de trabalho (sobretudo, de campo), em especial nas condições objectivas de Angola (caracterizadas pela fraca qualidade dos RH, a ausência de uma representação da ON e demais dificuldades de contexto mencionadas abaixo);


15

Padrões globais de execução: Concebidos de forma genérica (para serem aplicáveis aos 19 core countries), esses padrões da avaliação (composição da equipa, duração prevista, modali-dades executivas, etc.) necessitaram de profundos e repetidos ajustes à realidade local. (40) Por outro lado, o processo de negociação desses ajustes -- em circunstâncias institucionais com alguma flexibilidade, mas mesmo assim insuficientes para se trabalhar com rapidez e eficiência na complexa realidade do terreno (por exemplo, com relação aos recursos disponíveis e aos calendários de execução) --, consumiu muito tempo, mostrou-se deveras desgastante e seus resultados nem sempre foram os mais adequados;

Planeamento temporal: Já implícito nos pontos acima, mas merece particular relevância entre os constrangimentos, devido às suas consequências (algumas das eventuais insuficiências do trabalho de campo se contam entre estas). (41) Em particular, o irrealismo do planeamento inicial obrigou a constantes ajustes, que por sua vez obrigaaram os avaliadores a assumir disponibilidades de trabalho cada vez maiores e, em todo caso, desproporcionais com os seus compromissos contratuais (mesmo reajustados) e com sérias consequências pessoais.

Dificuldades metodológicas

Foco nos resultados: Como é sabido, este foco nos resultados de mudança é inabitual na prática das ONGs. Consequentemente, estas dispõem de pouca experiência e de poucas informações organizadas/sistematizadas nesse domínio. Algumas equipas, inclusive, possuem sérias dificuldades para sair da tradicional “racionalidade” implícita na concepção dos seus projectos (demasiado focada nas actividades a implementar e na sua ulterior justificação junto aos doadores: gastos efectuados, actividades realizadas, público envolvido e assim por diante). (42) Tornando-se difícil, com esse passivo, “entrar numa outra forma de racionalidade” como a que visa estudar/avaliar impactos (contribuições para mudanças reais). Portanto, em muitos casos, esta dificuldade tendeu a limitar a busca de indicadores, dados, testemunhos ou exemplos concretos de resultados reais e/ou sustentáveis para as acções avaliadas. Embora essa dificuldade já fosse prevista/esperada, ela não deixou de limitar seriamente os aprofunda-mentos e conclusões da avaliação realizada. (43)

40 Não obstante a realização da visita preparatória (Setembro 2007), realizada com parte da equipa inicial-

mente prevista e, em todo caso, insuficiente para ajustar todas as dificuldades organizativas/executivas na complexa realidade de Angola (dificuldades de contratação de RH, de apoio logístico eficiente, etc.).

41 Por exemplo, para efectuar maior número de visitas de campo (projectos); ou para efectuar eventuais visitas/trabalhos de campo em outras províncias.

42 Por mais que a utilização de ferramentas como o toolbox ou a “orçamentação por resultados” já tenha dado os primeiros passos para criar uma outra “cultura de planeamento”, como já dissemos e foi referido por algumas ONGs. Pois a grande maioria dos projectos das ONGs avaliadas foi concebida e planeada antes de 2005 (precisamente 2/3 deles), quando essas ferramentas ainda não eram utilizadas de forma sistemática. Por outro lado, esta “outra cultura” ainda levará um certo tempo para mudar radicalmente as formas de pensar e actuar dos técnicos de terreno dessas ONGs (que acompanham as acções e produ-zem a informação que permite avaliar resultados). Por fim, a utilização de novas ferramentas de planea-mento (que consideram riscos, oportunidades e resultados, e.g.) na fase de negociação dos projectos, não significa obrigatoriamente que as ONGs irão mudar seus tradicionais padrões de monitoria (ou a falta deles, na maioria dos casos), que ainda privilegiam acções e processos (meios) e negligenciam impactos (fins). Como se recomenda com mais detalhes no capítulo 5, essa transformação talvez necessite de maiores esforços da parte da ON e dos demais financiadores (recursos, capacitação e planos/metas executivas, e.g.). Pelo menos, para criar maior capacidade e eficácia dos sistemas de monitoria e produção da informação, ou mesmo de organização do “pensamento estratégico” das ONGs.

43 Conforme se analisa no capítulo 9 (vd. 9.2 e 9.3), a contribuição da ON para a construção e/ou experimen-tação de modelos de M&A adequados no seios dessas ONGs foi muito modesta (inclusive, do ponto de vista financeiro).


16

Contrapartes X Programa ON: No entendimento dos avaliadores, o necessário equilíbrio entre o foco principal da avaliação (o Programa da ON e seus resultados globais) por um lado, e as avaliações preliminares por contraparte que “alimentam” essa avaliação global por outro, ainda não está “bem resolvido” entre os vários actores e intervenientes do processo avaliativo. O que tende a criar tensões entre diversas “leituras” desse processo e acaba por aumentar, de facto, as responsabilidades e tarefas da equipa avaliadora, ou a constranger seriamente seu calendário de trabalho.

Em outros termos, alguns desses actores tendem, muito compreensivelmente (sobretudo da parte das ONGs e dos responsáveis pela monitoria da ON) a pressionar a equipa avaliadora para obter resultados de avaliação muito consistentes/completos através dessas avaliações preliminares ou dos files das ONGs. (44) Outros actores, por seu lado, embora mais preocupa-dos com a avaliação global (com foco numa visão global do Programa da ON situado no seu contexto), tendem a ver a elaboração do produto final (Relatório da avaliação global) de forma bastante simplista, entendendo-o quase como uma mera “colagem” de textos a partir das avaliações parciais (files). E nem sempre interpretam, de forma adequada, as necessidades do processo de sistematização, racionalização, análise e reflexão sobre toda a informação colectada (sobre o contexto, os diversos projectos do Programa, os parceiros, etc.) que constitui a base da elaboração de um Relatório Final global com garantias de qualidade.

Complexidade: Já referida acima para a suas consequências em termos práticos, a ambição e as características da avaliação (diversidade dos objectos e complexidade dos objectivos, e.g.), tendeu igualmente a tornar mais complexa a abordagem metodológica (obrigando à diversificação das ferramentas e dos cruzamentos de informação, e.g. ) e, consequentemente, a dificultar a sua operação com qualidade suficiente, sobretudo no complexo contexto local e no limitado quadro temporal previsto.

Dificuldades do contexto

Neste domínio, ocorreram igualmente vários constrangimentos que seria fastidioso enumerar. Sublinhamos apenas os que mais se destacaram, criando dificuldades adicionais ao trabalho dos avaliadores ou limitando, de alguma forma, os seus resultados:

Condições logísticas: A desorganização dos serviços -- emblemática em Angola -- foi sem dúvida um dos maiores complicadores e limitadores do trabalho da equipa. A qual teve, assim, que orientar grande parte dos seus esforços e consumir parte substantiva do seu tempo com questões logísticas ou relativas ao mau funcionamento dos serviços: transportes inter-provin-ciais, hospedagem, deslocações locais, aluguer de locais, serviços de secretariado, etc. (45)

O impacto dessas difíceis condições logísticas foi ampliado pelo facto da ON não possuir qualquer base permanente no país (podendo dar apoio logístico eficiente) e, assim, poder liberar os avaliadores para se centrarem no foco principal do seu trabalho: as tarefas da avaliação. Facto esse talvez mais facilmente superável na maioria dos países -- nos quais se

44 Essa demanda é induzida pelo próprio modelo previsto pela ON (ON, 2006a) para orientar a elaboração

desses files: demasiado completo, complexo, repetitivo e absolutamente irrealizável nos parâmetros temporais de trabalho de campo que são previstos. Ou seja, no máximo entre 3 e 4 dias por contraparte para realizar todos os encontros, reuniões, visitas, pesquisa documental e a elaboração do file respectivo.

45 Mesmo considerando que, como se sabe, a equipa fez o máximo que estava ao seu alcance para contra-tar locais e serviços ad hoc para dispor de meios eficientes de secretariado e de apoio ao seu trabalho.


17

pode recorrer à prestação de serviços externos com alguma segurança e qualidade -- , mas que se transforma num factor de forte limitação do trabalho no caso de Angola (devido à fraca qualidade dos serviços locais, à insegurança dos compromissos ou da sua continuidade, ao seu custo abusivo, à pouca margem de negociação com prestadores de serviços num mercado com grandes carências, etc.). O que termina, de uma forma ou de outra, por obrigar a que uma parte significativa do trabalho da equipa seja canalizada para resolver questões administrativas, contratuais e logísticas. (46)

Factores “culturais”: Por fim, convém igualmente sublinhar alguns aspectos que alguns analistas consideram de carácter mais ou menos “cultural” e generalizado (e que se observam igualmente no seio das ONGs locais), os quais, de uma forma ou de outra, também contribuí-ram para dificultar o desenrolar da avaliação e/ou os seus resultados finais:

Gestão do tempo e compromisso: Dentre estes, destacamos a predominância de dois primeiros traços “culturais”, amiúde associados: (I) as dificuldades com o planeamento e gestão do tempo e (ii) a prática, bastante recorrente, de insuficiente responsabilidade para com a assumpção dos compromissos (inclusive, da parte de algumas ONGs, especialmente no corre-corre da vida dessas instituições, confrontadas com demandas de vários financiadores/projectos e a falta de tempo de suas equipas);

Informalidade e documentação: Distinguimos, ainda, dois outros traços “culturais” que igualmente se sobrepuseram e afectaram o desempenho da avaliação: (iii) a forte predomi-nância de uma “cultura” de informalidade e comunicação oral, de acordo com a qual muitos dos aspectos mais importantes da vida em sociedade (relações sociais, relações económicas, relações/processos institucionais, etc.) nem sempre passam obrigatoriamente por qualquer forma de linguagem ou formalização escrita. Traço esse que se sobrepõe ou se associa à dificuldade das ONGs locais num outro domínio: (iv) sua fraca “cultura” de gestão da informação/documentação.

Esses diferentes aspectos acabam por se conjugar e ter fortes impactos. Seja limitando a obtenção atempada de informação e de outras contribuições da parte das equipas de algumas ONGs, as quais poderiam sem dúvida ter enriquecido certas partes da avaliação. Seja agravando a perda da memória institucional dessas entidades, dificultando a emergência de processos eficazes de reflexão/aprendizagem oriundos da experiência prática acumulada da ONG. E, no caso deste trabalho, acabaram também por criar dificuldades adicionais para avaliar as acções e resultados dessas entidades. Pois, como já era sobejamente sabido, esta avaliação dependia muito da pertinência e qualidade da informação gerada e administrada pelas ONGs avaliadas (das análises quantitativas ou dados seriados, da informação qualitativa organizada, da sistematização e análise de experiências, da sua capacidade para a organização funcional dos documentos e informação existente, etc.).

• Algumas limitações da avaliação

Em síntese, podemos dizer que, de certa forma, esta foi a melhor avaliação possível que a equipa conseguiu realizar dentro dos seus limites intrínsecos e os que foram impostos de

46 Não se realizou qualquer levantamento sistemático do tempo utilizado para isso. Contudo, não ficaríamos

surpresos se chegássemos à conclusão de que ele teria consumido entre 15% e 20% (ou até mais) do tempo global de campo em Angola (incluindo as dificuldades de transporte, os atrasos e cancelamentos de vôos, etc.).


18

fora, pelas circunstâncias ou dificuldades da tarefa. Não obstante, obviamente que uma avaliação deste teor e abrangência possui inúmeras limitações. Estas decorrem, antes de mais nada, dos limites da própria “metodologia rápida” e do exíguo tempo que ela permitiu dedicar à observação de cada uma das entidades avaliadas. Ou, ainda, das inevitáveis dificuldades logísticas e outros constrangimentos do trabalho de campo no difícil contexto do país, já mencionados acima. Ou, por fim, das próprias limitações intrínsecas ou eventuais lapsos involuntários da equipa avaliadora.

Assim, não sendo possível detalhar todas, chamamos aqui a atenção para três limitações que nos parecem basilares e que devem ser tomadas em consideração.

Fotografia do momento

A primeira limitação da avaliação prende-se com o facto dela representar apenas uma “fotografia rápida” do trabalho das ONGs envolvidas no Programa da ON num determinado momento de sua história, cujos resultados foram influenciados por inúmeros outros factores endógenos ou exógenos a essas ONGs (contexto do país, apoio dos outros doadores, acções dos seus parceiros, protagonismo de outros actores sociais, etc.).

Portanto, os resultados aqui aferidos não devem e nem podem ser vistos como uma imagem fiel da vitalidade ou do potencial global dessas entidades, ou como sua avaliação institucio-nal aprofundada. Por essas razões, como se detalha mais adiante, poderão ocorrer “desen-contros” entre esta “fotografia rápida” e o perfil global dessas ONGs. Ou mesmo entre os resultados aqui aferidos (limitados aos seus projectos financiados pela ON) e o potencial ou vitalidade organizacional/operativa global dessas organizações, ou, ainda, a sustentabilidade institucional real desses contrapartes (vd. análise mais detalhada dos limites no capítulo 5).

Reconstituição da informação, memória institucional e M&A

A segunda, que aparece claramente nas entrelinhas do que dissemos acima sobre os constrangimentos do contexto da avaliação, refere-se às inevitáveis limitações que nascem das insuficiências da base documental utilizada. Em especial, da fraca organização e quali-dade da informação à qual a equipa teve acesso para essa avaliação – falamos especifica-mente da informação pertinente às análises dos resultados efectivos produzidos pelas acções dessas ONGs (dados sistematizados, documentos e relatórios de campo, análises qualitativas e outras). O que obrigou a utilizar métodos indirectos de resgate e análise crítica dessa informação, baseados na reconstituição da memória das equipas, nos testemunhos de alguns técnicos envolvidos, em debates colectivos, etc.

Além de consumir grande parte do tempo dos avaliadores, esses métodos possuem eviden-tes limites. A começar pela tendência natural das equipas (i) a esquecerem grande parte da informação mais antiga (mas deveras importante quando se avalia um programa que cobre o período 2002-2006); (ii) a se polarizarem nas informações mais recentes ou que portam sobre “o que deu certo” (omitindo, mesmo que involuntariamente, possíveis resultados menos abonadores, mas que poderiam ajudar a qualificar a análise dos resultados globais); e, por fim, (iii) a negligenciarem informações que se referem a resultados significativos, mas


19

que nunca foram devidamente vistos/ponderados como tais pela própria equipa (quase sempre detentora de um fraco domínio conceptual sobre resultados de mudança). (47)

Nunca é demais frisar que estas limitações foram bastante agravadas por dois aspectos várias vezes mencionados neste trabalho: a significativa perda de memória institucional constatada nas ONGs avaliadas e o seu incipiente manejo dos sistemas de M&A. E, por via de consequência, a pouca familiaridade dessas ONGs com o uso de indicadores de medição de resultados, em especial para monitorar os resultados de impacto ou mudança produzidos por seus projectos e actividades. (48)

Relações entre as Oxfams: área “delicada” da avaliação

Por último, e em poucas palavras, uma outra limitação desta avaliação refere-se à aferição dos resultados e contributos das relações/cooperação entre as Oxfams (em Angola e na região) para o Programa Angola. Com efeito, não foi possível ir muito além da avaliação do impacto global do principal programa comum a essas organizações (JOAI). (49)

Na verdade, essa avaliação foi constrangida pelas dificuldades encontradas para satisfazer as exigências necessárias a uma boa abordagem da complexa natureza das relações de colaboração/interacção entre as Oxfams em Angola ou a nível da África Austral (sobretudo, em termos de documentação/informações e de envolvimento das Oxfams na avaliação do Programa da ON).

Com relação ao primeiro caso (no nível de Angola), as informações que foi possível colectar foram insuficientes e/ou demasiado superficiais. O que se deu, em grande parte, devido à fraca qualidade da participação das equipas das outras Oxfams presentes em Angola nessa avaliação. (50) Talvez, devido à sua pouca clareza sobre a importância estratégica dessa

47 A pouca atenção para os resultados de iniciativas conjuntas/articuladas de alguns contrapartes na região

da Huíla (na área do apoio às OSCs/ONGs) é um bom exemplo disso. Foi só após algumas reuniões e a sistematização de informações dispersas que ficou mais claramente evidenciada (inclusive, em termos quantitativos) a importância do impacto desse trabalho da ADRA e da ACORD (com o apoio do FUPEP e de outras ONGs parceiras da região) para a criação de sinergias institucionais/executivas que favorece-ram a emergência de um forte protagonismo das OSCs/ONGs em toda a região Sul.

48 Esta pouca familiaridade conduz, inclusive, grande parte dessas equipas a terem muita dificuldade para entenderem as diferenças básicas entre monitorar (ou conceber indicadores de) processos/actividades e monitorar (ou conceber indicadores de) resultados e impactos de mudança nas políticas e nas práticas.

49 Sublinhando-se que essa avaliação só foi possível graças ao envolvimento decisivo, e inicialmente não previsto, de um grande número de actores sociais e beneficiários desse programa (através de entrevistas e uma reunião de grupo) externos às duas ONGs concernidas: OGB e Oxfam Intermón (vd. anexo II).

50 Nos referimos a uma participação e colaboração com a equipa desta avaliação que pudesse ultrapassar a mera participação “de corpo presente” nos workshops (a única que realmente ocorreu, embora sem enriquecer os debates como seria de se esperar; ou até sem que isso tenha garantido a disponibilidade desses participantes para trabalhar com os avaliadores em Luanda, como veio a acontecer num desses casos...). Ou que pudesse ir alem de algumas meras reuniões “pro forma” com os avaliadores, sem que elas dessem lugar a qualquer aprofundamento real da problemática e do diagnóstico (opinião/avaliação dessas ONGs) sobre a colaboração entre as Oxfams durante o período 2002-2007, seus impactos e seus desafios para o futuro (como aconteceu em geral).


20

avaliação do Programa da ON para as suas relações futuras. (51) Ou, ainda, devido ao seu insuficiente empenho em aprofundar uma reflexão sobre os resultados e contribuições do trabalho conjunto das Oxfams em Angola (ou, implicitamente, das suas relações institucio-nais ou colaboração). Especialmente, num quadro operacional (da avaliação) decidido pela ON sem concertação suficiente com as outras Oxfams. (52) O que, de uma certa forma, acabou conferindo às Oxfams parceiras da ON em Angola um “estatuto” quase idêntico ao dos demais contrapartes -- o que não nos parece ter sido o melhor método para garantir um bom envolvimento, colaboração/comprometimento das Oxfams com esse trabalho. (53)

Para resumir, essas características acima aludidas associadas ao “ambiente institucional” delicado e ambíguo que parece ter persistido à volta da colaboração entre as três Oxfams em Angola -- vale ressaltar, organizações com passivos históricos e “culturas institucionais” e de terreno (pelo menos no país) bastante diferenciados -- em nada ajudaram o desempenho da avaliação. (54) Um dos nossos informantes privilegiados, há longos anos observador atento das relações intra-Oxfams em Angola, resumiu o que procuramos expressar aqui com uma economia de palavras magistral:

“as relações entre as Oxfams em Angola são assimiláveis àqueles casamentos arranjados pelos pais: está tudo bem lá em cima (entre os pais dos noivos), mas, no terreno, as três organizações têm muita dificuldade para superar as suas diferenças e geram menos sinergias do que seria de se esperar, sobretudo em decorrência de práticas e entendimentos muito diferentes da realidade”. (55)

Quanto ao nível da região Austral, tampouco foi possível encontrar modalidades executivas apropriadas ou oportunidades (em particular, em termos de interlocutores em Angola com os quais se pudesse trabalhar essa problemática) para aprofundar um olhar crítico ou aferir a contribuição (resultados práticos) das relações entre as Oxfams na região para o Programa Angola.

51 Por exemplo, em algumas reuniões sobre o JOAI (sempre após insistência da equipa avaliadora), foi dito

claramente que não se percebia o propósito de avaliar “mais uma vez” esse programa (já avaliado em 2006). Em especial, no mesmo momento em que uma nova versão da colaboração entre as Oxfams em Angola já estava em fase final de negociação/decisão, com base numa nova reflexão estratégica sobre o JOAI. Em síntese, com essa e outras alegações desse tipo ao longo das várias tentativas de aproximação feitas pela equipa avaliadora (falta de tempo, falta de agenda, falta de documentação, etc.), foi claramente sinalizado (em especial, pelos gestores do novo JOAI) que esse trabalho tinha pouca pertinência ou interesse. O que talvez explique as enormes dificuldades encontradas para a obtenção de documentação ou a não participação de representantes da OGB/JOAI na reunião de balanço/avaliação (dos resultados do JOAI) com uma dezena de representantes de 8 ONGs envolvidas nesse programa (Luanda, 29.11.2007), não obstante as repetidas insistências da equipa avaliadora.

52 Ou seja, uma avaliação feita por uma equipa externa de avaliadores, decidida, escolhida e contratada exclusivamente pela ON mas com um mandato global que, de uma forma ou de outra, tende a extrapolar os limites do Programa da ON (neste caso específico das relações institucionais e de colaboração das Oxfams em Angola).

53 É perfeitamente compreensível que as Oxfams presentes em Angola tivessem preferido ter um “estatuto diferenciado” no seios desse processo de avaliação, em razão de suas relações institucionais particulares com a ON. De certa forma, o pouco interesse manifestado e a incipiente colaboração com essa avaliação tendem a confirmar essa hipótese.

54 Quase todos os antigos colaboradores ou observadores privilegiados das relações de cooperação entre as Oxfams em Angola entrevistados realçaram essas “delicadas” relações no terreno, por múltiplas razões (desencontros de “visão”, diferentes concepções sobre as prioridades/actividades no país, viés “humanitarista/assistencialista” ou “logisticista” não comungado pelas três ONGs, etc.).

55 Entrevista de 12.12.2007 (Luanda).

parte i: apresentaÇÃo - oxfam novib homepage · em angola ocorreu por volta de 1997, (1) durante...

Documents