aula 05[1]

CURSO ON-LINE – POLÍTICAS PÚBLICAS – CGU PROFESSOR: RAFAEL ENCINAS

Prof. Rafael Encinas www.pontodosconcursos.com.br 1

Aula 05

Olá, Pessoal!

Essa é a quinta aula do curso de Políticas Públicas para a CGU. Nela, veremos os seguintes itens do edital:

Aula 05 – 04/05: 6. Indicadores de políticas públicas; 7. Modelos de avaliação de programas governamentais; 8. Coleta, análise e interpretação de informações quantitativas e qualitativas para avaliação de programas governamentais.

Boa Aula!

Sumário

1 INDICADORES DE POLÍTICAS PÚBLICAS ............................................................. 2

1.1 ATRIBUTOS DOS INDICADORES ................................................................................. 3

1.2 EFICIÊNCIA, EFICÁCIA E EFETIVIDADE ......................................................................... 5

2 AVALIAÇÃO DE PROGRAMAS GOVERNAMENTAIS ................................................. 9

2.1 CONCEITOS BÁSICOS .......................................................................................... 11

2.2 TIPOS DE AVALIAÇÃO .......................................................................................... 14

2.3 TENDÊNCIAS NA AVALIAÇÃO .................................................................................. 21

2.4 MODELO LÓGICO E TEORIA DO PROGRAMA ................................................................. 21

2.5 ANÁLISE CUSTO-BENEFÍCIO E CUSTO-EFETIVIDADE ...................................................... 27

3 COLETA, ANÁLISE E INTERPRETAÇÃO DE INFORMAÇÕES ................................... 31

3.1 PESQUISA QUANTITATIVA X QUALITATIVA .................................................................. 36

3.2 MÉTODOS DE COLETA DE DADOS ............................................................................ 38

3.3 MÉTODOS DE ANÁLISE DOS DADOS .......................................................................... 42

4 QUESTÕES COMENTADAS ................................................................................... 45

4.1 LISTA DAS QUESTÕES ......................................................................................... 68

4.2 GABARITO ....................................................................................................... 77

5 LEITURA SUGERIDA ........................................................................................... 77



1 Indicadores de políticas públicas

São Instrumentos que permitem identificar e medir aspectos relacionados a um determinado conceito, fenômeno, problema ou resultado de uma intervenção na realidade. São medidas, ou seja, uma atribuição de números a objetos, acontecimentos e situações de acordo com certas regras.

Os indicadores são usados para avaliar a magnitude de uma situação (como, por exemplo, a incidência de uma doença ou o custo de um programa). Segundo Ferreira, Cassiolato e Gonzales (2009):

O indicador é uma medida, de ordem quantitativa ou qualitativa, dotada de significado particular e utilizada para organizar e captar as informações relevantes dos elementos que compõem o objeto da observação. É um recurso metodológico que informa empiricamente sobre a evolução do aspecto observado.

É um elemento capaz de medir a evolução do problema. Deve ser coerente com o objetivo do programa, ser sensível à contribuição das principais ações e apurável em tempo oportuno. Permite, portanto, a mensuração dos resultados alcançados com a execução do programa. É geralmente apresentado como uma relação ou taxa entre variáveis relevantes.

O programa “Brasil Alfabetizado” tem como indicadores:

�� Percentual da População na faixa Etária de 15 Anos ou Mais com Escolaridade Inferior a 4ª Série (%)

�� Taxa de Analfabetismo da População na Faixa Etária de 15 a 29 Anos

�� Taxa de Analfabetismo da População na Faixa Etária de 15 Anos ou Mais

�� Taxa de Analfabetismo da População na Faixa Etária de 15 anos ou mais na Área Rural

�� Taxa de Analfabetismo da População na Faixa Etária de 15 anos ou mais na Região Nordeste

Maria das Graças Rua cita os seguintes tipos de indicadores:

1. Indicadores Estratégicos: Informam o “quanto” a organização se encontra na direção da consecução de sua Visão. Refletem o desempenho em relação aos Objetivos Estratégicos da Organização. São formulados segundo as dimensões e critérios estabelecidos no Planejamento Estratégico das organizações.



2. Indicadores de Processo: Representação objetiva de características do processo que devem ser acompanhadas ao longo do tempo para avaliar e melhorar o seu desempenho. Medem a eficiência e a eficácia dos processos. São os seguintes os indicadores de processo:

a. Indicadores de Produtividade (eficiência)

b. Indicadores de Qualidade (eficácia)

c. Indicadores de Efetividade (impacto)

d. Indicadores de Capacidade

3. Indicadores de Projetos: São indicadores para acompanhar e avaliar a execução de projetos.

1.1 ATRIBUTOS DOS INDICADORES

Segundo Maria das Graças Rua, para que os indicadores se tornem viáveis e práticos, devem possuir os seguintes atributos especiais:

� Adaptabilidade – capacidade de resposta às mudanças de comportamento e exigências dos clientes. Os indicadores podem tornar-se desnecessários ao longo do tempo e devem ser imediatamente eliminados ou substituídos por outros de maior utilidade.

� Representatividade – captação das etapas mais importantes e críticas dos processos, no local certo, para que seja suficientemente representativo e abrangente. Dados desnecessários ou inexistentes não devem ser coletados. Em contrapartida, dados importantes devem ser precisos, atender aos objetivos e ser buscados na fonte correta. Este atributo merece certa atenção, pois indicadores muito representativos tendem a ser mais difíceis de ser obtidos. Deve-se, portanto, haver um certo equilíbrio entre a representatividade e a disponibilidade para coleta.

� Simplicidade – facilidade de ser compreendido e aplicado tanto pelos executores quanto – e principalmente – pelos que receberão seus resultados. Os nomes e expressões devem ser conhecidos e entendidos por todos os envolvidos de forma homogênea, garantindo ampla validade por toda a organização.

� Rastreabilidade – facilidade para identificação da origem dos dados, seu registro e manutenção. Sempre que possível, deve-se transformar os



resultados em gráficos para um acompanhamento mais preciso, o que permite a comparação com desempenhos anteriores.

� Disponibilidade – facilidade de acesso para coleta, estando disponível a tempo, para as pessoas certas e sem distorções, servindo de base para que decisões sejam tomadas. De nada adiantaria informações atrasadas e desatualizadas, embora corretas, ou informações atuais e corretas, mas para a pessoa errada.

� Economia – não deve ser gasto tempo demais procurando dados, muito menos pesquisando ou aguardando novos métodos de coleta. Os benefícios trazidos com os indicadores devem ser maiores que os custos incorridos na medição. Caso contrário, em pouco tempo a organização estará medindo sua própria falência.

� Praticidade – garantia de que realmente funciona na prática e permite a tomada de decisões gerenciais. Para isso, deve ser testado no campo e, se necessário, modificado ou excluído.

� Estabilidade – garantia de que é gerado em rotinas de processo e permanece ao longo do tempo, permitindo a formação de série histórica.

No TCU, temos um documento técnico que também traz atributos desejáveis nos indicadores. Vamos vê-los:

� Validade: grau segundo o qual o indicador reflete o fenômeno que está sendo medido. O ID (indicador de desempenho) deve ser a expressão dos produtos essenciais de um processo. O enfoque deve ser nos produtos e nos resultados. Assim, o ID deve medir aquilo que é produzido, seja produto intermediário ou final, além dos resultados (outcomes).

� Comparabilidade: propriedade de possibilitar comparações ao longo do tempo e entre diferentes objetos de auditoria.

� Estabilidade: as variáveis componentes do indicador devem ter estabilidade conceitual, sua forma de cálculo não deve variar no tempo, bem como devem ser estáveis os procedimentos de coleta de dados para sua apuração. Essas são condições necessárias ao emprego de indicadores para avaliar o desempenho ao longo do tempo.

� Homogeneidade: na construção de indicadores devem ser consideradas apenas variáveis homogêneas. Por exemplo, ao estabelecer o custo médio por auditoria, devem-se identificar os diversos tipos de auditoria, já que para cada tipo tem-se uma composição de custo diversa.



� Praticidade: garantia de que o indicador realmente é útil para o monitoramento e a tomada de decisões. Para tanto, deve ser testado, modificado ou excluído quando não atender a essa condição.

� Independência: o indicador deve medir os resultados atribuíveis às ações que se quer monitorar, devendo ser evitados indicadores que possam ser influenciados por fatores externos.

� Confiabilidade: a fonte de dados utilizada para o cálculo do indicador deve ser confiável, de tal forma que diferentes avaliadores possam chegar aos mesmos resultados.

� Seletividade: deve-se estabelecer um número equilibrado de indicadores que enfoquem os aspectos essenciais do que se quer medir.

� Compreensão: o indicador deve ser de fácil compreensão e não envolver dificuldades de cálculo ou de uso. Indicadores que medem mais de uma variável e apresentam métricas não intuitivas podem ser usados, e às vezes devem sê-lo, quando têm aceitação e validade.

� Completude: os indicadores devem representar adequadamente a amplitude e a diversidade de características do fenômeno monitorado, resguardado o princípio da seletividade e da simplicidade.

� Economicidade: as informações necessárias ao cálculo do indicador devem ser coletadas e atualizadas a um custo razoável, quando comparado com a utilidade gerencial da informação que ele fornece.

� Acessibilidade: deve haver facilidade de acesso às informações primárias bem como de registro e manutenção para o cálculo dos indicadores.

� Tempestividade: a apuração do indicador deve estar disponível quando necessária, em tempo para a tomada de decisão.

� Objetividade: o indicador deve ser inequívoco sobre o que está sendo medido e quais dados estão sendo usados em sua apuração. A objetividade inclui clareza sobre a definição do indicador, de forma a evitar disputa sobre seu significado, especialmente no caso de indicadores multidimensionais.

1.2 EFICIÊNCIA, EFICÁCIA E EFETIVIDADE

Os indicadores podem abordar diferentes dimensões do desempenho. Vamos conhecer as três principais. Vamos ver primeiro conceitos da Administração Privada. Para Richard Daft:



� A eficácia organizacional é o grau no qual a administração alcança uma meta declarada. Isso significa que a organização tem sucesso em alcançar o que ela tenta fazer. Eficácia organizacional significa proporcionar um produto que os clientes valorizem.

� Eficiência organizacional se refere à quantidade de recursos usados para alcançar a meta organizacional. Pode ser calculada como a quantia de recursos usados para produzir um produto ou serviço.

Segundo o MPOG:

� Eficiência: uso otimizado, com economia e qualidade, dos bens e recursos empregados na implementação das ações.

� Eficácia: capacidade de alcance das metas previstas;

� Efetividade: correspondência entre os resultados da implantação de um programa e o alcance dos seus objetivos, tendo como referência os impactos na sociedade;

Assim, podemos dizer que a EFICIÊNCIA é a racionalização no uso dos insumos. A eficiência é alcançada quando os insumos são manipulados de forma adequada para atingir os produtos.

A EFICÁCIA consiste no grau de alcance das METAS programadas em um determinado período de tempo, independentemente dos custos implicados. Quanto mais alto o grau de realização dos objetivos e metas, mais a organização é eficaz.

A EFETIVIDADE observa se houve algum IMPACTO resultante da ação governamental. Não basta chegar ao produto, alcançando as metas, é preciso que ele produza alguma alteração na sociedade.

Podemos observar melhor estas dimensões no quadro abaixo:

OBJETIVO INSUMO AÇÃO PRODUTO RESULTADO

EEffeettiivviiddaaddee

EEffiiccáácciiaa

EEffiicciiêênncciiaa



Assim, a eficiência observa a relação entre PRODUTOS (bens e serviços) gerados por uma atividade e os CUSTOS dos insumos empregados, em um determinado período de tempo. Uma organização é eficiente quando utiliza seus recursos da forma mais produtiva e econômica possível, também conhecida como forma racional de utilização.

A eficiência é definida como a relação entre os produtos (bens e serviços) gerados por uma atividade e os custos dos insumos empregados para produzi-los em um determinado período de tempo, mantidos os padrões de qualidade. Essa dimensão refere-se ao esforço do processo de transformação de insumos em produtos. Pode ser examinada sob duas perspectivas: minimização do custo total ou dos meios necessários para obter a mesma quantidade e qualidade de produto; ou otimização da combinação de insumos para maximizar o produto quando o gasto total está previamente fixado. Nesse caso, a análise do tempo necessário para execução das tarefas é uma variável a ser considerada. A eficiência pode ser medida calculando-se e comparando-se o custo unitário da produção de um bem ou serviço. Portanto, podemos considerar que o conceito de eficiência está relacionado ao de economicidade.

A eficácia é definida como o grau de alcance das metas programadas (de bens e serviços) em um determinado período de tempo, independentemente dos custos implicados. O conceito de eficácia diz respeito à capacidade da gestão de cumprir objetivos imediatos traduzidos em metas de produção ou de atendimento, ou seja, a capacidade de prover bens ou serviços de acordo com o estabelecido no planejamento das ações.

É importante observar que a análise de eficácia deve considerar os critérios adotados para fixação da meta a ser alcançada. Uma meta subestimada pode levar a conclusões equivocadas a respeito da eficácia do programa ou da atividade sob exame. Além disso, fatores externos como restrições orçamentárias podem comprometer o alcance das metas planejadas e devem ser levados em conta durante a análise da eficácia.

A efetividade diz respeito ao alcance dos resultados pretendidos, a médio e longo prazo. Refere-se à relação entre os resultados de uma intervenção ou programa, em termos de efeitos sobre a população-alvo (impactos observados), e os objetivos pretendidos (impactos esperados), traduzidos pelos objetivos finalísticos da intervenção. Trata-se de verificar a ocorrência de mudanças na população-alvo que se poderia razoavelmente atribuir às ações do programa avaliado.

Portanto, ao examinar a efetividade de uma intervenção governamental, pretende-se ir além do cumprimento de objetivos imediatos ou específicos, em



geral consubstanciados em metas de produção ou de atendimento (exame da eficácia da gestão). Trata-se de verificar se os resultados observados foram realmente causados pelas ações desenvolvidas e não por outros fatores. A avaliação da efetividade pressupõe que bens e/ou serviços foram ofertados de acordo com o previsto. O exame da efetividade ou avaliação de impacto requer tratamento metodológico específico que busca estabelecer a relação de causalidade entre as variáveis do programa e os efeitos observados, comparando-os com uma estimativa do que aconteceria caso o programa não existisse.

Vamos analisar um exemplo. Num programa do governo de distribuição de óculos para crianças do ensino fundamental, o objetivo é melhorar a educação, já que as crianças estarão enxergando melhor e poderão se concentrar mais. Entende-se que os pais não apresentam condições financeiras de levar a criança a um oftalmologista e de comprar os óculos, por isso seria importante que o Estado desempenhasse esse papel.

A economicidade significa que os óculos foram comprados a um preço baixo. A eficiência refere-se ao governo entregar um número maior de óculos com os mesmos recursos, o mesmo número de pessoas, de carros, etc.

A eficácia corresponde ao alcance de metas. Assim, se o objetivo era entregar 20.000 óculos e foi entregue um número maior, o programa é eficaz. Por fim, a efetividade se refere ao resultado da ação governamental na sociedade. No exemplo, corresponde a melhora no índice de educação.

Vamos ver mais alguns conceitos, agora da Maria das Graças Rua:

� Eficácia: significa realizar aquilo que foi pretendido. Suponha-se, por exemplo, que uma ação de governo é uma campanha de vacinação para 50000 crianças. A eficácia será dada pelo numero de crianças vacinadas. As perguntas, então, são: os insumos foram disponibilizados? Estiveram disponíveis a tempo? Foram suficientes para gerar os outputs pretendidos?

� Eficiência: significa realizar aquilo que foi pretendido, de acordo com a estratégia selecionada, com os custos estabelecidos ou menos. A eficiência é um critério que remete à racionalidade dos processos, não se refere somente aos resultados, mas às relações entre meios e fins. As perguntas são: Os insumos foram totalmente utilizados para os fins pretendidos? Houve insumos não utilizados? Algum dos insumos foi usado de maneira que não contribuiu para os resultados? A escala de utilização dos recursos foi apropriada, excessiva ou insuficiente? Houve



atrasos?Erros?Haveria algum método de obter o mesmo resultado com custo e prazo menor? Houve perdas, desperdícios? Houve atrasos na disponibilização dos insumos? Houve inadequação de quantidade ou qualidade dos insumos? Houve erros de operação dos processos ou de gestão dos recursos e atividades?

� Efetividade: significa que o que foi realizado produziu os efeitos pretendidos. A efetividade é o grande critério de sucesso de um programa ou projeto. Refere-se aos efeitos, que são resultados diretos da ação realizada. É muito importante lembrar que é possível ter eficácia sem ter efetividade. Exemplo; é possível ter todas as 50000 crianças vacinadas e ainda assim ter muitos casos da doença devido à baixa qualidade das vacinas ou devido à sua aplicação numa ocasião em que uma epidemia já estivesse em andamento.

Alguns autores conceituam efetividade como a soma da eficiência e da eficácia ao longo do tempo. Não concordo com esta visão, mas é importante conhecermos, pois a ESAF já deu ele como certo. Vocês podem observar no exemplo de efetividade da Maria das Graças Rua que ela afirma que “é muito importante lembrar que é possível ter eficácia sem ter efetividade”.

Essa confusão é feita porque a eficácia possui sentidos diferentes na administração pública e na administração privada. Nesta, fala-se que eficiência é “fazer certo” e eficácia é “fazer o certo”. Assim, eficiência é fazer da forma correta, com pouco desperdício e em pouco tempo. Já a eficácia é fazer o produto que o cliente deseja, produzir aquilo que as pessoas realmente precisam e desejam.

Já no setor público, o conceito de eficácia é muito simplista, apenas reflete o alcance de metas. Se considerássemos também “fazer o certo”, no exemplo das vacinas, ser eficaz seria usar uma vacina de qualidade e no momento correto. Assim, sendo eficiente e eficaz, o programa seria sim efetivo.

2 Avaliação de Programas Governamentais

O “policy cycle” não pode ser concebido como um processo simples e linear, mas sim como um processo dinâmico. Não existe um ponto de partida ou de chegada definidos, e envolve não só formuladores e implementadores, mas também os stakeholders – pessoas envolvidas numa política ou nela interessadas. A avaliação deve estar presente em cada uma das diferentes etapas que compõem uma política pública.



Na formulação, a avaliação busca avaliar a adequabilidade das ações/estratégias às demandas existentes e determinar a aceitabilidade do planejamento, comparando custos com benefícios. A avaliação de implementação permite compreender e analisar aspectos diversos da dinâmica institucional e organizacional, no tocante ao funcionamento do programa, incluindo sua formulação. Já a avaliação dos resultados e impactos tem como objetivo compreender e analisar o que se obteve com o programa, inclusive na sua implementação.

No início, a premissa era a de que os resultados da avaliação seriam automática e necessariamente encampados pelos tomadores de decisões para a melhoria da política ou do programa em questão. A discussão acerca do uso da avaliação restringia-se, assim, ao que hoje se denomina uso "instrumental".

Segundo Carlos Augusto Pimenta de Faria, hoje podemos enxergar quatro dimensões do uso da avaliação: instrumental (relativa ao apoio às decisões e à busca de resolução de problemas); conceitual (ou função "educativa"); como instrumento de persuasão; e para o “esclarecimento”.

A avaliação instrumental caracteriza-se pelo uso de resultados, que são incorporados e usados de forma racional pelos gestores como forma de melhoria dos processos. Por isso as decisões e ações são a consequência direta de seu uso.

O segundo tipo de uso é o "conceitual", geralmente circunscrito aos técnicos do programa, a quem não é com frequência atribuído um maior poder de decisão. Nesse caso, as descobertas da avaliação (e o seu próprio processo de realização) podem alterar a maneira como esses técnicos compreendem a natureza, o modo de operação e o impacto do programa que implementam. O uso conceitual das descobertas diferencia-se do uso instrumental porque, no primeiro caso, nenhuma decisão ou ação é esperada (pelo menos não imediatamente).

A avaliação também pode ser usada como instrumento de persuasão, quando ela é utilizada para mobilizar o apoio para a posição que os tomadores desejam. O objetivo é legitimar uma posição e ganhar novos adeptos para as mudanças desejadas. Um exemplo foi a forma como o ditador Augusto Pinochet usou o sistema de avaliação educacional implantado por ele no Chile, em 1988, para dar maior visibilidade e legitimidade ao processo de privatização do ensino no país, posto que os primeiros resultados mostravam com clareza o desempenho superior das instituições privadas.



Por fim, há o uso para o "esclarecimento", que nem sempre é propositado, mas que acarreta, pela via do acúmulo de conhecimento oriundo de diversas avaliações, impacto sobre as redes de profissionais, sobre os formadores de opinião e sobre as advocacy coalitions, bem como alterações nas crenças e na forma de ação das instituições, pautando, assim, a agenda governamental. Esse é um tipo de influência que ultrapassa a esfera mais restrita das políticas e dos programas avaliados.

2.1 CONCEITOS BÁSICOS

Vamos ver agora alguns conceitos importantes relacionados à avaliação:

a) Objetivos e Metas

Objetivo é a situação que se deseja obter ao final do período de duração do projeto, mediante a aplicação dos recursos e da realização das ações previstas. Já a meta é definida como um objetivo temporal, espacial e quantitativamente dimensionado. É um objetivo para o qual se estabeleceu o sujeito da ação, se quantificou o objetivo e se determinou um prazo para atingi-lo.

Por exemplo, o programa “Brasil Alfabetizado e Educação de Jovens e Adultos” tem como objetivo “Elevar o nível de alfabetização e de escolaridade da população de jovens e adultos”. A meta é reduzir de 23% para 15% o percentual da população na faixa etária de 15 ou mais com escolaridade inferior à 4ª série até 2011. Portanto, a meta expressou em números e temporalmente o objetivo.

b) População-objetivo ou Público-alvo

A definição das metas inclui a determinação do conjunto de pessoas ao qual se destina o projeto, o que é denominado população-objetivo, público-alvo, população-meta ou grupo focal. Especifica os segmentos da sociedade aos quais o programa se destina e que se beneficiam direta e legitimamente com sua execução. São os grupos de pessoas, comunidades, instituições ou setores que serão atingidos diretamente pelos resultados do programa. A definição do público-alvo é importante para identificar e focar as ações que devem compor o programa. No programa do exemplo acima, o público-alvo é: “Jovens e adultos de 15 anos ou mais de idade não alfabetizados ou com baixa escolaridade”.



Os programas e projetos são concebidos para os beneficiários diretos. Os indiretos são uma categoria de pessoas que recebem impactos positivos da realização do projeto, mesmo quando sua situação não tenha sido considerada no momento de tomada de decisões. Um exemplo de beneficiários diretos num projeto de pesquisa sobre o tratamento do câncer seriam aqueles doentes que poderiam ser curados; os indiretos se identificam com aqueles que, ao saber da existência de um remédio, tenham menos temor à doença.

É preciso ainda distinguir do público-alvo a cobertura. Esta se refere à proporção de pessoas dentro da população-objetivo que realmente recebe os serviços. Vamos supor que o público-alvo do programa acima é composto por 10 milhões de pessoas acima de 15 anos que não estejam alfabetizados ou com baixa escolaridade. Contudo, o programa não conseguirá atender a todos. Vamos supor que atenda a 500 mil pessoas. A cobertura será de 5%.

c) Efeito e Impacto

Efeito é todo comportamento ou acontecimento que se pode razoavelmente dizer que sofreu influência de algum aspecto do projeto ou programa. Enquanto os objetivos constituem a situação que se pretende atingir com a realização do projeto, se localizando temporalmente antes da realização do projeto, os efeitos constituem resultados das ações consideradas pelo projeto e, portanto, são verificados durante ou depois do mesmo.

Por definição, dados seus objetivos de resultado, um projeto deve ter efeitos procurados, previstos, positivos e relevantes. Os efeitos procurados têm que ser previstos, uma vez que não se pode procurar ou desejar o que se desconhece, e também têm de ser positivos, já que não seria lógico elaborar projetos para conseguir resultados negativos.

Contudo, também podemos falar em efeitos não procurados. Estes podem ter sido previstos na elaboração do projeto, sendo positivos quando se trata de consequências não centrais para os propósitos estabelecidos, ou negativos, quando podem prejudicar o possível êxito do projeto. Neste caso se tentará minimizar seu impacto. Também haverá efeitos não previstos, surgidos em decorrência de limitações do conhecimento disponível ou por desinformação daqueles que elaboraram o projeto.

O impacto é definido como um resultado dos efeitos de um projeto. A determinação do impacto exige estabelecimento de objetivos operacionais e de um modelo causal que permita vincular o projeto com os efeitos resultantes de sua implementação.



Depois que o projeto esteve funcionando por um período de tempo suficientemente longo, podemos observar os Resultados Brutos (RB), que correspondem às modificações verificadas na população-objetivo. Já os Resultados Líquidos (RL) são as alterações no público-alvo que podem ser atribuídos única e exclusivamente ao projeto. Isso exige a eliminação dos efeitos externos (EE).

RL = RB - EE

O Resultado Líquido é igual ao impacto. Portanto, o impacto representa as modificações que ocorreram na sociedade decorrentes exclusivamente do programa ou projeto. Por exemplo, um programa que tenha como objetivo a melhorar a educação fundamental por meio do treinamento de professores. Contudo, a melhora na educação após o programa pode ser resultado também de investimentos em infraestrutura, material didático, maior participação dos pais, etc.

d) Viabilidade

A questão da viabilidade está presente em todos os momentos do processo de planejamento. Existem diversas formas de viabilidade a serem consideradas no processo de delineamento de um plano. São necessárias várias aproximações e ajustes sucessivos, a fim de conciliar direcionalidade e viabilidade e se busque a coerência entre as formas de viabilidade: política, econômica, institucional-organizacional e tecnológica.

� Viabilidade política: refere-se à administração dos escassos recursos de poder, a fim de aplicá-los com eficácia na consecução dos objetivos possíveis com esta restrição política. Trata-se, por um lado, de produzir operações e ações que acrescentem recursos de poder e, por outro lado, dimensionar o alcance e direção da situação–objetivo às relações de forças que se pode conseguir no horizonte de tempo do plano.

� Viabilidade econômica: refere-se à escassez de recursos econômicos e financeiros. Procura-se elevar os recursos ao nível exigido pela situação-objetivo, ou ajustar esta última às restrições econômicas.

� Viabilidade institucional-organizacional: refere-se às capacidades institucionais do sistema como um todo, e às capacidades particulares de gestão de atores/instituições envolvidas no processo de produção social.

� Viabilidade tecnológica: refere-se à disponibilidade presente e à capacitação de criação de técnicas capazes de realizar os processos



econômicos, políticos e organizacionais exigidos pelo alcance e direção da situação-objetivo. Assim, as tecnologias econômicas, políticas e organizacionais necessárias devem ser consistentes com o domínio e conhecimento que os atores sociais têm sobre eles, ou com sua capacidade de criação no horizonte de tempo do plano.

2.2 TIPOS DE AVALIAÇÃO

A avaliação tem sido, usualmente, classificada em função do seu timing (antes, durante ou depois da implementação da política ou programa), da posição do avaliador em relação ao objeto avaliado (interna, externa ou semi-independente) e da natureza do objeto avaliado (contexto, insumos, processos e resultados).

Em relação ao momento em que é realizada

Vamos ver a primeira classificação, a que se refere ao momento em que ela é realizada.

a) Avaliações Ex-ante

Refere-se à avaliação que é realizada antes do início do projeto, ou seja, trata-se de uma avaliação que procura medir a viabilidade do programa a ser implementado. Geralmente é muito utilizada por órgãos financiadores de projetos e pode ter como objetivo a identificação de prioridades e metas. Entretanto, Lubambo e Araújo mencionam que nem sempre essa relação pode ser restringida à viabilidade econômico-financeira, uma vez que a viabilidade política e institucional, bem como as expectativas dos beneficiários da ação, devem ser consideradas e incorporadas nessa “conta”.

A avaliação ex-ante, procura orientar sobre a realização de um dado programa, no que diz respeito a sua formulação e desenvolvimento, através do estudo de seus objetivos, dos beneficiários e suas necessidades e do seu campo de atuação. Desta forma, propõe-se ser um instrumento que permite escolher a melhor opção estratégica. A avaliação ex-ante permite escolher a melhor opção dos programas e projetos nos quais se concretizam as políticas.



b) Avaliações Ex-post ou Somativas

São conduzidas, frequentemente, quando o programa já está implementado, para estudar sua eficácia e o julgamento de seu valor geral. Essas avaliações são tipicamente utilizadas como meio de assistir a alocação de recursos ou na promoção de mais responsabilidade. Os clientes geralmente são externos, tais como políticos e outros agentes de decisão. Essas avaliações muitas vezes são conduzidas por avaliadores externos. As questões quanto ao resultado ou relevância geral do programa devem ser abordadas.

Esta categoria de avaliação investiga em que medida o programa atinge os resultados esperados pelos formuladores. Entretanto, essa análise de resultados pode ser agrupada em duas modalidades: resultados esperados e resultados não esperados. Referem-se, respectivamente, aos efeitos gerados e aos efeitos não antecipados pelo programa no plano de implementação.

Quando a variável “resultados”, independentemente de sua modalidade, ganha centralidade no processo de avaliação, é prudente reputar algumas indagações, que são tidas como essenciais:

�� Que tipos de serviços ou benefícios os beneficiários do programa estão recebendo?

�� Em que medida os serviços ou benefícios realmente recebidos pelos beneficiários do programa estão de acordo com as intenções originais dos formuladores?

�� Os beneficiários estão satisfeitos com os resultados atingidos pelo programa?

�� Os resultados atingidos são compatíveis com os resultados esperados?

�� Como e porque os programas implementados geram resultados não esperados?

Nesta categoria, em que os resultados de um programa ou política são focalizados, a avaliação assume um caráter somativo. Essa modalidade de avaliação que se realiza ao final da fase de implementação ou após a conclusão de um programa, consiste no exame e análise de objetivos, impactos e resultados. Focaliza a relação entre processo, resultados e impacto, comparando os diferentes programas, o que possibilita escolher o mais adequado e viável para atingir as metas no prazo pretendido. O objetivo principal da avaliação Somativa é o de analisar a efetividade de um programa, compreendendo em que medida o mesmo atingiu os resultados esperados.



c) Avaliações formativas

Geralmente adotadas durante a implementação de um programa (avaliação intermediária) como meio de se adquirir mais conhecimento quanto a um processo de aprendizagem para o qual se deseja contribuir. O propósito é o de apoiar e melhorar a gestão, a implementação e o desenvolvimento do programa. Os avaliadores, assim como os clientes, geralmente são internos, e, frequentemente, os gerentes do programa em questão (auto-avaliação). A objetividade das constatações geralmente não se coloca como preocupação central: mais ênfase é dada à aplicabilidade direta dos resultados. Devem lidar com questões operacionais de monitoramento dos eventos e, em certo grau, também com aspectos relacionados ao impacto.

Esta categoria de avaliação procura investigar como o programa funciona (observação das etapas, mecanismos, processos e conexões), quais são as estratégias utilizadas para o alcance dos resultados, ou seja, procura articular os meios com os fins, estabelecendo dessa forma sua consonância ou incompatibilidade.

Nesta situação, em que se procura focar o funcionamento e a gestão do programa, a avaliação assume caráter formativo. Como este tipo de avaliação se centraliza nos processos e não nos resultados, podemos concluir que é mais utilizada na fase de implementação de um programa ou política, pois focaliza os aspectos que têm relação direta com a formação do programa, enquanto está em funcionamento, portanto, é desenvolvida durante o processo de implementação da ação avaliada.

Trata de realizar o acompanhamento de ações e tarefas, no que fiz respeito ao conteúdo, método e instrumentos inerentes à execução de um programa ou projeto. Trata-se, portanto, de um conceito de extrema relevância no processo de avaliação de políticas públicas, pois possibilita compreender em que medida a otimização dos recursos públicos acontecem - aqui entendidos como os recursos financeiros, materiais e humanos - através da comparação entre metas alcançadas, recursos empreendidos e tempo de execução.

Portanto, este tipo de avaliação não se preocupa com a efetividade do programa, pois focaliza seus processos e mecanismos de execução. Sua função maior é a de observar em que medida o programa está sendo implementado como planejado. Preocupa-se em responder, entre outras, às seguintes indagações:

�� A população-alvo está sendo atendida, conforme as metas?

�� O cronograma está sendo cumprido?



�� Os recursos estão sendo alocados com eficiência?

Assim, a avaliação de processos se constitui, basicamente, em um instrumento que se preocupa em diagnosticar as possíveis falhas de um programa, no que diz respeito aos instrumentos, procedimentos, conteúdos e métodos, adequação ao público-alvo, visando o seu aperfeiçoamento, através da interferência direcionada para seus aspectos intrínsecos. Esta modalidade de avaliação tem por objetivo “fazer as coisas certas”

Comparando a avaliação formativa com a somativa, temos que estes conceitos são originários do campo da educação, no contexto da avaliação de currículos. A "avaliação formativa" ocorreria enquanto a atividade a ser avaliada ainda estivesse em andamento, com a finalidade de melhorá-la, redirecioná-la. Em contraste, a "avaliação somativa" seria dirigida a um produto final, buscando verificar a efetividade da intervenção, bem como o potencial deste "produto" em relação a futuras aplicações.

A Avaliação Formativa ocorre durante o processo de execução de um programa ou projeto, com o objetivo de fornecer um feedback aos responsáveis pela intervenção que está sendo avaliada, podendo realizar-se durante o desenvolvimento da intervenção, nas fases de diagnóstico, formulação, implementação da execução da mesma. Já a avaliação somativa refere-se aos "resultados ou efeitos" da intervenção, sendo realizada ao final da mesma, daí também ser denominada de "avaliação final", cujos resultados servem para "determinar futuras ações" sobre a intervenção, no sentido de mantê-la, modificá-la ou suspendê-la.

Em relação à procedência dos avaliadores

A avaliação externa é realizada por pessoas não ligadas à organização executora do projeto. São pessoas não envolvidas com os processos organizacionais. Esse não envolvimento permite uma maior objetividade na avaliação e, além disso, supostamente, esses avaliadores possuem maior experiência e são capazes de realizar comparações sobre eficiência e eficácia de diferentes soluções aos problemas enfrentados.

No entanto, afirma-se que as avaliações externas tendem a dar mais importância ao método da avaliação do que ao conhecimento substantivo da área em que o projeto foi avaliado. A maior vantagem do avaliador externo estaria em seu conhecimento da metodologia de avaliação. Já seus pontos fracos estariam na área substantiva e nas especificidades do projeto.



A avaliação interna é realizada dentro da organização gestora do projeto, mas não por pessoas diretamente responsáveis por sua execução. Por ser realizada por pessoas conhecedoras da disciplina, "o fato de participar desse processo permite com frequência compreender melhor as atividades que são avaliadas e enfocar de modo mais construtivo sua execução e as necessidades de ação futura".

No entanto, a literatura alerta para o risco de perda de objetividade uma vez que a organização agente seria "juiz e interessado" e que os avaliadores teriam ideias preconcebidas (e, portanto, não imparciais) a respeito do projeto.

Na avaliação mista recorre-se a uma combinação das duas anteriores, fazendo com que avaliadores externos realizem seu trabalho em estreito contato com a equipe interna. Assim, busca-se eliminar os fatores negativos de ambas as avaliações anteriores (objetividade e conhecimento necessário à avaliação).

A avaliação participativa surge como alternativa democrática e resposta crítica aos três tipos anteriormente apresentados, que ausentam os beneficiários do projeto de sua avaliação. Cohen e Franco esclarecem que no processo de um projeto social a estratégia participativa prevê a adesão da comunidade no planejamento, programação, execução, operação e avaliação do mesmo e que na avaliação (independentemente da estratégia do projeto), existem instâncias em que a participação comunitária é imprescindível.

Enfoques da avaliação

Outra classificação importante é a da Maria Ozanira da Silva, segundo a qual a avaliação pode ocorrer através de quatro enfoques diferenciados: o monitoramento, a avaliação política da política, a avaliação de processo e a avaliação de impacto.

O monitoramento permite o acompanhamento constante, através do gerenciamento do cumprimento de metas e prazos, buscando o cumprimento do cronograma das atividades com o objetivo de garantir a eficiência do programa.

A avaliação política da política emite juízo de valor em relação à política ou ao programa a partir de critérios e princípios fundamentados em concepções teóricas de bem-estar humano e de qualidade de vida. Essa avaliação possibilita uma análise da operacionalização do programa, bem como de todo o planejamento do mesmo. Está centrada nos fundamentos e condicionamentos de formulação da política ou de elaboração de um plano, discutindo e buscando novas alternativas, até mesmo no período de implementação de um certo



programa ou política. Considera, também, os mecanismos institucionais disponíveis, seus limites e todos os recursos necessários para que o programa aconteça.

A avaliação de processo está centrada no desenvolvimento do programa, tendo em vista aferir sua eficácia e efetuar correções durante a implementação. Assim, pretende antecipar se o desejo inicial pode ou não ser alcançado, sendo a questão central da avaliação de processo o funcionamento do programa e os serviços prestados.

A avaliação de impactos tem como foco central as mudanças quantitativas e qualitativas decorrentes de determinadas ações governamentais (política/programa) sobre as condições de vida de uma população, tendo, portanto, como critério a efetividade. Há que se considerar que sempre se parte da suposição de que existe relação causal entre uma variável independente (o programa) e uma variável dependente (alteração nas condições sociais).

Para entender o que seja “impacto”, é preciso conceituar primeiro “efeito”, entendido como todo comportamento ou acontecimento que sofreu influência de algum aspecto do programa. O efeito pode ser procurado, previsto, positivo e relevante ou não procurado, positivo ou negativo.

Por impacto entende-se o resultado dos efeitos de um programa (efeitos líquidos decorrentes dos efeitos de um programa). Nesse sentido, a determinação de impactos exige considerar dois momentos – antes e depois – para se saber qual a diferença entre eles.

Avaliação X Monitoramento

A avaliação deve ser diferenciada do acompanhamento. Este, segundo a ONU:

É o exame contínuo ou periódico efetuado pela administração, em todos os seus níveis hierárquicos, do modo como se está executando uma atividade. Com isso, se procura assegurar que a entrega de insumos, os calendários de trabalho, os produtos esperados se consubstanciam nas metas estabelecidas e que outras ações que são necessárias progridam de acordo com o traçado.

O monitoramento – ou acompanhamento – é uma atividade gerencial interna que se realiza durante o período de execução e operação. Já a avaliação pode ser realizada tanto antes quanto durante a implementação, ou ainda depois desta estar concluída.



O monitoramento é um processo sistemático e periódico de análise da gestão, funcionamento e desempenho de programas e projetos. Tem como objetivo identificar desvios na execução das ações, entre o programado e o executado, diagnosticando suas causas e propondo ajustes operacionais, com vistas à adequação entre o plano e sua implementação.

As atividades de monitoramento são desenvolvidas durante a execução do programa. Entretanto, para realizá-las é necessário ter conhecimento do projeto nas suas fases inicial e final, bem como na sua fase de desenvolvimento, pois isto permite verificar o seu andamento com relação a objetivos e metas, viabilizando, se necessário, redirecionar, ou mesmo, redesenhar algumas ações que se comportaram de forma não prevista. Trata-se, portanto, de um processo contínuo que retroalimenta o ciclo de ajustes de uma política.

De forma resumida, o monitoramento é um processo sistemático e contínuo que, produzindo informações sintéticas e em tempo eficaz, permite rápida avaliação situacional e a intervenção oportuna que corrige ou confirma as ações monitoradas.

Algumas características do monitoramento de projetos de desenvolvimento, que neste estudo tem especial relevância, são assinaladas:

�� Visa otimizar a realização dos objetivos do projeto e evitar efeitos negativos.

�� Facilita obter os conhecimentos que estão sendo aproveitados para redefinição e a adequação do projeto.

�� Observa elementos específicos e definidos, isto quer dizer que não trabalha com todos os aspectos do projeto.

�� É realizado sistematicamente, com um objetivo definido.

�� Usa como instrumento de medição indicadores, que são qualitativos e/ou quantitativos. Os indicadores quantitativos podem ser interpretados de maneira qualitativa.

�� Basicamente é feito por pessoas internas, ao projeto.



2.3 TENDÊNCIAS NA AVALIAÇÃO

Worthen ressalta algumas tendências ou questões novas, que podem influenciar de forma significativa o futuro da avaliação. Algumas destas são destacadas abaixo:

�� Prioridade e legitimidade crescentes da avaliação interna;

�� Uso mais frequente de métodos qualitativos;

�� Combinação de métodos quantitativos e qualitativos;

�� Preferência por avaliações com múltiplos métodos;

�� Desenvolvimento de avaliações baseadas na teoria;

�� Preocupação com a questão ética na avaliação;

�� Uso maior da avaliação no setor privado;

�� Uso da avaliação para empoderar os interessados num programa;

�� Avanço da tecnologia e as preocupações éticas que surgem em paralelo;

�� Alteração nos formatos das avaliações em acompanhamento ao processo de reforma do Estado, no âmbito do neoliberalismo.

2.4 MODELO LÓGICO E TEORIA DO PROGRAMA

O Ministério do Planejamento adotou, em 2007, a metodologia de construção de Modelo Lógico, com o objetivo de aumentar a qualidade do Plano Plurianual, de avaliar e de qualificar o processo de revisão dos programas do PPA por meio de uma análise detalhada do desenho de cada um deles. O objetivo é tinha assegurar que o desenho dos programas estivesse efetivamente orientado para o enfrentamento de problemas existentes na sociedade, além de apresentar uma visão mais clara de todas as ações desenvolvidas em cada programa.

O Quadro Lógico, ou Logical Framework, ou Marco Lógico, ou Matriz Lógica, surgiu no contexto da cooperação internacional de apoio ao desenvolvimento, pela necessidade das agências internacionais de financiamento de projetos em acompanharem melhor como era aplicado o dinheiro emprestado.

O Marco Lógico consiste de uma matriz de duas entradas 4x4, que resume em seus 16 campos a estratégia do projeto, os possíveis riscos externos e os indicadores que possibilitem a aferição do desempenho. Desta forma ele

CURSO ON-PROFESSOR: RAFAEL ENCINAS

Prof. Rafael Encinas

representa um poderoso instrumento de comunicação (interna e externa) do projeto, bem como o centro da gerência do projeto.

A principal inovação do Marco Lógico está em sua estrutura lógica, que obriga à precisão no seu preenchimento. O QL é uma matriz que é elaborada sucessivamente num processo de estruturação daqueles elementos considerados os mais importantes de um projeto e que permitem apresentação sistemática, lógica e sucinta. O Marco Lógico é uma matriz, formada da seguinte forma:

Resumo Narrativo de Objetivos

Objetivo Superior: Cada projeto é a resposta a um problema detectado. O Objetivo Superior de um projeto é uma descrição da solução de um problema que se tenha diagnosticado. Ex.: Problema principal materna e infantil na populaçãoa taxa de mortalidade materna e infantil nessa população.

Objetivo do Projeto: O objetivo do projeto é o resultado esperado ao fim do período de execução do projeto. Cada projeto deve ter um único objetivo projeto. Quando uma operação tiver mais de um objetivo de projeto, devem ser elaborados mais de um marco lógico: um marco mestre do programa, com seu objetivo superior e objetivo de projeto e dois ou mais marcos subordinados. O objetivo superior de cadaobjetivo de projeto do programa (marco mestre), mas cada um tem seu próprio objetivo de projeto. Deve haver apenas um objetivo de projeto. Se houver outros objetivos, a cada um deve corresponder um projeto, o conjunto dos quais corresponderá a um programa.

Produtos: Produtos (ou componentes) são as obras, estudos, serviços e treinamentos específicos que se requer que o gerente de projeto produza com

-LINE – POLÍTICAS PÚBLICAS – CGUPROFESSOR: RAFAEL ENCINAS

www.pontodosconcursos.com.br

representa um poderoso instrumento de comunicação (interna e externa) do projeto, bem como o centro da gerência do projeto.

ovação do Marco Lógico está em sua estrutura lógica, que obriga à precisão no seu preenchimento. O QL é uma matriz que é elaborada sucessivamente num processo de estruturação daqueles elementos considerados os mais importantes de um projeto e que permitem apresentação sistemática, lógica e sucinta. O Marco Lógico é uma matriz, formada da seguinte forma:

Resumo Narrativo de Objetivos

Objetivo Superior: Cada projeto é a resposta a um problema detectado. O Objetivo Superior de um projeto é uma descrição da solução de um problema que se tenha diagnosticado. Ex.: Problema principal - alta taxa de mortalidade materna e infantil na população de baixa renda ---> Objetivo superior a taxa de mortalidade materna e infantil nessa população.

Objetivo do Projeto: O objetivo do projeto é o resultado esperado ao fim do período de execução do projeto. Cada projeto deve ter um único objetivo projeto. Quando uma operação tiver mais de um objetivo de projeto, devem ser elaborados mais de um marco lógico: um marco mestre do programa, com seu objetivo superior e objetivo de projeto e dois ou mais marcos subordinados. O objetivo superior de cada marco subordinado é idêntico ao objetivo de projeto do programa (marco mestre), mas cada um tem seu próprio objetivo de projeto. Deve haver apenas um objetivo de projeto. Se houver outros objetivos, a cada um deve corresponder um projeto, o conjunto

uais corresponderá a um programa.


CGU

22

representa um poderoso instrumento de comunicação (interna e externa) do

ovação do Marco Lógico está em sua estrutura lógica, que obriga à precisão no seu preenchimento. O QL é uma matriz que é elaborada sucessivamente num processo de estruturação daqueles elementos considerados os mais importantes de um projeto e que permitem a sua apresentação sistemática, lógica e sucinta. O Marco Lógico é uma matriz,

Objetivo Superior: Cada projeto é a resposta a um problema detectado. O Objetivo Superior de um projeto é uma descrição da solução de um problema

alta taxa de mortalidade > Objetivo superior - reduzir

Objetivo do Projeto: O objetivo do projeto é o resultado esperado ao fim do período de execução do projeto. Cada projeto deve ter um único objetivo de projeto. Quando uma operação tiver mais de um objetivo de projeto, devem ser elaborados mais de um marco lógico: um marco mestre do programa, com seu objetivo superior e objetivo de projeto e dois ou mais marcos

marco subordinado é idêntico ao objetivo de projeto do programa (marco mestre), mas cada um tem seu próprio objetivo de projeto. Deve haver apenas um objetivo de projeto. Se houver outros objetivos, a cada um deve corresponder um projeto, o conjunto




o orçamento que lhe é alocado. Cada produto tem que ser necessário para atingir o objetivo do projeto.

Atividades: As atividades são as tarefas que o executor tem que levar a cabo para produzir cada produto (componente).

Indicadores para Acompanhamento

Indicadores de objetivo superior e de objetivo de projeto: Os indicadores tornam específicos os resultados esperados, na realidade, em três dimensões: quantidade, qualidade e tempo.

Indicadores dos produtos: Os indicadores dos produtos (componentes) são descrições breves dos estudos, treinamento e obras físicas gerados pelo projeto.

Indicadores de atividades: O orçamento do projeto é o indicador de atividade correspondente a esta célula da matriz.

Fontes de Verificação

As fontes de verificação indicam ao executor ou ao avaliador onde é possível obter a informação necessária para a construção dos indicadores. Obriga os planejadores a identificar fontes existentes de informação ou a prever recursos para o levantamento de informações. Nem toda a informação tem que ser estatística. A produção de produtos (componentes) pode verificar-se mediante uma inspeção visual do especialista. A execução do orçamento pode verificar-se com os recibos apresentados.

Pressupostos

Cada projeto envolve riscos: ambientais, financeiros, institucionais, sociais, políticos, climatológicos ou outros fatores que podem fazer com que o mesmo fracasse. O risco se expressa como um pressuposto que tem que ser cumprido para avançar ao nível seguinte da hierarquia de objetivos. Os pressupostos, por definição, estão fora do controle direto do gerente de projeto.

O MPOG define o Marco Lógico como:



Baixa Saúde

da Comunidade

Falta de Qualificação

Profissional

Bebês

Prematuros

Falta de Publicidade

dos Programas

Assistenciais

Falta de Conhecimento

do Pré-Natal

Falta de Acesso

aos Programas

Assistenciais

Aleitamento Materno

Inadequado

Baixa

Escolaridade

Baixa

Renda

Familiar

Desnutrição

Materno-Infantil

Falta de Saneamento

Básico

Alta Morbidade

MortalidadeInfantil

Baixa Produtividade

na Família

Baixa Renda

Baixa Qualidade

de Vida

Metodologia utilizada como instrumento de avaliação da consistência do desenho dos programas do PPA que permite a visualização da teoria do programa de forma sistematizada por meio de uma árvore de problemas.

A Árvore de Problemas proporciona um conhecimento mais detalhado das razões que determinaram o desejo de mudanças da situação presente para uma nova situação futura. A árvore de problemas é um instrumento que permite a ordenação e hierarquização das causas e efeitos de um problema escolhido para dar início ao processo de planejamento e que, em última análise, representa o foco das preocupações de um grupo ou instituição que o querem ver resolvido. Todo esse agrupamento de problemas, composto tanto pelo problema originário da análise, chamado de problema central, como por suas causas e efeitos, é estruturado num diagrama conhecido como árvore de problemas. O problema central, como o nome indica, fica colocado no centro do diagrama, enquanto que suas causas hierarquicamente distribuídas ficam na parte inferior do diagrama e os efeitos, na parte superior.

Vamos ver um exemplo:

A partir da Árvore de Problemas é formulada a Árvore de Objetivos, que toma a mesma como base para a definição dos objetivos que se contrapõe aos problemas elencados. Substitui-se o problema por uma situação desejada, as



causas da árvore de problemas serão os meios da árvore de objetivos e os efeitos serão os fins.

Contudo, temos que entender que não se trata de se fazer uma simples "versão" do problema para o objetivo (por exemplo, trocar "serviço ineficiente" por "serviço eficiente"). Muitas vezes, é necessário se buscar o objetivo realmente desejado para o problema apontado. Vejamos um exemplo:

A lógica do modelo é que os recursos sejam aplicados em ações que gerem determinados produtos. Estes produtos, aplicados sobre o público-alvo, irão levar a resultados intermediários, que contribuem para o alcance dos resultados finais. O Manual conceitua Produto como “bem ou serviço que resulta da ação, destinado ao público-alvo ou o investimento para a produção deste bem ou serviço. Para cada ação deve haver um único produto. Em situações especiais, expressa a quantidade de beneficiários atendidos pela ação”. Ainda segundo o Manual, “este produto deve ser aquilo que é diretamente gerado pela ação do programa”.

Se o produto definido para a ação não é adequado, a avaliação do alcance das metas não terá significado algum em relação ao desempenho do órgão. O

Saúde

da Comunidade

Aumentada

Bebês

Pré-termo

Aumento da Publicidade

dos Programas

Assistenciais

Aumento do Conhecimento

do Pré-Natal

Aumento do Acesso

aos Programas

Assistenciais

Aleitamento Materno

adequado

Aumento da

Renda

Familiar

Aumento do índice

de Nutrição

Saneamento

Básico Aumentado

Morbidade

Reduzida

Redução do Índice de Mortalidade Infantil

Produtividade

na Família

Aumentada

Renda Familiar

Aumentada

Qualidade de Vida

Aumentada



Manual de Avaliação do PPA salienta a importância dos produtos na avaliação dos programas. Segundo o documento:

De forma a desenvolver uma avaliação com maior consistência e promover a participação dos principais atores envolvidos, sugere-se uma análise a partir dos produtos das ações, com a verificação dos índices de execução física e o exame do grau de contribuição desses produtos à consecução do objetivo do programa [grifo nosso].

Observa-se que os produtos são indispensáveis para uma boa avaliação dos programas do PPA, e esta pode ser prejudicada no caso de incoerência dos produtos utilizados no SIGPlan e aqueles que são efetivamente gerados na prática. Segundo o Manual de Elaboração do PPA 2008-2011:

Os pressupostos sobre as relações entre recursos e ações e como essas levam aos resultados esperados são frequentemente referidos como a teoria do programa. As hipóteses são de que os recursos certos serão transformados em ações necessárias para os beneficiários certos, e isso, em um contexto favorável, irá levar para os resultados que o programa pretende alcançar.

Modelo de avaliação baseado na Teoria do Programa tem como foco de avaliação os mecanismos de mudança (as respostas da realidade às intervenções feitas pelo Estado). Parte da ideia de que toda a intervenção na realidade está amparada por uma teoria a respeito de como os problemas surgem e quais são as estratégias ideais para solucioná-los. Por meio dessa teoria são definidos o desenho da ação e os resultados que são esperados. Busca avaliar a consistência entre teoria proposta, procedimentos adotados e resultados obtidos. Segundo o MPOG:

Entende-se por teoria do programa a relação de causa (problema) e efeito (resultados pretendidos) que motivaram a sua elaboração, incluindo os meios escolhidos (desenho do programa) para alcançar o objetivo definido, revelando os pressupostos sobre como os recursos alocados e as ações desenvolvidas levam aos resultados esperados.

A avaliação baseada na Teoria do Programa abrange a teoria normativa (descrição do programa, metas e resultados esperados) e a teoria causativa (construída por meio de dados que descrevam os resultados potenciais da ação, obtidos por meio da análise do perfil do cliente alvo da política, do contexto e das atividades a serem desenvolvidas).

Segundo o Núcleo de Estudos de Políticas Públicas da Unicamp:

A análise com base na teoria do programa procura avaliar em que medida as atividades desencadeadas pelo programa provocam um conjunto específico de respostas para atores e beneficiários do programa, permitindo



comparar os estágios de formulação e implementação. Neste sentido, as análises centradas na Teoria do Programa tendem a dar ênfase a análise dos mecanismos que levam a mudança e não nas atividades de funcionamento do programa, e como estas tendem a gerar benefícios ou não para os clientes do programa.

Esta avaliação pressupõe ser possível identificar em cada caso (ad hoc) uma rede razoavelmente estável de relação entre variáveis a serem analisadas, ou seja, que há uma teoria a respeito da intervenção do programa e as consequências desta intervenção. “Ad hoc” é uma expressão latina que quer dizer "com este objetivo". Geralmente significa uma solução designada para um problema ou tarefa específicos, que não pode ser aplicada em outros casos. Normalmente indica uma situação provisória ou improvisada.

2.5 ANÁLISE CUSTO-BENEFÍCIO E CUSTO-EFETIVIDADE

O edital de 2008 previa explicitamente a Análise Custo-Benefício e a Custo-Efetividade. O novo edital não as menciona, mas elas ainda podem ser cobradas dentro de avaliação.

Durante a década de 1960 nos Estados Unidos, estudos realizados comprovaram que algumas obras públicas estavam degradando a qualidade de vida e o meio ambiente. Entre essas obras estavam estradas e hidroelétricas, os críticos argumentavam que as consequências ambientais e sobre a saúde pública não estavam sendo consideradas. Assim na década de 70, muitos países industrializados estabeleceram políticas, nas quais os impactos ambientais passaram a ser considerados no processo de tomada de decisão, utilizando instrumentos de auxilio ao processo de tomada de decisão.

A análise custo benefício (ACB) e a análise custo-efetividade (ACE) são ferramentas que buscam comparar os custos estimados de determinado projeto com os benefícios esperados. Trata-se de uma forma de decidir sobre a adequabilidade e aceitabilidade de prosseguir com um projeto.

Essas avaliações olham para a relação custo-resultado, que vimos que se refere ao conceito de eficiência. Essa é a base dessas avaliações, é a eficiência. As duas medem a eficiência de diferentes alternativas.

A principal diferença entre a ACB e a ACE é que, na primeira, os custos e resultados podem ser traduzidos em unidades monetárias; já na segunda, os impactos não podem ser valorizados em moeda. Por exemplo, num programa que tenha como objetivo melhor a educação não temos como dar um valor monetário para esta melhora.



A ACB se baseia em uma regra muito simples: compara os benefícios e os custos de um projeto em particular e se os primeiros excedem aos segundos, fornecendo um elemento de julgamento inicial que indica sua aceitabilidade.

Dado que sempre existem alternativas para o investimento que se traduzem em projetos, a ACB proporciona um guia para hierarquiza-los racionalmente, ao relacionar seus benefícios e seus custos. Se os projetos estão sendo executados, permite determinar em que medida estão sendo obtidos seus fins, quando estes podem ser traduzidos a unidades monetárias.

A ACE segue exatamente a mesma lógica. Sua particularidade reside em comparar os custos com a potencialidade de alcançar mais eficaz e eficientemente os objetivos não expressáveis em moeda (avaliação ex-ante) ou com a eficácia e eficiência diferencial real que as diferentes formas de implementação mostraram no alcance de seus objetivos.

Análise Custo-Benefício

ACB permite determinar se os projetos são ou não rentáveis, comparando os fluxos atualizados de benefícios e custos previstos em sua implementação. A avaliação pode ser realizada a partir de duas óticas diferentes: a avaliação privada e a avaliação social. A principal diferença entre as duas é que a privada utiliza preços de mercado, tanto nos custos quanto nos produtos e se preocupa apenas com aquilo que é relevante na ótica do capitalismo, do empresário. Já a avaliação social considera importantes valores sociais, que não são precificados pelo mercado, como: impactos distributivos, os efeitos intangíveis, externalidades.

Tanto os custos quanto os benefícios são valorizados a preços-sombra ou de eficácia. Preço-sombra, segundo Mishan, é “aquele que o economista atribui a um bem ou fator com base no argumento de que ele é o mais apropriado para a finalidade do cálculo econômico do que o seu preço vigente, se houver”. Na avaliação de um projeto, o economista “corrige” certo número de preços de mercado e, da mesma forma, atribui preços a ganhos e perdas que não têm preços e que se espera que o esquema produza. Pode adicionar algo ao custo de um fator, ou subtrair do custo de um bem.

Na avaliação social, acrescenta-se ou retira-se do preço de mercado valores sociais importantes, como efeitos distributivos, custos e benefícios secundários, ou “externalidades”. Eles são produzidos como consequência, mas fora do âmbito em que este é realizado. Há também os efeitos intangíveis, como integração regional, efeitos sobre o clima e o meio ambiente, etc.



Se os custos e benefícios de um projeto se produzissem ao mesmo tempo, ou em um limitado período de tempo, não seria necessário considerar a dimensão temporal. Entretanto, normalmente os projetos incorrem em custos durante vários anos antes de começar a produzir benefícios. Isto mostra a necessidade de traduzir os custos de hoje e os benefícios futuros à mesma unidade de medida. A taxa de desconto deve ser considerada tanto na avaliação privada quanto na avaliação social de projetos.

Na avaliação privada, os projetos geram custos e benefícios ao longo de toda sua implementação. Para torná-los comparáveis é necessário que ambos convirjam para um momento do tempo. Por convenção e visando torná-los mais facilmente comparáveis a transações comuns, é escolhido o momento em que é realizada a avaliação. A taxa de desconto tem por objetivo traduzir a um valor presente os custos e benefícios que resultarão do projeto no futuro.

A taxa de desconto é fixada sobre a base do “custo de oportunidade” do capital, ou seja, quanto se pode ganhar com o seu investimento no mercado de capitais, ou em outro investimento alternativo.

Na avaliação social, as suposições da taxa de desconto são similares aos da avaliação privada. Utilizar os recursos disponíveis em um determinado projeto implica em não utilizá-los para outros fins. A taxa de desconto também será o custo de oportunidade, neste caso os ganhos que ocorreriam caso fosse escolhido outro projeto social.

Análise Custo-Efetividade

A ACE é definida como a técnica que leva em conta os custos e efeitos de selecionar alternativas, tornando possível escolher as que proveem os melhores resultados para qualquer determinado dispêndio de recursos ou aquela que minimize a utilização do recurso para qualquer determinado resultado.

Vimos que a ACE é usada quando não conseguimos valorar monetariamente os benefícios. Portanto, ela é utilizada como uma forma de comparar diferentes alternativas de solução. Para isso ela compara o grau de eficiência relativa de cada projeto, para estabelecer o que possui a melhor relação custo-benefício. Vimos que a eficiência se refere à relação custos e produtos, à otimização no uso de recursos com vistas a atingir uma produção maior. Apesar do nome da avaliação ser custo-efetividade, ela compara a eficiência porque ela quer saber qual projeto tem uma melhor relação entre custo e resultado. Para isso, ela precisa colocar os projetos sobre a mesma base de comparação. Esta pode ser



colocada no resultado, ou seja, “Qual projeto custo menos para produzir determinado resultado?”, ou sobre o custo, “Qual projeto produz mais resultado para cada unidade monetária gasta?”.

A ACE avalia as alternativas de decisão tornando comparáveis todos os efeitos em termos de uma unidade de produto não monetária e comparando o impacto das alternativas. A ACE permite comparar o grau de eficiência relativa que têm projetos diferentes para obter os mesmos produtos. De modo similar, no caso de existir diversas alternativas para alcançar os objetivos de um projeto, pode ser descoberta a ótima, seja minimizando os custos a um certo nível dado de êxito, ou maximizando o alcance dos fins para um nível de gasto total prefixado.

A ACE é apropriada principalmente quando se deseja comparar opções alternativas de programas que têm o mesmo objetivo, com a finalidade de definir qual deles terá a melhor performance em comparação com os recursos gastos. Contudo, caso os projetos tenham objetivos diferentes, não poderemos compará-los com a ACE. Um projeto que busque a melhora na educação não poderá ser comparado com outro que busque a redução das mortes nas estradas.

O uso da análise custo-efetividade libera o avaliador das restrições impostas à correta medição dos benefícios, colocando-lhe, por outro lado, frente a não menos difícil tarefa de medir os impactos do programa em termos da efetividade da intervenção como um “produto” específico. O produto, portanto, pode ser avaliado de acordo com seus próprios atributos, ao invés de ter de ser convertido em valores monetários. Nesse sentido, a abordagem da ACE permite uma avaliação direta de alternativas de programas que têm os mesmos objetivos.

Vamos ver um exemplo: um programa que busque melhorar os índices de educação no ensino fundamental. As alternativas de solução são: treinar professores, construir mais escolas ou comprar computadores. Na tabela a seguir temos os custos e benefícios esperados de cada alternativa:

Alternativas Custo (A)

Melhora no índice de Educação (B)

Custo-Efetividade (A/B)

Treinamento de professores

30 15% 2

Computadores 50 20% 2,5

Infraestrutura 40 18% 2,22



O custo-efetividade representa a divisão do custo pelo resultado, ou seja, quanto custa para aumentar em 1% o índice de educação. O treinamento de professores custará 2,00 para cada ponto percentual aumentado, Os computadores custarão 2,5 e a infraestrutura 2,22. Portanto, o treinamento é a melhor opção, pois possui a melhor eficiência relativa entre as alternativas. Poderíamos fazer a divisão inversa, aí saberíamos quanto cada alternativa aumentaria no índice de educação para cada unidade monetária gasta.

3 Coleta, Análise e Interpretação de Informações

Toda avaliação busca responder algumas perguntas. No TCU, chamamos elas de “Questões de Auditoria”, que são “o elemento central na determinação do direcionamento dos trabalhos de auditoria, das metodologias e técnicas a adotar e dos resultados que se pretende atingir”. Elas podem ser classificadas em alguns tipos:

�� Questões descritivas: formuladas de maneira a fornecer informações detalhadas sobre, por exemplo, condições de implementação ou de operação de determinado programa ou atividade, mudanças ocorridas, problemas e áreas com potencial de aperfeiçoamento. Buscam aprofundar aspectos tratados de forma preliminar durante a etapa de planejamento. Exemplos de questão descritiva: “Como os executores locais estão operacionalizando os requisitos de acesso estabelecidos pelo programa?”.

�� Questões normativas: São aquelas que tratam de comparações entre a situação existente e aquela estabelecida em norma, padrão ou meta, tanto de caráter qualitativo quanto quantitativo. A abordagem metodológica empregada é a comparação com critérios previamente identificados e o desempenho observado. Abordam o que deveria ser e usualmente são perguntas do tipo: “O programa tem alcançado as metas previstas?”; “Os sistemas instalados atendem às especificações do programa?”.

�� Questões avaliativas (ou de impacto, ou de causa-e-efeito): As questões avaliativas referem-se à efetividade do objeto de auditoria e vão além das questões descritivas e normativas para enfocar o que teria ocorrido caso o programa ou a atividade não tivesse sido executada. Em outras palavras, uma questão avaliativa quer saber que diferença fez a intervenção governamental para a solução do problema identificado. O escopo da pergunta abrange também os efeitos não esperados, positivos ou negativos, provocados pelo programa. Exemplo de questão avaliativa: “Em



que medida os efeitos observados podem ser atribuídos ao programa?”. As questões avaliativas quase sempre requerem estratégias metodológicas bastante complexas, envolvendo modelos experimentais com grupos de controle, análises estatísticas sofisticadas e modelagem.

�� Questões exploratórias: Destinadas a explicar eventos específicos, esclarecer os desvios em relação ao desempenho padrão ou as razões de ocorrência de um determinado resultado. São perguntas do tipo: “Quais os principais fatores que respondem pela crise do sistema de transporte aéreo?”; “Que fatores explicam o aumento expressivo nos gastos com pagamento dos benefícios de auxílio-doença ao longo da última década?”

Depois que as perguntas são definidas, o próximo passo é determinar que informações são necessárias para responder cada pergunta. Por exemplo: “as atividades críticas do programa foram realizadas a tempo e dentro do orçamento?”. Seria preciso saber que atividades foram consideradas críticas, prazos e orçamento do programa relativos a cada atividade, quando cada atividade começou e terminou e o custo total de cada atividade.

No TCU, as auditorias operacionais possuem como um de seus instrumentos mais importantes a Matriz de Planejamento. O propósito da matriz de planejamento é auxiliar a elaboração conceitual do trabalho e a orientação da equipe na fase de execução. É uma ferramenta de auditoria que torna o planejamento mais sistemático e dirigido, facilitando a comunicação de decisões sobre metodologia e auxiliando a condução dos trabalhos de campo.

A Matriz é composta dos seguintes elementos:



Vocês podem perceber que a segunda coluna refere-se às informações requeridas para responder a questão. Uma vez identificadas as informações necessárias, deve-se enumerar onde as informações serão buscadas, como documentação legal e institucional que dá suporte ao objeto de auditoria, legislação orçamentária (PPA, LDO e LOA); missão declarada, planos estratégicos e relatórios de gestão; atas de reuniões; sistemas de informações gerenciais; sistemas de informações da administração pública (SIAFI, SIGPlan, SIDOR, SIASG); bibliografia especializada, etc.

A estratégia metodológica é a forma geral do desenho investigativo que será adotado na auditoria e deve ser especificado nas colunas de procedimentos de coleta e análise de dados. Devem-se registrar a abordagem e os métodos que serão empregados na investigação de cada questão e subquestão formulada. A estratégia metodológica está diretamente relacionada com a qualidade das evidências que podem ser obtidas, o que, por sua vez, influirá na confiabilidade das conclusões do trabalho. A Intosai relaciona as abordagens mais adequadas para responder a algumas questões típicas de auditoria operacional, conforme o quadro abaixo:

Entre os métodos mais empregados nas auditorias operacionais estão pesquisa documental, estudo de caso e pesquisa (survey). A pesquisa experimental, quase-experimental e não-experimental, utilizadas em avaliação de programas, também fazem parte das opções de estratégia metodológica.

�� Pesquisa documental: abrange o exame de toda espécie de registros administrativos, inclusive estatísticas oficiais. Além de material produzido pela instituição auditada, são pesquisados relatórios de auditorias anteriores do TCU e da CGU, assim como estudos realizados por outras instituições. Denomina-se pesquisa bibliográfica a que abrange a



bibliografia tornada pública em relação ao tema de estudo. Ao se realizar pesquisa documental é necessário avaliar a confiabilidade das informações divulgadas, assim como determinar a natureza, localização e disponibilidade dos documentos no início da auditoria. Esses cuidados têm por objetivo garantir o melhor aproveitamento da informação ao menor custo possível e verificar a viabilidade de se responder à questão.

�� Estudo de Caso: “Estudo de caso é um método usado para conhecer uma situação complexa, baseado em compreensão abrangente da situação, obtida a partir de sua ampla descrição e análise, considerada como um todo e no seu contexto”. Em auditoria operacional os estudos de caso são frequentemente complementados por outras estratégias metodológicas, como a pesquisa. Segundo Patton:

Estudos de caso tornam-se especialmente úteis quando é necessário entender algum problema específico ou situação em grande profundidade e onde é possível identificar casos ricos em informação – ricos no sentido de que muito pode ser aprendido de uma pequena amostra do fenômeno em questão. Por exemplo, geralmente muito pode ser aprendido sobre como aperfeiçoar um programa estudando desistências, fracassos e sucessos selecionados.

�� Pesquisa: a pesquisa é uma estratégia metodológica que permite obter informações de caráter quantitativo e qualitativo relacionadas tanto aos aspectos operacionais e gerenciais, como aos resultados esperados. Com frequência, é utilizada em conjunto com estudos de caso como suporte para as análises de caráter qualitativo, típicas dessa última estratégia. Quando a pesquisa for baseada em amostragem estatística, é possível generalizar as conclusões para toda a população. Para garantir essa generalização, a amostra deve refletir as características da população-alvo. Qualquer deficiência do método amostral utilizado deve ser levada em conta na interpretação dos resultados da pesquisa e ser devidamente relatada.

�� Pesquisa Experimental: Na pesquisa experimental, para verificar se um programa é a causa de determinado efeito, selecionam-se dois grupos de unidades de pesquisa (pessoas, escolas, hospitais, etc.):

o o grupo experimental ou de tratamento, que será exposto ao programa;

o o grupo de controle, que não será exposto.

As diferenças observadas nos resultados obtidos por esses grupos, com algumas qualificações, poderão ser atribuídas à presença do programa. O



procedimento, para ser considerado um experimento em sentido estrito, requer que as unidades de pesquisa, em ambos os grupos, sejam selecionadas de forma randômica ou aleatória. Isso visa fortalecer a conclusão sobre o vínculo causal, garantindo que a maioria dos fatores não manipulados pelo programa e que poderiam influenciar os seus resultados está uniformemente distribuída entre os dois grupos. Dessa forma, apenas os efeitos do programa explicariam as diferenças observadas.

�� Pesquisa Quase-Experimental: A realização da pesquisa experimental envolve dificuldades de ordem tanto prática, tratados no subitem anterior, quanto ética (ex.: excluir do programa um grupo de beneficiários em potencial para que operem como grupo de controle). Dessa forma, a pesquisa quase-experimental apresenta-se como estratégia metodológica alternativa. Assim, os grupos de comparação são selecionados com base na disponibilidade e na oportunidade. As estratégias utilizadas nesses casos são menos robustas do que a pesquisa experimental. Quanto maiores forem as diferenças iniciais entre os grupos de tratamento e de controle, mais ambíguas serão as conclusões alcançadas. Para minimizar esse problema, devem-se selecionar grupos que sejam tão equivalentes quanto possível, ou seja, grupos que possam ser comparados. Para se garantir a equivalência entre os grupos, é essencial aplicar um pré-teste, destinado a verificar as diferenças preexistentes e, dessa forma, permitir a interpretação e o controle dos resultados do estudo.

�� Pesquisa Não-Experimental: muitas vezes é impossível utilizar até mesmo modelos quase-experimentais. A fragilidade inerente a essas pesquisas é o fato de que não há controle sobre explicações alternativas, ou seja, as mudanças observadas podem ter sido causadas por variáveis não associadas ao programa. Quando a coleta de dados é executada adequadamente, estudos dessa natureza oferecem valiosas informações sobre o programa. Entretanto, apresentam problemas consideráveis quando o objetivo é estabelecer um juízo sobre o programa ou determinar em que medida os resultados obtidos podem ser a ele atribuídos. Assim, quando se tratar de uma avaliação de programa, essas pesquisas devem ser realizadas em conjunto com outras estratégias metodológicas.

Uma vez definida a estratégia metodológica, deve-se detalhar na matriz de planejamento os procedimentos que serão empregados na coleta de dados, utilizando-se as técnicas apropriadas. As técnicas mais utilizadas são: questionário, entrevista, observação direta e utilização de dados existentes.



Depois dos métodos de coleta dos dados, são estabelecidos os métodos de análise dos dados. Técnicas de análise de dados são ferramentas usadas para organizar os dados coletados e investigar as relações que se pretende estabelecer entre as variáveis selecionadas para responder às questões de auditoria. Essas ferramentas têm correspondência com as técnicas adotadas na coleta de dados.

3.1 PESQUISA QUANTITATIVA X QUALITATIVA

Uma das maiores controvérsias em relação à avaliação de programas girava em torno do uso de métodos qualitativos ou quantitativos. Atualmente, esta discussão parece estar superada. Vimos acima as tendências na avaliação, e uma delas é a combinação de métodos quantitativos e qualitativos, ou seja, deve-se utilizar os dois tipos, conjuntamente. Vamos ver duas questões:

1. (CESPE/DESO/2003) Atualmente, não existe consenso entre os avaliadores de programas e projetos sociais a respeito do método (qualitativo ou quantitativo) a ser adotado no processo de avaliação.

A questão é errada. Existe consenso sim. Devem-se utilizar os dois métodos juntos, avaliando tanto qualitativamente quanto quantitativamente.

2. (CESPE/DPF/2004) Na avaliação de políticas e programas sociais, a partir da década passada, procurou-se superar o uso de métodos econométricos, originários de estudos econômicos.

A questão é certa. O termo “superar” significa ir além sem abandonar. Portanto, procurou-se incorporar aos métodos quantitativos os qualitativos. A maior parte dos avaliadores concorda que nenhum método isolado é sempre apropriado. O método deve ser selecionado com base na questão que a pessoa está tentando resolver. Segundo Maruso Serapioni:

Do ponto de vista metodológico, não há contradição, assim como não há continuidade, entre investigação quantitativa e qualitativa. Ambas são de



natureza diferente. A investigação quantitativa atua em níveis de realidade e tem como objetivo trazer à luz dados, indicadores e tendências observáveis. A investigação qualitativa, ao contrário, trabalha com valores, crenças, representações, hábitos, atitudes e opiniões.

De um lado, os métodos quantitativos são débeis em termos de validade interna (nem sempre sabemos se medem o que pretendem medir), entretanto são fortes em termos de validade externa: os resultados adquiridos são generalizáveis para o conjunto da comunidade. Ao contrário, os métodos qualitativos têm muita validade interna (focalizam as particularidades e as especificidades dos grupos sociais estudados), mas são débeis em termos de sua possibilidade de generalizar os resultados para toda a comunidade.

Os métodos qualitativos devem ser utilizados quando o objeto de estudo não é bem conhecido. Por sua capacidade de fazer emergir aspectos novos, de ir ao fundo do significado e de estar na perspectiva do sujeito, são aptos para descobrir novos nexos e explicar significados. Por isso, os métodos qualitativos são muito importantes na fase preliminar da pesquisa.

Se o objeto de estudo está bem definido, já que outras pesquisas têm acumulado um corpo suficiente de conhecimentos sobre o tema, trata-se então de verificar somente se este corpo de conhecimentos vale em outras situações, ainda não exploradas empiricamente. Neste caso podem-se utilizar métodos de pesquisa quantitativa.

Existem alguns preconceitos em relação aos métodos qualitativos que devem ser superados. Primeiro, eles não estão relacionados à sensibilidade e intuição do pesquisador. A sensibilidade é um atributo necessário e desejável em todos os tipos de pesquisa social. Segundo, atribui-se maior cientificidade à abordagem quantitativa, mas os métodos qualitativos são tão rigorosos quanto os quantitativos. Qualquer método requer um conjunto de regras e procedimentos, que permitem controlar os componentes subjetivos da interpretação.

Vamos ver as características de cada método segundo Reichardt & Cook:

Qualitativos Quantitativos

�� Analisam o comportamento humano,

do ponto de vista do ator, utilizando a

observação naturalista e não

controlada;

�� São orientados à busca da

magnitude e das causas dos

fenômenos sociais, sem interesse pela

dimensão subjetiva e utilizam



�� São subjetivos e estão perto dos

dados (perspectiva de dentro, insider),

orientados ao descobrimento;

�� São exploratórios, descritivos e

indutivos;

�� São orientados ao processo e

assumem uma realidade dinâmica;

�� São holísticos e não generalizáveis.

procedimentos controlados;

�� São objetivos e distantes dos dados

(perspectiva externa, outsider),

orientados à verificação e são

hipotético-dedutivos;

�� Assumem uma realidade estática;

�� São orientados aos resultados, são

replicáveis e generalizáveis.

3.2 MÉTODOS DE COLETA DE DADOS

a) Questionários

Os questionários, também chamados de surveys, podem ser criados para avaliar atitudes, opiniões, comportamento, particularidades da vida (renda, tamanho da família, condições de moradia, etc.) ou outras questões. Eles têm em comum o fato de ser aferições na base do lápis e papel destinadas a obter respostas que forneçam dados. As aferições podem ser administradas individualmente, em grupos, pelo correio ou pela internet, que tem proporcionado uma facilidade maior na coleta dos dados.

É um método estruturado de coleta de dados, por meio de formulário, usado para quantificar informação padronizada, sobre grande número de unidades de pesquisa. Ele permite: comparar respostas; realizar análise estatística; generalizar as conclusões, no caso de amostras aleatórias.

Os tipos de perguntas compreendidos em um questionário podem ser perguntas abertas com as quais se trabalha a análise de conteúdo; de perguntas abertas que contemples respostas breves e objetivas (como o número de filhos); de questões de múltipla escolha; de questões com respostas adjetivadas (como classificação de tópicos usando-se excelente, muito bom, regular, ruim, muito ruim); de questões com respostas adverbiais (sempre, frequentemente, nunca); e de questões que usam a escala Likert (concordo inteiramente, concordo parcialmente, indiferente, discordo parcialmente, discordo inteiramente).



b) Técnicas Delphi e Q-sorts

Estas são técnicas quantitativas utilizadas para obter opiniões de grupos.

O método Delphi é um processo estruturado que utiliza uma série de questionários ou rondas para obter e fornecer informação. Ele tem por finalidade levar um grupo ao consenso e faz o uso de uma série de questionários especiais enviados pelo correio. A primeira remessa de perguntas pede aos participantes que deem opiniões sobre a questão. As remessas subsequentes mostram resumos estatísticos dos resultados das remessas anteriores, lembrando a pessoa de suas primeiras respostas. Os participantes podem então mudar sua resposta ou justificá-la se ela estiver fora do intervalo interquartil (entre 25% e 75%). É usada principalmente com especialistas que se encontram dispersos geograficamente.

A técnica Q-sort é semelhante à técnica Delphi no sentido de obter opiniões sobre necessidades ou objetivos, mas não procura fazer os participantes chegarem a um consenso nem faz uso de uma série de remessas postais. O método utiliza listas de declarações de necessidades ou declarações de metas às quais foram atribuídos números que, por usa vez, são colocados em cartões. Pede-se aos participantes para classificar as questões apresentadas nos cartões.

c) Entrevista

É um método presencial de obtenção de informação por meio de perguntas e respostas. É um método de coleta de informações que consiste em uma conversação, individual ou em grupo, com pessoas selecionadas cuidadosamente, e cujo grau de pertinência, validade e confiabilidade é analisado na perspectiva dos objetivos da coleta de informações.

Nos trabalhos de auditoria, a entrevista é utilizada como técnica qualitativa de coleta de dados para obter informação em profundidade sobre o tema da auditoria. Segundo a Intosai, a entrevista serve para ampliar o conhecimento sobre o objeto auditado e obter a percepção de gestores, especialistas e beneficiários de programas governamentais sobre o aspecto examinado e, ainda, investigar indícios de irregularidades e fraudes. Além disso, é útil para coletar informações preliminares, na fase de diagnóstico do problema, que serão usadas no desenho do projeto de auditoria. Serve ainda como ferramenta para auxiliar na interpretação de dados obtidos por meio do uso de outros métodos de coleta e para explorar possíveis recomendações.



Como limitação, as informações coletadas podem ser insuficientes para sustentar os achados ou, podem ser viesadas, caso não sejam tomados cuidados na condução da entrevista e na seleção dos entrevistados. Para reduzir os riscos associados à escolha dos entrevistados, os critérios mais importantes a serem observados, são a representatividade, a credibilidade e a imparcialidade do entrevistado selecionado.

A entrevista pode ser:

�� Não Estruturada: o entrevistador segue o ritmo livre do entrevistado, fazendo perguntas ocasionais para ajustar o foco ou esclarecer aspectos não compreendidos, com base no guia elaborado pela equipe com os principais pontos de interesse. Sua utilização é apropriada na fase inicial dos trabalhos, quando a equipe necessita aprofundar o conhecimento do tema;

�� Estruturada: o entrevistador segue roteiro fixo e padronizado de perguntas, também denominado questionário, cuja ordem e redação permanece invariável para todos os entrevistados. Geralmente empregada quando se quer obter informação de um grande número de entrevistados, podendo ser realizada por telefone. A utilização de perguntas fechadas, isto é, com respostas-padrão pré-elaboradas, facilita o tratamento estatístico das informações coletadas.

�� Semi-estruturada: o entrevistador segue o roteiro elaborado com perguntas fechadas e poucas perguntas abertas. Esse tipo de entrevista procura incorporar as vantagens da entrevista estruturada, deixando espaço para o entrevistado complementar informações ou manifestar livremente sua opinião sobre o tema abordado. As perguntas aparentemente abertas são a que melhor se adéquam a este tipo de entrevista.

d) Grupo Focal

É uma técnica qualitativa. Funciona como uma entrevista no sentido de envolver interações diretas, mas baseia-se num processo coletivo. Um facilitador lança mão de ideias ou questões levantadas pelos participantes desses grupos para descobrir a reação de outros participantes.

Em geral, os grupos são compostos de 8 a 12 indivíduos desconhecidos entre si que compartilham características homogêneas. A homogeneidade é desejável para facilitar a interação do grupo.



e) Observação Direta

A observação direta é uma técnica de coleta de dados que utiliza os sentidos para compreender determinados aspectos da realidade. Não consiste apenas em ver e ouvir, mas também em examinar fatos ou fenômenos que se desejam estudar. Trata-se de registro presencial e sistemático de informações, predefinidas em roteiro. Requer treinamento e preparação específica em, por exemplo, técnicas de anotação de campo, bem como capacidade de concentração e percepção seletiva.

Empregado principalmente para obter informação contextualizada sobre a forma de funcionamento do objeto auditado. As vantagens desse método podem ser assim resumidas:

�� Permite ao observador compreender o contexto no qual se desenvolvem as atividades;

�� Permite ao observador testemunhar os fatos, sem depender de informações de terceiros;

�� Permite que um observador treinado perceba aspectos que escapam aos participantes, rotineiramente envolvidos com o programa;

�� Pode captar aspectos do programa sobre os quais os participantes não desejam falar numa entrevista, por ser um tema delicado ou embaraçoso;

�� Traz para a análise as percepções do próprio observador, que, ao serem confrontadas com as percepções dos entrevistados, fornecem uma visão mais completa do programa estudado;

�� Permite que o observador forme impressões que extrapolem o que é possível registrar, mesmo nas mais detalhadas anotações de campo, e que podem auxiliar na compreensão do programa e dos seus participantes.

A diferença entre as técnicas de observação direta e inspeção física é que enquanto a inspeção física é aplicada para situações estáticas (equipamentos, instalações e infraestrutura em geral) a observação direta é indicada para situações dinâmicas (prestação de serviços, execução de processos, por exemplo).



3.3 MÉTODOS DE ANÁLISE DOS DADOS

Técnicas de análise de dados são ferramentas usadas para organizar os dados coletados e investigar as relações que se pretende estabelecer entre as variáveis selecionadas para responder às questões de auditoria.

Essas ferramentas têm correspondência com as técnicas adotadas na coleta de dados. Geralmente, a análise de dados é um procedimento interativo, isto é, realizam-se análises iniciais na fase de planejamento e, à medida que a auditoria progride, as análises são refinadas. Ampla variedade de técnicas de análise pode ser usada. As mais comuns são análise de frequências em tabelas e análise gráfica:

a) Tabulação de Frequências

São tabulações complexas para checar relações. A análise deve ser realizada com o auxílio de software adequado que permita o cálculo de frequências, o teste de hipóteses e a representação gráfica dos dados. Essas técnicas são usadas para analisar dados coletados por meio de questionários ou de extração de dados administrativos.

b) Análise gráfica de Dados

Por meio do uso de gráficos (histograma, gráfico de Pareto, gráfico de barras, setograma, gráfico de dispersão, caixa-e-haste) é possível sintezar informações e revelar tendências, regularidades, descontinuidades, desempenhos extremos (bons e ruins), desigualdades na distribuição de bens e serviços públicos.

c) Análise Envoltória de Dados

Segundo Ângelo Henrique Lopes da Silva, a análise DEA:

é um método não-paramétrico que utiliza programação linear para construir uma fronteira de eficiência a partir de uma amostra de firmas ou Unidade Tomadora de Decisão (DMU – Decision Making Unit), calculando índices individuais de ineficiência em relação a essa fronteira.

É uma definição complexa, vamos tentar entendê-la por partes. Os testes paramétricos incidem sobre parâmetros de duas ou mais populações, como a média e o desvio padrão, e presupõem uma forma particular e conhecida das distribuições populacionais de onde as amostras foram recolhidas (normal,



binomial, p. ex.). Os testes não-paramétricos não pressupõem que qualquer forma para a distribuição de probabilidades dos dados em análise.

A Programação Linear corresponde a problemas de otimização, ou seja, buscam a distribuição eficiente de recursos limitados para atender um determinado objetivo, em geral, maximizar lucros ou minimizar custos. Esse objetivo é expresso através de uma função linear, denominada de "Função Objetivo".

Assim, a partir de um grupo de unidades tomadoras de decisão, a DEA constrói a função a partir das unidades mais eficientes do grupo. A análise é chamada de envoltória porque nenhuma DMU pode ficar além da fronteira de eficiência, ela envolve a todos. As DMU que formam a fronteira recebem uma pontuação de eficiência máxima, no caso 1,0, que representa 100%. As demais firmas têm sua eficiência relativa calculada em relação a esta fronteira, ficando com sua pontuação entre 0 e 1,0.

d) Análise Estatística Multivariada

Na investigação científica os fenômenos são estudados e analisados buscando-se soluções para problemas relevantes para a sociedade. As respostas desses fenômenos são mensuradas em mais de uma variável e, em geral, as análises são realizadas separadamente para cada uma delas. As técnicas e métodos científicos da estatística multivariada procuram contemplar todas essas variáveis de uma forma integrada.

Existem vários métodos de análise multivariada, com finalidades bem diversas entre si. A Análise de Agrupamentos tem como objetivo encontrar e separar objetos em grupos similares. Essa técnica pode ser observada, por exemplo, se se tiver vários produtos em uma determinada prateleira de um supermercado, e distribuir esses produtos, na prateleira, segundo suas características.

A Análise de Componentes Principais busca abordar aspectos como a geração, a seleção e a interpretação das componentes investigadas. Ainda pretende-se determinar as variáveis de maior influência na formação de cada componente, que serão utilizadas para estudos futuros, tais como de controle de qualidade, estudos ambientais, estudos populacionais entre outros. A ideia central da análise baseia-se na redução do conjunto de dados a ser analisado, principalmente quando os dados são constituídos de um grande número de variáveis inter-relacionadas.

A Análise Fatorial tem como objetivo reduzir o número de variáveis iniciais com a menor perda possível de informação. Ela não se refere, apenas, a uma



técnica estatística, mas a um conjunto de técnicas relacionadas, para tornar os dados observados mais claros para a interpretação. Isso é feito analisando-se os inter-relacionamentos entre as variáveis, de tal modo que essas possam ser descritas convenientemente por um grupo de categorias básicas, em número menor que as variáveis originais, chamado fatores.

Esses são métodos quantitativos. Usa-se ainda a análise qualitativa, com base em julgamento profissional da equipe ou de especialistas consultados, das informações coletadas ou produzidas pela equipe, registradas em mapas de processo, indicadores de desempenho, documentos oficiais, avaliações realizadas por outros agentes. O tipo de análise depende do problema a ser investigado e dos recursos disponíveis para o trabalho. As análises qualitativas abrangem a comparação e o contraste entre informações proveniente de fontes diferentes, de unidades de pesquisa que apresentam boas e más práticas, comparações mais gerais entre unidades de pesquisa.

Na análise e interpretação de dados qualitativos, pode-se adotar ainda:

e) Análise de Conteúdo

Técnica de análise sistemática de informação textual, organizada de forma padronizada, que permite realizar inferência sobre seu conteúdo. Pode ser usada para analisar transcrições de entrevistas, grupos focais e documentos, como relatórios, descrição de política pública.

f) Triangulação

Uso de diferentes métodos de pesquisa e/ou de coleta de dados para estudar a mesma questão, com o objetivo de fortalecer as conclusões finais, podendo assumir as formas a seguir indicadas:

�� coletar dados de diferentes fontes sobre a mesma questão;

�� empregar diferentes entrevistadores e pesquisadores de campo para evitar vieses na coleta de dados;

�� usar múltiplos métodos de pesquisa para estudar a mesma questão;

�� usar teorias diferentes para interpretar os dados coletados.



g) Interpretações alternativas

Uma vez formulada uma interpretação a partir das principais relações identificadas na análise, devem-se buscar interpretações alternativas; caso não sejam encontradas evidências substantivas que sustentem essas interpretações, reforça-se a confiança na interpretação originalmente formulada. Segundo a Intosai, em uma auditoria operacional de qualidade, os argumentos sustentados pela equipe devem ser confrontados com os melhores contra-argumentos possíveis.

h) Caso negativo

Relacionado ao item anterior, trata-se de identificar as situações que não seguem a interpretação principal ou corrente em razão de circunstâncias específicas e que, por isso mesmo, funcionam como “exceções (casos negativos) que confirmam a regra” e que ajudam a esclarecer os limites e as características da interpretação principal.

4 Questões Comentadas

1. (ESAF/APO-MPOG/2008) A avaliação de desempenho governamental – em suas várias dimensões e modalidades – representa um poderoso instrumento gerencial, capaz de subsidiar o processo decisório e de lançar luz sobre a lógica das intervenções públicas em geral: políticas, programas e projetos. Abaixo encontram-se alguns enunciados sobre os conceitos de eficácia e efetividade, centrais à avaliação do desempenho governamental. Identifique os que são Falsos e Verdadeiros e depois assinale a resposta correta.

( ) Objetivo é a situação que se deseja obter ao final da implementação de uma política, programa ou projeto, mediante a aplicação dos recursos e da realização das ações previstas.

( ) O conceito de eficácia se refere ao grau em que se alcançam os objetivos e metas do projeto na população beneficiária, em um determinado período de tempo, em relação aos custos implicados.

( ) Efeito é todo comportamento ou acontecimento que se pode razoavelmente dizer que sofreu influência de algum aspecto da política, programa ou projeto.



( ) Os efeitos procurados correspondem aos objetivos que a intervenção pretendia atingir, sendo, por definição, previstos e positivos.

( ) Os efeitos não procurados são diretos, podendo ser positivos ou negativos, e resultam de falhas na elaboração do programa ou projeto e/ou a limitações do conhecimento disponível sobre uma determinada área ou assunto.

( ) Efetividade constitui a relação entre os resultados obtidos e o objetivo.

a) V, F, V, V, V, V

b) V, F, V, V, F, V

c) V, F, V, V, V, F

d) V, F, F, V, V, V

e) V, V, F, F, F, V

Objetivo é a situação que se deseja obter ao final de um período. Trata-se de um conceito qualitativo, em que se estabelece o que deve existir ao final do projeto, mediante a aplicação dos recursos e da realização das ações previstas. Já a meta é definida como um objetivo temporal, espacial e quantitativamente dimensionado. É um objetivo para o qual se estabeleceu o sujeito da ação, se quantificou o objetivo e se determinou um prazo para atingi-lo.

Por exemplo, o programa “Brasil Alfabetizado e Educação de Jovens e Adultos” tem como objetivo “Elevar o nível de alfabetização e de escolaridade da população de jovens e adultos”. A meta é reduzir de 23% para 15% o percentual da população na faixa etária de 15 ou mais com escolaridade inferior à 4ª série até 2011. Portanto, a meta expressou em números e temporalmente o objetivo. A primeira afirmação é verdadeira.

A segunda afirmação é falsa porque a eficácia não se preocupa com os custos, apenas com oi alcance de metas.

A terceira afirmação é verdadeira. A definição de efeito é de Cohen e Franco: “Efeito é todo comportamento ou acontecimento que se pode razoavelmente dizer que sofreu influência de algum aspecto do projeto ou programa”. Enquanto os objetivos constituem a situação que se pretende atingir com a realização do projeto, se localizando temporalmente antes da realização do projeto, os efeitos constituem resultados das ações consideradas pelo projeto e, portanto, são verificados durante ou depois do mesmo.

Segundo os autores, dados seus objetivos de resultado, um projeto deve ter efeitos procurados, previstos, positivos e relevantes. Os efeitos procurados



têm que ser previstos, uma vez que não se pode procurar ou desejar o que se desconhece, e também têm de ser positivos, já que não seria lógico elaborar projetos para conseguir resultados negativos. A quarta afirmação é verdadeira.

Contudo, também podemos falar em efeitos não procurados. Estes podem ter sido previstos na elaboração do projeto, sendo positivos quando se trata de consequências não centrais para os propósitos estabelecidos, ou negativos, quando podem prejudicar o possível êxito do projeto. Neste caso se tentará minimizar seu impacto. Também haverá efeitos não previstos, surgidos em decorrência de limitações do conhecimento disponível ou por desinformação daqueles que elaboraram o projeto. A quinta afirmação é falsa porque os efeitos não procurados são indiretos, e não diretos.

Gabarito: B.

2. (ESAF/EPPGG-MPOG/2008) Sobre os modelos de avaliação de desempenho e resultado que podem ser utilizados no setor público, associe a coluna A com a coluna B, assinalando a opção que indica as relações corretas. Coluna A Coluna B

A1 - É adequada para avaliar tanto processos quanto resultados, mas pressupõe ser possível identificar ad-hoc uma rede razoavelmente estável de relação entre variáveis a serem analisadas.

A2 - Fornece uma perspectiva sistêmica e abrangente, mas focaliza essencialmente indicadores de resultado, dificultando análises sobre a heterogeneidade dos processos subjacentes ao fenômeno estudado.

A3 - Permite estimar a eficiência de diferentes unidades de decisão, mas realiza análise essencialmente comparativa fundada em pressupostos sobre a tecnologia subjacente.

A4 - Fornece as bases para estabelecimento de relações de causalidade entre variáveis, tem sido utilizada com sucesso na área agrícola e na medicina e inspira grande credibilidade.

B1 - Modelo de Avaliação Baseado em Análise Envoltória de Dados

B2 - Modelo de Avaliação Baseado em Estudos Experimentais

B3 - Modelo de Avaliação Baseado na Teoria do Programa

B4 - Modelo de Avaliação Baseado em Testes Padronizados

a) A1-B3, A2-B2, A3-B4, A4-B1

b) A1-B3, A2-B4, A3-B1, A4-B2

c) A1-B1, A2-B3, A3-B2, A4-B4



d) A1-B4, A2-B1, A3-B3, A4-B2

e) A1-B2, A2-B1, A3-B4, A4-B3

A análise quantitativa utiliza-se inicialmente raciocínio dedutivo e generalização. O raciocínio dedutivo é o processo em que o pesquisador começa com uma teoria ou arcabouço estabelecido, onde conceitos já foram reduzidos a variáveis, e então coleta evidência para avaliar ou testar se a teoria é confirmada. Generalização é a extensão na qual conclusões desenvolvidas a partir das evidências coletadas de uma amostra podem ser estendidas para uma população maior.

A pesquisa quantitativa frequentemente quantifica relações entre variáveis - a variável independente ou preditiva e a variável dependente ou resultado. A primeira é a intervenção realizada em determinado grupo, a segunda é o resultado de tal intervenção. De forma geral, desenhos de pesquisa quantitativa são classificados tanto como não-experimentais quanto experimentais.

Desenhos não-experimentais são usados para descrever, diferenciar ou examinar associações, ao invés de procurar relações diretas entre variáveis, grupos ou situações. Não existem tarefas aleatórias, grupos controle, ou manipulação de variáveis, já que esse modelo utiliza apenas a observação. Os desenhos não-experimentais mais comuns são os estudos descritivos e correlacionais.

O pesquisador observa o que ocorre naturalmente sem interferir de maneira alguma. Existem muitas razões para realizar um estudo não experimental. Primeiro, um número de características ou variáveis não estão sujeitas, ou não são receptivas, à manipulação experimental ou randomização. Além disso, por questões éticas, algumas variáveis não podem ou não devem ser manipuladas. Em alguns casos, variáveis independentes já aconteceram e não é possível qualquer controle sobre elas.

Estudos descritivos ou exploratórios são usados quando pouco é sabido sobre um fenômeno em particular. O pesquisador observa, descreve e documenta vários aspectos do fenômeno. Não há manipulação de variáveis ou procura pela causa e efeito relacionados ao fenômeno. Desenhos descritivos descrevem o que existe de fato, determinam a frequência em que este fato ocorre e categoriza a informação.

Já os desenhos correlacionais envolvem a investigação sistemática da natureza das relações ou associações entre as variáveis, ao invés de relações diretas de



causa e efeito. Os desenhos correlacionais são tipicamente transversais. Estes desenhos são utilizados para examinar se mudanças em uma ou mais variáveis estão relacionadas a mudanças em outra(s) variável (eis). Este efeito é definido como covariância.

Desenhos experimentais normalmente usam designação aleatória, manipulação de uma variável independente e controles rígidos. Estas características permitem maior confiança nas relações de causa e efeito. Designação aleatória significa que cada sujeito teve chances iguais de ser designado tanto para o grupo controle como para o grupo experimental e seu uso busca eliminar viés sistemático.

Nos estudos experimentais o avaliador testa hipóteses de impactos e efeitos de uma ação mediante a comparação entre grupos experimentais e grupos de controle (não submetidos à ação observada). Os primeiros são aqueles que recebem determinada intervenção, enquanto os últimos não recebem. Os estudos experimentais caracterizam-se por apresentarem manipulação de intervenções diretas sobre os indivíduos em estudo e atribuição aleatória da intervenção em causa.

A avaliação com base em estudos experimentais é a que fornece as bases para estabelecimento de relações de causalidade entre variáveis. Associamos a A4 com B2.

Já as técnicas quase-experimentais têm grande semelhança com o modelo experimental. É uma adaptação do modelo experimental às limitações de pesquisa e avaliação com políticas públicas. Aplicam-se quando não é possível uma seleção aleatória dos sujeitos.

Quase-experimentos são delineamentos de pesquisa que não têm distribuição aleatória dos sujeitos pelos tratamentos, nem grupos-controle. Ao invés disso, a comparação entre as condições de tratamento e não-tratamento deve sempre ser feita com grupos não equivalentes ou com os mesmos sujeitos antes do tratamento.

Já o Modelo de avaliação baseado na Teoria do Programa tem como foco de avaliação os mecanismos de mudança (as respostas da realidade às intervenções feitas pelo Estado). Parte da ideia de que toda a intervenção na realidade está amparada por uma teoria a respeito de como os problemas surgem e quais são as estratégias ideais para solucioná-los. Por meio dessa teoria são definidos o desenho da ação e os resultados que são esperados. Busca avaliar a consistência entre teoria proposta, procedimentos adotados e resultados obtidos. A avaliação baseada na Teoria do Programa abrange a



teoria normativa (descrição do programa, metas e resultados esperados) e a teoria causativa (construída por meio de dados que descrevam os resultados potenciais da ação, obtidos por meio da análise do perfil do cliente alvo da política, do contexto e das atividades a serem desenvolvidas).

Segundo o Núcleo de Estudos de Políticas Públicas da Unicamp:

A análise com base na teoria do programa procura avaliar em que medida as atividades desencadeadas pelo programa provocam um conjunto específico de respostas para atores e beneficiários do programa, permitindo comparar os estágios de formulação e implementação. Neste sentido, as análises centradas na Teoria do Programa tendem a dar ênfase a análise dos mecanismos que levam a mudança e não nas atividades de funcionamento do programa, e como estas tendem a gerar benefícios ou não para os clientes do programa.

Esta avaliação pressupõe ser possível identificar em cada caso (ad hoc) uma rede razoavelmente estável de relação entre variáveis a serem analisadas, ou seja, que há uma teoria a respeito da intervenção do programa e as consequências desta intervenção. “Ad hoc” é uma expressão latina que quer dizer "com este objetivo". Geralmente significa uma solução designada para um problema ou tarefa específicos, que não pode ser aplicada em outros casos. Normalmente indica uma situação provisória ou improvisada. Associamos A1 com B3.

A abordagem por Análise de Envoltória de Dados (Data Envelopment Analysis – DEA) foi desenvolvida para determinar a eficiência de unidades produtivas, onde não seja relevante ou não se deseja considerar somente o aspecto financeiro.

A DEA define a curva de eficiência (ou de máxima produtividade), considerando a relação ótima insumo/produto. Ela é válida em casos de organizações que usam múltiplos insumos e geram diferentes produtos, podendo ser comparadas entre si.

Para cada organização, a análise utiliza técnicas de programação linear para calcular um índice de eficiência que compara o desempenho atual com a combinação convexa mais eficiente das outras observações recursos/produtos. O índice assume o valor de 1 para as unidades cuja produtividade é melhor e menos de 1 se combinações alternativas de insumos/produtos são indicadas como eficientes.

De maneira objetiva, pode-se dizer que os modelos DEA determinam as melhores condições de operação para cada unidade produtiva separadamente, de modo a maximizar o seu índice de desempenho, e aplicam as mesmas



condições às demais unidades do grupo sob análise. Aquelas unidades produtivas para as quais o índice de desempenho relativo calculado, a partir de preços obtidos pelo próprio modelo de programação linear, é igual ou mais favorável que os índices calculados para as outras unidades sob análise, nestas condições, são consideradas eficientes.

É importante notar que as demais unidades, não eficientes, estão posicionadas abaixo da curva, envolvidas pelo desempenho das unidades eficientes. O método define então unidades de referências para cada observação, o que permite calcular os aumentos de produtos ou diminuição de insumos necessários para que a atuação seja otimizada. Associamos A3 com B1.

Por fim, os testes padronizados fornecem uma visão sistêmica, uma vez que permitem uma comparação entre as análises. Contudo, eles não levam em consideração a especificidades de cada observação, a heterogeneidade presente nos processos avaliados. Utiliza-se do mesmo padrão em todos os casos, ganhando em comparação, mas perdendo em adequabilidade. Associamos A2 com B4.

Gabarito: B.

3. (ESAF/CGU/2008) O debate sobre a formulação de programas e projetos envolve um extenso rol de conceitos. Todos os enunciados abaixo estão corretos, exceto:

a) os objetivos são declarações de intenção quanto a cenários futuros, que sintetizam hipóteses acerca das relações entre os meios e fins de uma intervenção.

b) uma meta representa um detalhamento de um objetivo ou produto de uma intervenção, a ser usado como um parâmetro de desempenho contra o qual o resultado obtido será comparado.

c) as metas são compromissos expressos em termos de quantidade, objeto e prazo, devendo ser realistas, precisas e mensuráveis.

d) numa árvore de objetivos, a identificação dos meios delimita as possíveis alternativas de intervenção, que devem ser selecionadas com base em critérios claros.

e) a construção de uma árvore de problemas baseia-se na concertação entre interesses distintos, com o objetivo de estabelecer uma inteligibilidade compartilhada quanto a uma situação real.



Objetivo é a situação que se deseja obter ao final do período de duração do projeto, mediante a aplicação dos recursos e da realização das ações previstas. Quando a questão fala em relações entre os meios e os fins, temos que ter em mente que objetivo não é o mesmo que finalidade. O Dicionário Houaiss coloca os dois termos como sinônimos, mas podemos diferenciá-los por meio de definições do próprio dicionário.

Objetivo: elemento físico contra o qual se dirigem as operações.

Finalidade: intenção ou motivação para a realização ou existência (de algo)

Portanto, toda ação busca atingir alguma coisa. Por exemplo, um programa que distribua merenda escolar para os alunos busca atingir a baixa nutrição das crianças. No entanto, há algo maior que justifica esta ação. A sua finalidade é a melhora na educação destas crianças.

Portanto, quando planejamentos uma ação, o objetivo deve ser coerente com os meios que temos para alcançá-lo, e deve ao mesmo tempo permitir que se chegue à finalidade. A letra “A” é certa.

A meta é a tradução do objetivo em números. O desempenho do projeto será comparado com a meta para saber se o objetivo está sendo alcançado. As letras “B” e “C” são certas.

Na árvore de objetivos temos nas raízes os meios e na copa os fins. Através dela identificamos possíveis alternativas de solução. A letra “D” é certa.

A letra “E” é muito semelhante ao que diz Carla Bronzo Ladeira Carneiro:

Elaborada idealmente com a participação dos diferentes atores envolvidos, essa ferramenta permite a estruturação de um problema de maneira interativa, possibilitando desempacotá-lo, percebê-lo por dentro, explicitar a lógica causal subjacente a ele. Tais questões pressupõem o diálogo, exigem a concertação entre visões e interesses distintos e estão permeados por dimensões subjetivas e valorativas, culturais, políticas e institucionais, dentre outras.

No entanto, o objetivo da árvore de problemas não é estabelecer uma inteligibilidade compartilhada quanto a uma situação real. Ela busca identificar os problemas mais importantes e as relações de causa e efeito, por meio da participação de diversos atores que enxergam o problema de forma diferente. A letra “E” é errada.

Gabarito: E.



4. (ESAF/CGU/2008) Apesar das muitas controvérsias entre os teóricos, na área de avaliação existem alguns conceitos e distinções razoavelmente consensuados, como os que se referem à avaliação somativa e à avaliação formativa. Sobre os objetivos da avaliação formativa, examine os enunciados abaixo e depois marque a resposta certa.

1. Proporcionar feedback imediato para alimentar revisões de programas e projetos em fase de teste-piloto.

2. Estimar o grau de eficácia das estratégias adotadas na implementação de um programa e orientar decisões sobre sua continuidade.

3. Identificar aspectos ambientais favoráveis e desfavoráveis ao êxito de um projeto ou programa em fase inicial de implementação, a fim de definir estratégias para melhorar o seu desempenho.

4. Informar sobre as necessidades de ampliação da cobertura de um programa ou da viabilidade de sua replicação.

a) Todos os enunciados acima são objetivos da avaliação formativa.

b) Nenhum dos enunciados acima é objetivo da avaliação formativa.

c) Somente o enunciado 2 é objetivo da avaliação formativa.

d) Somente os enunciados 1 e 3 são objetivos da avaliação formativa.

e) Somente os enunciados 2 e 4 são objetivos da avaliação formativa.

A primeira afirmação foi dada como certa, mas discordo. A avaliação formativa é feita durante a implementação, ou seja, pode proporcionar informações de forma imediata a serem usadas ainda como forma de corrigir o programa. Porém, o teste-piloto é uma das ferramentas aplicada ainda na fase de planejamento, ou seja, seria uma forma de avaliação ex-ante, e não formativa

A segunda afirmação é errada. A descrição é da avaliação somativa, a ex-post. Segundo Eduardo Marino:

A avaliação de processo possui papel formativo e é conduzida pela equipe responsável durante a implementação do projeto, procurando informações úteis para sua melhoria. Finalmente, a avaliação de resultados é realizada ao final do projeto para determinar os méritos ou fracassos e orientar decisões sobre a continuidade, adoção ou suspensão.

O caráter somativo é justamente esse de buscar fornecer informações que somem para a decisão posterior ao programa, de continuidade, adoção ou suspensão.



A terceira afirmação é certa. A avaliação é formativa, ou seja, busca avaliar a formação do programa e como ele pode ser melhorado. Ela ocorre durante a implementação.

A quarta afirmação é errada, esse é mais um caráter somativo, de fornecer informações a serem usadas em decisões de continuidade (ampliação da cobertura), adoção (replicação) ou suspensão.

Gabarito: D.

5. (ESAF/CGU/2008) A Análise Custo-Benefício (ACB) proporciona um guia para hierarquizar alternativas de investimentos em projetos a serem executados ou já em processo de execução. Examine as assertivas abaixo sobre a Análise Custo-Benefício e assinale a opção incorreta.

a) A relação entre custos e produtos proporciona elementos para analisar a eficiência operacional, mas não informa sobre a eficácia do projeto em relação ao público-alvo escolhido.

b) Na avaliação social, a Análise Custo-Benefício utiliza suposições da taxa de desconto diferentes das que são aplicadas na avaliação privada, porque deve incluir os impactos distributivos, os efeitos intangíveis e até o valor da vida humana.

c) A diferença mais importante entre a avaliação privada e a avaliação social é que na primeira a Análise Custo-Benefício utiliza como referência o preço de mercado, enquanto que na avaliação social são utilizados preços sombra, de eficiência, ou seja, preços sociais.

d) A taxa de desconto utilizada na Análise Custo-Benefício tem por objetivo traduzir a um valor presente os custos e benefícios que resultarão do projeto no futuro e é fixada sobre a base do custo de oportunidade do capital.

e) A Análise Custo-Benefício permite averiguar se os projetos são ou não rentáveis, comparando os fluxos atualizados de benefícios e os custos previstos em sua implementação.

A letra “A” é certa. A análise custo benefício (ACB) e a análise custo-efetividade (ACE) são ferramentas que buscam comparar os custos estimados de determinado projeto com os benefícios esperados. Trata-se de uma forma de decidir sobre a adequabilidade e aceitabilidade de prosseguir com um projeto. A letra “A” fala em relação entre custos e produtos. Essa é a base



dessas avaliações, é a eficiência. As duas medem a eficiência relativa de diferentes alternativas. A relação custo-produto não diz nada sobre a eficácia.

A letra “B” é errada. ACB permite determinar se os projetos são ou não rentáveis, comparando os fluxos atualizados de benefícios e custos previstos em sua implementação. A avaliação pode ser realizada a partir de duas óticas diferentes: a avaliação privada e a avaliação social. A principal diferença entre as duas é que a privada utiliza preços de mercado, tanto nos custos quanto nos produtos e se preocupa apenas com aquilo que é relevante na ótica do capitalismo, do empresário. Já a avaliação social considera importantes valores sociais, que não são precificados pelo mercado.

A letra “B” fala em alguns: impactos distributivos, os efeitos intangíveis e até o valor da vida humana. Os dois primeiros até podem ser incorporados na ACB. Já a vida humana não. Muitos já tentaram dar um valor para a vida humana, mas não há unanimidade. Por isso, como a vida não possui um valor monetário, somente podemos avaliar projetos que tenham como objetivo salvar vidas com a ACE, e não a ACB.

A letra “C” é certa. Na avaliação social, acrescenta-se ou retira-se do preço de mercado valores sociais importantes, como efeitos distributivos, custos e benefícios secundários, ou “externalidades”. Eles são produzidos como consequência, mas fora do âmbito em que este é realizado. Há também os efeitos intangíveis, como integração regional, efeitos sobre o clima e o meio ambiente, etc.

A letra “D” é certa. Na avaliação social, as suposições da taxa de desconto são similares aos da avaliação privada. Utilizar os recursos disponíveis em um determinado projeto implica em não utilizá-los para outros fins. A taxa de desconto também será o custo de oportunidade, neste caso os ganhos que ocorreriam caso fosse escolhido outro projeto social.

A letra “E” é certa. A ACB se baseia em uma regra muito simples: compara os benefícios e os custos de um projeto em particular e se os primeiros excedem aos segundos, fornecendo um elemento de julgamento inicial que indica sua aceitabilidade.

Gabarito: B.

6. (ESAF/EPPGG-MPOG/2003) Os instrumentos gerenciais contemporâneos são baseados na avaliação de desempenho e resultados e na flexibilidade organizacional. A seguir são apresentados alguns conceitos básicos deste



novo tipo de gestão. Assinale a opção que identifica todas as relações corretas entre as colunas:

1 – Eficácia A – Utilização dos recursos.

2 – Objetivos B – Alcance de resultados.

3 – Flexibilização C– Delegação de autoridade.

4 – Eficiência D – Escala de prioridades.

5 – Descentralização E – Abordagem sistêmica.

a) (1=>B), (4=>E), (2=>A), (3=>D), (5=>C)

b) (1=>B), (4=>A), (2=>E), (3=>D), (5=>C)

c) (1=>D), (4=>E), (2=>B), (3=>A), (5=>C)

d) (1=>D), (4=>B), (2=>D), (3=>C), (5=>A)

e) (1=>B), (4=>A), (2=>D), (3=>E), (5=>C)

Vamos rever os conceitos do MPOG:

� Eficiência: uso otimizado, com economia e qualidade, dos bens e recursos empregados na implementação das ações.

� Eficácia: capacidade de alcance das metas previstas;

� Efetividade: correspondência entre os resultados da implantação de um programa e o alcance dos seus objetivos, tendo como referência os impactos na sociedade;

A eficiência corresponde à utilização dos recursos (4-A). Significa que conseguimos produzir mais com os recursos de que dispomos.

A eficácia corresponde ao alcance de resultados (1-B). Esse conceito é um pouco simplista. A eficácia corresponde a fazer o que foi proposto. Ela diz respeito à capacidade da gestão de cumprir objetivos imediatos traduzidos em metas de produção ou de atendimento, ou seja, a capacidade de prover bens ou serviços de acordo com o estabelecido no planejamento das ações.

A efetividade diz respeito ao alcance dos resultados pretendidos, a médio e longo prazo. Refere-se à relação entre os resultados de uma intervenção ou programa, em termos de efeitos sobre a população-alvo (impactos observados), e os objetivos pretendidos (impactos esperados), traduzidos pelos objetivos finalísticos da intervenção. Trata-se de verificar a ocorrência de mudanças na população-alvo que se poderia razoavelmente atribuir às ações do programa avaliado.



Portanto, ao examinar a efetividade de uma intervenção governamental, pretende-se ir além do cumprimento de objetivos imediatos ou específicos, em geral consubstanciados em metas de produção ou de atendimento (exame da eficácia da gestão). Trata-se de verificar se os resultados observados foram realmente causados pelas ações desenvolvidas e não por outros fatores. A avaliação da efetividade pressupõe que bens e/ou serviços foram ofertados de acordo com o previsto. O exame da efetividade ou avaliação de impacto requer tratamento metodológico específico que busca estabelecer a relação de causalidade entre as variáveis do programa e os efeitos observados, comparando-os com uma estimativa do que aconteceria caso o programa não existisse.

Os objetivos correspondem a uma situação desejada, ou seja, à escala de prioridades (2-D).

A flexibilização corresponde à abordagem sistêmica. Segundo Fensterseifer:

Flexibilidade de um sistema pode ser definida como sua habilidade para lidar com as incertezas de um ambiente em mudança, sendo incerteza o elemento-chave do conceito.

A abordagem sistêmica trabalha com a ideia de que os sistemas envolvem interações com o ambiente e precisam se adaptar às mudanças. (3-E)

A descentralização envolve a delegação de autoridade. (5-C)

Gabarito: E.

7. (FGV/CAERN/2010) Os indicadores de produtividade devem respeitar certos atributos para aplicação correta. Nesse sentido, um determinado indicador ineficaz, ou seja, que não capte as etapas mais significativas de um processo, desobedece ao atributo da

(A) representatividade.

(B) rastreabilidade.

(C) praticidade.

(D) adaptabilidade.

(E) disponibilidade.

Vimos entre os atributos dos indicadores o seguinte:

� Representatividade – captação das etapas mais importantes e críticas dos processos, no local certo, para que seja suficientemente



representativo e abrangente. Dados desnecessários ou inexistentes não devem ser coletados. Em contrapartida, dados importantes devem ser precisos, atender aos objetivos e ser buscados na fonte correta. Este atributo merece certa atenção, pois indicadores muito representativos tendem a ser mais difíceis de ser obtidos. Deve-se, portanto, haver um certo equilíbrio entre a representatividade e a disponibilidade para coleta.

Gabarito: A.

8. (FGV/BADESC/2010) Os indicadores de produtividade, tanto no âmbito da administração privada quanto no da administração pública, devem respeitar certos atributos gerais em sua concepção.

A esse respeito, assinale a alternativa que corresponde ao atributo de economia.

a) Garantia de que é gerado em rotinas de processo e permanece ao longo do tempo.

b) Garantia de que não deve ser gasto tempo demais pesquisando dados ou aguardando novos métodos de coleta.

c) Facilidade para identificação da origem dos dados, seu registro e manutenção.

d) Facilidade de acesso para coleta, estando disponível a tempo, para as pessoas certas e sem distorções.

e) Garantia de que realmente funciona na prática e permite a tomada de decisões gerenciais.

Vimos o atributo da economia na aula:

� Economia – não deve ser gasto tempo demais procurando dados, muito menos pesquisando ou aguardando novos métodos de coleta. Os benefícios trazidos com os indicadores devem ser maiores que os custos incorridos na medição. Caso contrário, em pouco tempo a organização estará medindo sua própria falência.

A letra “B” é a que dispõe sobre não se gastar tempo demais.

A letra “A” traz a estabilidade.

A letra “C” traz a rastreabilidade.

A letra “D” traz a disponibilidade.



A letra “E” traz a praticidade.

Gabarito: B.

9. (FGV/BADESC/2010) Levando em consideração o uso de controles e indicadores de produtividade em um programa de educação, o percentual de crianças matriculadas e a avaliação da qualidade por meio de exames nacionais são, respectivamente, exemplos de:

(A) eficácia e eficiência.

(B) eficiência e eficácia.

(C) efetividade e eficiência.

(D) efetividade e eficácia.

(E) eficácia e efetividade.

Quando falamos em % crianças matriculadas, estamos nos referindo a uma meta de produção, ou seja, à eficácia. Lembrem-se que a eficácia se refere à entrega de um produto: cestas básicas entregues, famílias beneficiadas com o bolsa família, crianças vacinadas. Por exemplo, a meta era que 95% das crianças entre 6 e 10 anos estejam matriculadas, mas foi alcançado o percentual de 93% - não foi eficaz.

Quando falamos em qualidade da educação, queremos saber se os professores estão conseguindo ensinar e se as crianças estão conseguindo aprender. Essa avaliação ocorre por meio de provas que medem o aprendizado. Podemos ver que corresponde ao resultado esperado, o impacto do ensino na sociedade, trata-se da efetividade.

Gabarito: E.

10. (FGV/MINC/2006) Analise as afirmativas a seguir:

I. Os indicadores são essenciais para a avaliação de políticas públicas. De maneira simples, indicadores são unidades de medida que permitem "aferir" resultados, impactos, qualidade etc., dos processos e das intervenções (projetos, programas ou políticas) na realidade. Eles são instrumentos de gestão, essenciais nas atividades de monitoramento e avaliação de projetos, programas e políticas, porque permitem acompanhar a busca das metas,



identificar avanços, ganhos de qualidade, problemas a serem corrigidos, necessidades de mudança, etc.

II. Indicadores de efetividade têm como objetivo verificar o desempenho dos processos e das atividades. Já os indicadores de eficácia têm como objetivo verificar os efeitos obtidos, isto é, os objetivos gerais do programa.

III. Em uma avaliação de política pública, uma das estratégias utilizadas é desenvolver uma série de indicadores antes da implementação do programa. Essa primeira medição é conhecida como "marco zero". Após os primeiros resultados concretos do programa, os indicadores são comparados para medir a efetividade da política pública.

Assinale:

(A) se somente a afirmativa I estiver correta.

(B) se somente a afirmativa II estiver correta.

(C) se somente a afirmativa III estiver correta.

(D) se somente as afirmativas I e II estiverem corretas.

(E) se somente as afirmativas I e III estiverem corretas.

A afirmação I é verdadeira. Segundo Maria das Graças Rua:

Indicadores são unidades de medida que permitem “aferir” resultados, impactos, qualidade, etc., dos processos e das intervenções (projetos, programas ou políticas) na realidade.

Os indicadores são instrumentos de gestão, essenciais nas atividades de monitoramento e avaliação de projetos, programas e políticas, porque permitem acompanhar a busca das metas, identificar avanços, ganhos de qualidade, problemas a ser corrigidos, necessidades de mudança, etc.

Os indicadores não são simplesmente dados: são uma atribuição de valor a objetos, acontecimentos ou situações, de acordo com certas regras, para que possam ser aplicados critérios de avaliação como eficácia, efetividade, eficiência e outros.

Enquanto medidas, os indicadores devem ser definidos em termos operacionais: por meio das categorias pelas quais se manifestam e podem ser mensurados; e por meio das suas evidências físicas e documentais.

A afirmação II é errada. Desempenho dos processos é eficiência. Efeitos obtidos é efetividade.

A afirmação III é certa. Segundo Chianca “a avaliação do marco zero ocorre antes da instalação de um determinado programa e serve para orientar a equipe responsável por ele no planejamento das ações, garantindo o máximo



de proximidade às reais necessidades e expectativas dos futuros usuários”. Para que seja possível a avaliação de um projeto ou programa social, deve-se fazer um esforço, desde o planejamento inicial das atividades, para identificar e desenvolver indicadores de resultados do projeto.

Gabarito: E.

11. (CESPE/SAD-PE/2009) A avaliação de programas de governo é uma das modalidades de auditoria operacional, e tem em vista, entre outros aspectos, a avaliação da efetividade de programas e projetos governamentais. Nesse sentido, a efetividade pode ser entendida como o efeito ou o impacto transformador causado pelos serviços prestados ou pelos bens disponibilizados por uma organização sobre uma realidade que se pretende modificar. Assinale a opção que traduz mais apropriadamente, em um programa governamental, o significado da efetividade.

A) número de alunos formados nas instituições de ensino superior

B) desempregados treinados e reinseridos no mercado de trabalho

C) quantidade de pacientes atendidos em instituição pública de saúde

D) percentagem da população alfabetizada

E) quilômetros de estradas construídas

Todas as alternativas trazem indicadores de eficácia, ou seja, da quantidade de produto entregue. Apenas a letra “B” traz um indicador de efetividade (reinserção dos desempregados no mercado de trabalho), junto com um indicador de eficácia (desempregados treinados).

Gabarito: B.









Todas as alternativas trazem indicadores de eficácia, ou seja, da quantidade de produto entregue. Apenas a letra “B” traz um indicador de efetividade (reinserção dos desempregados no mercado de trabalho), junto com um indicador de eficácia (desempregados treinados).

Gabarito: B.

13. (IPAD/SGA-AC/2009) Qual o nome dado, em políticas públicas, à avaliação que realiza o acompanhamento dos processos desenvolvidos com vistas ao alcance dos objetivos e metas propostos e à cobertura do programa?

A) Avaliação de metas.

B) Avaliação de impactos.

C) Avaliação de controle.

D) Avaliação de princípios.

E) Avaliação de processos.


Gabarito: E.

14. (CESPE/AUGE-MG/2008) A respeito da avaliação de programas e projetos governamentais, é correto afirmar que

A) a avaliação de resultados, de natureza ex-ante, visa aferir a efetividade do programa ou projeto avaliado.



B) a avaliação da efetividade de um programa ou projeto visa aferir se as realizações ocorreram dentro do orçamento previsto e a custos compatíveis, enquanto a avaliação de eficiência visa aferir os impactos da ação do programa ou projeto sobre o seu público-alvo ou beneficiários.

C) a avaliação ex-ante busca aferir os eventos já ocorridos e tomar decisões baseadas nestas informações, enquanto a avaliação ex-post visa orientar o planejamento do programa ou projeto objeto da avaliação, de forma a antecipar restrições e respectivas providências a serem tomadas.

D) a avaliação de resultado ou de impacto busca averiguar, fundamentalmente, o desempenho orçamentário/financeiro do programa ou projeto avaliado.

E) a avaliação de efetividade baseia-se fundamentalmente na verificação da evolução dos indicadores do programa ou projeto, enquanto a avaliação de eficácia baseia-se fundamentalmente na verificação da evolução das metas físicas do programa ou projeto avaliado.

A letra “A” é errada porque a avaliação ex-ante não avalia a efetividade, uma vez que ocorre antes da implementação. Não tem como saber qual foi o impacto causado pela ação governamental.

A avaliação da efetividade não se preocupa com orçamento, custos. Ela quer saber apenas se ocorreram mudanças qualitativas e quantitativas na sociedade causadas pelo programa. A letra “B” é errada.

A letra “C” é errada porque inverteu as descrições das avaliações. É a ex-ante que busca orientar o planejamento do programa ou projeto objeto da avaliação, de forma a antecipar restrições e respectivas providências a serem tomadas. A ex-post que busca aferir os eventos já ocorridos e tomar decisões baseadas nestas informações.

A avaliação do impacto não aborda questões como o desempenho orçamentário. Ela não abrange os custos, mas sim os resultados. A letra “D” é errada.

A letra “E” é certa. A efetividade. Só é meio equivocada quando fala em evolução dos indicadores, uma vez que podemos ter indicadores de eficiência, eficácia e efetividade.

Gabarito: E.



15. (CESPE/SGA-AC/2006) Os processos de modernização da gestão pública e de reforma do Estado têm dado grande ênfase ao fortalecimento das funções de monitoramento e avaliação de políticas públicas na agenda governamental. Julgue os itens seguintes, relativos à avaliação de políticas públicas, e assinale a opção correta.

A) Na avaliação de uma política pública não se pode utilizar métodos qualitativos, uma vez que eles não permitem a mensuração de impactos.

B) A avaliação ex ante é um tipo de avaliação de implementação, utilizado para aferir o grau de satisfação dos usuários da política pública.

C) Eficiência, efetividade, impacto e sustentabilidade são dimensões relevantes na avaliação de políticas públicas.

D) Embora tenha destaque na agenda governamental, a avaliação não costuma fazer parte da agenda de organismos internacionais e de agências de financiamento.

A letra “A” é errada. O ideal é que se equilibrem métodos quantitativos com métodos qualitativos, fornecendo uma visão mais ampla do objeto.

A letra “B” é errada, a avaliação ex-ante é anterior à implementação.

A letra “C” é certa, estas são algumas das possíveis dimensões a serem utilizadas em avaliação.

A letra “D” é errada, os organismos internacionais são bastante incentivadores da avaliação, o Banco Mundial, por exemplo, financia uma série de projetos no Brasil

Gabarito: C.

16. (FGV/MC/2006) De maneira geral, um planejamento de políticas públicas é composto por três fases: (1) estabelecimento de objetivos a alcançar; (2) tomada de decisões a respeito das ações futuras; e (3) elaboração de planos. Dentro desse contexto, analise as afirmativas a seguir:

I. Os objetivos são resultados futuros que a organização pretende atingir. Assim, objetivos organizacionais podem se desdobrar em estratégia, políticas, diretrizes, metas, programas, procedimentos, métodos e normas.

II. Existem diversos métodos que auxiliam os gestores públicos na sua tomada de decisões. Dentre eles, destacam-se a pesquisa operacional, que



utiliza diversos modelos analíticos ou matemáticos para verificar as relações entre os vários fatores e alternativas na forma de modelos matemáticos; e as árvores de decisão, que auxiliam o gestor a visualizar os possíveis resultados das alternativas envolvidas nas decisões públicas.

III. O plano é a última fase do processo de planejamento e é considerado como o resultado do processo de implementação do planejamento. Assim sendo, um plano é um curso de ação sobre um período especificado de tempo.

Assinale:





(E) se todas as afirmativas estiverem corretas.

A afirmação I é certa, objetivo é uma situação futura desejada.

A escola da pesquisa operacional emergiu após a Segunda Guerra Mundial, que trouxe uma série de problemas e desafios, associados com modernas operações militares. Esta abordagem se diferencia pelo uso da matemática, estatística e outras técnicas quantitativas para a tomada de decisões administrativas e resolução de problemas, já que eram necessárias movimentações de grandes quantidades de pessoas e materiais de forma rápida e eficiente. Tais técnicas, usadas durante a guerra, se mostraram aplicáveis também às empresas comerciais de grande escala.

A administração da produção refere-se ao campo da administração que se especializa na produção de bens ou serviços. Os especialistas desta área se utilizam das técnicas quantitativas para resolver problemas de manufatura.

Entre as técnicas desenvolvidas aqui temos a análise do ponto de equilíbrio que consiste na determinação do nível de vendas para o qual as receitas totais igualam os custos totais de produção. É a partir deste ponto que começa a haver lucro.

Temos também a programação linear, uma técnica que aloca recursos para otimizar um objetivo predeterminado, considerando a limitação dos recursos alocados. Suponha que você tem arroz, batata, frango, carne e feijão, cada um tendo um custo. Sabemos que precisamos de certa quantidade de cada um dos nutrientes (proteínas, carboidratos, gorduras, vitaminas e etc) e que cada um



destes pratos tem uma quantidade de nutrientes que deve ser ingerida todo dia: chamaremos isso de restrições.

A árvore de decisão tem o objetivo de indicar o caminho a ser seguido e as etapas a serem cumpridas para se alcançar o objetivo. Devem ser usadas quando se pretende identificar os passos a serem dados para atingir o objetivo e para discriminar toda a implementação de uma mudança até a definição das tarefas. Vamos ver um exemplo.

A afirmação II é certa.

O plano é o documento do planejamento estratégico, ele fica pronto antes da implementação, pois ainda estamos no planejamento em si. A afirmação III é errada.

Gabarito: D.

17. (CESPE/VÁRIOS) A respeito dos tipos de avaliação, analise as assertivas abaixo e assinale a correta.

a) Monitoramento é a avaliação centrada nas mudanças quantitativas e qualitativas do programa, a qual tem como critério a efetividade e como suposição a existência de relação entre variáveis.

b) A avaliação política é centrada no desenvolvimento do programa, visando aferir-lhe a eficácia e efetuar correções durante a implementação.

c) Avaliação de processo é a emissão de juízo de valor em relação à política ou programa com base em critérios e princípios políticos que fundamentam a concepção de bem-estar humano.

d) Avaliação de impactos é uma atividade contínua e gerencial que visa aferir o controle de entrega de insumos, conforme as metas e o calendário, tendo em vista a garantia da eficiência do programa.

Onde investir meu dinheiro?

Poupança

Ações

Se as ações caírem?

Compro mais

Vendo

Compro

Se as ações subirem?

Compro mais

Vendo

Compro mais

Vendo



e) A avaliação formativa é realizada com o intuito de gerar feedback para a melhoria do programa, da política ou de qualquer outro objeto a ser avaliado, tendo, portanto, natureza de avaliação de processo, enquanto a avaliação somativa visa julgar o mérito do programa, tendo natureza de avaliação de impacto.

Outra classificação importante é a da Maria Ozanira da Silva, segundo a qual a avaliação pode ocorrer através de quatro enfoques diferenciados: o monitoramento, a avaliação política da política, a avaliação de processo e a avaliação de impacto.

O monitoramento permite o acompanhamento constante, através do gerenciamento do cumprimento de metas e prazos, buscando o cumprimento do cronograma das atividades com o objetivo de garantir a eficiência do programa.

A avaliação política da política emite juízo de valor em relação à política ou ao programa a partir de critérios e princípios fundamentados em concepções teóricas de bem-estar humano e de qualidade de vida. Essa avaliação possibilita uma análise da operacionalização do programa, bem como de todo o planejamento do mesmo. Está centrada nos fundamentos e condicionamentos de formulação da política ou de elaboração de um plano, discutindo e buscando novas alternativas, até mesmo no período de implementação de um certo programa ou política. Considera, também, os mecanismos institucionais disponíveis, seus limites e todos os recursos necessários para que o programa aconteça.


A avaliação de impactos tem como foco central as mudanças quantitativas e qualitativas decorrentes de determinadas ações governamentais (política/programa) sobre as condições de vida de uma população, tendo, portanto, como critério a efetividade. Há que se considerar que sempre se parte da suposição de que existe relação causal entre uma variável independente (o programa) e uma variável dependente (alteração nas condições sociais). Precisar o que seja impacto requer conceituar um efeito, enquanto todo comportamento ou acontecimento que sofreu influência de



algum aspecto do programa, pode ser procurado, previsto, positivo e relevante ou não-procurado, positivo ou negativo. Por impacto entende-se o resultado dos efeitos de um programa (efeitos líquidos decorrentes dos efeitos de um programa). Nesse sentido, a determinação de impactos exige considerar dois momentos: antes e depois.

As quatro primeiras alternativas inverteram os conceitos. Na letra “A” temos a avaliação de impactos, na letra “B” a avaliação de processo, na letra “C” a avaliação política e na letra “D” o monitoramento.

A letra “E” associa os dois tipos de classificação. A avaliação formativa ocorre ao longo do projeto e pode resultar em mudanças, contribuindo para formá-lo. Tem natureza de avaliação de processo. A somativa ocorre ao final, busca avaliar os resultados, a efetividade, tem natureza de avaliação de impacto.

Gabarito: E.

4.1 LISTA DAS QUESTÕES

1. (ESAF/APO-MPOG/2008) A avaliação de desempenho governamental – em suas várias dimensões e modalidades – representa um poderoso instrumento gerencial, capaz de subsidiar o processo decisório e de lançar luz sobre a lógica das intervenções públicas em geral: políticas, programas e projetos. Abaixo encontram-se alguns enunciados sobre os conceitos de eficácia e efetividade, centrais à avaliação do desempenho governamental. Identifique os que são Falsos e Verdadeiros e depois assinale a resposta correta.

( ) Objetivo é a situação que se deseja obter ao final da implementação de uma política, programa ou projeto, mediante a aplicação dos recursos e da realização das ações previstas.

( ) O conceito de eficácia se refere ao grau em que se alcançam os objetivos e metas do projeto na população beneficiária, em um determinado período de tempo, em relação aos custos implicados.

( ) Efeito é todo comportamento ou acontecimento que se pode razoavelmente dizer que sofreu influência de algum aspecto da política, programa ou projeto.

( ) Os efeitos procurados correspondem aos objetivos que a intervenção pretendia atingir, sendo, por definição, previstos e positivos.



( ) Os efeitos não procurados são diretos, podendo ser positivos ou negativos, e resultam de falhas na elaboração do programa ou projeto e/ou a limitações do conhecimento disponível sobre uma determinada área ou assunto.

( ) Efetividade constitui a relação entre os resultados obtidos e o objetivo.

a) V, F, V, V, V, V

b) V, F, V, V, F, V

c) V, F, V, V, V, F

d) V, F, F, V, V, V

e) V, V, F, F, F, V

2. (ESAF/EPPGG-MPOG/2008) Sobre os modelos de avaliação de desempenho e resultado que podem ser utilizados no setor público, associe a coluna A com a coluna B, assinalando a opção que indica as relações corretas. Coluna A Coluna B

A1 - É adequada para avaliar tanto processos quanto resultados, mas pressupõe ser possível identificar ad-hoc uma rede razoavelmente estável de relação entre variáveis a serem analisadas.

A2 - Fornece uma perspectiva sistêmica e abrangente, mas focaliza essencialmente indicadores de resultado, dificultando análises sobre a heterogeneidade dos processos subjacentes ao fenômeno estudado.

A3 - Permite estimar a eficiência de diferentes unidades de decisão, mas realiza análise essencialmente comparativa fundada em pressupostos sobre a tecnologia subjacente.

A4 - Fornece as bases para estabelecimento de relações de causalidade entre variáveis, tem sido utilizada com sucesso na área agrícola e na medicina e inspira grande credibilidade.

B1 - Modelo de Avaliação Baseado em Análise Envoltória de Dados

B2 - Modelo de Avaliação Baseado em Estudos Experimentais

B3 - Modelo de Avaliação Baseado na Teoria do Programa

B4 - Modelo de Avaliação Baseado em Testes Padronizados

a) A1-B3, A2-B2, A3-B4, A4-B1

b) A1-B3, A2-B4, A3-B1, A4-B2

c) A1-B1, A2-B3, A3-B2, A4-B4



d) A1-B4, A2-B1, A3-B3, A4-B2

e) A1-B2, A2-B1, A3-B4, A4-B3

3. (ESAF/CGU/2008) O debate sobre a formulação de programas e projetos envolve um extenso rol de conceitos. Todos os enunciados abaixo estão corretos, exceto:

a) os objetivos são declarações de intenção quanto a cenários futuros, que sintetizam hipóteses acerca das relações entre os meios e fins de uma intervenção.

b) uma meta representa um detalhamento de um objetivo ou produto de uma intervenção, a ser usado como um parâmetro de desempenho contra o qual o resultado obtido será comparado.

c) as metas são compromissos expressos em termos de quantidade, objeto e prazo, devendo ser realistas, precisas e mensuráveis.

d) numa árvore de objetivos, a identificação dos meios delimita as possíveis alternativas de intervenção, que devem ser selecionadas com base em critérios claros.

e) a construção de uma árvore de problemas baseia-se na concertação entre interesses distintos, com o objetivo de estabelecer uma inteligibilidade compartilhada quanto a uma situação real.

4. (ESAF/CGU/2008) Apesar das muitas controvérsias entre os teóricos, na área de avaliação existem alguns conceitos e distinções razoavelmente consensuados, como os que se referem à avaliação somativa e à avaliação formativa. Sobre os objetivos da avaliação formativa, examine os enunciados abaixo e depois marque a resposta certa.

1. Proporcionar feedback imediato para alimentar revisões de programas e projetos em fase de teste-piloto.

2. Estimar o grau de eficácia das estratégias adotadas na implementação de um programa e orientar decisões sobre sua continuidade.

3. Identificar aspectos ambientais favoráveis e desfavoráveis ao êxito de um projeto ou programa em fase inicial de implementação, a fim de definir estratégias para melhorar o seu desempenho.

4. Informar sobre as necessidades de ampliação da cobertura de um programa ou da viabilidade de sua replicação.



a) Todos os enunciados acima são objetivos da avaliação formativa.

b) Nenhum dos enunciados acima é objetivo da avaliação formativa.

c) Somente o enunciado 2 é objetivo da avaliação formativa.

d) Somente os enunciados 1 e 3 são objetivos da avaliação formativa.

e) Somente os enunciados 2 e 4 são objetivos da avaliação formativa.

5. (ESAF/CGU/2008) A Análise Custo-Benefício (ACB) proporciona um guia para hierarquizar alternativas de investimentos em projetos a serem executados ou já em processo de execução. Examine as assertivas abaixo sobre a Análise Custo-Benefício e assinale a opção incorreta.

a) A relação entre custos e produtos proporciona elementos para analisar a eficiência operacional, mas não informa sobre a eficácia do projeto em relação ao público-alvo escolhido.

b) Na avaliação social, a Análise Custo-Benefício utiliza suposições da taxa de desconto diferentes das que são aplicadas na avaliação privada, porque deve incluir os impactos distributivos, os efeitos intangíveis e até o valor da vida humana.

c) A diferença mais importante entre a avaliação privada e a avaliação social é que na primeira a Análise Custo-Benefício utiliza como referência o preço de mercado, enquanto que na avaliação social são utilizados preços sombra, de eficiência, ou seja, preços sociais.

d) A taxa de desconto utilizada na Análise Custo-Benefício tem por objetivo traduzir a um valor presente os custos e benefícios que resultarão do projeto no futuro e é fixada sobre a base do custo de oportunidade do capital.

e) A Análise Custo-Benefício permite averiguar se os projetos são ou não rentáveis, comparando os fluxos atualizados de benefícios e os custos previstos em sua implementação.

6. (ESAF/EPPGG-MPOG/2003) Os instrumentos gerenciais contemporâneos são baseados na avaliação de desempenho e resultados e na flexibilidade organizacional. A seguir são apresentados alguns conceitos básicos deste novo tipo de gestão. Assinale a opção que identifica todas as relações corretas entre as colunas:

1 – Eficácia A – Utilização dos recursos.



2 – Objetivos B – Alcance de resultados.

3 – Flexibilização C– Delegação de autoridade.

4 – Eficiência D – Escala de prioridades.

5 – Descentralização E – Abordagem sistêmica.

a) (1=>B), (4=>E), (2=>A), (3=>D), (5=>C)

b) (1=>B), (4=>A), (2=>E), (3=>D), (5=>C)

c) (1=>D), (4=>E), (2=>B), (3=>A), (5=>C)

d) (1=>D), (4=>B), (2=>D), (3=>C), (5=>A)

e) (1=>B), (4=>A), (2=>D), (3=>E), (5=>C)

7. (FGV/CAERN/2010) Os indicadores de produtividade devem respeitar certos atributos para aplicação correta. Nesse sentido, um determinado indicador ineficaz, ou seja, que não capte as etapas mais significativas de um processo, desobedece ao atributo da

(A) representatividade.

(B) rastreabilidade.

(C) praticidade.

(D) adaptabilidade.

(E) disponibilidade.

8. (FGV/BADESC/2010) Os indicadores de produtividade, tanto no âmbito da administração privada quanto no da administração pública, devem respeitar certos atributos gerais em sua concepção.

A esse respeito, assinale a alternativa que corresponde ao atributo de economia.

a) Garantia de que é gerado em rotinas de processo e permanece ao longo do tempo.

b) Garantia de que não deve ser gasto tempo demais pesquisando dados ou aguardando novos métodos de coleta.

c) Facilidade para identificação da origem dos dados, seu registro e manutenção.



d) Facilidade de acesso para coleta, estando disponível a tempo, para as pessoas certas e sem distorções.

e) Garantia de que realmente funciona na prática e permite a tomada de decisões gerenciais.

9. (FGV/BADESC/2010) Levando em consideração o uso de controles e indicadores de produtividade em um programa de educação, o percentual de crianças matriculadas e a avaliação da qualidade por meio de exames nacionais são, respectivamente, exemplos de:

(A) eficácia e eficiência.

(B) eficiência e eficácia.

(C) efetividade e eficiência.

(D) efetividade e eficácia.

(E) eficácia e efetividade.

10. (FGV/MINC/2006) Analise as afirmativas a seguir:

I. Os indicadores são essenciais para a avaliação de políticas públicas. De maneira simples, indicadores são unidades de medida que permitem "aferir" resultados, impactos, qualidade etc., dos processos e das intervenções (projetos, programas ou políticas) na realidade. Eles são instrumentos de gestão, essenciais nas atividades de monitoramento e avaliação de projetos, programas e políticas, porque permitem acompanhar a busca das metas, identificar avanços, ganhos de qualidade, problemas a serem corrigidos, necessidades de mudança, etc.

II. Indicadores de efetividade têm como objetivo verificar o desempenho dos processos e das atividades. Já os indicadores de eficácia têm como objetivo verificar os efeitos obtidos, isto é, os objetivos gerais do programa.

III. Em uma avaliação de política pública, uma das estratégias utilizadas é desenvolver uma série de indicadores antes da implementação do programa. Essa primeira medição é conhecida como "marco zero". Após os primeiros resultados concretos do programa, os indicadores são comparados para medir a efetividade da política pública.

Assinale:







(E) se somente as afirmativas I e III estiverem corretas.















13. (IPAD/SGA-AC/2009) Qual o nome dado, em políticas públicas, à avaliação que realiza o acompanhamento dos processos desenvolvidos com vistas ao alcance dos objetivos e metas propostos e à cobertura do programa?

A) Avaliação de metas.

B) Avaliação de impactos.

C) Avaliação de controle.

D) Avaliação de princípios.

E) Avaliação de processos.

14. (CESPE/AUGE-MG/2008) A respeito da avaliação de programas e projetos governamentais, é correto afirmar que

A) a avaliação de resultados, de natureza ex-ante, visa aferir a efetividade do programa ou projeto avaliado.

B) a avaliação da efetividade de um programa ou projeto visa aferir se as realizações ocorreram dentro do orçamento previsto e a custos compatíveis, enquanto a avaliação de eficiência visa aferir os impactos da ação do programa ou projeto sobre o seu público-alvo ou beneficiários.

C) a avaliação ex-ante busca aferir os eventos já ocorridos e tomar decisões baseadas nestas informações, enquanto a avaliação ex-post visa orientar o planejamento do programa ou projeto objeto da avaliação, de forma a antecipar restrições e respectivas providências a serem tomadas.

D) a avaliação de resultado ou de impacto busca averiguar, fundamentalmente, o desempenho orçamentário/financeiro do programa ou projeto avaliado.

E) a avaliação de efetividade baseia-se fundamentalmente na verificação da evolução dos indicadores do programa ou projeto, enquanto a avaliação de eficácia baseia-se fundamentalmente na verificação da evolução das metas físicas do programa ou projeto avaliado.

15. (CESPE/SGA-AC/2006) Os processos de modernização da gestão pública e de reforma do Estado têm dado grande ênfase ao fortalecimento das funções de monitoramento e avaliação de políticas públicas na agenda governamental. Julgue os itens seguintes, relativos à avaliação de políticas públicas, e assinale a opção correta.



A) Na avaliação de uma política pública não se pode utilizar métodos qualitativos, uma vez que eles não permitem a mensuração de impactos.

B) A avaliação ex ante é um tipo de avaliação de implementação, utilizado para aferir o grau de satisfação dos usuários da política pública.

C) Eficiência, efetividade, impacto e sustentabilidade são dimensões relevantes na avaliação de políticas públicas.

D) Embora tenha destaque na agenda governamental, a avaliação não costuma fazer parte da agenda de organismos internacionais e de agências de financiamento.

16. (FGV/MC/2006) De maneira geral, um planejamento de políticas públicas é composto por três fases: (1) estabelecimento de objetivos a alcançar; (2) tomada de decisões a respeito das ações futuras; e (3) elaboração de planos. Dentro desse contexto, analise as afirmativas a seguir:

I. Os objetivos são resultados futuros que a organização pretende atingir. Assim, objetivos organizacionais podem se desdobrar em estratégia, políticas, diretrizes, metas, programas, procedimentos, métodos e normas.

II. Existem diversos métodos que auxiliam os gestores públicos na sua tomada de decisões. Dentre eles, destacam-se a pesquisa operacional, que utiliza diversos modelos analíticos ou matemáticos para verificar as relações entre os vários fatores e alternativas na forma de modelos matemáticos; e as árvores de decisão, que auxiliam o gestor a visualizar os possíveis resultados das alternativas envolvidas nas decisões públicas.

III. O plano é a última fase do processo de planejamento e é considerado como o resultado do processo de implementação do planejamento. Assim sendo, um plano é um curso de ação sobre um período especificado de tempo.

Assinale:





(E) se todas as afirmativas estiverem corretas.



17. (CESPE/VÁRIOS) A respeito dos tipos de avaliação, analise as assertivas abaixo e assinale a correta.

a) Monitoramento é a avaliação centrada nas mudanças quantitativas e qualitativas do programa, a qual tem como critério a efetividade e como suposição a existência de relação entre variáveis.

b) A avaliação política é centrada no desenvolvimento do programa, visando aferir-lhe a eficácia e efetuar correções durante a implementação.

c) Avaliação de processo é a emissão de juízo de valor em relação à política ou programa com base em critérios e princípios políticos que fundamentam a concepção de bem-estar humano.

d) Avaliação de impactos é uma atividade contínua e gerencial que visa aferir o controle de entrega de insumos, conforme as metas e o calendário, tendo em vista a garantia da eficiência do programa.

e) A avaliação formativa é realizada com o intuito de gerar feedback para a melhoria do programa, da política ou de qualquer outro objeto a ser avaliado, tendo, portanto, natureza de avaliação de processo, enquanto a avaliação somativa visa julgar o mérito do programa, tendo natureza de avaliação de impacto.

4.2 GABARITO

1. B

2. B

3. E

4. D

5. B

6. E

7. A

8. B

9. E

10. E

11. B

12. B

13. E

14. E

15. C

16. D

17. E

5 Leitura Sugerida

Avaliação de Políticas Públicas e Programas Governamentais, Mônica Cavalcanti http://www.socialiris.org/antigo/imagem/boletim/arq48975df171def.pdf

aula 05[1]

Documents