diagnóstico e perfil de maturidade dos sistemas de avaliação de

SUMÁRIO EXECUTIVOADMINISTRAÇÃO

Brasília, 2014

RelatorMinistro José Jorge

Sistemas de Avaliação de Programas Governamentais

Diagnóstico e Perfil de Maturidade dos

Lista de siglas

Ceag/UnB – Centro de Estudos Avançados de Governo e Administração Pública da Universidade de BrasíliaCGU – Controladoria Geral da UniãoCiset – Secretaria de Controle InternoDAS – Direção e Assessoramento SuperioriSA-Gov – Índice de Maturidade dos Sistemas de Avaliação de Programas GovernamentaisM&A – Monitoramento e AvaliaçãoMCDA – Metodologia Multicritério de Apoio à Decisão MCDA-C – Metodologia Multicritério de Apoio à Decisão ‑ abordagem ConstrutivistaMTO – Manual Técnico de OrçamentoPPA – Plano PlurianualSM&A – Sistemas de Monitoramento e AvaliaçãoTCU – Tribunal de Contas da UniãoUnB – Universidade de Brasília

4

Lista de Quadros

Quadro 1 – Modelo de análise da maturidade dos sistemas de avaliação – iSA‑Gov _______________________ 17

Quadro 2- Nível de maturidade dos sistemas de avaliação dos Programas de Governo ______________ 19

5

Lista de Figuras

Figura 1 – Sistemas de avaliação ____________________ 14

Figura 2 – Modelo de análise comparada de desempenho por foco _________________________________ 42

Figura 3 – Análise de dispersão comparada entre os focos demandas avaliativas e capacidade de produção de informações avaliativas ‑ oferta (Focos I e II) _______________ 43

Figura 4 - Análise de dispersão comparada entre os focos utilização e produção de conhecimento avaliativo (Focos II e IV) ________________________________ 45

Figura 5 – Análise de dispersão comparada entre os focos demandas avaliativas (Foco I) e utilização (Foco IV) __________ 46

6

Lista de Gráficos

Gráfico 1 – Perfil dos respondentes 22

Gráfico 2 – Tempo de serviço dos respondentes na atual função 23

Gráfico 3 - Tempo de serviço prestado à Administração Pública Federal pelos respondentes 23

Gráfico 4 – Nível de maturidade das dimensões do Foco I 29

Gráfico 5 - Pontuação dos órgãos em relação às Demandas Avaliativas (Foco I) 30

Gráfico 6 – Nível de maturidade das Dimensões do Foco II (Produção do Conhecimento Avaliativo) 33

Gráfico 7 - Pontuação dos órgãos em relação ao Foco II – Produção do Conhecimento Avaliativo 34

Gráfico 8 – Nível de maturidade Foco II – Produção do Conhecimento Avaliativo 35

Gráfico 9 – Pontuação dos órgãos em relação à capacidade de aprendizado organizacional (Foco III) 36

Gráfico 10 – Nível de maturidades das dimensões do Foco IV 38

Gráfico 11 – Pontuação dos órgãos em relação à utilização da avaliação (Foco IV). 38

Gráfico 12 – Nível de maturidade Foco IV ‑ Utilização 39

7

Gráfico 13 – Pontuação da maturidade dos sistemas de avaliação por foco 40

Gráfico 14 – Pontuação da maturidade dos sistemas de avaliação por dimensão 41

Gráfico 15 – Pontuação geral dos órgãos – Índice iSA‑Gov 48

Gráfico 16 – Pontuação acumulada iSA‑Gov por foco de análise e órgão pesquisado 50

Gráfico 17 – Radar por Foco de análise e órgão pesquisado 51

8

Sumário

Apresentação 10

1. Resumo 11

2. O que são sistemas de avaliação de programas governamentais? 13

3. O que foi avaliado pelo Tribunal 15

4. Como se desenvolveu o trabalho 16

5. Órgãos selecionados para a pesquisa 21

6. Perfil dos respondentes 22

7. O que o TCU encontrou 257.1 PERFIL DE MATURIDADE DAS DEMANDAS

AVALIATIVAS (FOCO I) 25

7.2 AVALIAÇÃO DA PRODUÇÃO DE CONHECIMENTO

AVALIATIVO – OFERTA (FOCO II) 31

7.3 AVALIAÇÃO DA CAPACIDADE DE APRENDIZADO

ORGANIZACIONAL (FOCO III) 35

7.4 AVALIAÇÃO DA UTILIZAÇÃO DA AVALIAÇÃO (FOCO IV) 37

7.5 AVALIAÇÃO GERAL DOS FOCOS 39

9

8. Análise comparada de dispersão por foco 428.1 ANÁLISE COMPARADA DE DISPERSÃO ENTRE DEMANDA AVALIATIVA

E PRODUÇÃO DE CONHECIMENTO (OFERTA) – FOCOS I E II 43

8.2 ANÁLISE COMPARADA DE DISPERSÃO ENTRE A PRODUÇÃO E A

UTILIZAÇÃO DE CONHECIMENTO AVALIATIVO– FOCOS II E IV 44

8.3 ANÁLISE COMPARADA DE DISPERSÃO ENTRE DEMANDAS

AVALIATIVAS E UTILIZAÇÃO (FOCOS I E IV) 45

9. Índice de Maturidade dos Sistemas de Avaliação da Administração Federal Direta iSA-Gov 47

Conclusão 53

REFERÊNCIAS 54

maridelpn

Nota

Deixar em minúscula, com os demais títulos

maridelpn

Realce

10

Apresentação

Os sistemas de avaliação são instrumentos‑chave para a governança, na medida em que subsidiam a coordenação intra e inter‑organizacional para im‑plementação das políticas, favorecendo a comunicação entre os diversos atores envolvidos e possibilitando assegurar a transparência do desempenho e dos resultados das ações governamentais com vistas à promoção da accountability.

Se os sistemas de monitoramento e de avaliação não produzirem infor‑mações relevantes, oportunas e tempestivas os gestores ficam limitados em sua capacidade para conduzir a máquina pública na direção correta para o alcance dos objetivos dos programas governamentais. O conhecimento avaliativo tam‑bém é elemento‑chave para que os Ministérios e agências responsáveis pela implementação das políticas públicas aprendam, corrijam rumos e busquem novas soluções para assegurar o bom e efetivo uso dos recursos em atenção às demandas da população.

Ciente do seu papel indutor de melhorias da gestão e do desempenho da Ad‑ministração Pública, bem como da função estruturante dos sistemas de avaliação e monitoramento, o Tribunal de Contas da União (TCU) realizou, em 2013, este diagnóstico sobre o perfil de maturidade dos sistemas de avaliação de programas governamentais em 27 ministérios.

Agora, o TCU disponibiliza aos gestores e a toda sociedade o Índice de Maturidade dos Sistemas de Avaliação ‑ iSA‑Gov, que explicita oportunidades de aperfeiçoamento dos mecanismos e instrumentos necessários para produzir informações sobre o desempenho e os resultados dos programas governamen‑tais. Esse trabalho inovou ao mensurar de forma inédita e sistematizada a ma‑turidade dos sistemas que apoiam os tomadores de decisão com conhecimento qualificado sobre o desempenho e os resultados das políticas públicas.

Ressalto que avaliação, monitoramento e direção constituem as três prin‑cipais funções da governança pública e, por isso, estamos certos de que este trabalho trará informações relevantes para apoiar os gestores na nobre missão de entregar programas e políticas públicas efetivas, em benefício da sociedade.

Ministro João Augusto Ribeiro NardesPresidente do Tribunal de Contas da União

11

Resumo1

A avaliação como instrumento de apoio aos processos decisórios está relacionada à busca de alternativas para subsidiar o aperfeiçoamento de programas e políticas, com vistas a promover a melhoria da eficiência, eficácia e efetividadade das ações governamentais. Para tanto é necessá‑rio garantir a produção de informações e análises que favoreçam as me‑lhores escolhas para promoção do desenvolvimento social, com redução de desigualdades e democratização de oportunidades.

É por meio dos sistemas de avaliação, desenvolvidos para apoiar a implementação e gestão das políticas e a boa governança, que o conhe‑cimento avaliativo ganha corpo e passa a subsidiar de forma contínua os processos decisórios nas organizações.

Para avaliar estes sistemas nos órgãos da Admininstração Direta do Poder Executivo Federal, o TCU criou o índice de maturidade dos siste‑índice de maturidade dos siste‑mas de avaliação de programas governamentais, o iSA‑Gov.

Este índice expressa a percepção dos gestores sobre a adequação dos mecanismos e instrumentos disponíveis nos órgãos públicos para de‑mandar e produzir informações sobre o desempenho e os resultados dos programas governamentais, com vistas à utilização para o aprendizado e o aperfeiçoamento das políticas. Dessa forma, quanto melhor o índice, melhor a capacidade dos órgãos para monitorar e avaliar a implementa‑ção das políticas públicas.

Portanto, mensurar o perfil de maturidade desses sistemas significa avaliar a adequação dos processos, procedimentos, meios e mecanismos que os órgãos utilizam para demandar e registrar as informações sobre a execução dos programas, bem como para interpretar e comunicar os re‑

Resumo12

sultados, com vistas a compreender e fortalecer a implementação desses programas para a melhoria dos resultados.

O iSA‑Gov revelou que os sistemas de avaliação de 85% dos órgãos da Administração Direta (23 Ministérios) apresentam nível de maturi‑dade intermediário. Isso indica que os mecanismos e instrumentos ne‑cessários para caracterizar os sistemas de avaliação estão presentes, são parcialmente suficientes e atendem regulamente as necessidades dos ges‑tores. Constatou‑se que somente 33% dos órgãos (nove) desenvolveram capacidade para produzir informações avaliativas. Porém, a estruturação das demandas avaliativas, a capacidade de aprendizado organizacional e de utilização das informações proporcionam um ambiente favorável à produção de informações respeito do desempenho e dos resultados dos programas governamentais por eles implementados.

As evidências indicam que as deficiências sistêmicas na capacidade de gestão da Administração Pública, como carência de pessoal, contin‑genciamento e corte de recursos e infraestrutura de tecnologia de infor‑mação inadequada, comprometem a execução do planejamento e, por consequência, a implementação dos programas e dos resultados.

Os resultados do iSA‑Gov, na medida em que indicam oportunida‑des de aperfeiçoamento dos sistemas de avaliação e monitoramento da Administração Pública, podem contribuir para a melhoria do desempe‑nho e dos resultados dos programas governamentais, em relação a maior eficiência, eficácia e efetividade das políticas públicas.

Nesse sentido foi proferido o Acórdão 1209/2014‑PL , na sessão do dia 14 de maio de 2014.

13

O que são sistemas de avaliação de programas governamentais?2

Leeuw e Furubo (2008) definiram quatro critérios para caracterizar um sistema de avaliação. O primeiro critério diz respeito à existência de uma perspectiva epistemológica distinta, que permita diferenciar as atividades de avaliação das demais atividades de gestão. O segundo tra‑ta dos arranjos, ou seja, para que essas atividades sejam consideradas um sistema, devem ser executadas por profissionais dentro de estruturas organizacionais e instituições, e não apenas (ou em grande parte) por avaliadores externos à organização. O terceiro critério é a continuidade, que indique a permanência dessas atividades ao longo do tempo. Por fim, o quarto critério se refere à utilização das informações avaliativas.

Esses critérios foram estabelecidos em vista da dificuldade de se defi‑nir o que é um sistema de avaliação. A descrição mais completa, segundo esses autores, foi formulada por Furubo e Sandahl (2002), que entendem os sistemas de avaliação como um indicador de uma cultura de avaliação madura, em que as avaliações são designadas e conduzidas de forma ad hoc, por meio de arranjos permanentes, que objetivam garantir, com an‑tecedência, que as informações serão disponibilizadas e utilizadas.

Dessa forma, os sistemas de avaliação podem ser caracterizados a partir dos mecanismos e instrumentos que definem um fluxo regular e contínuo de demandas, que orientam um conjunto de práticas avaliati‑vas, formalizadas, estruturadas e coordenadas, para produzir e fornecer conhecimento, com o objetivo de subsidiar os processos decisórios e de aprendizado para aperfeiçoamento da gestão e da implementação de programas e políticas públicas (SERPA; CALMON, 2012).

O que são sistemas de avaliação de programas governamentais?14

Figura 1 – Sistemas de avaliação

Fonte: Elaboração própria

A partir dessa definição, foi desenvolvido um modelo para caracteri‑zar e mensurar o perfil de maturidade dos sistemas de avaliação, o qual foi aprovado pelo TCU por meio do Acórdão 243/2013‑TCU‑Plenário (TC‑030.688/2011‑6). Estruturou‑se o modelo em quatro dimensões de análise: demandas avaliativas, produção de conhecimento avaliativo (oferta), capacidade de aprendizado organizacional e utilização.

Fluxo regular e contínuo de

demandas

produção efornecimento de

conhecimento

Processos decisórios e aprendizagem

Aperfeiçoamento da gestãoe da implementação de programas

e políticas públicas

práticas avaliativas formalizadas,

estruturadas e coordenadas

15

O que foi avaliado pelo Tribunal3

O TCU avaliou a adequação dos mecanismos e instrumentos dispo‑níveis nos órgãos da Administração Direta para demandar e produzir informações sobre o desempenho e os resultados dos programas gover‑namentais, com vistas a sua utilização para o aprendizado e o aperfeiço‑amento das políticas públicas.

A avaliação baseou‑se na percepção dos gestores responsáveis pela implementação dos programas temáticos, os quais expressam e orien‑tam a ação governamental para a entrega de bens e serviços à sociedade.

O objetivo desta avaliação foi caracterizar os sistemas de avaliação da Administração Direta e apresentar um diagnóstico da capacidade desses órgãos para monitorar e avaliar os programas governamentais. A com‑petência para executar essas atividades coexiste com as competências específicas dos órgãos e entidades do Poder Executivo no processo de formulação, implementação e produção de informações sobre as políti‑cas públicas, conforme estabelece o Decreto nº 7.866/2012.

16

Como se desenvolveu o trabalho4

O trabalho contemplou o levantamento de dados, por meio de pes‑quisa eletrônica, junto aos gestores das Unidades da Administração Di‑reta de 28 Ministérios responsáveis pela implementação de programas e políticas finalísticas, obtendo‑se a participação de 27 Ministérios. A partir da análise dos dados foi possível elaborar um diagnóstico de como e para que propósitos os órgãos da Administração Direta produzem e utilizam as informações sobre o desempenho e os resultados dos progra‑mas por eles implementados.

A pesquisa foi encaminhada para 2.062 gestores, obtendo‑se 750 respostas. O percentual de resposta variou de 20,6% a 61,1%, corres‑O percentual de resposta variou de 20,6% a 61,1%, corres‑pondendo a 36,4% dos pesquisados. Cabe observar que não se trata de amostra probabilística uma vez que a pesquisa foi encaminhada para todos os gestores DAS 4 a 6 das Unidades da Administração Direta dos órgãos responsáveis pela implementação de programas e políticas finalísticas e a resposta à pesquisa foi facultativa.

Para produzir o iSA‑Gov, considerando o modelo de análise aprova‑do pelo TCU, buscou‑se uma metodologia em que fosse possível men‑surar múltiplos aspectos relevantes para avaliar determinado objeto e ao mesmo tempo contemplassem as percepções dos atores envolvidos, com vistas a obter, ao final do processo, uma classificação.

Desta forma, a Metodologia Multicritério de Apoio a Decisão – abor‑dagem Construtivista (MCDA‑C) mostrou‑se oportuna, uma vez que possibilita avaliar as ações segundo um conjunto de critérios, considerando as preferências dos decisores (ENSSLIN et al., 2001).

17

Para a realização deste trabalho contou‑se com o apoio do Centro de Estudos Avançados de Governo e Administração Pública da Uni‑versidade de Brasília (Ceag/UnB), como iniciativa piloto do Acordo de Cooperação Técnica entre o TCU e aquele Centro.

Para aplicação da metodologia as quatro dimensões teóricas apresenta‑as quatro dimensões teóricas apresenta‑das (demandas avaliativas, produção de conhecimento avaliativo – oferta, utilização e capacidade de aprendizado organizacional) foram considera‑das os focos principais para caracterizar os sistemas, conforme especifi‑cados no Quadro 1. Estes foram decompostos em quatorze dimensões e critérios, com vistas a permitir uma melhor avaliação das percepções dos gestores das Unidades da Administração Federal Direta sobre os meca‑nismos e instrumentos por eles utilizados para avaliar o desempenho e os resultados dos programas e políticas sob suas responsabilidades.

Quadro 1 – Modelo de análise da maturidade dos sistemas de avaliação – iSA-Gov

ISA - GOV

FOCO PESO(%) DIMENSÕES PESO(%)

I Demandas Avaliativas

35 1 Definição do objeto da avaliação

30

2 Avaliação da integração da função planejamento

20

3 Definição dos atores atendidos (para quem avaliar?)

25

4 Formalização das demandas avaliativas

N/A

5 Propósitos da avaliação (para que avaliar?)

25

II Oferta - Produção do conhecimento avaliativo

30 6 Bases normativas das práticas de monitoramento e avaliação

25

7 Marco organizacional das práticas de monitoramento e avaliação

25

8 Gestão de meios (recursos orçamentários TI)

20

9 Gestão de pessoas 30

III Capacidade de aprendizado organizacional

15 10 Capacidade de aprendizado organizacional

100

IV Utilização 20 11 Utilização no processo de produção de informações

25

12 Utilização instrumental das informações

25

13 Utilização conceitual 25

14 Utilização política das informações

25


Em seguida, atribuiram‑se pesos para os focos, dimensões e critérios de acordo com o grau de importância relativa, segundo a literatura sobre o tema e trabalhos similares realizados no Canadá, por Cousins et al. (2007), e na Dinamarca, por Nielsen et al. (2011).

Com vistas a verificar e assegurar a consistência, compreensão e pertinência do instrumento de coleta de dados (questionário) foram realizados dois grupos focais com gestores das Unidades da Adminis‑tração Direta. O primeiro com coordenadores e o segundo com direto‑res. Observou‑se uma convergência dos pontos críticos levantados. As discussões dos grupos focais contribuíram para o aperfeiçoamento do instrumento de pesquisa.

A aplicação do questionário foi realizada por meio de pesquisa dis‑ponibilizada ao público alvo pelo Sistema Pesquisar do Tribunal de Contas da União.

Por fim, os dados coletados foram processados no Software D-Sight, cujos resultados subsidiaram as análises e conclusões do trabalho.

Para descrever a percepção geral dos respondentes sobre os critérios investigados utilizaram‑se, preliminarmente, tabelas de frequências e as medidas de posição (média, moda, mediana e desvio padrão). Com vistas a evidenciar os resultados apurados, procedeu‑se à análise dos co‑mentários às questões abertas, por meio da análise de conteúdo.

Para avaliação da maturidade dos sistemas e dos respectivos focos, utilizou‑se a escala constante do Quadro 2.

19

Quadro 2- Nível de maturidade do sistema de avaliação dos Programas de Governo

NÍVEL DE MATURIDADE DESCRITOR PONTUAÇÃO

Não estruturado

Considera-se um sistema ou foco não estruturado quando forem observados que os mecanismos e instrumentos necessários para caracterizar os sistemas de avaliação estão parcialmente presentes, mas não são suficientes e não atendem as necessidades dos atores.

< 50

Incipiente Considera-se um sistema ou foco incipiente quando forem observados que os mecanismos e instrumentos necessários para caracterizar os sistemas de avaliação estão presentes, são parcialmente suficientes, e não atendem regularmente as necessidades dos atores.

≥ 50 E ≤ 60

Intermediário Considera-se um sistema ou foco intermediário quando forem observados que os mecanismos e instrumentos necessários para caracterizar os sistemas de avaliação estão presentes, são parcialmente suficientes e atendem regularmente as necessidades dos atores.

> 60 E ≤ 70

Aprimorado Considera-se um sistema ou foco aprimorado quando forem observados que os mecanismos e instrumentos necessários para caracterizar os sistemas de avaliação estão presentes, são suficientes e atendem satisfatoriamente as necessidades dos atores

> 70 E ≤ 80

Avançado Considera-se um sistema ou foco avançado quando forem observados que os mecanismos e instrumentos necessários para caracterizar os sistemas de avaliação estão presentes, são suficientes e adequados e atendem plenamente as necessidades dos atores

> 80

A partir da definição do modelo conceitual, entendeu‑se como re‑quisito essencial, para caracterizar a existência de sistemas de avaliação, que os órgãos avaliados apresentem pontuação igual ou superior a 50 nos focos relativos à demanda e oferta avaliativas. Este critério foi esta‑belecido considerando o ponto médio das escalas utilizadas para avaliar a percepção dos respondentes, que indica a adequação ou suficiência das variáveis investigadas para atender, ao menos parcialmente, as necessi‑dades dos gestores.

A relevância deste trabalho pode ser avaliada pelas respostas e co‑mentários à Questão 49, que solicitava, in verbis: “Por favor, utilize o espaço a seguir para avaliar este questionário, expor suas considerações,


críticas e sugestões para aprimorar o instrumento e o trabalho que está sendo realizado”.

Apresentaram‑se 220 comentários, dos quais 53% corroboram a per‑tinência e adequação da abordagem metodológica aplicada. Por outro lado, 31% consideraram o instrumento longo e 16% ofereceram contri‑buições para futuros trabalhos desta natureza.

A percepção positiva dos respondentes acerca da aplicação do ques‑tionário exemplificada nos comentários a seguir:

O questionário nos dá a oportunidade de refletir um pouco mais sobre a prática avaliativa dos programas e políticas desenvolvidos e nos permite expor as fragilidades dos processos de avaliação e monitora‑mento. É de grande importância o desenvolvimento e a institucionali‑zação de avaliação e monitoramento, inclusive através de visitas in loco, para acompanhamento, correção de trajeto e verificação da eficiência, eficácia e efetividade das ações implementadas.

Este questionário é muito importante para toda a administração direta do Governo Federal. Ele demonstra a necessidade do constan‑te monitoramento dos níveis de atendimento às demandas que nos são atribuídas.

Cabe ressaltar que este trabalho baseia‑se em informações declara‑das pelos gestores das unidades de Administração Direta, sem que fos‑sem encaminhadas evidências.

21

Órgãos selecionados para a pesquisa 5

A Administração Direta do Poder Executivo é composta por 38 órgãos, sendo 24 Ministérios; a Advocacia Geral da União e a Con‑troladoria Geral da União, além dos órgãos diretamente vinculados à Presidência da República: dez Secretarias, a Casa Civil e um Gabinete de Segurança Institucional.

Desse universo foram selecionados 28 órgãos responsáveis pela exe‑cução de programas temáticos, ou seja, aqueles programas que expres‑sam e orientam a ação governamental para a entrega de bens e serviços à sociedade (MTO 2013). Segundo o Modelo de Planejamento Gover‑namental (PPA 2012‑2015), os programas temáticos foram concebidos a partir de recortes mais aderentes aos temas das políticas públicas, pos‑sibilitando a definição de indicadores capazes de revelar aspectos das políticas e contribuir com a gestão.

22

Perfil dos respondentes6

Conforme se apresenta no Gráfico 1, dos 750 respondentes, 43% são Coordenadores‑Gerais, 28% ocupam outras funções, na sua maior parte Assessores das Unidades responsáveis pela implementação de progra‑mas finalísticos; 16% são Diretores; 4% são Secretários. Menos de 2% são Secretários Executivos, o que corresponde, no entanto, a 41% dos Secretários Executivos dos órgãos pesquisados.

Gráfico 1 – Perfil dos respondentes

Sem resposta

Secretário(a) Executivo(a)

Diretor(a) Geral

Coordenador(a)

Secretário(a)

Diretor(a)

Outro

Coordenador(a) Geral

1%

2%

2%

4%

4%

16%

28%

43%

0% 10% 20% 30% 40% 50%

Fonte: Dados da pesquisa

A maior parte dos respondentes encontra‑se no nível operacional de gestão, uma vez que os Coordenadores Gerais e Coordenadores, na estru‑tura organizacional dos Ministérios, são responsáveis pela execução das atividades para implementação dos programas. Desta forma, tem‑se que os resultados refletem, em grande medida, as condições operacionais das Unidades da Administração Direta.

23

De acordo ainda com os dados da pesquisa, aproximadamente 75% dos respondentes são servidores públicos ou empregados de empresas públicas e os demais não possuem outros vínculos com o serviço público.

Além disso, aproximadamente 57% dos respondentes exercem há dois anos ou menos a atual função; 19% ocupam as funções de três a quatro anos e 17% há mais de seis anos (Gráfico 2).

Gráfico 2 – Tempo de serviço dos respondentes na atual função

Menos de 1 ano

35%

30%

25%

20%

15%

10%

5%

0%

De 1 a 2 anos

De 3 a 4 anos

De 5 a 6 anos

Mais de 6 anos

Semresposta


Ainda, 61% dos respondentes informaram possuir mais dez anos de serviço prestado à Administração Pública Federal e 20%, entre cinco e dez anos (Gráfico 3).

Gráfico 3 - Tempo de serviço prestado à Administração Pública Federal pelos respondentes

Menos de 1 ano

70%

60%

50%

40%

30%

20%

10%

0%

De 1 a 2 anos

De 3 a 4 anos

De 5 a 10 anos

Mais de 10 anos

Semresposta


Perfil dos respondentes24

Observa‑se que a maior parte dos respondentes detém experiência na administração pública, muito embora os resultados indiquem certo grau de rotatividade nas funções, uma vez que 57% dos respondentes estão dois anos ou menos nas atuais funções.

25

O que o TCU encontrou7

7.1 Perfil de maturidade das Demandas Avaliativas (Foco I)

Para se caracterizar um sistema de avaliação é necessário, inicial‑mente, que as demandas por informações avaliativas sejam estruturadas, regulares, pertinentes e consistentes com os objetivos estabelecidos para os programas e/ou políticas. Além disso, os demais elementos necessá‑rios para o alcance desses objetivos devem ser definidos de forma ade‑quada e suficiente. Esses elementos estão expressos no planejamento governamental e orientam a implementação das ações, com vistas à efe‑tiva prestação ou disponibilização dos bens e serviços públicos.

As demandas por informações avaliativas serão mais precisas, quan‑to mais bem definidos forem esses elementos, uma vez que os atores responsáveis pela implementação das ações terão clara definição do que será feito, o que será entregue, como será feito, para que e onde se reali‑zará, qual o resultado esperado e quem serão os beneficiários dos gastos públicos (MTO, 2013, p. 32).

As informações avaliativas ou o conhecimento avaliativo devem prioritariamente atender às necessidades dos atores responsáveis ou in‑teressados na implementação e nos resultados das ações governamentais, com vistas a subsidiá‑los com informações qualificadas sobre o desem‑penho e/ou os resultados da implementação dos programas. Objetiva‑se assegurar a produção de informações necessárias para a efetiva gover‑nança das políticas públicas. Tem‑se assim, que o conhecimento avalia‑tivo deve atender necessidades previamente identificadas, favorecendo a sua utilização.


Desta forma, o Foco I – demandas avaliativas ‑ foi desdobrado em cinco dimensões. Na Dimensão 1, buscou‑se conhecer a percepção dos gestores sobre a consistência dos objetivos e atividades definidas para implementação dos programas e/ou políticas; assim como, a adequação do escopo das ações, metas, prazos, recursos orçamentários e não orça‑mentários alocados. Na Dimensão 2, investigou‑se o alinhamento do planejamento das Unidades da Administração Direta com os demais instrumentos de planejamento governamental. Nas Dimensões 3 e 4, respectivamente, a origem e o nível de formalização das demandas. Por fim, na Dimensão 5, os propósitos para os quais se destinam as informa‑ções avaliativas disponíveis.

No que diz respeito à Dimensão 1 do Foco I, 25 dos 27 órgãos pes‑quisados (93%) apresentaram pontuação acima de cinquenta pontos. No entanto, nem todos se encontram no mesmo nível de maturidade. Dez desses órgãos (37%) estão no nível incipiente (pontuação entre 51,33 a 59,00), onde os elementos necessários para formular as demandas ava‑liativas estão presentes, são parcialmente suficientes, mas não atendem de forma regular as necessidades dos atores responsáveis pela imple‑mentação dos programas governamentais.

Por outro lado, em melhor situação nessa dimensão encontram‑se quatorze órgãos (52%), que obtiveram pontuação acima de sessenta pontos (nível de maturidade intermediário). Nesses órgãos os elemen‑tos, são parcialmente suficientes e atendem às necessidades dos gestores de forma regular.

Ressalte‑se que apenas um órgão obteve pontuação acima de setenta pontos, indicando nível de maturidade aprimorado, e dois com pontu‑ação abaixo de cinquenta pontos e, portanto, com nível de maturidade não estruturado.

Com base nos comentários apresentados pelos respondentes, obser‑va‑se que as principais deficiências quanto aos critérios examinados nessa dimensão, dizem respeito às dificuldades para implementação dos pro‑gramas, que decorrem dos seguintes fatores:

1) contingenciamento e corte de recursos, 2) carência de pessoal e

27

3) insuficiência dos procedimentos administrativos e de suporte, em especial, de tecnologia da informação.

No que diz respeito à Dimensão 2, observou‑se que as restrições orçamentárias impõem limites à execução do planejamento governa‑mental, dificultando a operacionalização das ações planejadas e, em de‑corrência, a integração dos instrumentos em análise.

No entanto, a avaliação geral dessa dimensão indica que essas restri‑ções não afetam igualmente todos eles. A metade dos órgãos, quatorze (52%) obteve pontuação superior a setenta, indicando satisfatória inte‑gração entre os instrumentos de planejamento. Além disso, sete órgãos (26%) apresentaram pontuação entre sessenta e setenta pontos, o que denota nível intermediário de integração, e seis órgãos (22%) apresenta‑ram integração incipiente.

Os dados indicam, com relação à Dimensão 3, que existe uma forte concorrência entre as demandas avaliativas internas e externas. As inter‑nas são as originadas na unidade do respondente ou em outras unidades do próprio Ministério. As externas são originadas fora do Ministério, em outros órgãos, como no Ministério do Planejamento, Presidência da Re‑pública, órgãos de controle (TCU, CGU e CISETs), Ministério Público, Polícia Federal, bem como cidadãos, movimentos sociais e imprensa.

Na percepção dos respondentes, entre 30% a 49% do tempo de suas Unidades é utilizado para atender demandas, tanto internas quanto ex‑ternas, por informações sobre o desempenho e os resultados dos progra‑mas e políticas sob suas responsabilidades.

No que diz respeito às demandas internas, observa‑se que existe também, na avaliação dos gestores, uma concorrência entre demandas da própria Unidade e de outras Unidades do Ministério.

Nessa dimensão, quanto maior a pontuação, maior o tempo despendi‑do pelas Unidades pesquisadas para atender as próprias demandas avalia‑tivas. Considerando que a pontuação de todos os órgãos ficou abaixo de cinquenta pontos, verifica‑se que não existe uma predominância das de‑mandas próprias sobre as outras necessidades de informações avaliativas.


Importa destacar que em relação à Dimensão 4, que a avaliação serviu basicamente para evidenciar outras possíveis relações e fluxos de comunicação, não tendo sido considerada para mensurar o perfil de ma‑turidade dos sistemas em exame.

No que diz respeito aos propósitos a serem atendidos com a produ‑ção de informações (Dimensão 5), os resultados evidenciam que o co‑nhecimento avaliativo atende parcialmente as necessidades dos gestores e é utilizado para uma multiplicidade de propósitos, sobressaindo, com pequena diferença, para promoção da accountability.

Observou‑se que 59% dos órgãos pesquisados (dezesseis) apresen‑taram, na Dimensão 5, nível de maturidade aprimorado; 19% (cinco órgãos), nível intermediário; 15% (quatro órgãos), nível incipiente; e, 7% (dois órgãos), não estruturado, conforme demonstrado no Gráfico 4.

Uma síntese do nível de maturidade das dimensões do Foco I é apre‑sentada no Gráfico 4. Destaca‑se no gráfico a Dimensão 3, na qual a avaliação dos 27 órgãos indica que as informações avaliativas produzidas ou disponibilizadas nas Unidades da Administração Direta não se des‑tinam a atender prioritariamente as necessidades dos gestores respon‑sáveis pela implementação dos programas, condição fundamental para caracterizar os sistemas próprios de avaliação.

Gráfico 4 – Nível de maturidade das dimensões do Foco I

Dimensão 1 Dimensão 2 Dimensão 3 Dimensão 5

21

10

14

6 7

14

27

2

4 5

16

30

25

20

15

10

5

0

Não estruturado Incipiente Intermediário Aprimorado Avançado


29

Quando se examinam os resultados do Foco I observa‑se que existe uma grande variação na percepção dos gestores entre os órgãos pesqui‑sados, cujas pontuações oscilam entre 50,23 a 70,23, sendo a mediana do Foco I 59,17 (pontuação geral do Foco I) – Gráfico 5. Ou seja, na avaliação geral, em 59% das Unidades da Administração Direta pes‑quisadas (dezesseis), mesmo quando os mecanismos e instrumentos de demanda de informações avaliativas estão presentes e são parcialmente suficientes, não são capazes de induzir a produção necessária de infor‑mações sobre o desempenho e os resultados de programas e políticas. Isso caracteriza o nível de maturidade incipiente.

Gráfico 5 - Pontuação dos órgãos em relação às Demandas Avaliativas (Foco I)

Órgão 27

Órgão 04

Órgão 20

Órgão 12

Órgão 23

Órgão 21

Órgão 18

Órgão 06

Órgão 26

Órgão 10

Órgão 25

Órgão 08

GERAL

Órgão 16

Órgão 01

Órgão 28

Órgão 03

Órgão 14

Órgão 17

Órgão 15

Órgão 07

Órgão 11

Órgão 22

Órgão 24

Órgão 13

Órgão 19

Órgão 09

Órgão 02

70,23

65,43

65,14

64,23

64,20

62,67

61,91

61,20

60,77

60,53

60,26

59,34

59,17

58,34

58,10

57,46

57,23

57,16

55,86

55,69

54,06

53,60

53,49

53,39

53,14

52,14

50,66

50,23

30 35 40 45 50 55 60 65 70 75



maridelpn

Nota

Desctacar em negrito

maridelpn

Nota

Destacar mais. Fazer um círculo?


No entanto, onze dos 27 órgãos (41%) apresentam avaliação superior a sessenta pontos. Em dez deles as demandas avaliativas apresentam grau de maturidade intermediário. Ou seja, as demandas avaliativas es‑tão mais bem estruturadas e atendem de forma regular as necessidades dos atores. Somente no órgão 27, observa‑se a melhor situação, em que as necessidades dos atores são satisfatoriamente atendidas (pontuação 70,23). Esse foi o único caso de grau de maturidade aprimorado das demandas avaliativas.

De acordo com a literatura (MACKAY, 2002; NIELSEN et al., 2011; PRESKILL; BOYLE, 2008), a demanda bem estruturada induz a oferta de informações avaliativas (produção de conhecimento – Foco II). No entanto, com base nos dados desta pesquisa, o resultado geral das análises do Foco I indica que, na média, o nível de estruturação das demandas avaliativas não é suficiente para promover uma produção satisfatória de informações sobre o desempenho e os resultados dos pro‑gramas de forma a atender as necessidades dos gestores.

7.2 Avaliação da produção de conhecimento avaliativo – oferta (Foco II)

O Foco II trata da avaliação da capacidade avaliativa desenvolvida nos órgãos da Administração Direta, ou seja, da estruturação dos pro‑cessos, procedimentos e organização dos meios para executar as ativida‑des avaliativas. Para tanto, buscou‑se conhecer a percepção dos gestores quanto à adequação da base normativa (Dimensão 6), do marco organi‑zacional (Dimensão 7), da gestão dos meios (Dimensão 8) e de pessoas (Dimensão 9) para execução das atividades avaliativas.

No que diz respeito a Dimensão 6, as análises indicam que apenas sete órgãos (26%) apresentaram pontuação acima de cinquenta. Des‑ses, seis estão no nível incipiente de adequação das normas, diretrizes e procedimentos para execução das atividades avaliativas, assim como de conhecimento das equipes dos respondentes a esse respeito e das formas de comunicação e disseminação nos ministérios. Mais uma vez, apenas um órgão apresentou grau de maturidade aprimorado. Os demais vinte órgãos (74%), nessa dimensão, apresentaram nível não estruturado.

maridelpn

Nota

trazer a palavra avaliativo para cá

31

Quanto à Dimensão 7, constatou‑se que, na percepção dos respon‑dentes, 70% das Unidades da Administração Direta (dezenove órgãos) ainda não dispõem de adequada estrutura organizacional, nem da defi‑nição de atribuições e competências para produzir informações sobre o desempenho e os resultados dos programas que são por elas executados. Dessas Unidades, cinco órgãos (18%) apresentam grau de maturidade incipiente e dois órgãos (7%) grau intermediário. Apenas os respon‑dentes de um dos órgãos percebem que o grau de maturidade do marco organizacional voltado para atividades de monitoramento e avaliação está aprimorado.

Pode‑se concluir da avaliação das Dimensões 6 e 7, que tratam da base normativa e do marco organizacional, que as práticas avaliativas nas Uni‑dades da Administração Direta ainda não são suficientes para assegurar a produção regular de informações sobre o desempenho e os resultados dos programas, com vistas a atender as necessidades dos gestores. Esses fato‑res corroboram a baixa institucionalização da avaliação nessas Unidades do setor público, conforme indica a pontuação geral do Foco II, 49,57.

Quanto à Dimensão 8, a avaliação geral, na percepção dos respon‑dentes, indica que os recursos orçamentários e financeiros, assim como a infraestrutura de tecnologia da informação disponíveis nas Unidades da Administração Direta, são parcialmente suficientes porém não atendem regularmente as necessidades dos gestores. A maioria dos órgãos (56%) encontra‑se no nível incipiente quanto à gestão desses meios (quinze de 27 órgãos), dez órgãos (37%) estão no nível não estruturado e apenas dois órgãos (7%) foram classificados no nível intermediário.

No que diz respeito à avaliação da Dimensão 9, que trata da gestão de pessoas alocadas para produzir informações sobre o desempenho e os resultados dos programas e políticas, quanto à quantidade, capacita‑ção, trabalho em equipe e autonomia das chefias, os resultados indicam que nas Unidades da Administração Direta a gestão desses recursos não está estruturada em 41% dos órgãos (onze) pesquisados, sendo in‑cipiente em 52% (quatorze) e intermediária em apenas 7% dos órgãos (dois). Considerando que a mediana das pontuações dos órgãos nesta dimensão foi 59,11, a gestão de pessoas não atende regularmente às necessidades dos gestores.


No Gráfico 6 apresenta‑se uma síntese do nível de maturidade das dimensões do Foco II.

Gráfico 6 – Nível de maturidade das Dimensões do Foco

II (Produção do Conhecimento Avaliativo)

0

5

10

15

20

25


19

5

21

10

15

2

11

14

2

20

6

1



Nos parágrafos anteriores realizou‑se a análise das dimensões que compõem o Foco II. O resultado geral desse foco foi 49,57, indicando um nível de maturidade não estruturado (Gráfico 7).

33

Gráfico 7 - Pontuação dos órgãos em relação ao Foco

II – Produção do Conhecimento Avaliativo

Órgão 01Órgão 13Órgão 16Órgão 07Órgão 23

Órgão 09

Órgão 22 Órgão 10Órgão 24

30 35 40 45 50 55 60 65 70

Órgão 02

Órgão 04Órgão 11

Órgão 03Órgão 15Órgão 20Órgão 25Órgão 19Órgão 18

GERALÓrgão 26Órgão 06Órgão 17Órgão 28Órgão 12Órgão 08Órgão 21Órgão 14Órgão 27 65,87

58,87

55,8554,10

51,9351,63

50,7350,5050,35

49,57

49,0048,63

48,3348,3348,1748,0548,0047,80

45,8045,80

43,9043,3343,2342,73

39,0238,57

38,0732,43



Em dezoito órgãos pesquisados (67%), caracterizou‑se o nível de maturidade não estruturado, oito órgãos (27%) apresentaram nível de maturidade incipiente e apenas o órgão 27 apresentou a maior pontu‑ação (65,87), indicando nível de maturidade intermediário (Gráficos 7 e 8).

maridelpn

Nota

Negrito para destacar? Ver a solução do gráfico anterior

maridelpn

Nota

Destacar mais. Fazer um círculo? Ver a solução do gráfico anterior


Gráfico 8 – Nível de maturidade Foco II – Produção do Conhecimento Avaliativo

0

8

18

1

5

10

15

20

foco II



Assim, os resultados evidenciam que o nível de desenvolvimento da capacidade avaliativa das Unidades da Administração Direta ainda não é suficiente para atender as necessidades dos gestores.

7.3 Avaliação da capacidade de aprendizado organizacional (Foco III)

O objetivo do Foco III foi conhecer como os órgãos da Adminis‑tração Direta definem suas estruturas e estratégias para encorajar o aprendizado (Dimensão 10). Para tanto, solicitou‑se aos gestores que avaliassem o ambiente interno de suas Unidades e as práticas gerenciais que se relacionam com o aprendizado organizacional.

Os resultados evidenciam que nas Unidades da Administração Di‑reta os gestores percebem suas organizações com alta capacidade de aprendizado, exceto quanto ao órgão 2, conforme apresentado no Grá‑fico 9.

maridelpn

Nota

Trazer a palavra organizacional para cá?

35

Gráfico 9 – Pontuação dos órgãos em relação à capacidade

de aprendizado organizacional (Foco III)


GERAL


30 40 50 60 70 80 90 100 110

Órgão 02

Órgão 20Órgão 25


Órgão 07Órgão 21Órgão 23Órgão 04Órgão 03Órgão 06Órgão 12Órgão 18Órgão 08Órgão 28 100,00

100,00

95,0095,0095,0095,00

92,5090,0090,0090,00

87,5087,50

85,0085,0085,0085,0085,0085,0085,00

82,5082,5082,50

80,0080,0080,0080,0080,00

60,00



O Foco III é composto por uma dimensão que aborda quatro cri‑térios‑chave utilizados para avaliar as estruturas e estratégias adotadas pelas organizações para promoção do aprendizado. Esses critérios di‑zem respeito à clareza de propósito e missão; empowerment e compro‑metimento da liderança; transferência de conhecimento; trabalho em grupo e resolução de problemas em grupo.

maridelpn

Nota

Negrito? Destacar mais. Vera solução do Gráfico anterior

maridelpn

Nota

Destacar mais. Fazer um círculo? Ver a s solução do gráfico anterior.


A avaliação final do Foco III foi 82,50, o que qualifica nível avançado de maturidade. Dois órgãos alcançaram a pontuação máxima (cem) e um órgão obteve a menor pontuação (sessenta), considerado incipiente. Os resultados apresentados no Gráfico 9 refletem a auto‑avaliação dos ges‑tores e líderes de equipes sobre aspectos relacionados aos seus próprios comportamentos gerenciais.

7.4 Avaliação da utilização da avaliação (Foco IV)

Para examinar a utilização do conhecimento avaliativo produzi‑do ou disponibilizado nas Unidades da Administração Direta sobre o desempenho e resultados dos programas e políticas, solicitou‑se aos gestores que avaliassem os benefícios gerados com o uso dessas infor‑mações, segundo a tipologia de utilização adotada na literatura.

As dimensões do Foco IV foram baseadas na tipologia definida no modelo de análise, ou seja, a utilização instrumental (Dimensão 12), conceitual (Dimensão 13), simbólica ou política (Dimensão 14) e o uso no processo (Dimensão 11).

O uso instrumental se caracteriza pela observação direta de mudan‑ças decorrentes dos resultados das atividades avaliativas. O uso con‑ceitual está relacionado aos processos cognitivos, de compreensão dos programas e políticas implementadas. O uso simbólico ou político se relaciona a legitimação das ações implementadas, e por fim, o uso no processo diz respeito ao aprendizado individual e coletivo decorrente da execução das atividades avaliativas.

Observou‑se que nas quatro dimensões analisadas mais de 78% dos órgãos apresentaram nível de maturidade aprimorado. Esses resultados indicam que o conhecimento avaliativo produzido, quando disponível, é utilizado para uma multiplicidade de propósitos, não tendo sido iden‑tificado, conforme apresentado no Gráfico 10, diferenças significativas entre a pontuação geral por tipo de utilização.

37

Gráfico 10 – Nível de maturidades das dimensões do Foco IV

05

1015

2025


2

24

1 3

24

6

21

1

22

4



A avaliação geral do Foco IV foi 80,00, que representa a mediana da pontuação dos órgãos e indica nível de maturidade aprimorado (Gráfico 11) em 59% dos órgãos (dezesseis).

Gráfico 11 – Pontuação dos órgãos em relação à utilização da avaliação (Foco IV).


Órgão 04


30 40 50 60 70 80 90 100

Órgão 02

GERAL

Órgão 03


Órgão 23Órgão 26Órgão 27Órgão 01Órgão 13Órgão 16Órgão 24Órgão 25Órgão 18Órgão 28 95,00

87,50

85,0085,0085,0085,00

80,0080,0080,0080,0080,0080,0080,0080,0080,0080,0080,0080,0080,0080,0080,0080,0080,0080,00

70,0070,0070,00

42,50



maridelpn

Nota

Destacar mais. Ver a solução do Gráfico anterior.

maridelpn

Nota

Fazer um círculo? Destacar mais. Ver a solução do Gráfico anterior.


Para os demais, evidenciou‑se que um órgão (3%) apresentou nível de maturidade não estruturado, três órgãos (11%) apresentaram nível intermediário e sete órgãos (26%) nível avançado de maturidade (Grá‑fico 12).

Gráfico 12 – Nível de maturidade Foco IV - Utilização

1

3

16

7

0

2

4

6

8

10

12

14

16

18



7.5 Avaliação geral dos focos

A avaliação geral por Foco (Gráfico 13) evidenciou que os gestores percebem os órgãos da Administração Direta como apresentando alta capacidade de aprendizado organizacional (Foco III ‑ 82,5) e de uti‑lização do conhecimento avaliativo (Foco IV ‑ 80,0). No entanto, as Unidades apresentam baixo desenvolvimento da capacidade avaliativa (Foco II ‑ 49,6), ou seja, para produzir informações sobre o desempenho e os resultados programas e políticas por elas executadas.

39

Gráfico 13 – Pontuação da maturidade dos sistemas de avaliação por foco

Pontuação no Foco 1 - Demandas avaliativas

Pontuação no Foco 2 - Oferta (Produção do

conhecimento Avaliativo)

Pontuação no Foco 3 -

Capacidade de Aprendizado

Organizacional

Pontuação no Foco 4 - Utilização

Geral

59,17

49,57

82,50 80,00

63,96

0

10

20

30

40

50

60

70

80

90


No Gráfico 14, os focos são desdobrados nas respectivas dimensões e se apresenta a pontuação final por dimensão, em que pode observar que as dimensões relacionadas à produção de conhecimento avaliativo (Foco II) são as que apresentam as menores pontuações, assim como a Dimensão 3 do Foco I, que diz respeito às demandas internas.


Gráfico 14 – Pontuação da maturidade dos sistemas de avaliação por dimensão

0

10

20

30

40

50

60

70

80

90

D1 D2 D3 D5 D6 D7 D8 D9 D10 D11 D12 D13 D14 GERAL

D10 - Cap Aprendizagem

D11 - Uso ProcessoD12 - Uso InstrumentalD13 - Uso ConceitualD14 - Uso PolíticoGERAL

D1 - ObjetoD2 - PlanejamentoD3 - Distribuição da D5 - Avaliação

Demanda Interna

D6 - Base NormativaD7 - Marco

D8 - Gestão Meios D9 - Gestão Pessoas

Organizacional

60,48

74,00

32,46

72,46

41,3346,00

50,00

59,11

82,50 80,0080,00 80,00 80,00

63.96


Conforme análises anteriores, as demandas avaliativas nas Unidades pesquisadas concorrem com as demandas externas e das demais Unida‑des dos órgãos, o que indica que as necessidades próprias das unidades não são as prioritárias. Ademais, as unidades apresentam baixo desen‑volvimento de capacidade avaliativa (Foco II), ou seja, não dispõem dos meios suficientes para assegurar a disponibilização de informações ava‑liativas capazes de atender, de forma regular, as necessidades dos gesto‑res.

42

Análise comparada de dispersão por foco 8

Apresenta‑se a seguir análises comparativas entre focos. Esta análise permite identificar quatro grandes perfis ilustrados por meio da Figura 2, que caracterizam os sistemas de avaliação.

Figura 2 – Modelo de análise comparada de desempenho por foco

QUADRANTE 2 QUADRANTE 1

QUADRANTE 3 QUADRANTE 4

No quadrante 1 encontram‑se os órgãos com pontuação acima de cinquenta pontos simultaneamente no eixo vertical (que representa um dos focos) e no eixo horizontal (que representa o segundo foco utilizado para comparação dos resultados). Os órgãos localizados nesse quadrante são considerados como tendo desempenho satisfatório nos dois focos comparados.

No quadrante 2 estão localizados os órgãos com pontuação acima de cinquenta pontos no eixo vertical e pontuação abaixo de cinquenta pontos no eixo horizontal. Os órgãos que se situam neste quadrante apresentam desempenho satisfatório no eixo de avaliação vertical e de‑sempenho insatisfatório no eixo de avaliação horizontal.

No quadrante 3 encontram‑se os órgãos que aferiram desempenho abaixo de cinquenta pontos simultaneamente nos eixos vertical e hori‑zontal. Ou seja, nos dois focos utilizados para comparação.

No quadrante 4 estão localizados os órgãos que aferiram o desem‑penho acima de cinquenta pontos no eixo horizontal e uma pontuação

43

abaixo de cinquenta pontos no eixo vertical. Desta forma apresentam desempenho satisfatório no eixo de avaliação horizontal e desempenho insatisfatório no eixo vertical.

8.1 Análise comparada de dispersão entre demanda avaliativa e produção de conhecimento (oferta) – Focos I e II

A Figura 3 mostra as pontuações aferidas pelos órgãos da Adminis‑tração Direta no Foco II – Oferta (capacidade de produção de conhe‑cimento avaliativo) comparativamente com o Foco I – Demandas Ava‑liativas.

Para que os sistemas de avaliação sejam classificados como estrutu‑rados é fundamental que os resultados estejam situados no Quadrante 1, considerando que indicam que os mecanismos e instrumentos neces‑sários à configuração da demanda e oferta avaliativas estão presentes e são parcialmente suficientes para atender as necessidades dos gestores de forma regular (nível de maturidade incipiente).

Figura 3 – Análise de dispersão comparada entre os focos demandas avaliativas

e a capacidade de produção de informações avaliativas - oferta (Focos I e II)

Foco

II -

Ofe

rta

Foco I - Demandas Avaliativas

70

60

50

40

30

20

10

0

0 10 20 30 40 50 60 70 80

1

2

3 4

67

8

9

10

11

1213

14

15 16

17

181920

21

22

23

24

25

26

27

28

Conforme se pode visualizar na Figura 3, a maior parte das Unidades da Administração Direta (67%) ainda não desenvolveu satisfatória ca‑pacidade avaliativa (Foco II), pois se encontra no Quadrante 4. Apenas

Análise comparada da dispersão por foco 44

nove órgãos (33%) da Administração Direta satisfazem esse requisito.

Observa‑se que embora as demandas sejam estruturadas (Foco I), pontuação acima de cinquenta no eixo horizontal, elas não são suficien‑tes para induzir a produção de conhecimento necessária para atender as necessidades dos gestores de forma regular. É importante ressaltar que essa evidência é reforçada na Figura 3, uma vez que os órgãos estão muito próximos ao vértice das linhas divisórias entre os quadrantes 1 e 4, indicando a necessidade de aperfeiçoamento na capacidade avaliativa (Foco II) para atender de forma adequada aos gestores.

Considera‑se que sistemas avaliativos robustos e bem estruturados são um dos elementos essenciais à governança, na medida em que pro‑porcionam informações relevantes, oportunas e tempestivas para toma‑da de decisões de forma a assegurar o alcance dos objetivos pretendidos. Portanto, caberia aos órgãos da Administração Direta adotar medidas com vistas a estruturar os meios, processos e procedimentos para asse‑gurar que o conhecimento avaliativo seja produzido e disponibilizado aos gestores das políticas públicas.

8.2 Análise comparada de dispersão entre a produção e a utilização de conhecimento avaliativo– Focos II e IV

Da análise da Figura 4, pode‑se evidenciar que as necessidades dos gestores não são satisfatoriamente atendidas, quando se compara a utili‑zação (Foco IV), com a capacidade avaliativa das Unidades pesquisadas – oferta (Foco II). Observa‑se que a maior parte dos órgãos encontra‑se no quadrante 2, reforçando as deficiências na capacidade avaliativa (eixo horizontal), para atender as necessidades de utilização (eixo vertical).

45

Figura 4 - Análise de dispersão comparada entre os focos utilização

e produção de conhecimento avaliativo (Focos II e IV)

Foco

IV -

Uti

lizaç

ão

Foco II - Produção de conhecimento avaliativo - Oferta

100

90

80

70

60

50

40

30

20

10

0 0 10 20 30 40 50 60 70

1

2

34 6

7

891011 12

13

14

15

16

17

18

1920 2122 23

2425

2627

28

8.3 Análise comparada de dispersão entre demandas avaliativas e utilização (Focos I e IV)

As Unidades da Administração Direta apresentam os mecanismos e instrumentos necessários para demandar informações avaliativas, as quais, quando produzidas e disponibilizadas, são utilizadas. Essa consta‑tação pode ser depreendida da comparação entre as demandas avaliati‑vas (Foco I) e a utilização (Foco IV), conforme apresentado na Figura 5.

Análise comparada da dispersão por foco 46

Figura 5 – Análise de dispersão comparada entre os focos

demandas avaliativas (Foco I) e a utilização (Foco IV)

Foco

IV -

Uti

lizaç

ão

Foco I - demandas Avaliativas

100

90

80

70

60

50

40

30

20

10

0

0 10 20 30 40 50 60 70 80

1

2

3

4

6

7

8910

11 12

13

14

15

16

17

18

1920

2122

23

2425

2627

28

47

9Índice de Maturidade dos Sistemas de Avaliação da Administração Federal

O índice de maturidade dos sistemas de avaliação expressa a percep‑ção dos gestores públicos que participaram da pesquisa, quanto ao nível de adequação dos mecanismos e instrumentos por eles utilizados para demandar, produzir e utilizar o conhecimento avaliativo para o aperfei‑çoamento dos programas e políticas nas Unidades da Administração Direta dos respectivos ministérios.

Conforme se pode observar no Gráfico 15, 85% dos órgãos da Ad‑ministração direta (23) apresentam nível de maturidade intermediário, indicando que os mecanismos e instrumentos necessários para caracte‑rizar os sistemas de avaliação estão presentes, são parcialmente suficien‑tes e atendem as necessidades dos atores de forma regular.

Destaca‑se do conjunto de órgãos pesquisados, o número 27, cujo índice de maturidade indica nível de maturidade aprimorado, eviden‑ciando que o sistema de avaliação de programas desse órgão é suficiente e atende satisfatoriamente as necessidades dos gestores.

Direta iSA-Gov

Índice de Maturidade dos Sistemas de Avaliação da Administração Federal Direta iSA‑Gov

48

Gráfico 15 – Pontuação geral dos órgãos – Índice iSA-Gov

Órgão 02

Órgão 03

Órgão 16

Órgão 01

Órgão 25

Órgão 20

Órgão 26

Órgão 04

Órgão 23

Órgão 14

Órgão 06

Órgão 18

Órgão 21

Órgão 28

Órgão 27

GERAL

Órgão 22

Órgão 24

Órgão 15

Órgão 11

Órgão 10

Órgão 07

Órgão 19

Órgão 13

Órgão 09

Órgão 17

30 35 40 45 50 55 60 65 70 75

73,08

69,60

Órgão 12 68,31

68,19

Órgão 08 68,00

67,84

66,82

66,79

66,67

65,60

64,75

64,54

64,43

64,16

63,92

63,45

62,85

61,52

61,40

61,01

60,76

60,48

60,36

60,14

58,89

58,73

44,81


63,96


maridelpn

Nota


maridelpn

Nota


49

No outro extremo, o resultado apresentado pelo órgão de número 2 (44,81) indica que os mecanismos e instrumentos necessários para caracterizar os sistemas de avaliação estão parcialmente presentes, mas não são suficientes e não atendem as necessidades dos gestores de forma regular.

Já a avaliação geral dos órgãos de número 9 (58,73) e 22 (58,89), indica nível de maturidade incipiente, uma vez que, na percepção dos respondentes, esses órgãos dispõem dos mecanismos e instrumentos, os quais são parcialmente suficientes, mas não atendem de forma regular as necessidades dos gestores.

No Gráfico 16 é possível visualizar a contribuição de cada foco para a pontuação geral por órgão. Pode‑se observar que o Foco II, que diz respeito à capacidade avaliativa, é o de menor pontuação em todos os órgãos pesquisados.


50

Gráfico 16 – Pontuação acumulada iSA-Gov por foco de análise e órgão pesquisado

órgão 02

órgão 09

órgão 22

órgão 24

órgão 15

órgão 11

órgão 10

órgão 07

órgão 19

órgão 17

órgão 13

órgão 03

órgão 16

GERAL

órgão 01

órgão 25

órgão 20

órgão 26

órgão 04

órgão 23

órgão 06

órgão 08

órgão 14

órgão 18

órgão 21

órgão 12

órgão 28

órgão 27

0 50 100 150 200 250 300 350

50

51

53

53

56

54

61

54

52

56

53

57

58

59

58

60

65

61

65

64

61

59

57

62

63

64

57

70

32

43

38

39

46

43

39

49

48

51

48

44

48

50

48

48

46

50

43

49

51

54

59

48

56

52

52

66

60

80

85

85

88

85

80

90

85

85

85

95

80

83

83

80

80

83

93

90

95

100

88

95

90

95

100

85

43 44,81

58,73

58,89

60,36

60,48

60,76

61,01

61,40

61,52

62,85

63,45

63,92

63,96

64,16

64,43

64,54

64,75

65,60

66,67

66,79

66,82

67,84

68,00

68,19

68,31

69,60

73,09

60,14

80

80

85

70

80

80

70

80

70

85

80

85

80

85

85

80

80

80

80

80

80

80

88

80

80

95

80

Foco I Foco II Foco III Foco IV


maridelpn

Nota


maridelpn

Nota


51

Verifica‑se que existem deficiências em relação à capacidade dos ór‑gãos para produzir informações sobre o desempenho e os resultados dos programas (Foco II), muito embora os elementos da demanda (Foco I) indiquem um contexto mais bem estruturado para o desenvolvimento das práticas avaliativas. Ademais, a capacidade de aprendizado organi‑zacional (Foco III) e a utilização de informações avaliativas (Foco IV) asseguram um ambiente favorável à produção de conhecimento avalia‑tivo.

Essas evidências, em especial quanto às lacunas entre o desenvol‑vimento de capacidade avaliativa ‑ oferta (Foco II) e os demais focos, podem ser visualizados no Gráfico 17.

Gráfico 17 – Radar por Foco de análise e órgão pesquisado



52

Observa‑se no Gráfico 17 que, exceto aos órgãos de números 1, 16 e 25, todos os demais, a capacidade de aprendizado organizacional (Foco III) foi mais bem avaliada que a utilização da avaliação (Foco IV).

Para que ao conhecimento avaliativo produzido seja utilizado e fa‑voreça o aprendizado organizacional e a melhoria da gestão e dos pro‑gramas, é importante que o ambiente interno e as práticas de gestão propiciem as condições necessárias para tanto. No caso das unidades pesquisadas, o ambiente é favorável ao aprendizado (Foco II). No en‑tanto, a utilização do conhecimento avaliativo (Foco IV) está limitada à baixa capacidade de produção (Foco II).

Os contextos político‑administrativos são fundamentais para assegu‑rar as condições necessárias ao desenvolvimento da capacidade avaliativa dos órgãos. Para tanto, as demandas avaliativas (Foco I) precisam ser defi‑nidas e estruturadas com vistas a promover a produção de conhecimento avaliativo (Foco II). Nos órgãos pesquisados observa‑se que as demandas foram mais bem avaliadas que a produção de conhecimento, exceto quan‑to ao órgão 14.

Merece destacar que apenas 33% dos órgãos (nove) alcançaram ava‑liação superior a cinquenta pontos no Foco II. Ou seja, em que pese as demandas sejam estruturadas em todos os órgãos pesquisados (Foco I), a capacidade avaliativa de 67% dos órgãos não é suficientemente desen‑volvida para atender a essa demanda, conforme evidenciam as análise anteriores.

53

10 Conclusão

O objetivo deste trabalho foi apresentar um diagnóstico, de forma sistematizada, sobre a adequação dos mecanismos e instrumentos dis‑poníveis nos órgãos da Administração Direta para demandar e produzir informações sobre o desempenho e os resultados dos programas gover‑namentais.

Para tanto, o TCU criou o Índice de Maturidade dos Sistemas de Avaliação ‑ iSA‑Gov, que mensura e explicita oportunidades de aper‑feiçoamento dos mecanismos e instrumentos necessários para produzir e utilizar essas informações.

A análise da maturidade dos sistemas foi realizada de forma consoli‑dada, isto é, para Unidades Administração Pública do Poder Executivo, a qual foi individualizado por órgão. O resultado das análises individua‑lizadas poderá subsidiar os processos decisórios e de aprendizado para o aperfeiçoamento da gestão e da implementação de programas e políticas públicas.

54

REFERÊNCIAS

ALKIN, Marvin C.; CHRISTIE, Christina A. An evaluation the‑ory tree. In: ALKIN, Marvin C. (Ed). Evaluation Roots: Tracing Theorists’Views and Influences. Thousand Oaks, California: Sage Publications, Inc., 2004. p . 12‑65.

AMO, Courtney; COUSINS, J. Bradley. Going through the process: an examination on the operationalization of process use in empirical rese‑arch on evaluation. New Directions for Evaluation, n. 16, winter, 2007. Disponivel em <www.interscience.wiley.com>.

BANA, C. A.; COSTA. Três convicções fundamentais na prática do apoio à decisão. Pesquisa Operacional, 1993, v. 13, n. 1, p. 9‑20.

BEINAT, E. Multiattribute value functions for environmental manage‑ment. Amsterdam: Timbergen Institute Research Series, 1995.

COUSINS, J. Bradley; GOH, Swee C.; ELLIOT, Catherine. Orga‑nizational capacity to do and use evaluation: preliminary results of a pan‑canadian survey of evaluators. In: Annual Meeting of the Cana‑dian Evaluation Society, 2007, Winnipeg. Disponivel em <http://ncc.evaluationcanada.ca/downloads/presentation/ale‑1107/session‑21‑ECB‑sur‑veyCE507.pdf.>

ENSSLIN, L.; DUTRA, A.; ENSSLIN, S. R. MCDA: A construtivist approach to the management of human resources at a governmental agency. International Transactions in Operational Research, 2000, n. 7, p. 79‑100.

ENSSLIN, L.; MONTIBELLER Neto, G.; NORONHA, S.M. Apoio à decisão: metodologia para estruturação de problemas e avaliação mul‑ticritério de alternativas. Florianopolis: Insular, 2001.

55

FURUBO, Jan‑Eric; SANDAHL, Rolf. A diffusion perspecti‑ve on global developments in evaluation. In: FURUBO, J.; RIST, R. C.; SANDAHL, R. (Ed.). International atlas of evaluation. New Brunswick, NJ: Transaction Publishers, 2002. p. 2‑23.

________________; SANDAHL, Rolf. A diffusion perspective on glo‑bal developments in evaluation. In: FURUBO, J.; RIST, R. C.; SAN‑DAHL, R. (Ed.). International atlas of evaluation. New Brunswick, NJ: Transaction Publishers, 2002. p. 2‑23.

GOH, Swee C.; RYAN, Peter J. Learning capacity, organization factors and firm performance. Third European Conference on Organizational Knowledge, Learning and Capabilites, Athens, 2002.

GRAU, Nuria C; BOZZI, Sonia O. Fortalecimento de los siste-mas de monitoreo y evaluación (M&E) em América Latina. Ban‑co Mundial e CLAD, 2008. Documentos Estúdios de Casos del CLAD, n. 3.

JANNUZZI, Paulo M. Um referencial teórico para análise da ins-titucionalização dos sistemas de avaliação. 3 f. Exame de quali‑ficação em conteúdos específicos (Doutorado em Administração). Programa de Pós‑Graduação em Administração, Universidade de Brasília, 2012.

KEENEY, R. Value‑focused thinking: a path to creative decision‑manking. Harvard University Press, 1992

LEEUW, Frans; FURUBO, Jan‑Eric. Evaluation Systems: why are they and why study them? Evaluation, v. 14(2), p. 157‑169, 2008. Disponível em <http://evi.sageíb.com/cgi/content/abstract/14/2/157>. Acesso em 09/05/2009.

56

LEITE, M.C.B. Avaliação da estrutura de Governança da Rede de Po‑líticas Públicas do Setor Saneamento por meio da utilização de Méto‑dos Multicritérios de Apoio à Tomada de Decisão. Brasília, 2010. 215 f. Tese (Mestrado) – Universidade de Brasília, 2010.

MACKAY, Keith. The World Bank´s ECB experience. New Directions for Evaluation, n.93, p. 81‑99,2002.

NIELSEN, Steffen B.; LEMIRE, Sebastian; SKOV, Majbritt. Mea‑suring evaluation capacity: results and implications of a Danish study. American Journal of Evaluation, v. 32, n. 3, 2011, p.325‑344.

PEDROSO, M.M. Inteligência Decisória e Análise de Políticas Pú‑blicas – o caso das Unidades de Pronto Atendimento (UPAs). Brasília, 2011. 338 f. Tese (Doutorado) – Universidade de Brasília, 2011.

PRESKILL, Hallie. The transformational power of evaluation. In: AL‑In: AL‑KIN, Marvin C. (Ed.). Evaluation Roots: tracing theorists’ views and influences. Thousand Oaks, California: Sage Publications, Inc., 2004. p . 343‑355.

_______________. BOYLE, Shanelle. A multidisciplinar model of evaluation capacity building. American Journal of Evaluation, 2008.

QUIRINO, M. Sistemas de avaliação da administração direta. Brasília, 2013.

QUIRINO, M.; BONTEMPO, F.P.; CALMON, P.C. Modelo de avaliação para o Programa Escola Aberta utilizando a Metodologia Multicritério de Apoio à Decisão – MCDA. In: ENCONTRO DE ADMINISTRAÇÃO DA INFORMAÇÃO (EnADI), 1., 2007, Flo‑rianópolis: Associação Nacional de Pós‑graduação e Pesquisa em Ad‑ministração, 2007.

ROY, B. Decision science or decision‑aid science? European Journal of Operational Research, 1993, v. 66, p. 184‑208.

57

_____; VANDERPOOTEN, D. The European school of MCDA: emergence, basic features and current works. Journal of Multicriteria Decision Analysis, 1996, v. 5, p. 22‑38.

SERPA, S. M.H.C; CALMON, P.C. Um referencial teórico para análi‑se da institucionalização dos sistemas de avaliação no Brasil. In: Encon‑tro da ANPAD, XXXVI, 2012, Rio de Janeiro. ENANPAD.

WILLIAMS, Bob; IMAM, Iraj. (Ed.) Systems concepts in evalua‑(Ed.) Systems concepts in evalua‑tion: na expert anthology. 2006 Disponível em <http://preval.org/en/content/systems‑concepts‑evaluation‑expert‑anthology>. Acesso em 05/03/2012

diagnóstico e perfil de maturidade dos sistemas de avaliação de

Documents