NOTA TÉCNICA Nº. 01/2018PROPOSTA DE REFORMULAÇÃO

DO QUESTIONÁRIO DO INDICADOR MUNICIPAL

CURITIBA, JUNHO DE 2018

NOTA TÉCNICA Nº. 01/2018PROPOSTA DE REFORMULAÇÃO DO QUESTIONÁRIO DO

INDICADOR MUNICIPAL

1. INTRODUÇÃO

1. Com o andamento dos trabalhos de revisão metodológica do IEGM, surge a necessidade de se construir um modelo para auxiliar na reformulação do questionário do indicador municipal. É o que se propõe a presente nota técnica, cujo modelo se baseia nos mais recentes questionários de governança do Tribunal de Contas da União (TCU).

2. Para isso, o presente texto divide-se em três outras partes além desta introdução: a seguir, faz-se uma breve análise crítica de duas metodologias já conhecidas- a atual do IEGM e a dos primeiros questionários de governança do TCU; após, apresenta-se a proposta com exemplos dos futuros questionários de educação e saúde; por fim, apresentam-se algumas considerações.

2. METODOLOGIAS TESTADAS ANTERIORMENTE

3. A primeira metodologia que apresentamos é a do IEGM. Trata-se de um questionário com mais de 200 perguntas que, muitas vezes, desdobram-se em subitens de resposta. Ao final do questionário, é atribuída pontuação a algumas dessas questões. A tabela a seguir mostra a quantidade de questões, subitens de resposta e quantidade de questões pontuadas por dimensão do indicador.

TABELA 1 – DIMENSÕES DO IEGM E QUANTITIVO DE QUESTÕES

Dimensão Quantidade de Questões

Quantidade de Itens de

Resposta

Quantidade de Questões com

Pontuação atribuída

Educação 59 141 23Saúde 57 168 17Meio Ambiente 21 37 11Defesa Civil 12 27 6Governança em TI 21 33 17Gestão Fiscal (*) 7 7 0Planejamento (*) 48 80 0TOTAL 225 493 74

(*) As dimensões gestão fiscal e planejamento são calculadas com critérios diferentes das demais.

4. O principal problema da atual metodologia do IEGM é a arbitrariedade na pontuação atribuída às questões: não há um padrão ou um critério claro nem para que questões pontuem ou não, nem para a gradação da pontuação, aquelas que tem pontuação atribuída. O principal resultado disso é a

1

aleatoriedade dos resultados: há pouca relação dos resultados do IEGM com os de outros indicadores consagrados, como demonstram os coeficientes de correlação do i-Educ e do i- Saúde 2016 com os IDH-M Educação e Saúde 2010, que são classificados como fracos, ambos estão com valores abaixo de 0,40. Tem-se uma correlação forte com coeficientes acima de 0,70.

TABELA 2 – COEFICIENTES DE CORRELAÇÃO DO IEGEM COM OUTROS INDICADORES

Variáveis Coeficiente de Correlação

Interpretação (*)

I-Educ (2016) e IDH-M Educação (2010) 0,396 Correlação fracaI-Saúde (2016) e IDH-M Saúde (2010) 0,246 Correlação fraca

(*) Fonte: Aula 9 – Correlação. Curso de Estatística da Profª. Silvia E. Shimakura e Prof. Paulo Justiniano Ribeiro Jr. (UFPR). Disponível em: <http://leg.ufpr.br/~paulojus/CE003/ce003/node8.html>

5. Assim, o grande desafio no que se refere à arbitrariedade na atribuição de pontuação às questões é procurar um método que pontue as questões com o rigor metodológico adequado. O curso de “Metodologia de Construção de Indicadores” apontará alguns caminhos.

6. Outra metodologia que apresentamos é a dos primeiros indicadores de governança do TCU: desde 2014, os órgãos do governo federal respondem a quatro questionários de governança (geral, tecnologia da informação, gestão de pessoas e contratações). Todos são estruturados de forma semelhante: macroprocessos, que se desdobram em processos que, por sua vez, se desdobram em itens de controle, nos quais se inquere ao jurisdicionado o grau de adesão ao controle em cada item. O grau de adesão de cada item de controle é graduado em uma escala de 0 a 1 e o indicador de governança é calculado através da matriz dos graus de adesão aos controles gerada a partir das respostas de todos os jurisdicionados, através do método de análise de componentes principais.

7. O método de pontuação das questões nos indicadores de governança do TCU é o mais adequado. Os problemas apontados pelos jurisdicionados (e pelos Tribunais de Contas que participavam das auditorias coordenadas de governança) eram: (i) problemas na redação das questões, que dificultavam sua correta interpretação e resposta; e (ii) quantidade excessiva de questões – os quatro questionários juntos somavam mais de 700 itens de controle para serem respondidos.

8. A partir de 2017, esses problemas foram enfrentados: com o auxílio dos próprios jurisdicionados e o Departamento de Políticas Públicas da Universidade de Brasília, optou-se por uma simplificação dos questionários, ajustando a redação e unificando-os em um questionário, com pouco mais de

2

100 itens de controle ao todo. Além disso, em cada item de controle, afere-se o seu grau de adoção através de uma “lista de procedimentos” que o jurisdicionado deve dizer se possui ou não.

3. PROPOSTA DE REFORMULAÇÃO DO QUESTIONÁRIO

9. Considerando o IEGM como um indicador de aferição de controles internos de políticas públicas, a reformulação/revisão do seu questionário passa por: (i) identificar os processos que os municípios devem implantar para executar as políticas públicas- via de regra, estão estabelecidos em lei; (ii) levantar procedimentos e controles que devem ou podem ser implantados para executar cada processo – esses procedimentos e controles podem estar descritos em lei, normas e regulamentos, mas também podem ser oriundos de boas práticas.

10. Assim, a proposta é levantar os grandes processos de cada serviço público (cada processo virará uma pergunta no questionário revisado) e dentro de cada processo, levantar os controles e procedimentos que devem ou podem ser implantados para executar cada processo (o grau de adesão a essa “lista de procedimentos” será o grau de adoção de cada processo).

11. Definidos os grandes processos, a estrutura do futuro questionário tende a ser mais estável nas próximas revisões metodológicas. Por sua vez as “listas de procedimentos” associadas a cada processo poderão ser revisadas continuamente, conforme as contribuições que forem surgindo da fiscalização, dos jurisdicionados e da academia.

12. Em anexo, apresenta-se a proposta de trabalho para a revisão dos questionários de educação e de saúde.

4. CONSIDERAÇÕES

13. Os questionários inicialmente revisados pelos integrantes da Rede Indicon serão submetidos a painéis de referência, compostos por jurisdicionados e especialistas da área, para avaliar a relevância dos procedimentos listados em cada processo, sugerindo acréscimos e supressões, que serão decididos pelos membros da Rede Indicon.

Elaborado por: Nelson Nei Granato Neto (TCE-PR)Curitiba, 27 de junho de 2018.

3