vieira, larissa haddad souza -...
Post on 24-Jan-2019
213 Views
Preview:
TRANSCRIPT
Revista Pensar Gestão e Administração, v. 4, n. 2, jan. 2016
(DES) ESTRUTURAÇÃO DO PROCESSO DE AVALIAÇÃO EM UM PROGRAMADO MINISTÉRIO DO ESPORTE
VIEIRA, Larissa Haddad Souza1
SILVEIRA, Suely de Fátima Ramos2
RESUMOEste artigo discute o sistema de avaliação do Programa Esporte e Lazer da Cidade
(PELC), do Ministério do Esporte, analisando sua perspectiva de avaliação. Retoma
brevemente a importância da avaliação na gestão pública, dados seus objetivos
formativos e somativos, seus indicadores e marco lógico, situando-os no contexto da
gestão orientada por resultados, via celebração de convênios e contratualização de
resultados. Ao caracterizar o PELC e seu processo de avaliação, conclui-se sobre a
inexistência de indicadores relacionados aos objetivos ou resultados esperados do
Programa, não oferecendo subsídios à gestão como um todo. O sistema de
avaliação parece apresentar papel mais burocrático do que de efetivo controle,
monitoramento e desenvolvimento do Programa. Dessa forma, recomenda-se a
estruturação e reorganização desse sistema de monitoramento e avaliação,
investindo maiores esforços quanto a indicadores que se relacionem aos objetivos
do PELC e a seus resultados pretendidos, elaborando uma matriz lógica específica
para o Programa, incentivando o protagonismo dos entes subnacionais conveniados
e da sociedade como um todo, a partir de instrumentos voltados ao controle de
resultados e ao controle social, apoiado na participação social. Sugere-se também a
formação de redes de informações entre os convenentes, visando socializar
conhecimentos sobre todo o processo de gestão do PELC.
1Doutoranda em Administração Pública e Governo pela Fundação Getúlio Vargas – Escola de
Administração de Empresas de São Paulo (FGV-EAESP); Mestrado em Administração pelaUniversidade Federal de Viçosa (UFV); Bacharel e Licenciada em Educação Física pela UFV eBacharel em Administração pela Unopar. Servidora do Instituto Federal do Espírito Santo (Ifes) –Campus Venda Nova do Imigrante.2
Bolsista de Produtividade CNPq; Doutorado em Economia Aplicada pela ESALq/Universidadede São Paulo; Mestrado em Economia Rural pela Universidade Federal de Viçosa (UFV); Bacharelem Ciências Econômicas pela UFV. Professora do Programa de Pós-Graduação (Mestrado) emAdministração da UFV; Diretora do Instituto de Políticas Públicas e Desenvolvimento Sustentável(IPPDS) da mesma Universidade.
Revista Pensar Gestão e Administração, v. 4, n. 2, jan. 2016
Palavras-chave: Administração Pública, Política Pública, Programa Social,
Avaliação, Esporte e Lazer.
Revista Pensar Gestão e Administração, v. 4, n. 2, jan. 2016
1. INTRODUÇÃODesenhado no ano de 2003 pela Secretaria Nacional de
Desenvolvimento do Esporte e do Lazer (SNDEL) do Ministério do Esporte, o
Programa Esporte e Lazer da Cidade (PELC) propunha, dentre seus objetivos
específicos, a aplicação de metodologia de avaliação processual. Entretanto, um
processo de monitoramento e avaliação, que possibilite o acompanhamento
desta iniciativa em sentido amplo, parece ter se desenvolvido neste Programa
muito lentamente e com o enfrentamento de dificuldades técnicas e
metodológicas.
Este artigo aborda o sistema de avaliação do Programa Esporte e
Lazer da Cidade, baseando-se em algumas questões centrais: o sistema de
avaliação do PELC segue diretrizes formativas e somativas, direcionando-se aos
resultados? Qual o objetivo do sistema de avaliação proposto pelo Ministério do
Esporte no PELC? O sistema de avaliação do PELC é condizente com os
objetivos do Programa? Quais as principais fragilidades deste sistema de
avaliação? Existem iniciativas locais de avaliação paralelas ao sistema proposto
pelo Ministério do Esporte?
Pretende-se, dessa forma, discutir o sistema de avaliação do PELC,
analisando elementos que apontam para uma aplicação restrita, e não em uma
perspectiva ampla de avaliação tanto somativa quanto formativa, não
direcionando sua gestão aos resultados do Programa tampouco visando seu
desenvolvimento como um todo.
2. CONSIDERAÇÕES METODOLÓGICASEste artigo foi elaborado a partir do método denominado pesquisa
documental, na qual foram coletados para a análise dados secundários
baseados em informações de relatórios elaborados pelas instituições
conveniadas do Programa Esporte e Lazer da Cidade (PELC) por solicitação do
Ministério do Esporte, os quais contêm as informações utilizadas no sistema de
avaliação do Programa.
Revista Pensar Gestão e Administração, v. 4, n. 2, jan. 2016
Além disso, alguns dados de Vieira (2010) e de Silveira et al. (2012)
também foram usados. Estes dados são fundamentados em entrevistas
semiestruturadas realizadas com gestores federais e locais do Programa nos
anos de 2009 e 2011. As entrevistas realizadas com gestores locais relacionam-
se a Coordenadores Gerais de convênios PELC celebrados em localidades do
Estado de Minas Gerais.
Os dados coletados, oriundos de entrevistas, foram analisados
buscando-se as percepções por parte dos gestores federais e locais acerca do
processo de avaliação do PELC. Já os relatórios de avaliação dos conveniados
ofereceram subsídios para a análise acerca dos instrumentos que compõem o
sistema de avaliação do PELC. Em ambos os casos, o tratamento e análise dos
dados foram realizados através do método de Análise de Conteúdo (BARDIN,
2009).
Trata-se de um estudo de caráter prioritariamente qualitativo e
descritivo, pois buscou-se identificar e caracterizar os elementos constituintes do
processo de avaliação do PELC, organizado pelo Ministério do Esporte,
situando-os em função de uma perspectiva que compreende a necessidade de
um processo avaliativo que perpasse por fins tanto formativos quanto somativos,
e que considere os objetivos e resultados esperados do Programa.
3. A AVALIAÇÃO NA GESTÃO PÚBLICAA atual percepção de diretrizes de gestão, proposta pelo modelo da
Administração Pública Gerencial, ou Nova Administração Pública, possui dentre
seus valores a descentralização, a orientação ao serviço, a eficiência e eficácia
na prestação de serviços e a accountability (SECCHI, 2009). Nesse contexto,
afirma Rua (2004), amparada por Kettl (2000), a avaliação se torna instrumento
estratégico, oferecendo subsídios para os processos decisórios envolvidos em
toda a gestão pública.
Dessa forma, diretrizes e mecanismos de acompanhamento e
avaliação de programas e políticas foram incluídos nas últimas décadas na
política para a administração pública. No ano de 2009, uma publicação da
Revista Pensar Gestão e Administração, v. 4, n. 2, jan. 2016
Secretaria de Gestão do Ministério do Planejamento, Orçamento e Gestão
(SEGES, 2009, p. 6) identifica iniciativas de avaliação de políticas no Governo
Federal, as quais visam “melhorar a coordenação dos atores e o
acompanhamento de indicadores de desempenho e de resultado em
determinados setores”.
Conforme Jann e Wegrich (2007), a avaliação é aplicada ao processo
de policy-making como um todo e sob diferentes perspectivas em termos de
tempo. Cohen e Franco (2007, p.77) definem a avaliação como “uma atividade
que tem como objetivo maximizar a eficácia dos programas na obtenção de seus
fins e a eficiência na alocação de recursos para a consecução dos mesmos”,
podendo ser realizada antes, durante ou após a implementação do programa.
Por esta razão, não deve ser concebida isoladamente, pois faz parte do
processo de planejamento da política social, gerando uma retroalimentação, ou
feedback, sobre as informações de diversos projetos quanto a sua eficácia e
eficiência. Além disso, analisa os produtos e resultados obtidos por esses
projetos, possibilitando sua reorientação em direção ao fim postulado.
Existem dois tipos principais de avaliação, classificados de acordo
com seus objetivos: as avaliações formativas e as somativas (PATTON, 2002;
HALE, 2002; COSTA e CASTANHAR, 2003; CANO, 2004; COHEN e FRANCO,
2007).
A avaliação formativa, também chamada avaliação de processos,
“determina a medida em que os componentes de um projeto contribuem ou são
incompatíveis com os fins perseguidos”, sendo realizada durante a
implementação do programa, de forma periódica, procurando “detectar as
dificuldades que ocorrem na programação, administração, controle”, dentre
outros aspectos, “para serem corrigidos oportunamente, diminuindo os custos
derivados da ineficiência” (COHEN e FRANCO, 2007).
A avaliação formativa deve visar auxiliar e advertir aos planejadores,
gerentes e colaboradores sobre problemas e necessidades de melhoria do
programa em andamento, a fim de contribuir para seu progresso e
desenvolvimento (CANO, 2004). Segundo Hale (2002), a avaliação formativa
Revista Pensar Gestão e Administração, v. 4, n. 2, jan. 2016
deve ser utilizada para descobrir se o programa segue no sentido planejado e
assim deve continuar, ou se deve sofrer uma ação corretiva. Seria, conforme
Cotta (1998, p. 110), um “acompanhamento sistemático da evolução das metas
do programa ou projeto”.
Por outro lado, as avaliações somativas ou de resultados se ocupam
da eficácia e dos resultados obtidos pelo conjunto de ações desenvolvidas no
programa, sendo usada para descobrir se o programa correspondeu ou não a
uma necessidade ou efetivou uma oportunidade, buscando suas causas (HALE,
2002; COTTA, 1998). Possui como objeto de análise os resultados e impactos
do programa, determinando em que medida o mesmo alcança seus objetivos e
quais são seus efeitos secundários, previstos e não previstos (COHEN e
FRANCO, 2007). A avaliação somativa analisa a eficiência e a eficácia do
programa, observadas e mensuradas ao final do mesmo (ALA-HARJA e
HELGASON, 2000).
Os diversos modelos de avaliação, conforme Holanda (2003), visam
obter informações úteis e críveis sobre o desempenho de programas,
identificando problemas e limitações, potencialidades e alternativas. Assim, os
problemas da gestão pública concedem às atividades de avaliação importância
significativa e proeminente, adquirindo condição de instrumento central e
indispensável de gestão (MARINHO e FAÇANHA, 2001).
A avaliação, se considerada em uma perspectiva ampla, a partir de
suas funções tanto formativas quanto somativas, pode colaborar para o
processo de gestão como um todo, gerando feedback quanto a informações
sobre a eficiência e a eficácia de projetos e sobre os resultados obtidos,
possibilitando sua reorientação em direção aos seus objetivos (COHEN e
FRANCO, 2007).
De acordo com Rua (2004), a importância da avaliação é reconhecida
no Brasil, inclusive de maneira formal, mas isso não implica na sistematização
de processos de avaliação consistentes, que sejam capazes de subsidiar a
gestão pública. Para esta autora, a qual cita Mokate (2002), existem quatro
desafios principais para a constituição de processos de avaliação: a) definição
Revista Pensar Gestão e Administração, v. 4, n. 2, jan. 2016
de um marco conceitual que indique claramente os objetivos, resultados e
supostas relações causais que orientam a intervenção; b) relação de
complementaridade entre metas e objetivos quantitativos e qualitativos; c)
identificação de indicadores e informações relevantes, a partir do marco
conceitual e das perspectivas dos atores envolvidos; e d) utilização das
informações geradas pelo processo avaliativo.
Conforme Jannuzzi (2005) o processo de construção de um sistema
de indicadores deve se desenvolver com base nos objetivos definidos e nos
resultados almejados pela política ou programa em questão, possibilitando, de
acordo com Antico e Jannuzzi (s/d, p. 19), o dimensionamento de sua eficácia,
isto é, o grau de cumprimento de seus objetivos; de sua eficiência, ou seja, a
utilização de recursos frente aos custos em disponibilizá-los; além de sua
efetividade social ou impacto.
A utilidade do processo de avaliação, segundo Costa e Castanhar
(2003, p. 976), se relaciona diretamente a um planejamento consistente, que
estabeleça relações causais entre atividades e produtos; produtos e resultados
que permitam atingir as metas visadas; resultados que causem efeitos mais ou
menos precisos e respondam pelo alcance de um objetivo específico; e efeitos
que produzam o impacto pretendido pelo propósito ou missão do programa, de
tal sorte que se busque fazer com que as atividades de fato contribuam para o
alcance desse mesmo propósito.
O estabelecimento prévio de uma matriz lógica (ou quadro lógico) do
programa poderia, assim, favorecer o processo de avaliação, ao determinar e
identificar seus objetivos gerais e específicos, os indicadores de performance
pelos quais o programa será avaliado, as fontes de dados a serem usadas para
as mensurações, os recursos (financeiros, humanos e de infra-estrutura)
alocados, as atividades previstas, os resultados esperados e as relações
causais (assumidas a partir da teoria por trás do programa), evidenciando os
resultados intermediários que associem determinadas atividades do programa a
um ou mais objetivos do mesmo (COSTA e CASTANHAR, 2003).
Revista Pensar Gestão e Administração, v. 4, n. 2, jan. 2016
A partir da estruturação de uma matriz lógica, viabiliza-se uma gestão
pública orientada por resultados, a qual, conforme assegura Trosa (2001, p.
171), é uma tendência atual, devendo considerar tanto “resultados
quantificáveis, tangíveis e imediatos”, isto é, os outputs ou serviços oferecidos,
quanto “resultados ou impactos voltados para o atendimento ao usuário”, ou
seja, os outcomes.
4. PROGRAMA ESPORTE E LAZER DA CIDADEO Programa Esporte e Lazer da Cidade (PELC) é uma iniciativa da
Secretaria de Desenvolvimento de Esporte e Lazer (SNDEL) do Ministério do
Esporte, voltada ao desenvolvimento de políticas públicas de esporte de
participação e de lazer em nível subnacional, através do financiamento do
estabelecimento de núcleos de atividades de esporte e lazer para todas as
idades.
A proposta é de que o subsídio e orientação iniciais oferecidos pelo
Ministério do Esporte aos conveniados possibilite uma continuidade das ações
em nível local após o término do convênio firmado, ocasionando uma atuação
mais efetiva das organizações governamentais e não-governamentais nas
políticas públicas de esporte e lazer em nível subnacional.
Contudo, embora Silveira (2012) apresente a grande satisfação dos
beneficiários deste Programa, trata-se ainda, após quase uma década de
existência, de uma iniciativa com poucos convênios implementados, tendo
atingido desde seu início, em 2003, até o ano de 2008, o número máximo anual
de apenas 122 convênios firmados.
Destaca-se dentre estes convênios a existência de consórcios
intermunicipais, além de outras formas de associações entre municípios, e a
participação de Secretarias de Estado, abrangendo várias localidades. No
entanto, mesmo considerando-se essas possibilidades, pode-se afirmar que sua
amplitude é muito pequena. A Figura 1 apresenta o número de convênios
firmados pelo PELC de 2003 a 2008.
Revista Pensar Gestão e Administração, v. 4, n. 2, jan. 2016
Figura 1. Número Total de Convênios PELC de 2003 a 2008 em todo o Brasil
Fonte: Vieira (2010).
Como visualizado no Gráfico 1, o PELC é um programa pouco
abrangente, não tendo atingido, até 2008, todas as Unidades Federativas
brasileiras: Amapá, Roraima e Tocantins nunca haviam sido contemplados com
convênios PELC nesse período. Trata-se, portanto, de um programa que possui
pouca visibilidade, pouco conhecido, e não se apresenta como uma prioridade
do Governo Federal.
Por outro lado, configura-se como uma conquista dos militantes do
esporte de participação e do lazer (incluindo atores políticos, dirigentes e
burocratas do Ministério do Esporte, acadêmicos e movimentos sociais), em
resposta à sobrepujança histórica do esporte de alto rendimento e educacional
nas políticas públicas.
Dessa forma, o PELC desenvolve-se em um quadro de instabilidade e
constantes disputas, no qual esta iniciativa, por meio de seus partidários, busca
um crescimento e reconhecimento que ainda não possui perspectiva de
acontecer, pois, como afirma Castellani Filho (2007), se desenvolve, desde sua
criação, contra a vontade de forças políticas estratégicas e com restrições
orçamentárias.
0102030405060708090
100110120130
Convênios2003
Convênios2004
Convênios2005
Convênios2006
Convênios2007
Convênios2008
2133 30
77
103
122
Revista Pensar Gestão e Administração, v. 4, n. 2, jan. 2016
Segundo Vieira (2010), o Ministério do Esporte investiu no PELC um
total de R$61.794.324,62 em seus primeiros seis anos de implementação,
distribuindo de maneira irregular os investimentos ao longo dos anos. Os valores
investidos foram de R$6.802.727,32 em 2003; R$9.329.707,35 em 2004;
R$7.594.580,96 em 2005; R$2.907.377,25 em 2006; R$6.808.169,79 em 2007;
e R$28.351.761,95 em 2008. Assim, embora o investimento seja crescente, o
montante de recursos ainda é baixo, principalmente se comparado a outros
programas, como o Segundo Tempo (PST): em 2009, o PST teve investimento
total de R$267,8 milhões, enquanto no PELC foram investidos recursos da
ordem de R$52 milhões.
A implementação do PELC se estabelece a partir da celebração de
convênios, os quais são acordos ou ajustes que disciplinam a transferência de
recursos financeiros de dotações públicas visando à execução de programas de
governo, envolvendo, dentre outras questões, a realização de projeto, atividade,
serviço, em regime de mútua cooperação (BRASIL, 2011).
Estes acordos possuem como partícipes diversos tipos de
instituições, não sendo necessário, que as instituições envolvidas como
convenentes sejam da mesma natureza das concedentes, o que amplia as
possibilidades de relações interinstitucionais e de financiamento para a gestão
de programas de governo. Dessa forma, os convênios se tornaram, como
apontado por Graef (2010, p. 55), o “mais importante – senão único –
instrumento de transferência de recursos”.
Como apresenta o Boletim Gerencial do SICONV (MINISTÉRIO DO
PLANEJAMENTO, ORÇAMENTO E GESTÃO, 2012), as transferências
realizadas por meio de convênios no primeiro semestre de 2009 correspondem a
91,96% do total, equivalendo a R$434.826.619,44. No primeiro semestre de
2010, esse percentual foi de 73,41% (R$1.336.330.535,46) e no de 2011, de
93,37% (R$292.414.304,04).
No caso do PELC, os convênios são firmados entre o Ministério do
Esporte e diferentes tipos de instituições conveniadas: órgãos da administração
pública estaduais e municipais (Secretarias de Estado, prefeituras), entidades
Revista Pensar Gestão e Administração, v. 4, n. 2, jan. 2016
não governamentais e da sociedade civil organizada (ONGs, OSCIPs,
Associações, Fundações, Ligas, organizações religiosas), instituições de Ensino
Superior (Universidades, Institutos Federais de Ensino Técnico) e organizações
do Sistema “S” (Sebrae). A Figura 2, a seguir, apresenta a distribuição de
entidades conveniadas ao PELC, desde sua criação.
Figura 2. Distribuição quantitativa de entidades conveniadas ao PELC de 2003 a
2008, segundo o tipo de organização.
Fonte: Vieira (2010).
Diante desta heterogeneidade institucional, a gestão deste Programa
pressupõe uma capacidade de cooperação entre os partícipes, em direção a um
objetivo comum, contendo em si a necessidade de que se desenvolva um
processo denominado por Trosa (2001) como contratualismo. Nesse
procedimento contratual, as relações não são hierárquicas e as normas são
negociadas, havendo, entretanto, o estabelecimento de regras claras, a
explicitação dos resultados esperados e o controle de seu desempenho. O
procedimento contratual se configura como um compromisso no qual a
responsabilidade de gestão incorre sobre ambas as partes e as soluções são
0%
20%
40%
60%
80%
100%
2003 2004 2005 2006 2007 2008
Sistema S Instituição de Ensino Superior Sociedade Civil Governo
Revista Pensar Gestão e Administração, v. 4, n. 2, jan. 2016
compartilhadas, sendo prerrogativas de cada uma tanto obrigações quanto
direitos.
Em convênios, cada parte participante possui suas responsabilidades
específicas, envolvendo tanto as instituições concedentes quanto as
convenentes nos processos de controle, acompanhamento e avaliação, tendo
ambas uma co-responsabilidade sobre sua gestão. A celebração de convênios
pressupõe a reciprocidade de interesses e a cooperação, existindo grande
autonomia e relativa discricionariedade em sua gestão.
Se, por um lado, isso permite uma melhor adequação das propostas
às realidades locais, por outro, os instrumentos de controle e fiscalização
costumam ser limitados, no sentido de não se aprofundarem sobre muitas
questões relativas à implementação dos programas, restringindo-se, muitas
vezes, à análise de cumprimento dos objetos pactuados e à prestação de contas
e não progredindo para o desenvolvimento de avaliações em seu sentido amplo
(formativo e somativo). No Programa Esporte e Lazer da Cidade esta restrição
no papel e aplicação dos processos de avaliação parece ser uma realidade,
como se pode concluir a partir da discussão a seguir.
5. O SISTEMA DE AVALIAÇÃO DO PROGRAMA ESPORTE E LAZER DACIDADE
A avaliação no Programa Esporte e Lazer da Cidade, de acordo com
as informações de seus gestores federais e locais (VIEIRA, 2010), ocorre
durante a implementação dos convênios e ao seu final. São utilizados como
principais instrumentos de avaliação:
a) relatórios trimestrais de execução, os quais contêm as metas do
Plano de Trabalho, cujo atendimento numérico é informado pelos convenentes
ao Ministério do Esporte;
b) relatórios de visita realizadas nas atividades pelos coordenadores
de convênio, os quais possuem um “formulário” de responsabilidade de
preenchimento dos agentes responsáveis pelas atividades, que não especifica
os dados a serem informados;
Revista Pensar Gestão e Administração, v. 4, n. 2, jan. 2016
c) relatório de prestação de contas, o qual considera basicamente,
conforme o manual de convênios do programa (MINISTÉRIO DO ESPORTE,
2012), relatórios de execução e de visita técnica, e o envio de materiais que
comprovem a realização das ações previstas (fotos, reportagens de jornal, listas
de inscrição e relação de presença, entre outras);
d) relatórios de formação, elaborados após cada módulo de formação
proposto pelo programa, ao início (módulo introdutório), ao meio (módulo de
aprofundamento) e ao final (módulo de avaliação) do convênio, a respeito do
desenvolvimento de cada um desses eventos (módulos).
Em 2010, foi proposto por uma instituição de ensino superior um
sistema de monitoramento e avaliação do PELC, composto por questionários a
serem aplicados junto a gestores, agentes e beneficiários do Programa. Todavia,
dados de Silveira et al (2012) demonstram que 95,6% de 455 beneficiários
entrevistados em convênios PELC no estado de Minas Gerais em 2011 nunca
participaram de qualquer manifestação que buscasse compreender sua
percepção sobre o Programa, o que indica que, até esse período, este sistema
de avaliação não havia ainda sido implementado.
Nos instrumentos de avaliação utilizados no PELC, antes
mencionados, constam as informações apresentadas na Tabela 1.
Revista Pensar Gestão e Administração, v. 4, n. 2, jan. 2016
Tabela 1. Informações sobre instrumentos de avaliação
Fonte: Relatórios de Avaliação das Instituições Conveniadas ao PELC
Na Tabela 1 apresenta-se informações coletadas pelo Ministério do
Esporte nos relatórios do PELC, sendo algumas meramente relacionadas ao
Plano de Trabalho inicial e outras completamente superficiais e subjetivas. Estes
dados, em grande parte, não possuem relação com os objetivos do Programa, o
que será discutido mais à frente.
As informações são, em sua grande maioria, oferecidas pelos
gestores locais, de forma que o controle é realizado pelo Ministério do Esporte
através das percepções dos convenentes, o que confere uma discricionariedade
Tipo de Informação DadosNúmero de Inscritos em atividades regulares (por faixa etária, incluindoportadores de necessidades especiais)Número de Beneficiados (incluindo participação em eventos esporádicos)Problemas com a comunidade ou usuários (percepção docoordenador/agente)Demanda de usuários de forma satisfatória (percepção coord./agente)Número de Agentes atuantesNúmero de Agentes capacitados pelo processo de formação doprogramaCumprimento de horários de agentesNúmero de Núcleos implementadosNúmero de Municípios envolvidosNúmero de atividades regularesNúmero de eventos realizadosSuficiência de materiais (percepção coord./agente)Especificação de Materiais e espaços utilizadosProblemas com o local das atividadesEnvolvimento do público (percepção coord./agente)Número de participantesProgramação, local de realização, carga horáriaLimites e avançosAvaliação da participação dos agentes (percepção do coordenador)Avaliação dos conteúdos abordados, da infraestrutura, da metodologia emateriais didáticos utilizados (percepção do coordenador)
Beneficiários
Agentes
Núcleos e Atividades
Encontros de Formação
Revista Pensar Gestão e Administração, v. 4, n. 2, jan. 2016
e subjetividade a este processo que podem redundar na não representação da
realidade dos convênios.
Muitos dos dados não são padronizados, de forma que não há uma
unidade de informações, não sendo possível sistematizá-las e compará-las com
as informações de outros convênios e, consequentemente, não permitindo a
realização de um processo de avaliação efetivo.
6. OBJETIVOS DO PELC E SEUS INDICADORESOs indicadores são elementos fundamentais ao processo de
avaliação, devendo partir de um marco conceitual, considerando os objetivos
previamente definidos e os resultados ou metas almejados pelo programa, o que
envolve também o processo de planejamento.
O Programa Esporte e Lazer da Cidade possui como objetivo geral
“contribuir com a democratização do acesso ao esporte recreativo e ao lazer, por
meio da promoção de ações educativas” (MINISTÉRIO DO ESPORTE, 2012, p.
4).
Segundo as diretrizes do Edital PELC de 2012, o estabelecimento de
núcleos de atividades esportivas de participação e de lazer objetiva, além de
contribuir para a construção de políticas públicas locais de esporte e de lazer,ampliar ações de democratização do acesso a esses conhecimentos epráticas de esporte e lazer, considerando direitos sociais de todos oscidadãos (diversas faixas etárias, incluindo as pessoas portadoras dedeficiência), assim como fomentar ações integradas com as demaispolíticas públicas, com vistas à promoção de inclusão social e dodesenvolvimento humano. (MINISTÉRIO DO ESPORTE, 2012, p. 4)
Como se nota, os objetivos do PELC são amplos, subjetivos e de
difícil mensuração. Na proposta inicial do Programa, estas características eram
ainda mais marcantes, embora a determinação de objetivos específicos fosse
mais clara. O objetivo geral do PELC era, em 2004, o de “suprir a carência de
políticas públicas e sociais que atendam às crescentes necessidades e
demandas da população por esporte recreativo e lazer, sobretudo daquelas em
situações de vulnerabilidade social e econômica, reforçadoras das condições de
injustiça e exclusão social a que estão submetidas” (MINISTÉRIO DO
ESPORTE, 2004).
Revista Pensar Gestão e Administração, v. 4, n. 2, jan. 2016
Essa finalidade seria possibilitada pelo alcance dos objetivos
específicos estabelecidos pelo programa: a) Democratizar o acesso a políticas
públicas de esporte e lazer; b) Reconhecer e tratar o esporte e o lazer como
direito social; c) Articular ações voltadas para públicos diferenciados nos núcleos
de esporte e lazer, de forma a privilegiar a unidade conceitual do programa; d)
Difundir a cultura do lazer através do fomento a eventos de lazer construído e
realizado de forma participativa com a comunidade; e) Formação permanente
aos agentes sociais de esporte e lazer (Professores, estudantes, educadores
sociais/comunitários, gestores e demais profissionais de áreas afins envolvidos
no programa); f) Fomentar e implementar instrumentos e mecanismos de
controle social; g) Aplicar metodologia de avaliação institucional processual às
políticas públicas de esporte e lazer; h) Fomentar a ressignificação de espaços
esportivos e de lazer que atendam às características das políticas sociais de
Esporte e Lazer implementadas e que respeitem a identidade esportiva e cultural
local/regional; i) Orientar a estruturação e condução de suas políticas públicas
de esporte e lazer nos poderes públicos municipais e estaduais.
Mesmo havendo tantos objetivos especificados pelo PELC, a única
meta preconizada pelas diretrizes do Programa relaciona-se ao atendimento de
400 inscritos em atividades regulares por núcleo implementado, considerando a
proporção de um núcleo de atividades (que pode conter subnúcleos em várias
localidades) para cada 50.000 habitantes (Ministério do Esporte, 2012). Seriam,
então, 400 pessoas atendidas pelo Programa para cada 50.000 habitantes, o
que representa 0,8% desse contingente populacional.
Considerando que o Programa se propõe a “contribuir com a
democratização do acesso ao esporte recreativo e ao lazer”, esta pode ser
considerada uma meta limitada, com pouca representatividade e não alinhada
ao principal objetivo do PELC. Além disso, a inexistência de outras metas
estabelecidas prejudica o processo de avaliação do programa, ao não
materializar seus objetivos.
Nesse sentido, as informações coletadas pelos instrumentos de
avaliação do PELC, de maneira geral, não podem ser consideradas como
Revista Pensar Gestão e Administração, v. 4, n. 2, jan. 2016
indicadores, principalmente porque não se balizam por um marco conceitual do
Programa, tampouco por uma matriz lógica que pressuponha objetivos, metas,
ações e resultados relacionados entre si.
7. OBJETIVOS DO PROCESSO DE AVALIAÇÃO NO PELCO processo de avaliação pode ter vários objetivos, os quais são
englobados pelas avaliações formativas e somativas. Conforme os gestores
federais do PELC (VIEIRA, 2010), a avaliação neste programa possui objetivos
voltados tanto ao passado, atuando como diagnóstico, quanto ao futuro,
funcionando como subsídio ao processo decisório. Esses gestores apontam os
seguintes objetivos para a avaliação:
a) Passado: verificação de resultados e de impacto; verificação do
cumprimento do objeto pactuado; verificação da adequação de processos;
b) Futuro: reorientação de propostas locais; orientação para o
planejamento; decisão de continuidade ou não de processos; reorientação do
Programa em todo o seu ciclo.
Contudo, os mesmos gestores afirmam que estes objetivos não são
atingidos, por questões várias, como a natureza dos dados, que não são
adequados ao processo avaliativo; a falta de sistematização da avaliação e de
padronização das informações; as dificuldades no que se refere à coleta
(instrumentos e indicadores utilizados) e à tabulação de dados (inexistência de
uma estrutura de armazenamento e processamento de dados). Destaca-se,
ainda, que, diante destas dificuldades e da incompletude do processo de
avaliação, não ocorre também um feedback direcionado às entidades
convenentes sobre os resultados da avaliação e de seu convênio.
Embora os gestores reconheçam a necessidade de um processo
avaliativo completo, que considere seus aspectos formativos e somativos, esse
processo não ocorre, principalmente pela incipiência da estrutura de avaliação
do PELC.
Revista Pensar Gestão e Administração, v. 4, n. 2, jan. 2016
8. MEDIDAS ACESSÓRIAS DE AVALIAÇÃOA falta de estruturação e padronização do sistema de avaliação do
PELC, assim como sua fragilidade, provocam um movimento de busca por
alternativas de avaliação em níveis subnacionais, sendo desenvolvidas por seus
convenentes medidas acessórias à avaliação formal do Programa.
As principais medidas identificadas através de depoimentos de
gestores locais (VIEIRA, 2010; SILVEIRA et al., 2012) são as seguintes: a)
Discussão bimestral entre agentes e colaboradores para avaliar e rever as ações
programáticas; b) Questionários com beneficiários; c) Relatórios de agentes; d)
Relatório da entidade de controle social; e) Monitoramento informal
(Observação, depoimentos e questionamentos informais a agentes e
beneficiários); f) Caracterização e acompanhamento do perfil dos beneficiários
(Índice de Massa Corporal - IMC, estatura, flexibilidade); g) Questionamentos
aos beneficiários sobre as atividades (motivações para a participação, meios de
divulgação, interesses); h) Questionários de professores/agentes para controle
próprio nas atividades.
Parte das iniciativas apontadas pelos gestores locais não se relaciona
aos objetivos do Programa, algumas constituindo objetos de interesse pessoal
dos coordenadores (especialmente visando publicações acadêmicas), outras
voltando-se à prática pedagógica das atividades.
Além disso, a aplicação de questionários junto a beneficiários é
apontada por gestores locais como uma iniciativa acessória à avaliação formal
do Programa. Porém, o dado apresentado anteriormente, sobre a não
participação de beneficiários em qualquer forma de instrumento avaliativo
(95,6% de 455 beneficiários entrevistados, segundo Silveira et al, 2012) aponta
para a não efetividade desta iniciativa.
Por outro lado, existem iniciativas que podem contribuir para o melhor
desenvolvimento do processo de avaliação, como os relatórios envolvendo
agentes, beneficiários e entidades de controle social, desde que considerem
informações e indicadores relevantes e úteis à gestão direcionada a resultados.
Revista Pensar Gestão e Administração, v. 4, n. 2, jan. 2016
9. CONCLUINDO PARA UMA MELHOR GESTÃOOs dados coletados a partir da análise de relatórios de avaliação do
Programa Esporte e Lazer da Cidade possibilitam concluir que o sistema de
avaliação utilizado neste Programa possui papel mais burocrático do que de
efetivo controle e acompanhamento de resultados e desenvolvimento do
Programa, servindo seus dados apenas para verificar se os convênios atingem
as metas mínimas previstas no plano inicial, o que é indicado por Graef (2010)
como característica frequente em uma estrutura de convênios.
Dessa forma, haja vista que as informações coletadas não se
relacionam a objetivos e resultados pretendidos, não oferecem subsídios ao
processo decisório, não se direcionando a perspectivas nem formativas nem
somativas, consequentemente não funcionando como instrumentos de gestão.
Independentemente do ente responsável pela avaliação dos
convênios PELC, seja o Ministério do Esporte, sejam as organizações
convenentes, devem ser investidos maiores esforços quanto ao
desenvolvimento de indicadores que se relacionem diretamente aos objetivos do
Programa e a seus resultados pretendidos.
É fundamental que o Ministério do Esporte estruture e reorganize todo
o sistema de monitoramento e avaliação do PELC, incluindo os sistemas de
gestão de dados e de aplicação de instrumentos, idealizador que é do Programa
e de suas diretrizes, e principal referência para a política pública de esportes
brasileira como um todo, subsidiando a atuação das organizações subnacionais
na gestão deste ou de outros Programas similares.
A elaboração de uma matriz lógica específica para o Programa pode
em muito contribuir para essa estruturação, possibilitando o estabelecimento de
objetivos mais específicos e realísticos, de metas e resultados coesos com estes
objetivos, de instrumentos de avaliação coerentes, que permitam maior
accountability e gerem indicadores relevantes e efetivos.
Há uma grande responsabilidade dos entes subnacionais, não apenas
por se tratar de convênios, os quais envolvem em geral apenas “controles
burocráticos” (GRAEF, 2010, p.55), mas principalmente porque a proposta do
Revista Pensar Gestão e Administração, v. 4, n. 2, jan. 2016
PELC se embasa em uma perspectiva de continuidade das ações por parte das
entidades conveniadas, devendo ser o protagonismo das mesmas uma
constante na gestão deste Programa.
Nesse sentido, instrumentos voltados ao controle de resultados e ao
controle social, apoiado na participação social, podem ser grandes aliados para
uma melhor gestão do Programa (GRAEF, 2010, p.55), configurando toda ação
pública como um processo de encontro entre o top-down e o bottom-up,
atingindo, de fato, ao que Trosa (2001, p. 67) se refere como o “estágio de
contrato”.
Existem instrumentos de avaliação criados pelas instituições gestoras
locais do PELC, em complementaridade ao sistema formal do Programa.
Contudo, resta aprofundar a investigação a respeito das informações coletadas
por estes instrumentos, identificando sua representatividade quanto aos
objetivos do Programa e a relação com metas previstas e resultados almejados.
Ainda, destaca-se o imperativo de que estas iniciativas cheguem ao
conhecimento do Ministério do Esporte, contribuindo para o redirecionamento
das ações avaliativas do PELC como um todo, a partir das realidades locais.
Assim, interessa também que se forme uma rede de informações
entre os convenentes, a fim de que seja possível a socialização de
conhecimentos sobre todo o processo de gestão do PELC, especificamente a
respeito do sistema de avaliação, a partir das experiências desenvolvidas e
dificuldades enfrentadas por cada uma dessas instituições.
10. REFERÊNCIASALA-HARJA, Marjukka; HELGASON, Sigurdur. Em direção às melhores práticas
de avaliação. Revista do Serviço Público, ano 51, n.4, out/dez, 2000.
ANTICO, Cláudia; JANNUZZI, Paulo de Martino. Indicadores e a Gestão de
Políticas Públicas. São Paulo: FUNDAP, s/d. Disponível em:
<http://www.fundap.sp.gov.br/
debatesfundap/pdf/Gestao_de_Poi%C3%ADticas_Publicas/Indicadores_e_Gest
Revista Pensar Gestão e Administração, v. 4, n. 2, jan. 2016
%C3%A3o_de_Pol%C3%ADticas_P%C3%BAblicas.pdf>. Acesso em 15 de
junho de 2012.
BRASIL. Portaria Interministerial nº 507, de 24 de novembro de 2011. Disponível
em: <https://www.convenios.gov.br/portal/legislacao>. Acesso em 11 de junho
de 2012.
CANO, Ignacio. Introdução à Avaliação de Programas Sociais. 2.ed. Rio de
Janeiro: FGV, 2004. 120p. (Coleção FGV Prática).
COHEN, Ernesto; FRANCO, Rolando. Avaliação de Projetos Sociais. 7 ed.
Petrópolis, RJ: Vozes, 2007.
COSTA, Frederico Lustosa da; CASTANHAR, José Cezar. Avaliação de
programas públicos: desafios conceituais e metodológicos. Revista de
Administração Pública. Rio de Janeiro, Vol. 37, n.5. Set/Out. 2003, pp.969-992.
COTTA, Tereza Cristina. Metodologias de avaliação de programas e projetos
sociais: análise de resultados e de impacto. Revista do Serviço Público. Ano 49,
n.2. Abr-Jun 1998.
GRAEF, Aldino. Articulação federativa na prestação de serviços sociais no
Brasil. Revista do Serviço Público. Brasília, ENAP, v. 61, n. 1, p. 5-33, Jan. a
Mar. de 2010.
HALE, Judith A. Performance-Based Evaluation: Tools and Techniques to
Measure the Impact of Training. San Francisco, CA: Jossey-Bass/Pfeiffer, 2002.
HOLANDA, Antônio Nilson Craveiro. Avaliação de Políticas Públicas: Conceitos
Básicos, o caso do ProInfo e a Experiência Brasileira. VIII Congresso
Internacional del CLAD sobre la Reforma del Estado y de la Administración
Pública. Panamá, 2003.
JANN, Werner; WEGRICH, Kai. Theories of the Policy Cycle. In: FISCHER,
Frank; MILLER, Gerald J.; SIDNEY, Mara S. Handbook of Public Policy Analysis:
Theory, Politics, and Methods. Public Administration and Public Policy. Boca
Raton, FL: CRC Press/Taylor & Francis Group, 2007.
JANNUZZI, Paulo de Martino. Indicadores para diagnóstico, monitoramento e
avaliação de programas sociais no Brasil. Revista do Serviço Público. Brasília,
vol. 56, n. 2, pp. 137-160, Abr/Jun 2005.
Revista Pensar Gestão e Administração, v. 4, n. 2, jan. 2016
MARINHO, Alexandre; FAÇANHA, Luís Otávio. Programas sociais: efetividade,
eficiência e eficácia como dimensões operacionais da avaliação. Texto para
discussão Nº 787. IPEA: abril de 2001.
MINISTÉRIO DO ESPORTE. Programa Esporte e Lazer da Cidade: Diretrizes.
Edital 2012. Brasília, 2012. Disponível em:
<http://www.esporte.gov.br/arquivos/snelis/
PELC2012/diretrizesEdital2012V3.pdf>. Acesso em 12 de junho de 2012.
MINISTÉRIO DO ESPORTE. Manual de Orientação do Programa Esporte e
Lazer da Cidade. Brasília, 2004. Disponível em: <http://portal.esporte.gov.br/
sndel/esporte_lazer/default.jsp> Acesso em 26 de abril de 2008.
MINISTÉRIO DO PLANEJAMENTO, ORÇAMENTO E GESTÃO. Estatísticas
Gerais das Transferências Voluntárias: SICONV - 1º Semestre 2009, 2010 e
2011. Brasília, 2012. Disponível em:
<https://www.convenios.gov.br/portal/informacoesGerenciais>. Acesso em 17 de
junho de 2012.
PATTON, Michael Quinn. Qualitative Research and Evaluation Methods. 3rd ed.
Thousand Oaks, CA: Sage, 2002.
RUA, Maria das Graças. A Avaliação no Ciclo da Gestão Pública. MIMEO, 2004.
Disponível em:
<http://www.seguranca.mt.gov.br/UserFiles/File/SUPF/aval_cic_gest_ publ.pdf>.
Acesso em 21 de maio de 2012.
SECCHI, Leonardo. Modelos Organizacionais e Reformas da Administração
Pública. Revista de Administração Pública. Rio de Janeiro, vol. 43, n. 2, p. 347-
369, Mar a Abr de 2009.
SEGES. Inventário das Principais Medidas para melhoria da Gestão Pública no
Governo Federal Brasileiro. Brasília: Ministério do Planejamento, 2009. Trabalho
realizado por Caio Marini.
SILVEIRA, Suely de Fátima Ramos; VIEIRA, Larissa Haddad Souza; REIS,
Lílian Fagundes; SOUZA, Aline Santos de. Implementação e Gestão de Políticas
Públicas: um olhar sobre a percepção de gestores sobre o Programa Esporte e
Lazer da Cidade. Viçosa, MG: UFV, 2012. (Relatório de Pesquisa).
Revista Pensar Gestão e Administração, v. 4, n. 2, jan. 2016
TROSA, Sylvie. Gestão Pública por Resultados: Quando o Estado se
Compromete. Rio de Janeiro: Revan; Brasília: ENAP, 2001.
VIEIRA, Larissa Haddad Souza. Estudos sobre a Gestão do Programa Esporte e
Lazer da Cidade. Viçosa, MG: UFV, 2010. (Dissertação de Mestrado)
top related