vieira, larissa haddad souza -...

Revista Pensar Gestão e Administração, v. 4, n. 2, jan. 2016

(DES) ESTRUTURAÇÃO DO PROCESSO DE AVALIAÇÃO EM UM PROGRAMADO MINISTÉRIO DO ESPORTE

VIEIRA, Larissa Haddad Souza1

SILVEIRA, Suely de Fátima Ramos2

RESUMOEste artigo discute o sistema de avaliação do Programa Esporte e Lazer da Cidade

(PELC), do Ministério do Esporte, analisando sua perspectiva de avaliação. Retoma

brevemente a importância da avaliação na gestão pública, dados seus objetivos

formativos e somativos, seus indicadores e marco lógico, situando-os no contexto da

gestão orientada por resultados, via celebração de convênios e contratualização de

resultados. Ao caracterizar o PELC e seu processo de avaliação, conclui-se sobre a

inexistência de indicadores relacionados aos objetivos ou resultados esperados do

Programa, não oferecendo subsídios à gestão como um todo. O sistema de

avaliação parece apresentar papel mais burocrático do que de efetivo controle,

monitoramento e desenvolvimento do Programa. Dessa forma, recomenda-se a

estruturação e reorganização desse sistema de monitoramento e avaliação,

investindo maiores esforços quanto a indicadores que se relacionem aos objetivos

do PELC e a seus resultados pretendidos, elaborando uma matriz lógica específica

para o Programa, incentivando o protagonismo dos entes subnacionais conveniados

e da sociedade como um todo, a partir de instrumentos voltados ao controle de

resultados e ao controle social, apoiado na participação social. Sugere-se também a

formação de redes de informações entre os convenentes, visando socializar

conhecimentos sobre todo o processo de gestão do PELC.

1Doutoranda em Administração Pública e Governo pela Fundação Getúlio Vargas – Escola de

Administração de Empresas de São Paulo (FGV-EAESP); Mestrado em Administração pelaUniversidade Federal de Viçosa (UFV); Bacharel e Licenciada em Educação Física pela UFV eBacharel em Administração pela Unopar. Servidora do Instituto Federal do Espírito Santo (Ifes) –Campus Venda Nova do Imigrante.2

Bolsista de Produtividade CNPq; Doutorado em Economia Aplicada pela ESALq/Universidadede São Paulo; Mestrado em Economia Rural pela Universidade Federal de Viçosa (UFV); Bacharelem Ciências Econômicas pela UFV. Professora do Programa de Pós-Graduação (Mestrado) emAdministração da UFV; Diretora do Instituto de Políticas Públicas e Desenvolvimento Sustentável(IPPDS) da mesma Universidade.


Palavras-chave: Administração Pública, Política Pública, Programa Social,

Avaliação, Esporte e Lazer.


1. INTRODUÇÃODesenhado no ano de 2003 pela Secretaria Nacional de

Desenvolvimento do Esporte e do Lazer (SNDEL) do Ministério do Esporte, o

Programa Esporte e Lazer da Cidade (PELC) propunha, dentre seus objetivos

específicos, a aplicação de metodologia de avaliação processual. Entretanto, um

processo de monitoramento e avaliação, que possibilite o acompanhamento

desta iniciativa em sentido amplo, parece ter se desenvolvido neste Programa

muito lentamente e com o enfrentamento de dificuldades técnicas e

metodológicas.

Este artigo aborda o sistema de avaliação do Programa Esporte e

Lazer da Cidade, baseando-se em algumas questões centrais: o sistema de

avaliação do PELC segue diretrizes formativas e somativas, direcionando-se aos

resultados? Qual o objetivo do sistema de avaliação proposto pelo Ministério do

Esporte no PELC? O sistema de avaliação do PELC é condizente com os

objetivos do Programa? Quais as principais fragilidades deste sistema de

avaliação? Existem iniciativas locais de avaliação paralelas ao sistema proposto

pelo Ministério do Esporte?

Pretende-se, dessa forma, discutir o sistema de avaliação do PELC,

analisando elementos que apontam para uma aplicação restrita, e não em uma

perspectiva ampla de avaliação tanto somativa quanto formativa, não

direcionando sua gestão aos resultados do Programa tampouco visando seu

desenvolvimento como um todo.

2. CONSIDERAÇÕES METODOLÓGICASEste artigo foi elaborado a partir do método denominado pesquisa

documental, na qual foram coletados para a análise dados secundários

baseados em informações de relatórios elaborados pelas instituições

conveniadas do Programa Esporte e Lazer da Cidade (PELC) por solicitação do

Ministério do Esporte, os quais contêm as informações utilizadas no sistema de

avaliação do Programa.


Além disso, alguns dados de Vieira (2010) e de Silveira et al. (2012)

também foram usados. Estes dados são fundamentados em entrevistas

semiestruturadas realizadas com gestores federais e locais do Programa nos

anos de 2009 e 2011. As entrevistas realizadas com gestores locais relacionam-

se a Coordenadores Gerais de convênios PELC celebrados em localidades do

Estado de Minas Gerais.

Os dados coletados, oriundos de entrevistas, foram analisados

buscando-se as percepções por parte dos gestores federais e locais acerca do

processo de avaliação do PELC. Já os relatórios de avaliação dos conveniados

ofereceram subsídios para a análise acerca dos instrumentos que compõem o

sistema de avaliação do PELC. Em ambos os casos, o tratamento e análise dos

dados foram realizados através do método de Análise de Conteúdo (BARDIN,

2009).

Trata-se de um estudo de caráter prioritariamente qualitativo e

descritivo, pois buscou-se identificar e caracterizar os elementos constituintes do

processo de avaliação do PELC, organizado pelo Ministério do Esporte,

situando-os em função de uma perspectiva que compreende a necessidade de

um processo avaliativo que perpasse por fins tanto formativos quanto somativos,

e que considere os objetivos e resultados esperados do Programa.

3. A AVALIAÇÃO NA GESTÃO PÚBLICAA atual percepção de diretrizes de gestão, proposta pelo modelo da

Administração Pública Gerencial, ou Nova Administração Pública, possui dentre

seus valores a descentralização, a orientação ao serviço, a eficiência e eficácia

na prestação de serviços e a accountability (SECCHI, 2009). Nesse contexto,

afirma Rua (2004), amparada por Kettl (2000), a avaliação se torna instrumento

estratégico, oferecendo subsídios para os processos decisórios envolvidos em

toda a gestão pública.

Dessa forma, diretrizes e mecanismos de acompanhamento e

avaliação de programas e políticas foram incluídos nas últimas décadas na

política para a administração pública. No ano de 2009, uma publicação da


Secretaria de Gestão do Ministério do Planejamento, Orçamento e Gestão

(SEGES, 2009, p. 6) identifica iniciativas de avaliação de políticas no Governo

Federal, as quais visam “melhorar a coordenação dos atores e o

acompanhamento de indicadores de desempenho e de resultado em

determinados setores”.

Conforme Jann e Wegrich (2007), a avaliação é aplicada ao processo

de policy-making como um todo e sob diferentes perspectivas em termos de

tempo. Cohen e Franco (2007, p.77) definem a avaliação como “uma atividade

que tem como objetivo maximizar a eficácia dos programas na obtenção de seus

fins e a eficiência na alocação de recursos para a consecução dos mesmos”,

podendo ser realizada antes, durante ou após a implementação do programa.

Por esta razão, não deve ser concebida isoladamente, pois faz parte do

processo de planejamento da política social, gerando uma retroalimentação, ou

feedback, sobre as informações de diversos projetos quanto a sua eficácia e

eficiência. Além disso, analisa os produtos e resultados obtidos por esses

projetos, possibilitando sua reorientação em direção ao fim postulado.

Existem dois tipos principais de avaliação, classificados de acordo

com seus objetivos: as avaliações formativas e as somativas (PATTON, 2002;

HALE, 2002; COSTA e CASTANHAR, 2003; CANO, 2004; COHEN e FRANCO,

2007).

A avaliação formativa, também chamada avaliação de processos,

“determina a medida em que os componentes de um projeto contribuem ou são

incompatíveis com os fins perseguidos”, sendo realizada durante a

implementação do programa, de forma periódica, procurando “detectar as

dificuldades que ocorrem na programação, administração, controle”, dentre

outros aspectos, “para serem corrigidos oportunamente, diminuindo os custos

derivados da ineficiência” (COHEN e FRANCO, 2007).

A avaliação formativa deve visar auxiliar e advertir aos planejadores,

gerentes e colaboradores sobre problemas e necessidades de melhoria do

programa em andamento, a fim de contribuir para seu progresso e

desenvolvimento (CANO, 2004). Segundo Hale (2002), a avaliação formativa


deve ser utilizada para descobrir se o programa segue no sentido planejado e

assim deve continuar, ou se deve sofrer uma ação corretiva. Seria, conforme

Cotta (1998, p. 110), um “acompanhamento sistemático da evolução das metas

do programa ou projeto”.

Por outro lado, as avaliações somativas ou de resultados se ocupam

da eficácia e dos resultados obtidos pelo conjunto de ações desenvolvidas no

programa, sendo usada para descobrir se o programa correspondeu ou não a

uma necessidade ou efetivou uma oportunidade, buscando suas causas (HALE,

2002; COTTA, 1998). Possui como objeto de análise os resultados e impactos

do programa, determinando em que medida o mesmo alcança seus objetivos e

quais são seus efeitos secundários, previstos e não previstos (COHEN e

FRANCO, 2007). A avaliação somativa analisa a eficiência e a eficácia do

programa, observadas e mensuradas ao final do mesmo (ALA-HARJA e

HELGASON, 2000).

Os diversos modelos de avaliação, conforme Holanda (2003), visam

obter informações úteis e críveis sobre o desempenho de programas,

identificando problemas e limitações, potencialidades e alternativas. Assim, os

problemas da gestão pública concedem às atividades de avaliação importância

significativa e proeminente, adquirindo condição de instrumento central e

indispensável de gestão (MARINHO e FAÇANHA, 2001).

A avaliação, se considerada em uma perspectiva ampla, a partir de

suas funções tanto formativas quanto somativas, pode colaborar para o

processo de gestão como um todo, gerando feedback quanto a informações

sobre a eficiência e a eficácia de projetos e sobre os resultados obtidos,

possibilitando sua reorientação em direção aos seus objetivos (COHEN e

FRANCO, 2007).

De acordo com Rua (2004), a importância da avaliação é reconhecida

no Brasil, inclusive de maneira formal, mas isso não implica na sistematização

de processos de avaliação consistentes, que sejam capazes de subsidiar a

gestão pública. Para esta autora, a qual cita Mokate (2002), existem quatro

desafios principais para a constituição de processos de avaliação: a) definição


de um marco conceitual que indique claramente os objetivos, resultados e

supostas relações causais que orientam a intervenção; b) relação de

complementaridade entre metas e objetivos quantitativos e qualitativos; c)

identificação de indicadores e informações relevantes, a partir do marco

conceitual e das perspectivas dos atores envolvidos; e d) utilização das

informações geradas pelo processo avaliativo.

Conforme Jannuzzi (2005) o processo de construção de um sistema

de indicadores deve se desenvolver com base nos objetivos definidos e nos

resultados almejados pela política ou programa em questão, possibilitando, de

acordo com Antico e Jannuzzi (s/d, p. 19), o dimensionamento de sua eficácia,

isto é, o grau de cumprimento de seus objetivos; de sua eficiência, ou seja, a

utilização de recursos frente aos custos em disponibilizá-los; além de sua

efetividade social ou impacto.

A utilidade do processo de avaliação, segundo Costa e Castanhar

(2003, p. 976), se relaciona diretamente a um planejamento consistente, que

estabeleça relações causais entre atividades e produtos; produtos e resultados

que permitam atingir as metas visadas; resultados que causem efeitos mais ou

menos precisos e respondam pelo alcance de um objetivo específico; e efeitos

que produzam o impacto pretendido pelo propósito ou missão do programa, de

tal sorte que se busque fazer com que as atividades de fato contribuam para o

alcance desse mesmo propósito.

O estabelecimento prévio de uma matriz lógica (ou quadro lógico) do

programa poderia, assim, favorecer o processo de avaliação, ao determinar e

identificar seus objetivos gerais e específicos, os indicadores de performance

pelos quais o programa será avaliado, as fontes de dados a serem usadas para

as mensurações, os recursos (financeiros, humanos e de infra-estrutura)

alocados, as atividades previstas, os resultados esperados e as relações

causais (assumidas a partir da teoria por trás do programa), evidenciando os

resultados intermediários que associem determinadas atividades do programa a

um ou mais objetivos do mesmo (COSTA e CASTANHAR, 2003).


A partir da estruturação de uma matriz lógica, viabiliza-se uma gestão

pública orientada por resultados, a qual, conforme assegura Trosa (2001, p.

171), é uma tendência atual, devendo considerar tanto “resultados

quantificáveis, tangíveis e imediatos”, isto é, os outputs ou serviços oferecidos,

quanto “resultados ou impactos voltados para o atendimento ao usuário”, ou

seja, os outcomes.

4. PROGRAMA ESPORTE E LAZER DA CIDADEO Programa Esporte e Lazer da Cidade (PELC) é uma iniciativa da

Secretaria de Desenvolvimento de Esporte e Lazer (SNDEL) do Ministério do

Esporte, voltada ao desenvolvimento de políticas públicas de esporte de

participação e de lazer em nível subnacional, através do financiamento do

estabelecimento de núcleos de atividades de esporte e lazer para todas as

idades.

A proposta é de que o subsídio e orientação iniciais oferecidos pelo

Ministério do Esporte aos conveniados possibilite uma continuidade das ações

em nível local após o término do convênio firmado, ocasionando uma atuação

mais efetiva das organizações governamentais e não-governamentais nas

políticas públicas de esporte e lazer em nível subnacional.

Contudo, embora Silveira (2012) apresente a grande satisfação dos

beneficiários deste Programa, trata-se ainda, após quase uma década de

existência, de uma iniciativa com poucos convênios implementados, tendo

atingido desde seu início, em 2003, até o ano de 2008, o número máximo anual

de apenas 122 convênios firmados.

Destaca-se dentre estes convênios a existência de consórcios

intermunicipais, além de outras formas de associações entre municípios, e a

participação de Secretarias de Estado, abrangendo várias localidades. No

entanto, mesmo considerando-se essas possibilidades, pode-se afirmar que sua

amplitude é muito pequena. A Figura 1 apresenta o número de convênios

firmados pelo PELC de 2003 a 2008.


Figura 1. Número Total de Convênios PELC de 2003 a 2008 em todo o Brasil

Fonte: Vieira (2010).

Como visualizado no Gráfico 1, o PELC é um programa pouco

abrangente, não tendo atingido, até 2008, todas as Unidades Federativas

brasileiras: Amapá, Roraima e Tocantins nunca haviam sido contemplados com

convênios PELC nesse período. Trata-se, portanto, de um programa que possui

pouca visibilidade, pouco conhecido, e não se apresenta como uma prioridade

do Governo Federal.

Por outro lado, configura-se como uma conquista dos militantes do

esporte de participação e do lazer (incluindo atores políticos, dirigentes e

burocratas do Ministério do Esporte, acadêmicos e movimentos sociais), em

resposta à sobrepujança histórica do esporte de alto rendimento e educacional

nas políticas públicas.

Dessa forma, o PELC desenvolve-se em um quadro de instabilidade e

constantes disputas, no qual esta iniciativa, por meio de seus partidários, busca

um crescimento e reconhecimento que ainda não possui perspectiva de

acontecer, pois, como afirma Castellani Filho (2007), se desenvolve, desde sua

criação, contra a vontade de forças políticas estratégicas e com restrições

orçamentárias.

0102030405060708090

100110120130

Convênios2003

Convênios2004

Convênios2005

Convênios2006

Convênios2007

Convênios2008

2133 30

77

103

122


Segundo Vieira (2010), o Ministério do Esporte investiu no PELC um

total de R$61.794.324,62 em seus primeiros seis anos de implementação,

distribuindo de maneira irregular os investimentos ao longo dos anos. Os valores

investidos foram de R$6.802.727,32 em 2003; R$9.329.707,35 em 2004;

R$7.594.580,96 em 2005; R$2.907.377,25 em 2006; R$6.808.169,79 em 2007;

e R$28.351.761,95 em 2008. Assim, embora o investimento seja crescente, o

montante de recursos ainda é baixo, principalmente se comparado a outros

programas, como o Segundo Tempo (PST): em 2009, o PST teve investimento

total de R$267,8 milhões, enquanto no PELC foram investidos recursos da

ordem de R$52 milhões.

A implementação do PELC se estabelece a partir da celebração de

convênios, os quais são acordos ou ajustes que disciplinam a transferência de

recursos financeiros de dotações públicas visando à execução de programas de

governo, envolvendo, dentre outras questões, a realização de projeto, atividade,

serviço, em regime de mútua cooperação (BRASIL, 2011).

Estes acordos possuem como partícipes diversos tipos de

instituições, não sendo necessário, que as instituições envolvidas como

convenentes sejam da mesma natureza das concedentes, o que amplia as

possibilidades de relações interinstitucionais e de financiamento para a gestão

de programas de governo. Dessa forma, os convênios se tornaram, como

apontado por Graef (2010, p. 55), o “mais importante – senão único –

instrumento de transferência de recursos”.

Como apresenta o Boletim Gerencial do SICONV (MINISTÉRIO DO

PLANEJAMENTO, ORÇAMENTO E GESTÃO, 2012), as transferências

realizadas por meio de convênios no primeiro semestre de 2009 correspondem a

91,96% do total, equivalendo a R$434.826.619,44. No primeiro semestre de

2010, esse percentual foi de 73,41% (R$1.336.330.535,46) e no de 2011, de

93,37% (R$292.414.304,04).

No caso do PELC, os convênios são firmados entre o Ministério do

Esporte e diferentes tipos de instituições conveniadas: órgãos da administração

pública estaduais e municipais (Secretarias de Estado, prefeituras), entidades


não governamentais e da sociedade civil organizada (ONGs, OSCIPs,

Associações, Fundações, Ligas, organizações religiosas), instituições de Ensino

Superior (Universidades, Institutos Federais de Ensino Técnico) e organizações

do Sistema “S” (Sebrae). A Figura 2, a seguir, apresenta a distribuição de

entidades conveniadas ao PELC, desde sua criação.

Figura 2. Distribuição quantitativa de entidades conveniadas ao PELC de 2003 a

2008, segundo o tipo de organização.

Fonte: Vieira (2010).

Diante desta heterogeneidade institucional, a gestão deste Programa

pressupõe uma capacidade de cooperação entre os partícipes, em direção a um

objetivo comum, contendo em si a necessidade de que se desenvolva um

processo denominado por Trosa (2001) como contratualismo. Nesse

procedimento contratual, as relações não são hierárquicas e as normas são

negociadas, havendo, entretanto, o estabelecimento de regras claras, a

explicitação dos resultados esperados e o controle de seu desempenho. O

procedimento contratual se configura como um compromisso no qual a

responsabilidade de gestão incorre sobre ambas as partes e as soluções são

0%

20%

40%

60%

80%

100%

2003 2004 2005 2006 2007 2008

Sistema S Instituição de Ensino Superior Sociedade Civil Governo


compartilhadas, sendo prerrogativas de cada uma tanto obrigações quanto

direitos.

Em convênios, cada parte participante possui suas responsabilidades

específicas, envolvendo tanto as instituições concedentes quanto as

convenentes nos processos de controle, acompanhamento e avaliação, tendo

ambas uma co-responsabilidade sobre sua gestão. A celebração de convênios

pressupõe a reciprocidade de interesses e a cooperação, existindo grande

autonomia e relativa discricionariedade em sua gestão.

Se, por um lado, isso permite uma melhor adequação das propostas

às realidades locais, por outro, os instrumentos de controle e fiscalização

costumam ser limitados, no sentido de não se aprofundarem sobre muitas

questões relativas à implementação dos programas, restringindo-se, muitas

vezes, à análise de cumprimento dos objetos pactuados e à prestação de contas

e não progredindo para o desenvolvimento de avaliações em seu sentido amplo

(formativo e somativo). No Programa Esporte e Lazer da Cidade esta restrição

no papel e aplicação dos processos de avaliação parece ser uma realidade,

como se pode concluir a partir da discussão a seguir.

5. O SISTEMA DE AVALIAÇÃO DO PROGRAMA ESPORTE E LAZER DACIDADE

A avaliação no Programa Esporte e Lazer da Cidade, de acordo com

as informações de seus gestores federais e locais (VIEIRA, 2010), ocorre

durante a implementação dos convênios e ao seu final. São utilizados como

principais instrumentos de avaliação:

a) relatórios trimestrais de execução, os quais contêm as metas do

Plano de Trabalho, cujo atendimento numérico é informado pelos convenentes

ao Ministério do Esporte;

b) relatórios de visita realizadas nas atividades pelos coordenadores

de convênio, os quais possuem um “formulário” de responsabilidade de

preenchimento dos agentes responsáveis pelas atividades, que não especifica

os dados a serem informados;


c) relatório de prestação de contas, o qual considera basicamente,

conforme o manual de convênios do programa (MINISTÉRIO DO ESPORTE,

2012), relatórios de execução e de visita técnica, e o envio de materiais que

comprovem a realização das ações previstas (fotos, reportagens de jornal, listas

de inscrição e relação de presença, entre outras);

d) relatórios de formação, elaborados após cada módulo de formação

proposto pelo programa, ao início (módulo introdutório), ao meio (módulo de

aprofundamento) e ao final (módulo de avaliação) do convênio, a respeito do

desenvolvimento de cada um desses eventos (módulos).

Em 2010, foi proposto por uma instituição de ensino superior um

sistema de monitoramento e avaliação do PELC, composto por questionários a

serem aplicados junto a gestores, agentes e beneficiários do Programa. Todavia,

dados de Silveira et al (2012) demonstram que 95,6% de 455 beneficiários

entrevistados em convênios PELC no estado de Minas Gerais em 2011 nunca

participaram de qualquer manifestação que buscasse compreender sua

percepção sobre o Programa, o que indica que, até esse período, este sistema

de avaliação não havia ainda sido implementado.

Nos instrumentos de avaliação utilizados no PELC, antes

mencionados, constam as informações apresentadas na Tabela 1.


Tabela 1. Informações sobre instrumentos de avaliação

Fonte: Relatórios de Avaliação das Instituições Conveniadas ao PELC

Na Tabela 1 apresenta-se informações coletadas pelo Ministério do

Esporte nos relatórios do PELC, sendo algumas meramente relacionadas ao

Plano de Trabalho inicial e outras completamente superficiais e subjetivas. Estes

dados, em grande parte, não possuem relação com os objetivos do Programa, o

que será discutido mais à frente.

As informações são, em sua grande maioria, oferecidas pelos

gestores locais, de forma que o controle é realizado pelo Ministério do Esporte

através das percepções dos convenentes, o que confere uma discricionariedade

Tipo de Informação DadosNúmero de Inscritos em atividades regulares (por faixa etária, incluindoportadores de necessidades especiais)Número de Beneficiados (incluindo participação em eventos esporádicos)Problemas com a comunidade ou usuários (percepção docoordenador/agente)Demanda de usuários de forma satisfatória (percepção coord./agente)Número de Agentes atuantesNúmero de Agentes capacitados pelo processo de formação doprogramaCumprimento de horários de agentesNúmero de Núcleos implementadosNúmero de Municípios envolvidosNúmero de atividades regularesNúmero de eventos realizadosSuficiência de materiais (percepção coord./agente)Especificação de Materiais e espaços utilizadosProblemas com o local das atividadesEnvolvimento do público (percepção coord./agente)Número de participantesProgramação, local de realização, carga horáriaLimites e avançosAvaliação da participação dos agentes (percepção do coordenador)Avaliação dos conteúdos abordados, da infraestrutura, da metodologia emateriais didáticos utilizados (percepção do coordenador)

Beneficiários

Agentes

Núcleos e Atividades

Encontros de Formação


e subjetividade a este processo que podem redundar na não representação da

realidade dos convênios.

Muitos dos dados não são padronizados, de forma que não há uma

unidade de informações, não sendo possível sistematizá-las e compará-las com

as informações de outros convênios e, consequentemente, não permitindo a

realização de um processo de avaliação efetivo.

6. OBJETIVOS DO PELC E SEUS INDICADORESOs indicadores são elementos fundamentais ao processo de

avaliação, devendo partir de um marco conceitual, considerando os objetivos

previamente definidos e os resultados ou metas almejados pelo programa, o que

envolve também o processo de planejamento.

O Programa Esporte e Lazer da Cidade possui como objetivo geral

“contribuir com a democratização do acesso ao esporte recreativo e ao lazer, por

meio da promoção de ações educativas” (MINISTÉRIO DO ESPORTE, 2012, p.

4).

Segundo as diretrizes do Edital PELC de 2012, o estabelecimento de

núcleos de atividades esportivas de participação e de lazer objetiva, além de

contribuir para a construção de políticas públicas locais de esporte e de lazer,ampliar ações de democratização do acesso a esses conhecimentos epráticas de esporte e lazer, considerando direitos sociais de todos oscidadãos (diversas faixas etárias, incluindo as pessoas portadoras dedeficiência), assim como fomentar ações integradas com as demaispolíticas públicas, com vistas à promoção de inclusão social e dodesenvolvimento humano. (MINISTÉRIO DO ESPORTE, 2012, p. 4)

Como se nota, os objetivos do PELC são amplos, subjetivos e de

difícil mensuração. Na proposta inicial do Programa, estas características eram

ainda mais marcantes, embora a determinação de objetivos específicos fosse

mais clara. O objetivo geral do PELC era, em 2004, o de “suprir a carência de

políticas públicas e sociais que atendam às crescentes necessidades e

demandas da população por esporte recreativo e lazer, sobretudo daquelas em

situações de vulnerabilidade social e econômica, reforçadoras das condições de

injustiça e exclusão social a que estão submetidas” (MINISTÉRIO DO

ESPORTE, 2004).


Essa finalidade seria possibilitada pelo alcance dos objetivos

específicos estabelecidos pelo programa: a) Democratizar o acesso a políticas

públicas de esporte e lazer; b) Reconhecer e tratar o esporte e o lazer como

direito social; c) Articular ações voltadas para públicos diferenciados nos núcleos

de esporte e lazer, de forma a privilegiar a unidade conceitual do programa; d)

Difundir a cultura do lazer através do fomento a eventos de lazer construído e

realizado de forma participativa com a comunidade; e) Formação permanente

aos agentes sociais de esporte e lazer (Professores, estudantes, educadores

sociais/comunitários, gestores e demais profissionais de áreas afins envolvidos

no programa); f) Fomentar e implementar instrumentos e mecanismos de

controle social; g) Aplicar metodologia de avaliação institucional processual às

políticas públicas de esporte e lazer; h) Fomentar a ressignificação de espaços

esportivos e de lazer que atendam às características das políticas sociais de

Esporte e Lazer implementadas e que respeitem a identidade esportiva e cultural

local/regional; i) Orientar a estruturação e condução de suas políticas públicas

de esporte e lazer nos poderes públicos municipais e estaduais.

Mesmo havendo tantos objetivos especificados pelo PELC, a única

meta preconizada pelas diretrizes do Programa relaciona-se ao atendimento de

400 inscritos em atividades regulares por núcleo implementado, considerando a

proporção de um núcleo de atividades (que pode conter subnúcleos em várias

localidades) para cada 50.000 habitantes (Ministério do Esporte, 2012). Seriam,

então, 400 pessoas atendidas pelo Programa para cada 50.000 habitantes, o

que representa 0,8% desse contingente populacional.

Considerando que o Programa se propõe a “contribuir com a

democratização do acesso ao esporte recreativo e ao lazer”, esta pode ser

considerada uma meta limitada, com pouca representatividade e não alinhada

ao principal objetivo do PELC. Além disso, a inexistência de outras metas

estabelecidas prejudica o processo de avaliação do programa, ao não

materializar seus objetivos.

Nesse sentido, as informações coletadas pelos instrumentos de

avaliação do PELC, de maneira geral, não podem ser consideradas como


indicadores, principalmente porque não se balizam por um marco conceitual do

Programa, tampouco por uma matriz lógica que pressuponha objetivos, metas,

ações e resultados relacionados entre si.

7. OBJETIVOS DO PROCESSO DE AVALIAÇÃO NO PELCO processo de avaliação pode ter vários objetivos, os quais são

englobados pelas avaliações formativas e somativas. Conforme os gestores

federais do PELC (VIEIRA, 2010), a avaliação neste programa possui objetivos

voltados tanto ao passado, atuando como diagnóstico, quanto ao futuro,

funcionando como subsídio ao processo decisório. Esses gestores apontam os

seguintes objetivos para a avaliação:

a) Passado: verificação de resultados e de impacto; verificação do

cumprimento do objeto pactuado; verificação da adequação de processos;

b) Futuro: reorientação de propostas locais; orientação para o

planejamento; decisão de continuidade ou não de processos; reorientação do

Programa em todo o seu ciclo.

Contudo, os mesmos gestores afirmam que estes objetivos não são

atingidos, por questões várias, como a natureza dos dados, que não são

adequados ao processo avaliativo; a falta de sistematização da avaliação e de

padronização das informações; as dificuldades no que se refere à coleta

(instrumentos e indicadores utilizados) e à tabulação de dados (inexistência de

uma estrutura de armazenamento e processamento de dados). Destaca-se,

ainda, que, diante destas dificuldades e da incompletude do processo de

avaliação, não ocorre também um feedback direcionado às entidades

convenentes sobre os resultados da avaliação e de seu convênio.

Embora os gestores reconheçam a necessidade de um processo

avaliativo completo, que considere seus aspectos formativos e somativos, esse

processo não ocorre, principalmente pela incipiência da estrutura de avaliação

do PELC.


8. MEDIDAS ACESSÓRIAS DE AVALIAÇÃOA falta de estruturação e padronização do sistema de avaliação do

PELC, assim como sua fragilidade, provocam um movimento de busca por

alternativas de avaliação em níveis subnacionais, sendo desenvolvidas por seus

convenentes medidas acessórias à avaliação formal do Programa.

As principais medidas identificadas através de depoimentos de

gestores locais (VIEIRA, 2010; SILVEIRA et al., 2012) são as seguintes: a)

Discussão bimestral entre agentes e colaboradores para avaliar e rever as ações

programáticas; b) Questionários com beneficiários; c) Relatórios de agentes; d)

Relatório da entidade de controle social; e) Monitoramento informal

(Observação, depoimentos e questionamentos informais a agentes e

beneficiários); f) Caracterização e acompanhamento do perfil dos beneficiários

(Índice de Massa Corporal - IMC, estatura, flexibilidade); g) Questionamentos

aos beneficiários sobre as atividades (motivações para a participação, meios de

divulgação, interesses); h) Questionários de professores/agentes para controle

próprio nas atividades.

Parte das iniciativas apontadas pelos gestores locais não se relaciona

aos objetivos do Programa, algumas constituindo objetos de interesse pessoal

dos coordenadores (especialmente visando publicações acadêmicas), outras

voltando-se à prática pedagógica das atividades.

Além disso, a aplicação de questionários junto a beneficiários é

apontada por gestores locais como uma iniciativa acessória à avaliação formal

do Programa. Porém, o dado apresentado anteriormente, sobre a não

participação de beneficiários em qualquer forma de instrumento avaliativo

(95,6% de 455 beneficiários entrevistados, segundo Silveira et al, 2012) aponta

para a não efetividade desta iniciativa.

Por outro lado, existem iniciativas que podem contribuir para o melhor

desenvolvimento do processo de avaliação, como os relatórios envolvendo

agentes, beneficiários e entidades de controle social, desde que considerem

informações e indicadores relevantes e úteis à gestão direcionada a resultados.


9. CONCLUINDO PARA UMA MELHOR GESTÃOOs dados coletados a partir da análise de relatórios de avaliação do

Programa Esporte e Lazer da Cidade possibilitam concluir que o sistema de

avaliação utilizado neste Programa possui papel mais burocrático do que de

efetivo controle e acompanhamento de resultados e desenvolvimento do

Programa, servindo seus dados apenas para verificar se os convênios atingem

as metas mínimas previstas no plano inicial, o que é indicado por Graef (2010)

como característica frequente em uma estrutura de convênios.

Dessa forma, haja vista que as informações coletadas não se

relacionam a objetivos e resultados pretendidos, não oferecem subsídios ao

processo decisório, não se direcionando a perspectivas nem formativas nem

somativas, consequentemente não funcionando como instrumentos de gestão.

Independentemente do ente responsável pela avaliação dos

convênios PELC, seja o Ministério do Esporte, sejam as organizações

convenentes, devem ser investidos maiores esforços quanto ao

desenvolvimento de indicadores que se relacionem diretamente aos objetivos do

Programa e a seus resultados pretendidos.

É fundamental que o Ministério do Esporte estruture e reorganize todo

o sistema de monitoramento e avaliação do PELC, incluindo os sistemas de

gestão de dados e de aplicação de instrumentos, idealizador que é do Programa

e de suas diretrizes, e principal referência para a política pública de esportes

brasileira como um todo, subsidiando a atuação das organizações subnacionais

na gestão deste ou de outros Programas similares.

A elaboração de uma matriz lógica específica para o Programa pode

em muito contribuir para essa estruturação, possibilitando o estabelecimento de

objetivos mais específicos e realísticos, de metas e resultados coesos com estes

objetivos, de instrumentos de avaliação coerentes, que permitam maior

accountability e gerem indicadores relevantes e efetivos.

Há uma grande responsabilidade dos entes subnacionais, não apenas

por se tratar de convênios, os quais envolvem em geral apenas “controles

burocráticos” (GRAEF, 2010, p.55), mas principalmente porque a proposta do


PELC se embasa em uma perspectiva de continuidade das ações por parte das

entidades conveniadas, devendo ser o protagonismo das mesmas uma

constante na gestão deste Programa.

Nesse sentido, instrumentos voltados ao controle de resultados e ao

controle social, apoiado na participação social, podem ser grandes aliados para

uma melhor gestão do Programa (GRAEF, 2010, p.55), configurando toda ação

pública como um processo de encontro entre o top-down e o bottom-up,

atingindo, de fato, ao que Trosa (2001, p. 67) se refere como o “estágio de

contrato”.

Existem instrumentos de avaliação criados pelas instituições gestoras

locais do PELC, em complementaridade ao sistema formal do Programa.

Contudo, resta aprofundar a investigação a respeito das informações coletadas

por estes instrumentos, identificando sua representatividade quanto aos

objetivos do Programa e a relação com metas previstas e resultados almejados.

Ainda, destaca-se o imperativo de que estas iniciativas cheguem ao

conhecimento do Ministério do Esporte, contribuindo para o redirecionamento

das ações avaliativas do PELC como um todo, a partir das realidades locais.

Assim, interessa também que se forme uma rede de informações

entre os convenentes, a fim de que seja possível a socialização de

conhecimentos sobre todo o processo de gestão do PELC, especificamente a

respeito do sistema de avaliação, a partir das experiências desenvolvidas e

dificuldades enfrentadas por cada uma dessas instituições.

10. REFERÊNCIASALA-HARJA, Marjukka; HELGASON, Sigurdur. Em direção às melhores práticas

de avaliação. Revista do Serviço Público, ano 51, n.4, out/dez, 2000.

ANTICO, Cláudia; JANNUZZI, Paulo de Martino. Indicadores e a Gestão de

Políticas Públicas. São Paulo: FUNDAP, s/d. Disponível em:

<http://www.fundap.sp.gov.br/

debatesfundap/pdf/Gestao_de_Poi%C3%ADticas_Publicas/Indicadores_e_Gest


%C3%A3o_de_Pol%C3%ADticas_P%C3%BAblicas.pdf>. Acesso em 15 de

junho de 2012.

BRASIL. Portaria Interministerial nº 507, de 24 de novembro de 2011. Disponível

em: <https://www.convenios.gov.br/portal/legislacao>. Acesso em 11 de junho

de 2012.

CANO, Ignacio. Introdução à Avaliação de Programas Sociais. 2.ed. Rio de

Janeiro: FGV, 2004. 120p. (Coleção FGV Prática).

COHEN, Ernesto; FRANCO, Rolando. Avaliação de Projetos Sociais. 7 ed.

Petrópolis, RJ: Vozes, 2007.

COSTA, Frederico Lustosa da; CASTANHAR, José Cezar. Avaliação de

programas públicos: desafios conceituais e metodológicos. Revista de

Administração Pública. Rio de Janeiro, Vol. 37, n.5. Set/Out. 2003, pp.969-992.

COTTA, Tereza Cristina. Metodologias de avaliação de programas e projetos

sociais: análise de resultados e de impacto. Revista do Serviço Público. Ano 49,

n.2. Abr-Jun 1998.

GRAEF, Aldino. Articulação federativa na prestação de serviços sociais no

Brasil. Revista do Serviço Público. Brasília, ENAP, v. 61, n. 1, p. 5-33, Jan. a

Mar. de 2010.

HALE, Judith A. Performance-Based Evaluation: Tools and Techniques to

Measure the Impact of Training. San Francisco, CA: Jossey-Bass/Pfeiffer, 2002.

HOLANDA, Antônio Nilson Craveiro. Avaliação de Políticas Públicas: Conceitos

Básicos, o caso do ProInfo e a Experiência Brasileira. VIII Congresso

Internacional del CLAD sobre la Reforma del Estado y de la Administración

Pública. Panamá, 2003.

JANN, Werner; WEGRICH, Kai. Theories of the Policy Cycle. In: FISCHER,

Frank; MILLER, Gerald J.; SIDNEY, Mara S. Handbook of Public Policy Analysis:

Theory, Politics, and Methods. Public Administration and Public Policy. Boca

Raton, FL: CRC Press/Taylor & Francis Group, 2007.

JANNUZZI, Paulo de Martino. Indicadores para diagnóstico, monitoramento e

avaliação de programas sociais no Brasil. Revista do Serviço Público. Brasília,

vol. 56, n. 2, pp. 137-160, Abr/Jun 2005.


MARINHO, Alexandre; FAÇANHA, Luís Otávio. Programas sociais: efetividade,

eficiência e eficácia como dimensões operacionais da avaliação. Texto para

discussão Nº 787. IPEA: abril de 2001.

MINISTÉRIO DO ESPORTE. Programa Esporte e Lazer da Cidade: Diretrizes.

Edital 2012. Brasília, 2012. Disponível em:

<http://www.esporte.gov.br/arquivos/snelis/

PELC2012/diretrizesEdital2012V3.pdf>. Acesso em 12 de junho de 2012.

MINISTÉRIO DO ESPORTE. Manual de Orientação do Programa Esporte e

Lazer da Cidade. Brasília, 2004. Disponível em: <http://portal.esporte.gov.br/

sndel/esporte_lazer/default.jsp> Acesso em 26 de abril de 2008.

MINISTÉRIO DO PLANEJAMENTO, ORÇAMENTO E GESTÃO. Estatísticas

Gerais das Transferências Voluntárias: SICONV - 1º Semestre 2009, 2010 e

2011. Brasília, 2012. Disponível em:

<https://www.convenios.gov.br/portal/informacoesGerenciais>. Acesso em 17 de

junho de 2012.

PATTON, Michael Quinn. Qualitative Research and Evaluation Methods. 3rd ed.

Thousand Oaks, CA: Sage, 2002.

RUA, Maria das Graças. A Avaliação no Ciclo da Gestão Pública. MIMEO, 2004.

Disponível em:

<http://www.seguranca.mt.gov.br/UserFiles/File/SUPF/aval_cic_gest_ publ.pdf>.

Acesso em 21 de maio de 2012.

SECCHI, Leonardo. Modelos Organizacionais e Reformas da Administração

Pública. Revista de Administração Pública. Rio de Janeiro, vol. 43, n. 2, p. 347-

369, Mar a Abr de 2009.

SEGES. Inventário das Principais Medidas para melhoria da Gestão Pública no

Governo Federal Brasileiro. Brasília: Ministério do Planejamento, 2009. Trabalho

realizado por Caio Marini.

SILVEIRA, Suely de Fátima Ramos; VIEIRA, Larissa Haddad Souza; REIS,

Lílian Fagundes; SOUZA, Aline Santos de. Implementação e Gestão de Políticas

Públicas: um olhar sobre a percepção de gestores sobre o Programa Esporte e

Lazer da Cidade. Viçosa, MG: UFV, 2012. (Relatório de Pesquisa).


TROSA, Sylvie. Gestão Pública por Resultados: Quando o Estado se

Compromete. Rio de Janeiro: Revan; Brasília: ENAP, 2001.

VIEIRA, Larissa Haddad Souza. Estudos sobre a Gestão do Programa Esporte e

Lazer da Cidade. Viçosa, MG: UFV, 2010. (Dissertação de Mestrado)

vieira, larissa haddad souza -...

Documents