desafios da avaliação em políticas de inovação no...

RSP

427Revista do Serviço Público Brasília 64 (4): 427-445 out/dez 2013

André Tortato Rauen

Desafios da avaliação empolíticas de inovação no Brasil


Introdução

O objetivo deste trabalho é o de iniciar um debate ainda nascente no Brasil,

mas um tanto consolidado, por exemplo, na Europa. Trata-se da discussão a

respeito dos desafios da avaliação em políticas de inovação. Ou, em outras palavras,

em que medida as características do processo inovativo tornam a avaliação de

políticas de inovação específica e diferenciada.

Nesse sentido, é importante considerar que para a OCDE a inovação é

definida como:

[...] a implementação de um produto (bem ou serviço) novo ou significativamente

melhorado, ou um processo, ou um novo método de marketing, ou um novo método

organizacional nas práticas de negócios, na organização do local de trabalho ou nas

relações externas (OCDE, 2005, p. 55).

RSP

428 Revista do Serviço Público Brasília 64 (4): 427-445 out/dez 2013

Desafios da avaliação em políticas de inovação no Brasil

Intervenções públicas voltadas para ainovação têm ganhado relevância cres-cente na agenda pública brasileira. Porexemplo, no ano de 2013, foi criado o pro-grama Inova Empresa, que destinará, emdois anos, mais de R$ 30 bilhões ao estí-mulo à inovação (FINEP, 2013). Soma-se a esse investimento a criação daEmpresa Brasileira de Inovação Industrial(Embrapii), o programa Startup Brasil,entre outros (UNICAMP, 2013). Tais inter-venções públicas reconhecem a relevânciada inovação no contexto econômicomundial e se constituem, elas mesmas, eminovações nas políticas públicas brasileiras(ARAÚJO, 2012).

Em razão da criação desses novosinstrumentos e da manutenção de antigos,tem-se exigido, gradualmente, a avaliaçãode resultados e impactos dos mesmos, umavez que a necessidade de efetividade,eficácia e eficiência pouco a pouco torna-se condição da manutenção das diferentesformas de intervenção pública.

Em que pese a crescente demanda poravaliação das políticas de inovação noBrasil, tal atividade ainda é um tanto recenteno País. Tal como mostram Vaitsman,Rodrigues e Paes-Souza (2006), a tradiçãobrasileira em avaliação de políticas sociaisjá se encontra, de certa forma, consolidada,mas, em políticas de inovação, o País aindatem muito que discutir. Essa, então, é aproposta deste ensaio.

Para realizar o que se propõe, o ensaioestá dividido em três seções. A primeiraapresenta e discute a natureza do processoinovativo, bem como os fundamentosteóricos da análise. Na segunda seção, tem-se a descrição do contexto geral da avalia-ção de políticas de estimulo à inovação noBrasil. Com base nas características do pro-cesso inovativo e na experiência brasileirade avaliação, a terceira seção postula a

existência de três grandes desafios espe-cíficos para a avaliação em políticas deinovação no Brasil.

Da natureza da política deinovação e do processo inovativo

A identificação dos desafios específicospara a avaliação em políticas de inovaçãoexige, pois, que se faça uma análise dasprincipais características do processoinovativo, bem como da política de ino-vação. Ou seja, metodologicamente, esteensaio se apoia nas contribuições da escolaneoschumpeteriana acerca da mudançatécnica para extrair os elementos queacabam por distinguir as avaliações empolíticas de inovação dos demais tipos deavaliação.

De forma geral, a avaliação de polí-ticas e programas diz respeito à atividade,planejada e estruturada, destinada a com-preender tanto os resultados e impactosde uma ação quanto a forma de gestãodessa ação, no sentido não só de diagnos-ticar, mas também de prever e propor alte-rações e melhorias na ação avaliada.É importante considerar, nesse sentido,que, segundo Rauen et al. (2012, p. 5), “Im-pactos são mais abrangentes do que osresultados. Os primeiros são impressõessocialmente construídas sobre os efeitos/resultados”.

Em políticas de inovação, tal atividadeocorre sobre ações de estímulo à criação edifusão de novos produtos e processos, sejapor meio de bolsas de pesquisa, subsídios,incentivos fiscais, crédito facilitado e baratoou acesso privilegiado ao conhecimento(ARAÚJO et al., 2011). Assim como em qual-quer tipo de avaliação, a avaliação associadaà inovação destina-se ao planejamentoestratégico e ao accountability (prestaçãosocial de contas) das políticas públicas.

RSP



No Brasil, historicamente, as políticas,os programas e as ações sociais – voltados,sobretudo, para a redução da vulnerabi-lidade social dos indivíduos – têm sido osmais avaliados (VAITSMAN, RODRIGUES ePAES-SOUZA, 2006). Justamente por isso, asferramentas e metodologias mais desenvol-vidas estão associadas a esse objeto. Emque pese o compartilhamento de caracte-rísticas comuns a todas as políticas públi-cas, ações voltadas ao estímulo da inovaçãopossuem especificidades que tornam o pro-cesso avaliativo, em termos de execução,divulgação e replicação, um tanto distinto.

Uma primeira especificidade estárelacionada com a recente introdução deconceitos inerentes à Ciência, Tecnologiae Inovação (CT&I) na agenda pública. Oconceito de inovação, pioneiramentetratado por Schumpeter (1912), passa afazer parte do discurso político brasileiroapenas a partir da última década do séculoXX. Tal conceito ainda é alvo de grandeconfusão nos meios políticos. É interessanteobservar, nesse sentido, o caráter linear noqual o conceito de inovação ainda é empre-gado, mesmo que a característica sistêmicado processo inovativo já seja amplamenteconhecida (KLINE E ROSENBERG, 1986). Ouseja, a política de inovação sempre apareceem conjunto com as políticas de ciência etecnologia, como se a inovação resultasse,unicamente, do desenvolvimento científicoe tecnológico. Nesse contexto, a inovaçãoestimulada pelas políticas públicas, namaioria das vezes, trata apenas da inovaçãotecnológica (produto ou processo) e não dasinovações em marketing e organizacionais.

A recente intensificação do empregoda ciência e da tecnologia, tanto na vidacotidiana quanto na produção capitalista,fez com que políticas de inovação promo-vessem a interação de agentes econômicoscom lógicas distintas e em diferentes

posições nas cadeias produtivas. Obvia-mente, nem sempre foi assim. Na primeirarevolução industrial, a técnica precedeu àciência. Por exemplo, a máquina a vaporinfluenciou o surgimento da termodi-nâmica e a produção tinha, assim, queconfiar num “empirismo talentoso”(LANDES, 1969): “...uma grande parte dasmáquinas usadas nas fábricas em que otrabalho é mais subdividido foram

originalmente invenções de trabalhadorescomuns (SMITH, 2005, p. 14)”.

Contudo, o próprio desenvolvimentodas forças capitalistas e o esgotamento daspossibilidades tecnológicas da primeiraRevolução Industrial forçaram umamudança nessa relação. Novos desenvolvi-mentos em produtos e processos passarama depender cada vez mais, mesmo que

“Políticas deinovação agem deforma indiretafrente aosresultados eimpactos a que sepropõem.”

RSP



indiretamente, da evolução científica e tecno-lógica (RAUEN, 2006): “Assim como emrelação à televisão, também no caso do radar,as possibilidades foram concebidas muitoantes de terem sido concretizadas na prática(FREEMAN e SOETE, 2008, p. 296)”.

Não apenas a ciência tem sido empre-gada com grande intensidade na indústria,como o próprio desenvolvimento científicotem exigido interação constante de ramoscientíficos antes completamente separados.

A mudança na dinâmica do processoinovativo, que passa do empirismo talen-toso à dependência da ciência e do empre-sário empreendedor (SCHUMPETER, 1912) aodepartamento de P&D (SCHUMPETER,1942), continua se processando. Nasúltimas décadas do século XX e nasprimeiras do século XXI, a formação deredes de cooperação para a P&D e as estra-tégias de open innovation ganharam força eparecem se consolidar como nova formainstitucional das estratégias inovativasmundiais (CHESBROUGH, 2003). Ou seja, acomplexidade da própria gestão da ino-vação tem aumentado ao longo do tempo;inicia-se com um indivíduo ou grupo deindivíduos, passa pelo departamento deP&D das grandes empresas e culmina, noalvorecer do século XXI, no estabeleci-mento de redes que mesclam cooperaçãoe concorrência, não só entre empresas, masentre diferentes agentes econômicos.

Políticas de inovação agem de formaindireta frente aos resultados e impactos aque se propõem. Ou seja, a intervençãoocorre sobre um agente que é estimuladoa produzir resultados. Mesmo que se tenhaavançado na compreensão do processo ino-vativo e da mudança técnica, a transfor-mação de insumos em produtos ainda éum tanto desconhecida. Por exemplo, qualseria o volume ideal de renúncia fiscalnecessário para criar uma inovação de

produto no setor de alimentos que serevertesse em aumento de exportações? Ouainda, de forma mais geral, quais inovaçõesserão geradas a partir de um determinadorecurso aplicado a fundo perdido?

Para os dois questionamentos, comtécnicas estatísticas sofisticadas, podem-seapenas estimar os resultados e impactos,mas dificilmente o formulador de políticaspúblicas terá a compreensão completa dasconsequências intermediárias e finais doprocesso que colocou em marcha.

A Figura 1 apresenta uma estruturalógica simplificada inerente às relações entrepolíticas de inovação e seus possíveis resul-tados. A partir da Figura 1, é possível obser-var a existência de quatro níveis de impactoou resultado. Num primeiro nível, tem-se oimpacto da intervenção no esforço tecno-lógico. O segundo nível trata dos resultadose impactos no nível da empresa, ou seja,observa-se a geração da inovação. O terceironível está associado ao resultado e impactoda introdução da inovação no mercado. Porfim, o nível quatro traz o impacto final daintervenção. Na figura não aparecem osimpactos indiretos inerentes ao esforço deP&D, mas esses existem e não podem serdesprezados quando da avaliação. É rele-vante destacar que a linearidade unidire-cional apresentada na figura tem de serconsiderada com ressalvas. Existem feedbacksentre a política e o agente avaliado que nãoaparecem na figura. Por exemplo, atividadesde monitoramento das políticas poderiamalterar a própria intervenção.

A dinâmica de geração de uma ideiaaté sua concretização ilustrada por umindicador de produção (output), seja emforma de patente, produto ou processoprodutivo, é um processo indireto, sistê-mico, interativo e cumulativo, que, via deregra, exige altas e constantes somas derecursos. Ou seja, a intervenção destinada

RSP



ao fomento da inovação pode apenasestimular a direção e a intensidade dosresultados, mas geralmente não produz porsi só os impactos inicialmente planejados.

O caráter aparentemente aleatório,acidental e arbitrário do processoinovativo advém da extrema complexi-dade das interfaces entre o progressocientífico, a tecnologia e as mudançasdos mercados. As firmas que tentamatuar nestas interfaces são tão vítimasdo processo quanto seus deliberadosmanipuladores. A inovação funcionacomo um processo social, mas frequen-temente às custas dos inovadores(FREEMAN E SOETE, 2008, p. 351).

Da complexidade do processo inova-tivo decorre a dificuldade de se atribuir

responsabilidade da intervenção no im-pacto observado. Tal dificuldade é inerentea todo esforço de avaliação, mas parece sermais complexo no caso de políticas deCT&I. Por exemplo, tome-se uma empresaque produz monitores de computador, queopera globalmente há pelo menos 10 anos,que recebeu isenção fiscal para realizaratividades de pesquisa e desenvolvimento,e que sofre inúmeras influências tanto dasociedade quanto do mercado. Imaginemosque tal empresa desenvolveu, meses depoisdo fomento, uma linha de monitoresultrafina a partir de novos materiais. Comomedir se o desenvolvimento de tal linhade produtos se deve, pelo menos em parte,à intervenção pública?

Subjacente a esses elementos, tem-seo fato de que a inovação é direcionada,unicamente, ao mercado. Sem mercado não

Fonte: Elaborado com base em Araujo et al. (2011).

Figura 1: Modelo lógico de relações entre a política de inovação e seus possíveisresultados

Empresas

RSP



há inovação, pode haver invenção, masnunca inovação (SCHUMPETER, 1912).Assim, a melhor política de fomento à ino-vação fracassará quando a firma nãoperceber nenhuma, potencial ou existente,demanda pela inovação planejada; por isso:

[...] é necessário haver algum entendi-mento das influências que motivam asinovações e que orientam sua direção,para que a intervenção governamentalpossa ter sucesso no aumento daprodução de inovações úteis em áreasespecíficas (ROSENBERG, 2006, p. 290).

Atuam sobre o processo de mudançatécnica inúmeros fatores que se sobrepõeme que podem ou não influenciar de formasignificativa o resultado final. A empresado exemplo interage com clientes, fornece-dores, concorrentes, possui um vastoestoque de conhecimento, faz engenhariareversa, enfim, atua num contexto commúltiplas influências; então, como medir,com mínimo de precisão, o impacto daintervenção na criação da inovação e daprópria inovação no desempenho competi-tivo da firma?

Políticas de inovação atuam sobre umprocesso de criação social, no qual inú-meras outras intervenções públicas ouprivadas atuam simultaneamente. Pois, umamesma empresa, pesquisador ou instituiçãoencontra-se sob múltiplas formas de inter-venção, sejam diretamente associadas àCT&I ou não.

Se o modelo interativo da mudançatécnica proposto por Kline e Rosenberg(1986) é verdadeiro, então a política deCT&I atua sobre um objeto difuso queproduz resultados variados, imprevisíveis,mas, quase sempre, desejáveis. Assim, aspolíticas de inovação, para produziremresultados, atuam sobre diferentes agentes

econômicos, processam-se em múltiplasetapas e, no seu próprio transcorrer, pro-duzem impactos que não necessariamenteestão ligados aos objetivos primeiros daintervenção.

Outra questão associada ao processoinovativo, que dificulta sua avaliação, dizrespeito ao caráter dinâmico da inovação.Como avaliar uma política que põe emmarcha um processo de descoberta quepode culminar em coisas completamentediferentes daquilo que se imaginava inici-almente? De fato, não raro, conhecimen-tos esquecidos e abandonados são utiliza-dos por outros inovadores, tempos depoisdas criações originais. Nesse sentido, todoo fracasso é relativo e todo sucesso tem-porário.

Em políticas de inovação, o objetivopode, então, se modificar ao longo do tem-po, tornando-se mais complexo, mais sim-ples ou completamente irrelevante. Cabe àavaliação compreender a maneira pela qualo objetivo inicial da política permaneceválido, de forma a adequar a própria avali-ação, para que a mesma permaneça tendoutilidade.

A essas especificidades soma-se umadiscussão associada à compartimen-talização da ciência, à sua suposta neutra-lidade e ao papel do expert. O surgimentoda Big Science e o emprego intensivo daciência no processo produtivo capitalista,por mais que tenham diminuído o pesodo indivíduo como locus central da criação,não o eliminaram. Assim, e em que pesetoda uma discussão sobre multidis-ciplinariedade na ciência, o conhecimentocientífico ainda é produzido em compar-timentos estanques. Estabelecem-senichos – tal como a ciência do Modo 1 deGIBBONS et al. (1994) – que envolvemdisputas por prestígio e, principalmente,financiamento. Consolidam-se, então, os

RSP



“Políticas deinovação atuam sobreum processo decriação social, no qualinúmeras outrasintervenções públicasou privadas atuamsimultaneamente.”

experts que, em última análise, se apropriamdo consenso e da definição do cientifi-camente correto.

Tais experts são agentes fundamentais nofomento à inovação, principalmente no Bra-sil, cuja configuração do sistema nacionalde inovação em muito depende de institui-ções públicas de ensino e pesquisa. Porexemplo, dados do Ministério da Ciência,Tecnologia e Inovação (MCTI) mostramque, no ano de 2010, os gastos públicosrepresentavam 53% dos gastos totais emCT&I no Brasil (MCTI, 2013).

Não raro, recursos destinados àinovação (mercado) são empregados nofomento científico, em razão das assime-trias de informação entre policy makers ecientistas. A razão de tal fato reside, emalguma medida, na vitalidade do modelolinear de inovação, proveniente da BigScience, que estabelece a necessidade deinvestir em ciência para gerar inovação.

As muralhas disciplinares criadas pelacomunidade científica levam à criação deelevadas assimetrias de informação que,finalmente, se traduzem em obstáculos àcompreensão de como a intervenção seprocessa no sentido de atingir seus resul-tados e impactos (CALLON, 1999). Umaanálise, ainda que superficial, permiteafirmar que nas políticas sociais de reduçãoda pobreza tal assimetria de informaçõesnão é tão elevada quanto é em políticas deinovação. Seja como for, intervençõespúblicas destinadas ao estimulo de ino-vações envolvem não só empresas comseus interesses e segredos comerciais, mas,também, a comunidade acadêmica, suavaidade e compartimentalização.

De forma geral, pode-se afirmar que apolítica de inovação se diferencia das demaispolíticas públicas em cinco aspectos funda-mentais, quais sejam: (i) os próprios con-ceitos ainda não são claros e consolidados;

(ii) os impactos indiretos e imprevistosderivados da intervenção podem ser supe-riores àqueles inicialmente planejados ediretos; (iii) os instrumentos apenas influen-ciam os agentes (empresas, institutos depesquisa e pesquisadores), a política agesempre de forma indireta e a decisão finaldepende da adequação ao mercado; (iv) altacomplexidade e múltiplas relações de causae efeito inerentes ao processo inovativo; e(v) atua num contexto de elevada assimetria

de informação entre planejadores (policymakers) e executores.

Para Furtado et al. (2006), uma avalia-ção, quer seja de políticas/programas deinovação ou não, para servir como ferra-menta de planejamento estratégico, deveestar associada ao processo decisório,ocorrer em tempo real, ser pertinente,possuir credibilidade e, obviamente, ser

RSP



construída com fundamentos sólidos. Essascinco caraterísticas, de uma forma ou deoutra, são afetadas pela natureza particulardo processo inovativo.

Tais especificidades alteram não só apertinência da avaliação, mas também opróprio processo de avaliação. Ou seja, acondução de uma avaliação de políticas deinovação exige, pois, o enfrentamento dedesafios metodológicos e práticos especí-ficos, não observados em seu conjunto, porexemplo, em avaliações de políticas sociais.

Para compreender, mesmo que inicial-mente, quais são esses desafios, este ensaiobaseia-se, além da análise da dinâmicainovativa, nas experiências associadas àexecução das atividades de monitoramentoe avaliação do Ministério da Ciência,Tecnologia e Inovação (MCTI), na análisede inúmeros relatórios de avaliação e emestudos sobre avaliação (meta-avaliação),entre os quais destacam-se Furtado et al.(1999), Furtado et al. (2006), Zackiewicz(2005), Furtado et al. (2010), EC (2010),Rauen et al. (2012), Araújo et al.(2012) eSalles et al. (2012).

Avaliação em políticas e progra-mas de estímulo à inovação no Brasil

De forma geral, a justificativa para aintervenção pública no fomento à inova-ção está associada, em que pese o alto riscoe volume de recursos, à percepção de quetal fomento tem o potencial de trazerbenefícios estendidos a toda sociedade,elevando seu nível de bem-estar. A pró-pria política pública reconhece a infor-mação incompleta associada ao processoinovativo, mas julga, em razão dos possíveisbenefícios, desejável estimular tal atividade:

[...] as inovações são importantes nãosomente para aumentar a riqueza das

nações, no estrito sentido de aumentara prosperidade, mas também nosentido mais fundamental de permitiràs pessoas fazerem coisas que nuncahaviam sido feitas anteriormente(FREEMAN E SOETE, 2008, p. 19).

No Brasil, o reconhecimento da ino-vação – tal como hoje a definimos – comofundamental ao processo econômico e àpolítica pública ainda é um tanto recente,remontando a meados da década de 1990(BONELI, VEIGA E BRITO, 1997). Por outrolado, desde o período do pós-guerra, coma criação de importantes organizações (porexemplo, o CNPq), o Estado brasileiro tem-se preocupado com o desenvolvimentocientífico e tecnológico tradicional, nosmoldes do que se convencionou chamarde Big Science.

A ainda recente recuperação da capa-cidade de planejamento do Estado brasi-leiro, perdida ao longo da década de 1980,tem permitido elevar consideravelmente osgastos públicos em ciência, tecnologia e,mais recentemente, em inovação. O volumede investimentos atualmente despendidosem inovação no Brasil já é expressivo,exigindo a criação de competências técnicasem avaliação dos resultados e impactosdesses investimentos. Por exemplo, osinvestimentos totais em CT&I no ano de2000 correspondiam a 1,30% do PIB; jáem 2010, tais investimentos representavam1,62% do PIB (MCTI, 2013).

Apesar de as atividades de avaliação empolíticas de inovação no Brasil ainda seremrecentes, na Europa e Estados Unidos jáexiste certa tradição nessa atividade. De fato,na Europa já foi, inclusive, realizado estudode meta-avaliação sobre os relatórios de ava-liação de políticas de inovação. Esse esforçode pesquisa, que se denomina INNO-Appraisal: Understanding Evaluation of

RSP



Innovation Policy in Europe, foi publicado em2010 e analisou, segundo diversos indica-dores, 216 relatórios de avaliação na Europa(EUROPEAN COMMISSION, 2013).

De forma geral, essa meta-avaliaçãoencontrou as seguintes características: (i) aprópria avaliação faz parte da política(a atividade de avaliação já era prevista); (ii)apenas uma minoria das avaliações é feitainternamente (pelos planejadores da polí-tica); (iii) as avaliações preocupam-se majori-tariamente com efetividade e consistência(apenas uma minoria observa a eficiência);(iv) na maioria, investigam-se questões rela-cionadas à adicionalidade (agregação frenteao passado); (v) as metodologias sãovariadas, mas com predominância demétodos descritivos; (vi) grande parte dasavaliações possui sérios problemas de quali-dade que, obviamente, dificultam seuemprego e; (vii) a maioria faz recomen-dações de ações. Essas característicasmostram quão difícil e complexo é o proces-so de avaliação de políticas de inovação.

Mesmo que a meta-avaliação de polí-ticas de inovação ainda não seja comum noBrasil, dados disponíveis permitem afirmarque tal atividade já tem razão de ser, princi-palmente se for considerado o número derelatórios de avaliação já produzidos no País.

Uma busca agregada, realizada emagosto de 2013, no banco de dados daPlataforma Lattes do Conselho Nacionalde Pesquisa e Desenvolvimento Científicoe Tecnológico (CNPq), agência do MCTI,com os termos “ciência”, “tecnologia”,“inovação” e “avaliação”, apresenta 3.772pesquisadores. Quando esses mesmostermos são empregados numa busca nobanco de dados que relaciona os gruposde pesquisa registrados no CNPq, observa-se a existência de 27 grupos de pesquisa1.

Do ponto de vista das instituições querealizam avaliação de políticas e programas

de inovação, destaca-se, tanto pelo volumede trabalhos quanto pela qualidade, oInstituto de Pesquisa Econômica Aplicada(Ipea), grupos de pesquisa da UniversidadeEstadual de Campinas (Unicamp), daUniversidade de São Paulo (USP) e da Uni-versidade Federal de Minas Gerais(UFMG). Interessante perceber que já seobserva certa especialização nas metodo-logias empregadas; assim, por exemplo,enquanto os grupos da Unicamp têmempregado metodologias qualitativasmultidisciplinares, as avaliações realizadaspela UFMG destacam-se pelo intenso usode ferramentas econométricas e os estudosdo Ipea, pelo uso de metodologias tantoqualitativas quanto quantitativas.

Por outro lado, entre os principaisdemandantes destacam-se o Banco Intera-mericano de Desenvolvimento (BID), oCentro de Gestão e Estudos Estratégicos(CGEE), a Fundação de Amparo à Pes-quisa do Estado de São Paulo (Fapesp),algumas empresas de economia mista (porexemplo, Petrobrás e CompanhiaHidroelétrica do São Francisco (Chesf ) eo próprio MCTI.

Recentemente, duas avaliações envol-vendo políticas de inovação destacam-se,segundo Salles Filho et al. (2012) e Araújoet al. (2012). A primeira trata da avaliaçãoda lei de informática e a segunda, da isen-ção fiscal para investimentos em inovação.

Considerando a experiência do MCTI,principalmente em se tratando das atividadesde monitoramento e avaliação (M&A), asavaliações em inovação no Brasil são de-mandadas por instituições públicas com in-teresse legal e/ou estratégico em avaliação,e são executadas por grupos de pesquisa e/ou pesquisadores presentes nas universi-dades brasileiras e no Ipea. O papel dasconsultorias privadas sem vínculos formaiscom universidades, portanto, é apenas

RSP



marginal, mas não desprezível (segundorelatório do MCTI, das cerca de trinta avalia-ções contratadas pelo MCTI sobre os fundossetoriais, apenas uma foi realizada porempresa de consultoria).

No Brasil, uma avaliação típica empolíticas de inovação possui, então, umdemandante (que quase sempre é o gestorpúblico), uma instituição coordenadora (quepode ser a do próprio demandante ou uminstituto de pesquisa) e um grupo deconsultores (quase sempre localizados nauniversidade ou no próprio instituto depesquisa contratado pelo gestor público). Namedida em que boa parte das políticas deestímulo à inovação no Brasil envolvemarranjos cooperativos (ou pelo menos osestimulam), os agentes que mais se aproxi-mam da categoria de avaliados quase sempresão as empresas beneficiárias e os expertscoordenadores de projetos (provenientes deuniversidades ou institutos de pesquisa).

A mais recente e ampla iniciativa emavaliação de políticas de inovação no Brasilestá associada ao lançamento, pelo MCTI,do seu Plano Anual de Monitoramento eAvaliação (Pama/2013), que utiliza ampla-mente a já existente rede de avaliadores eprocura articulá-la de forma a difundire aprofundar as discussões referentes àavaliação da inovação.

O Pama/2013 propõe sete avaliações,12 atividades de monitoramento e 11 ativi-dades de suporte a serem iniciadas no anode 2013. A Tabela 1 apresenta uma síntesedos objetivos das avalições propostas.

A partir da Tabela 1, é possível observarque, das sete avaliações propostas, quatroestão relacionadas à avaliação de fomento àinovação; são elas: (i) fomento às infraestru-turas de pesquisa científica e tecnológicaintegrantes do Sistema MCTI; (ii) FundoNacional de Desenvolvimento Científico eTecnológico (FNDCT); (iii) Programa

Nacional Aeroespacial Brasileiro (PNAE);e (iv) Lei do Bem (incentivos fiscais àinovação). No momento em que se escreveeste ensaio, tal Plano do MCTI já se encontraem avançado estágio de execução.

Considerando o exposto, já se observaa existência de uma comunidade de práticaem avaliação de políticas de inovação noBrasil. Na medida em que cresce a percep-ção de que a inovação é condição essen-cial ao desenvolvimento socioeconômico,crescem também as demandas por ava-liação das intervenções públicas destinadasao estímulo dessa importante atividadeeconômica.

Muito embora as políticas públicaspossuam os mesmos objetivos finais, quaissejam, criar sociedades mais justas, aumentara qualidade de vida e o bem-estar social, aforma como cada política atua nesse sentidovaria em função das especificidades de seuobjeto. Isso não é diferente com políticasde inovação, que atuam sobre o próprioprocesso inovativo.

Essas experiências, principalmenteaquelas relacionadas ao Pama/2013,quando analisadas à luz do marco teóricoapresentado na seção “Da natureza da polí-tica de inovação e do processo inovativo”,permitem identificar os principais desafiosà avaliação de políticas de inovação atual-mente enfrentados pelos avaliadores edemandantes da avaliação no Brasil.

Desafios à avaliação em políticasde inovação

Tal como afirmam Furtado et al. (2006),toda avaliação constitui-se num esforço depesquisa. Porém, quando destinadas aoplanejamento estratégico e não apenas àconstrução de novo conhecimento, talesforço deve ser complementado pela disse-minação, pelo debate e, principalmente, pela

RSP



internalização dos achados, no sentido dereorientar a política pública em curso ouorientar novas intervenções. O objetivodesta seção, então, é o de destacar desafiospróprios da avaliação de políticas de ino-vação, que pouco se observam em outrasintervenções.

Com base no contexto apresentado,podem-se identificar três grandes desafiosque se colocam à avaliação de políticas defomento à inovação. Tais desafios se colo-cam tanto a avaliações ex-ante quantoex-post. Mesmo que descritos separada-mente, os desafios não são independentesentre si. De fato, cada desafio influenciaos demais, retroalimentando as dificuldadesde avaliação.

O primeiro grande desafio, então, dizrespeito à utilização de indicadores, tantode resultados quanto de impacto. Tal comojá mencionado, a discussão de conceitosassociados à inovação ainda é recente nosmeios políticos tradicionais. Persiste grandeconfusão quanto às definições e quanto àprópria dinâmica do processo inovativo (noBrasil, mesmo que implicitamente, insiste-se no modelo linear). Somam-se a isso asrecentes críticas, por parte de pesquisa-dores ligados à universidade, sobre avalidade dos indicadores criados pela pró-pria academia. Notadamente, a falta de umconsenso se associa à complexidade dopróprio processo de criação e difusão deinovações.

Fonte: Rauen e Maranhão (2013).

Tabela 1: Atividades de avaliação propostas no Pama/2013

Ação

Fomento às infraestruturas de pesquisacientífica e tecnológica integrantes doSistema MCTI.

Fundo Nacional de DesenvolvimentoCientífico e Tecnológico (FNDCT).

Programa Antártico Brasileiro(Proantar)Cooperação científica e tecnológicainternacional do Conselho Nacional deDesenvolvimento Científico e Tecno-lógico (CNPq)Programa Nacional AeroespacialBrasileiro (PNAE)

Lei do Bem (incentivos fiscais à inovação)

Fortalecimento da infraestrutura depesquisa em petróleo, gás e biocom-bustíveis

No

1

2

3

4

5

6

7

Objetivo da avaliação

Mapear a situação da infraestrutura depesquisa, o nível de utilização e o perfil dademanda por essas infraestruturas.Levantamento de projetos apoiados pelosFundos Setoriais, bem como posicionamentodos projetos em face dos indicadores de inpute output selecionados.Avaliar estrutura, organização e produtividadeda pesquisa acadêmica associada ao Proantar.

Desenvolvimento de modelo de monitora-mento e avaliação capaz de ser sistematizado.

Avaliar os impactos do programa no desen-volvimento tecnológico da indústria nacional.Compreender até que ponto os incentivosfiscais contribuem para ampliar o investi-mento privado em P&D.Mapear a infraestrutura de pesquisa cientí-fica e tecnológica do setor, de forma a identi-ficar o nível de utilização das estruturas e operfil da demanda por elas.

RSP



Por exemplo, tem-se discutido se oinvestimento em pesquisa e desenvol-vimento é uma boa proxy do esforço tecno-lógico, ou se taxas de patenteamento podemser comparadas entre diferentes setoresindustriais (FREEMAN E SOETE, 2009).

Se os indicadores básicos de input eoutput do processo inovativo são ainda muitocontroversos, o mesmo ocorre com indica-dores mais complexos e sofisticados, como,por exemplo, indicadores de impacto dasinovações nas exportações, no emprego ouno crescimento econômico.

Ou seja, a própria natureza do processoinovativo, que depende também de ele-mentos tácitos, é de difícil quantificação. Sea inovação é de difícil mensuração, seus im-pactos são ainda mais complexos.Consequentemente, traduzir impactos emnúmeros, inclusive monetários, e compará-los é tarefa difícil que carrega grande riscoà qualidade do estudo e, consequentemente,à sua utilidade e aceitação.

Como consequência, ainda não seestabeleceu na literatura consenso sobre, porexemplo, como medir a variação na compe-titividade internacional de uma empresadecorrente da introdução de uma inovaçãoque, por sua vez, deriva, em alguma medida,de uma determinada intervenção pública. Emúltima análise, indicadores que precisam deinúmeras notas de rodapé, que não sejamautoexplicativos e com conhecidos problemasmetodológicos, tornam a avaliação difícil deser divulgada e internalizada.

Um segundo desafio está associado àcompreensão da relação de causa e efeitoentre a intervenção pública e o resultadoou impacto observado. Este ensaio jádiscorreu sobre a relação indireta e com-plexa que existe entre a intervenção e seuresultado. Existem diferentes agenteseconômicos, muitas etapas e um conside-rável lag temporal.

Também é importante, tal como men-cionado, considerar a validade dos objetivosda política quando da avaliação. Conside-rando o caráter dinâmico da mudançatécnica, não raro, objetivos iniciais tornam-se obsoletos. Nesses casos, cabe avaliar aintervenção com base nos novos parâmetrose nos novos objetivos criados em funçãodesses parâmetros. Esses elementos tornamdifícil compreender o grau de paternidadede uma intervenção em face da inovação.Ou seja, como isolar todas as outras forçasque atuam sobre a firma e o processoinovativo ao longo do tempo?

Na seção “Da natureza da política deinovação e do processo inovativo”, viu-seque o grau de complexidade do processoinovativo só tem aumentado ao longo dotempo e que, recentemente, a inovação éresultado de intensa interação entre ciência,técnica, mercado e sociedade.

A teoria econômica tradicional procuraresolver a questão dos fatores não obser-vados considerando “tudo o mais cons-tante”. O problema é que, em inovação, osfatores não observáveis são a regra e não aexceção. Por exemplo, a avaliação de umincentivo fiscal à inovação deve considerarque as firmas moldam seu comportamentodiante da inovação em função do mercado,de suas idiossincrasias internas, das relações– externas e internas – de poder; enfim, aintervenção é apenas um elemento – e nãoé o mais relevante, pois, do contrário,não existiria nenhuma inovação sem apoiogovernamental – a ser considerado.

É por essa razão que grande parte dosestudos tem focado apenas na análise dosimpactos de primeiro nível, tal comodescrito na Figura 1. Ou seja, observamos efeitos na P&D (pois são os únicospassíveis de observação) e não os impactosfinais (níveis 3 e 4 da Figura 1), que envol-vem ainda mais variáveis.

RSP



O terceiro desafio constitui-se em objetode pesquisa da sociologia da ciência e datecnologia e diz respeito à aversão à avalia-ção de atividades de pesquisa por indivíduosde fora da academia, tais como o são ospolicy makers. Esse terceiro desafio é, mesmoque indiretamente, discutido em EC (2010).

Comumente, cientistas/pesquisadoresencontram-se envolvidos em projetoscooperativos voltados à inovação. Isso éainda mais verdadeiro num país como oBrasil, que emprega como ponta de lançada inovação as universidades e os institutospúblicos de pesquisa. Ou seja, no Brasil, aparticipação de pesquisadores acadêmicosem intervenções voltadas ao fomento dainovação é intensa. Tais agentes não sóexecutam as intervenções como auxiliama definição de sua concepção e gestão.

Considerando as experiênciasrecentes do MCTI em monitoramento eavaliação, a comunidade acadêmica é,junto com os policy makers e as empresas,o conjunto de agentes mais relevantesquando da avaliação da política de ino-vação. Tal como postula a actor-networktheory, em função das relações de poderinerentes ao conhecimento científico e àcomunidade científica, a realização deavaliações ou demanda de avalições porgestores públicos é recebida quasesempre com grande reticência pela comu-nidade científica, que se sente avaliada eauditada por indivíduos de fora de suacomunidade, que realizam suas ativi-dades com lógica diferente e quepossuem um conjunto distinto de valores(CALLON, 1999).

A consequência final de tal desafio estáassociada à possibilidade de descrédito doestudo. Possibilidade essa que começa a seformar logo ao início da avaliação, quandoa comunidade científica é ouvida no sentidode validar hipóteses, metodologias e

pressupostos dos modelos avaliativos. Aquestão central é a de que cientistas aceitamavaliação apenas por pares, ou seja, poroutros cientistas.

Esse problema reverbera na decisão derealizar uma avaliação interna ou externa.Ou seja, uma avaliação feita pela academia(demandada por gestores) de projetos que

envolvem acadêmicos pode ser consideradaexterna? Mesmo quando se considera queas comunidades científicas se constituemem pequenos grupos delimitados por áreado conhecimento? Seja como for, existeuma resistência quase que inerente à dinâ-mica acadêmica, que torna a avaliação depolíticas de fomento à inovação muito maiscomplexa.

Portanto, os desafios de planejamento,execução, divulgação e internalização daavaliação de políticas de inovação no Brasil

“... surgemoutras questões quetambém devem serobjeto de análise,como, por exemplo,qual é a atualcapacidadebrasileira deavaliação daspolíticas deinovação?”

RSP



podem assim ser sumarizados: (i) dificul-dade de encontrar indicadores que reflitamos resultados e impactos finais da inter-venção; (ii) dificuldade de estabelecer grausde responsabilidade entre a intervenção eos resultados ou impactos observados;e (iii) resistência, por parte da comunidadeacadêmica, ao processo de avaliação.

Comentários finais

Este artigo teve por objetivo discutir osdesafios da avaliação em políticas públicasde inovação no Brasil. Tais desafios sãoconhecidos principalmente pelos avalia-dores, mas menos pelos policy makers. Nessesentido, o tema da avaliação continua sendoapresentado de forma agregada, como seavaliar políticas sociais fosse o mesmo queavaliar políticas de inovação. Este ensaio quisse posicionar contra tal argumentação. Masnão só isso. A discussão aqui apresentadafoi construída também com o intuito depropor um debate ainda incipiente, tanto nomeio acadêmico quanto na gestão pública.De fato, o principal valor do ensaio residena organização do tema, muito mais do queno ineditismo das informações.

O objetivo final do debate aqui pro-vocado é o de permitir estudos mais inte-ligíveis, aceitáveis e, portanto, mais úteistanto ao processo de accountability quanto àgestão estratégica da política de inovação.Os desafios aqui elencados não encon-trarão solução a não ser a longo prazo.Contudo, é possível delinear linhas geraisde ação que podem culminar na superaçãode tais desafios.

Quanto aos indicadores, uma questãoimportante está centrada no trade-off entreutilidade prática e comparabilidade inter-nacional. Isto é, os indicadores precisamorientar a ação política em termos práticose realistas, mas não podem deixar de

permitir comparações internacionais. Nomomento em que se escreve este ensaio,predomina nos indicadores de CT&I umaabordagem eminentemente focada nasimplificação e na possibilidade de com-parar a posição relativa do Brasil diante deoutros países. É preciso, então, iniciar umdebate no qual devem ser ouvidas em-presas, academia, mas, principalmente, oEstado, que deve guiar a discussão emdireção à aplicabilidade dos indicadores nagestão da política da CT&I. Nesse sentido,os indicadores hoje disponíveis servempara realizar o accountability, mas pouco têmcontribuído para a formulação de políticasque, em última instância, elevem o bem-estar da sociedade.

Uma maneira de equacionar osproblemas inerentes aos indicadores ésimplesmente manter os atualmente dispo-níveis e agregar novos indicadores cons-truídos com base na política industrialvigente, uma vez que se observa que aformulação da política tem-se rendido aosindicadores e não o contrário, o que seria,obviamente, preferível.

Em suma, no atual momento, talvezseja preferível abandonar a rigidez mate-mática e, gradativamente, criar e difundirindicadores mais subjetivos e adequadosàs inúmeras especificidades do processoinovativo.

A superação do segundo desafio, quede certa forma está associada à questão dosindicadores, passa por um esforço depesquisa mais direcionado à compreensãosistêmica do processo inovativo do que àformalização matemática desse processo.De fato, na impossibilidade de se obser-varem com o mínimo de rigor matemáticoos impactos últimos da política de inovação(por exemplo, aumento do bem-estar),opta-se por analisar impactos iniciais(digamos, investimentos em P&D). Tal

RSP



opção, apesar de ser cientificamente ade-quada, pouco auxilia na execução prática ecotidiana da política. É urgente com-preender, empiricamente, como se dá, porexemplo, a relação entre os investimentosem P&D e o bem-estar da populaçãobrasileira.

Nesse caso, surveys específicos, com oemprego de grupo de controle e dadosprimários, são preferíveis a análises basea-das em dados secundários e limitadas porum rigor estatístico que impede açõespráticas reais. Atualmente, a compreensãodos impactos da política de inovação ésemelhante àquela do bêbado que procura,à noite, as chaves perdidas apenas embaixodo poste de luz, pois é o único lugar ondeas conseguiria enxergar (KAPLAN, 1964).

O terceiro desafio é de ordem maiscomplexa, pois trata do comportamentohumano e das relações de poder subja-centes ao conhecimento científico etecnológico. Qualquer que seja a forma desuperá-lo, essa deve considerar pelo menosdois elementos. Primeiro, os avaliadores depolíticas de inovação devem ser formados,no sentido de possuírem empatia pelalógica acadêmica e, sobretudo, serem capa-zes de realizar a tradução entre os interessesda academia e os interesses da política

pública. Em segundo lugar, é preciso queos instrumentos inerentes às políticas deinovação, tais como editais de repassede recursos, prevejam, com a respectivaparticipação dos beneficiários, a avaliaçãodesses instrumentos e das políticas. Ouseja, que o beneficiário saiba de antemãoda necessidade de avaliação. Nesse senti-do, seria desejável, ainda, que os órgãos decontrole passassem a exigir a realizaçãodessas avaliações.

Para além deste debate, surgem outrasquestões que também devem ser objeto deanálise, como, por exemplo, qual é a atualcapacidade brasileira de avaliação daspolíticas de inovação? Qual seria o modeloideal de governança das demandas poravaliação? Como incorporar os achados deavaliação num contexto de rápida mudançatecnológica? Enfim, uma série de questões,ainda sem resposta, se associa à discussãoaqui realizada. Espera-se que, com aconsolidação das atividades de avaliação,essas questões possam, pouco a pouco,entrar na agenda de pesquisa, alimentandopolicy makers de conhecimentos relevantesà moderna gestão pública.

(Artigo recebido em agosto de 2013. Versãofinal em dezembro de 2013).

Nota

1 Os termos das duas buscas foram definidos a partir da análise do currículo Lattes de trêspesquisadores que mais estudos de avaliação já realizaram para o MCTI. Para o conjunto depesquisadores, foram considerados apenas doutores brasileiros.

RSP



Referências bibliográficas

ARAÚJO, B. Políticas de apoio à inovação no Brasil: uma análise de sua evolução recente.Brasília: IPEA, 2012. (Texto para discussão no 1.759).ARAÚJO, B.; PIANTO, D.; DE NEGRI, F.; CAVALCANTE, L.; ALVES, P. Impacto dos fundossetoriais nas empresas. Revista Brasileira de Inovação, n. esp., p. 85-112, julho de 2012.CALLON, M. Actor-network theory - the market test. In: LAW, J.; HASSARD, J. (Org). Actor-network theory and after. Oxford: Blakcwell Publishers, 1999. p.181-95.CHESBROUGH, H. Open Innovation: The New Imperative for Creating and Profiting fromTechnology. HBS Press, 2003.DOSI, G. Sources, procedures and microeconomic effects of innovation. Journal of EconomicLiterature, v. 26, p. 1120-1171, 1988.EUROPEAN COMMISSION. INNO APPRAISAL: understanding evaluation of innovationpolicy in Europe. Final Report. 2010. Disponível em: http://www.proinno-europe.eu/sites/default/files/INNO-Appraisal_Final_Report_100423_1348_web.pdf. Acesso em:08 fev. 2013.FINEP. Plano Inova Empresa. Disponível em: http://www.finep.gov.br/inovaempresa/. Acessoem: 10 out. 2013.FREEMAN, C.; SOETE, L. A Economia da inovação industrial. Campinas: Editora Unicamp, 2008.

. Developing science, technology and innovation indicators: what we canlearn from the past? Research Policy, n. 38, 2009.FURTADO, A.; BIN, A.; BONACELLI, M.; PAULINO, S.; MIGLINO, M.; CASTRO, P. Avaliação deresultados e impactos da pesquisa e desenvolvimento – avanços e desafios metodológicosa partir de estudo de caso. Gestão e Produção, v. 15, n. 2, p. 381-392, 2008.FURTADO, A.; RAUEN, A.; AZEVEDO.; CAMILO, E.; HASEGAWA, M. Relatório Final: Avaliaçãodos Impactos do PROREC. Campinas: Unicamp, 2010. (Relatório de pesquisa).FURTADO, A.; SUSLICK, S.; MULLER, N.; FREITAS, A. G.; BACH, L. Assessment of direct andindirect effects of large technological programmes: Petrobrás Deepwater Programme inBrazil. Research Evaluation, v. 8, n. 3, p. 155-163, 1999.FURTADO, A.; VELHO, L.; PAULA, M.; PERREIRA, N. Metodologia de Avaliação de Resultados eImpactos dos Fundos Setoriais. Brasília: CGEE, 2006.GIBBONS, M.; LIMOGES, C.; NOWOTNY, H.; SCHWARTZMAN, S.; SCOTT, P.; TROW, M. The newproduction of knowledge: the dynamics of science and research in contemporary societies.London: Sage. 1994.KANNEBLEY, S.; PORTO, G. Incentivos Fiscais à Pesquisa, Desenvolvimento e Inovação no Brasil:uma avaliação das políticas recentes. Brasília: Banco Interamericano de Desenvolvimen-to, 2012. (Texto para discussão 236).KLINE, S. J. ROSENBERG, N. An overview of innovation. In: LANDAU, R.; ROSENBERG, N.(Ed.). The Positive Sum Strategy. National Academy Press, 1986. p. 275-305.LANDES, D. The unbound prometeus. Cambridge: Cambridge University Press. 1969.

RSP



MCTI. Fundos Setoriais: mapeamento bibliográfico das avaliações. Assessoria deMonitoramento e Avaliação das Atividades Finalísticas. MCTI. 2013.MCTI. Indicadores. Recursos aplicados. Dispêndio nacional em ciência e tecnologia, emvalores correntes, em relação ao total de C&T e ao produto interno bruto, por setorinstitucional, 2000-2010. Disponível em: http://www.mcti.gov.br/index.php/ content/view /29140 Dispendio_nacional_em_ciencia_e_tecnologia_C_T_sup_1_sup__em_valores_correntes_ em_relacao_ao_total_de_C_T_e_ao_produto_interno_bruto_PIB_por_setor_institucional.html. Acesso em: 10 abr. 2013.OCDE. Manual de Oslo – diretrizes para coleta e interpretação de dados sobre inovação.3. ed. 2005.RAUEN, A; MARANHÃO, T. Institucionalização da avaliação em ciência, tecnologia e ino-vação no Brasil: o lançamento do Plano Anual de Monitoramento e Avaliação do MCTI.Revista Aval. Prelo. 2013.RAUEN, A.; RIBEIRO, L.; DIAS, R.; SOUZA, T.; ARAÚJO, T. Impactos do desenvolvimento tecnológicoem metrologia química: Material de Referência Certificado para etanol em água. Rio deJaneiro: Inmetro. 2012. (Relatório de pesquisa).ROSENBERG, N. Por dentro da caixa-preta. Campinas: Editora Unicamp, 2006.SALLES, FILHO, S.; STEFANUTO, G.; MATTOS, C.; ZEITOUM, C.; CAMPOS, F. Avaliação deimpactos da Lei de Informática: uma análise da política industrial e de incentivo à inova-ção no setor de TICs brasileiro. Revista Brasileira de Inovação, v. 11, n. esp., jul. 2012, p.191-218.SCHUMPETER, J. Capitalism, Socialism and Democracy. New York: Harper, 1942.SCHUMPETER, J. Theorie der wirtschaftlichen Entwicklung. Leipzig: Duncker & Humblot, 1912.SERPA, S. Levantamento do Tribunal de Contas da União sobre os sistemas demonitoramento e avaliação da administração direta do Poder Executivo. Revista Brasileirade Monitoramento e Avaliação. n. 2, 2011.SMITH, A. An inquire into the nature and causes of the wealth of nations. Pennsylvania StateUniversity, 2005 (1776).UNICAMP. Embrapii será organização social e terá aporte de R$ 1 bilhão até 2014.Fomento à Inovação. Inovação Unicamp. Disponível em: http://www.inovacao.unicamp.br/destaques/embrapii-sera-organizacao-social-e-tera-aporte-de-r-1-bilhao-ate-2014. Acesso em: 20 maio 2013.VAITSMAN, J.; RODRIGUES, R.; PAES-SOUZA, R. O Sistema de Avaliação e Monitoramento dasPolíticas e Programas Sociais: a experiência do Ministério do Desenvolvimento Social eCombate à Fome do Brasil. UNESCO, 2006. (Texto para discussão n. 17).ZACKIEWICZ, M. Trajetórias e desafios da avaliação em ciência, tecnologia e inovação. 2005. Tese(Doutorado em Política Científica e Tecnológica). Departamento de Política Científica eTecnológica, Unicamp, Campinas.

RSP



Resumo – Resumen – Abstract

Desafios da avaliação em políticas de inovação no BrasilAndré Tortato RauenEste ensaio tem por objetivo discutir os desafios da avaliação em políticas públicas de

inovação no Brasil. Para tanto, o mesmo se apoia nas contribuições teóricas acerca do processoinovativo e em inúmeros relatórios de avaliação e meta-avaliação. O ensaio defende, então, aexistência de três grandes desafios específicos à avaliação de políticas de inovação, quais sejam:(i) dificuldade em encontrar indicadores que reflitam os reais resultados e impactos da interven-ção; (ii) dificuldade em estabelecer graus de responsabilidade entre a intervenção e os resultadose impactos observados; e (iii) resistência, por parte da comunidade acadêmica, ao processo deavaliação. Para superar esses desafios, sugere-se: (i) a construção de indicadores focados emimpactos finais, mesmo que qualitativos; (ii) a consolidação da pesquisa qualitativa enquantoferramenta de análise em detrimento da excessiva formulação matemática; e (iii) que a forma-ção dos avaliadores discuta as diferenças entre as lógicas de funcionamento do meio acadêmicoe do meio político.

Palavras-chave: políticas de CT&I; avaliação; meta-avaliação; inovação

Los desafíos de la evaluación de políticas de innovación en BrasilAndré Tortato RauenEste trabajo tiene como objetivo discutir los desafíos de la evaluación de políticas de

innovación en Brasil. Por lo tanto, se basa en las teorías sobre el proceso inovativo y numerososinformes de evaluación y meta-evaluación. El ensayo afirma que hay tres desafíos principalesrelacionados con la evaluación de políticas de innovación, a saber: (i) la dificultad de encontrarindicadores que reflejan los resultados reales y los impactos de la intervención, (ii) la dificultadde establecer grados de responsabilidad entre la intervención y los resultados e impactos obser-vados y (iii) la resistencia por parte de la comunidad académica en el proceso de evaluación. Parasuperar estos desafíos proponemos: (i) la construcción de indicadores centrados en los efectosfinales, aunque cualitativos; (ii) la consolidación de la investigación cualitativa como herramientade análisis en detrimento de la excesiva formulación matemática; y (iii) cambios en la formaciónde los evaluadores.

Palabras clave: políticas de CT&I; evaluación; meta-evaluación; innovación

Challenges in evaluation of Brazilian innovation policiesAndré Tortato RauenThis essay aims to discuss the challenges regarding the evaluation of innovation policies in

Brazil. Therefore, it relies on the theoretical contributions about the innovative process and alsoon innumerous evaluation and meta-evaluation reports. In this context, the essay argues thatthere are three major specific challenges to the evaluation of innovation policies, namely: (i)difficulty in finding indicators that reflects the actual results and impacts of the intervention, (ii)difficulty in establishing degrees of responsibility between the intervention and the results andimpacts observed and; (iii) opposition by the academic community to the process of evaluation.To overcome these challenges the article suggests: (i) the elaboration of new indicators focusedon final impacts; (ii) the consolidation of qualitative research as a tool of analysis and; (iii)changes in the formation of evaluators.

Keywords: ST&I policies; evaluation; meta-evaluation; innovation

RSP



André Tortato RauenÉ doutor em Política Científica e Tecnológica pela Universidade Estadual de Campinas (UNICAMP) e atua como tecnologistada Assessoria de Monitoramento e Avaliação das Atividades Finalísticas do Ministério da Ciência, Tecnologia e Inovação(MCTI). Contato: [email protected]; [email protected]

desafios da avaliação em políticas de inovação no...

Documents