indicadores de desempenho e accountability nas ... de desempenho e accountability nas universidades...
TRANSCRIPT
Indicadores de Desempenho e Accountability nas Universidades Públicas Portuguesas: Perspetiva Socioeconómica
(Comunicação ao I Congresso Internacional de Contabilidade Pública "O SNC na Adminis-
tração Pública: O Desafio da Mudança" a realizar em Setúbal, Portugal de 12 a 13 de Maio de 2016)
Área Temática : Avaliação de Desempenho do Setor Público
Judite Gonçalves Instituto Superior de Contabilidade e Administração de Aveiro
Email: [email protected]
Carlos Santos Instituto Superior de Contabilidade e Administração de Aveiro Centro de Investigação em Contabilidade e Fiscalidade - IPCA
Email: [email protected]
Augusta Ferreira Instituto Superior de Contabilidade e Administração de Aveiro Centro de Investigação em Contabilidade e Fiscalidade-IPCA
Email: [email protected]
Palavras-Chave: accountability, responsabilidade, indicadores de desempenho, nova gestão pública, universidades públicas portuguesas Metodologia utilizada: revisão da literatura e estudo empírico com metodologia qualitativa e quantitativa. A metodologia qualitativa foi aplicada à análise dos relatórios de gestão e/ou ati-vidades das Universidades Públicas Portuguesas. A metodologia quantitativa (regressão múl-tipla) foi aplicada à identificação de eventuais fatores com influência no nível de divulgação dos indicadores de gestão das referidas instituições de ensino.
Indicadores de Desempenho e Accountability nas Universidades Públicas Portuguesas: Perspetiva Socioeconómica
Resumo
Neste trabalho faremos um breve enquadramento das reformas da administração pública e do
seu impacto no ensino superior em Portugal. Na reestruturação do setor público, em Portugal,
tem sido aplicado o modelo de gestão pública designado de Nova Gestão Pública que tem
como principal objetivo a aplicação de mecanismos de gestão privada no setor público.
O ensino, em particular o ensino superior, não tem sido alheio a estas reformas que conduzem
a uma maior accountability (transparência, cálculo de indicadores de desempenho, responsa-
bilização, prestação de contas), com vista à obtenção de mais financiamento proveniente não
só do orçamento de Estado mas também de outras fontes de financiamento. Neste sentido tem
sido fomentada a implementação de mecanismos que permitam maior comparabilidade e
competitividade entre as universidades públicas portuguesas.
Assim, para averiguar quais os fatores que poderão influenciar a divulgação de indicadores de
desempenho, daquelas instituições, procedemos à análise de conteúdo dos relatórios de contas
das 13 universidades públicas portuguesas.
De acordo com os resultados obtidos concluímos que as universidades públicas portuguesas
ainda têm um longo caminho por percorrer, no que respeita à divulgação da informação finan-
ceira, mostrando ainda os referidos resultados que a dimensão, o financiamento obtido através
de outras fontes de financiamento, para além do orçamento de Estado e o ranking web of uni-
versities, influenciam o nível de divulgação dos indicadores de desempenho.
1 Introdução
Ao longo das últimas décadas o setor público sofreu várias reformas, fruto de um novo para-
digma de gestão que se designa de Nova Gestão Pública (NGP). As premissas associadas a
este novo paradigma de gestão conduzem à reestruturação e aproximação dos modelos de ges-
tão do setor público aos modelos de gestão do setor privado, introduzindo, designadamente,
mecanismos associados à gestão por resultados, à medição do desempenho e à privatização de
alguns tipos de serviços públicos, na expectativa de melhorar a eficiência e a eficácia dos ser-
viços prestados ao cidadão.
A maior exigência ao nível da transparência dos processos de gestão e a conjuntura económi-
ca levaram a que as relações existentes entre o Estado e as instituições públicas se alterassem,
designadamente, pela maior exigência no que se refere à gestão dos recursos públicos, inclu-
indo mais responsabilização e mais transparência na utilização dos referidos recursos e no re-
torno conseguido com a sua utilização (accountability). Neste sentido, têm vindo a ser colo-
cadas às universidades Públicas portuguesas (UPP) maiores exigências, designadamente em
termos de informação económica e financeira que deve ser elaborada e divulgada.
Na conjuntura atual, de fortes restrições financeiras e de redução da taxa de natalidade, é fun-
damental que as UPP tenham capacidade para: gerir de forma eficiente os recursos colocados
à sua disposição; garantir a transparência dos processos de gestão e aumentar a capacidade de
atrair novos estudantes. Assim, a implementação e utilização de um quadro de indicadores de
desempenho é importante para que as UPP e os seus stakeholders possam avaliar o bom pros-
seguimento dos seus objetivos. Neste sentido, a Lei n.º 37/2003 de 22 de agosto, estabelece
um conjunto de indicadores de desempenho de cálculo e divulgação obrigatórias que aquelas
instituições devem preparar.
A importância do presente estudo prende-se com o conhecimento do comportamento das UPP
no contexto das exigências que resultam da NGP, procurando perceber a preocupação daque-
las instituições com um aspeto particular da accountability que é a transparência da informa-
ção sobre os resultados da gestão. Nesse sentido, este trabalho tem como objetivo verificar se
as UPP divulgam: os indicadores de desempenho de caráter obrigatório; alguns indicadores de
desempenho de caráter voluntário e, caso existam diferentes níveis de divulgação, que fatores
(dimensão, financiamento proveniente do orçamento de Estado, financiamento proveniente de
outras fontes de financiamento, ranking web of universities, ranking times higher education e
número de vagas preenchidas) poderão influenciar esse nível de divulgação.
Este estudo foi efetuado com recurso ao método de regressão por mínimos quadrados e os re-
sultados indiciam que as UPP divulgam indicadores de desempenho impostos por lei e de ca-
riz voluntário, tendo sido verificado que o nível de divulgação dos mesmos é influenciado pe-
los fatores: dimensão, financiamento proveniente de outras fontes de financiamento e ranking
web of universities.
Este trabalho, para além desta secção, está assim estruturado: na secção 2 apresenta-se uma
breve caracterização do ensino universitário e procede-se ao enquadramento teórico deste tra-
balho, na secção 3 apresentam-se as questões e hipóteses de investigação; na secção 4 apre-
sentam-se e analisam-se os resultados obtidos e, na secção 5 apresentam-se as conclusões e
indicam-se alguns trabalhos possíveis para investigação futura.
2 Enquadramento Teórico
A NGP é considerada uma estratégia de modernização com o objetivo de tornar as organiza-
ções públicas mais eficientes, proporcionando maior exigência a nível de concorrência e de
mercado, através da flexibilização da administração pública e do aumento da accountability
(A. Armstrong, 1998; Dunleavy, Margetts, Bastow, & Tinkler, 2005; Sano & Abrucio, 2008).
No âmbito da NGP, Guthrie e Neumann (2007) desenvolveram um estudo relacionado com a
reforma da gestão financeira no ensino superior australiano, procurando encontrar padrões de
desempenho, incluindo os melhores métodos de gestão e indicadores de desempenho. Esta
abordagem, de acordo com Hood (1991) está na base do movimento alavancador da NGP que
visa promover a melhoria dos índices de economia, de eficiência e de eficácia da administra-
ção pública, pressupondo a redução da máquina administrativa e a responsabilização dos ges-
tores públicos (Peci, Pieranti, & Rodrigues, 2008).
A partir da década de 70 do século passado, em consequência das restrições orçamentais e da
limitação e necessidade de afetar adequadamente os recursos, aconteceram reformas no setor
público administrativo transversais a vários países, podendo ser assim caraterizadas: gestão
profissionalizada das entidades públicas; modelos de desempenho e medidas de avaliação;
controlo de resultados; desfragmentação das unidades do setor público; introdução do concei-
to de competitividade no setor público; utilização de instrumentos de gestão privada; e, ênfase
na disciplina e moderação na utilização dos recursos (Hood, 1991). A NGP introduziu, assim,
a expectativa de que através da introdução de mecanismos de contratualização e de gestão uti-
lizados no setor privado pudesse ser esperada uma reformulação geral da natureza e da disci-
plina na estrutura organizacional da administração pública, quer em termos teóricos quer em
termos práticos (Osborne, 2006; Rodrigues & Araújo, 2005; Sano & Abrucio, 2008).
2.1 O ensino superior e a avaliação do desempenho
A reforma do setor público em Portugal teve início na década de 90, do século passado, com a
publicação da Lei de Bases da Contabilidade Pública (LBCP)1 e do Regime de Administração
1 Lei n.º 8/90 de 20 de fevereiro
Financeira do Estado (RAFE)2. Segundo Pollitt e Bouckaert (2004) os mecanismos de produ-
ção da informação contabilística têm grande relevância no processo de reforma do setor pú-
blico.
A introdução de mecanismos, com o objetivo de aproximarem os modelos de gestão pública
dos modelos de gestão privada só, foi possível através da reformulação do sistema de norma-
lização e harmonização contabilística. Neste âmbito surgiu o Plano Oficial de Contabilidade
Pública (POCP)3 e os planos setoriais. O sistema de informação contabilística que era de ca-
rácter meramente orçamental e direcionado para a prestação de contas e para o controlo da
legalidade, passou a ter também caráter financeiro e de controlo de custos sendo direcionado
para apoio à tomada de decisão dos gestores públicos.
O Plano Oficial de Contabilidade Pública para o Setor da Educação (POCE)4 surgiu três anos
após a aprovação do POCP, que veio tornar obrigatória a introdução do sistema de contabili-
dade analítica. A implementação deste modelo contabilístico tem por objetivo permitir a ob-
tenção de informação indispensável à elaboração de vários indicadores de eficiência, eficácia
e economia - avaliação do desempenho.
Sendo a avaliação do desempenho uma das necessidades essenciais das universidades é im-
prescindível o reconhecimento de fatores-chave e indicadores de desempenho. Estes permitem
o progresso e a mudança permanente na valorização e na melhoria da qualidade, bem como na
utilização económica e eficiente dos recursos, visando a transparência na gestão dessas enti-
dades (Azma, 2010; Guthrie & Neumann, 2007; Katharaki & Katharakis, 2010).
Nesse sentido, a avaliação de desempenho toma uma importância acrescida, dado que, a me-
dição permite comparações de desempenho institucional e rever processos estratégicos e táti-
cos, contribuindo assim para a tomada de decisão, quer a nível económico-financeiro, quer no
que concerne a proporcionar adequadas competências profissionais. Assim, a avaliação de
desempenho, pode ser utilizada para proceder a adaptações internas de desenvolvimento para
melhorar a avaliação e para demonstrar publicamente a accountability (Guthrie & Neumann,
2007). Ainda, segundo estes autores, o ensino, as atividades de investigação e a qualidade do
corpo docente das UPP colocam desafios de alta complexidade à formulação e medição de
indicadores de desempenho. Alguns estudos, designadamente (Guthrie & Neumann, 2007;
Wall & Martin, 2003), identificaram diferentes formas de medir e relatar o desempenho.
2 Decreto-Lei 155/92 de 28 de julho 3 Decreto-Lei n.º 232/97 de 3 de Setembro 4 Portaria n.º 794/2000, de 20 de Setembro
O recurso à análise e à avaliação do desempenho individual ou em grupo, promovendo-se o
crescimento pessoal e profissional do indivíduo poderá ser benéfico quer para as UPP quer
para os seus estudantes (Mann, 2011; Popova & Sharpanskykh, 2010). Para Lewis, Hendel, e
Kallsen (2007) o uso mais importante das medidas de desempenho está dentro da própria ins-
tituição podendo as mesmas servir como um catalisador de melhoria contínua da qualidade,
do cumprimento dos objetivos e da obtenção de maiores e mais diversificadas receitas.
2.2 Indicadores de desempenho e accountability
Um indicador de desempenho pode definir-se como um elemento instrumental básico que
permite o desenvolvimento de sistemas de informação que, em conjunto com outros instru-
mentos, têm como objetivo melhorar, ordenar, controlar e valorizar a gestão das entidades
(Álvarez, 2002).
Autores como (Burke, 1998; Chalmers, 2008; Connolly & Hyndman, 2004; Grateron, 1999;
Huisman & Currie, 2004; Kaufman, 1988; Kroll, Proeler, & Siegel, 2010; Lewis et al., 2007;
Nedwek & Neal, 1994; Novo, 2013; Vasicek, Lutilsky, & Dragija, 2014), abordaram a temá-
tica dos indicadores de desempenho, no que se refere à sua classificação, aplicabilidade e im-
portância.
A importância dos indicadores de desempenho está intimamente ligada com a accountability
em que, de acordo com Carvalho (citado por Jacinto, 2012) “estão subjacentes os conceitos de
prestação de contas, de transparência e da responsabilização pela utilização dos recursos pú-
blicos, para que se possa medir a eficiência, a eficácia e a economia na utilização dos mes-
mos”.
Segundo E. Armstrong (2005) a integridade, a transparência e a accountability são conceitos
que podem ser identificados coletiva e individualmente como parte dos princípios fundamen-
tais da administração pública pelos países que integram a Organização das Nações Unidas.
Bovens (2010) refere que o termo accountability pode ser usado, com o significado de que um
gestor público pode ser chamado a prestar contas e ser responsabilizado pelos seus atos. Ou
seja, tem que responder pela eficiência, eficácia e economia na gestão dos recursos públicos
colocados à sua disposição.
2.3 Estudos empíricos
Alguns autores como Bensimon, Grosjean et al. (citados por Chalmers, 2008) referem que,
“para justificar uma gestão eficaz, eficiente e económica são consideradas várias vertentes
como sejam: a avaliação e gestão da qualidade; o planeamento estratégico; a afetação do fi-
nanciamento com base na gestão e no orçamento e as auditorias value-for-money”.
O foco do estudo realizado por Jacinto (2012) foram 15 Institutos Politécnicos Portugueses
(IPP), sendo que, a amostra definitiva só foi constituída por 12. Este estudo consistiu em ana-
lisar a importância que o relatório de gestão do ano 2010 teve na divulgação de indicadores de
desempenho input, output, process e outcome e indicadores económico-financeiros, tais co-
mo, liquidez, estrutura financeira, rendibilidade, funcionamento e análise funcional. Os dois
objetivos principais a serem analisados foram:
• o estudo dos indicadores de desempenho quer em termos de conceito, quer em termos
de tipologia, no âmbito deste estudo foi ainda feita uma análise de alguns estudos
realizados a relatórios anuais e a indicadores de desempenho no ensino superior;
• a análise de conteúdo dos relatórios de gestão dos IPP, no sentido de aferir o nível de
divulgação de indicadores de desempenho por estas entidades.
O estudo levado a cabo por Jacinto (2012) considerou como variáveis independentes a
dimensão, o endividamento e a rentabilidade do ativo e como variáveis dependentes o índice
de divulgação (ID) médio dos indicadores de desempenho e o ID económico-financeiro. Para
testar as hipóteses, elaboradas pela autora, os métodos escolhidos foram a análise de conteúdo
e análise de associação entre as variáveis independentes e dependentes.
O mesmo autor, tendo em consideração a teoria da agência, refere que, o nível de endivida-
mento é uma variável que influencia a quantidade de informação divulgada nas instituições,
concluindo que quanto maior o endividamento maior a divulgação de indicadores de desem-
penho process e outcome, contudo, não foi verificada a existência de uma associação signifi-
cativa entre o endividamento e o ID dos indicadores de desempenho.
Ainda de acordo com Jacinto (2012), o nível de divulgação dos indicadores de desempenho
por parte dos IPP é bastante reduzido, quer em termos de relato obrigatório, quer em termos
de relato voluntário. Verificou ainda, este autor, que, apesar do normativo obrigar à divulga-
ção de indicadores económico-financeiros, uma grande parte dos IPP não faz referência aos
mesmos no relatório de gestão, confirmando-se no entanto a divulgação de indicadores de de-
sempenho em termos de relato voluntário. A autora também constatou que não existe uma di-
ferença substancial entre o ID dos indicadores de desempenho e o ID dos indicadores econó-
mico-financeiros, sendo que, neste último, o nível de divulgação é ligeiramente superior, de-
vendo-se à obrigatoriedade deste tipo de informação no relato obrigatório, uma vez que, o
POCE refere que estes indicadores devem fazer parte integrante do conteúdo do relatório de
gestão.
Sendo o foco principal os indicadores de desempenho e a accountability, autores como
(Arnaboldi & Azzone, 2010; Lewis et al., 2007; Maingot & Zeghal, 2008; Sandiford &
Montoya, 2005; Watts, McNair, & Baard, 2010), tendo por base objetos de estudo, objetivos,
questões/hipóteses, teorias e metodologias diferentes, também realizaram estudos empíricos
no âmbito das universidades.
Arnaboldi e Azzone (2010), concluíram que durante o processo de implementação de medidas
de desempenho no setor público se destacaram dois elementos fundamentais: o papel das con-
trovérsias e o surgimento de diferentes e importantes abordagens dos diversos intervenientes.
Por outro lado, Lewis et al. (2007) concluíram que a identificação de indicadores é importante
para determinar, avaliar ou informar acerca dos principais objetivos e resultados alcançados,
podendo assim contribuir para a tomada de decisão dos diversos interessados (pais, alunos,
governo e ministério da educação).
Os resultados obtidos por Maingot e Zeghal (2008) sugerem que o nível de divulgação volun-
tária dos indicadores de desempenho é afetado positivamente pela dimensão, missão e objeti-
vos das universidades. Os autores concluíram ainda que existe grande variação na quantidade
de indicadores divulgados na Europa, América do Norte, Austrália, Nova Zelândia e outros
países.
O estudo realizado por Sandinford e Montoya (2005), permitiu concluir que indicadores inti-
mamente relacionados com a missão tradicional de escolas superiores públicas apresentam
um maior nível de cumprimento por parte do corpo docente em detrimento dos indicadores
mais orientados para as prioridades do Estado.
Finalmente, Watts, Mcnair e Baard (2010) concluíram que os indicadores de desempenho
foram adotados: como um gesto simbólico para satisfazer a necessidade de legitimidade veri-
ficada externamente e para demonstrar a accountability às diversas partes interessadas através
da publicação do relatório anual das universidades australianas.
3 Divulgação de Indicadores de Desempenho
A accountability e a divulgação dos indicadores de desempenho: (1) quantitativos (inputs,
outputs) e qualitativos (process, outcomes) (Chalmers, 2008; Lewis et al., 2007); (2) qualida-
de dos estudantes e seu desempenho; qualidade da investigação; (3) nível de recursos destina-
dos ao ensino e à investigação e relativos a práticas relacionadas com a governação e a gestão
(Tavenas, 2003); (4) indicadores orientados para os resultados e indicadores orientados para a
implementação (Kaufman, 1988), têm vindo a afirmar-se como pontos essenciais na prosse-
cução dos objetivos das UPP.
Identificamos um único estudo elaborado em Portugal, no âmbito das instituições de ensino
superior (IES), que retrata a realidade dos IPP, justificando-se assim um estudo dirigido às
UPP, com o objetivo de verificar se estas instituições divulgam indicadores de desempenho
no seu relatório de gestão. A obrigatoriedade da sua divulgação é estipulada no artigo 4.º da
Lei n.º 37/2003 de 22 de agosto5 de modo a que as instituições possam obter o financiamento
por parte do Estado.
O estudo realizado em Portugal, relativamente aos IPP, identificou uma divulgação dos indi-
cadores de desempenho de caráter obrigatório bastante reduzida e uma escassa divulgação de
indicadores económico-financeiros sendo, no entanto, o ID destes indicadores superior ao ID
de desempenho.
Relativamente à divulgação de indicadores de desempenho por parte das UPP podem ser co-
locadas as seguintes questões:
1. as UPP divulgam os indicadores de desempenho impostos por lei?
2. as UPP divulgam informação sobre o desempenho para além do que é obrigatório (di-
vulgação voluntária)?
3. existindo diferentes níveis de divulgação, quais os fatores que poderão influenciar esse
nível de divulgação das UPP?
Para responder às questões 1 e 2 foi construído um ID que inclui quarenta e dois indicadores
de divulgação obrigatória e três indicadores de divulgação voluntária, ver tabela 2. Para res-
ponder à questão 3 foram colocadas hipóteses relativamente à dimensão, ao financiamento, ao
ranking e ao preenchimento de vagas associado a cada uma das UPP analisadas.
5 Estabelece a Lei de Bases do Financiamento do Ensino Superior (LBFES).
3.1 Dimensão
De acordo com os estudos efetuados por Jacinto (2012) e Maingot e Zeghal (2008), entende-
mos que a variável dimensão pode influenciar o nível de divulgação dos indicadores de de-
sempenho nas UPP. Em ambos os estudos a variável dimensão foi medida em função do nú-
mero de estudantes matriculados em cada universidade, pelo que, neste trabalho, seguimos o
mesmo critério, colocando-se a seguinte hipótese:
H1 – A dimensão da universidade influencia positivamente o nível de divulgação dos indica-
dores de desempenho.
3.2 Financiamento
O financiamento do ensino superior em Portugal tem por base a fórmula que consta do artigo
4.º da Lei n.º 37/2003 de 22 de agosto. A Lei n.º 62/2007 de 10 de setembro, estabelece o re-
gime jurídico das IES, regulando, designadamente, a sua constituição, as atribuições e organi-
zação, o funcionamento e a competência dos seus órgãos, e, ainda tutela a fiscalização pública
do Estado. Nos termos do n.º 1 do art.º 11 da Lei n.º 62/2007 de 10 de setembro, que estabele-
ce a autonomia das IES, “As IES públicas gozam de autonomia estatutária, pedagógica, cien-
tífica, cultural, administrativa, financeira, patrimonial e disciplinar face ao Estado, com a dife-
renciação adequada à sua natureza”.
Juridicamente as UPP são organismos com autonomia administrativa e financeira, provindo o
seu financiamento, maioritariamente, das transferências do orçamento de Estado. Todavia,
nos últimos anos, este contributo sofreu cortes rigorosos, levando a que, devido ao seu estatu-
to, as UPP procurem financiar a sua atividade através do recurso a receitas próprias proveni-
entes de propinas e verbas de projetos de investigação, entre outras fontes de financiamento.
Assim, cada vez mais se torna necessário justificar se o financiamento prestado às UPP tem o
retorno desejável, colocando-se as seguintes hipóteses:
H2 – O nível de financiamento proveniente do orçamento de Estado influencia positivamente
o nível de divulgação dos indicadores de desempenho.
H3 – O nível de financiamento proveniente de outras fontes de financiamento influencia posi-
tivamente o nível de divulgação dos indicadores de desempenho.
3.3 Ranking
Ao longo das últimas duas décadas tem-se intensificado a elaboração de rankings das IES.
Estes rankings baseiam-se num conjunto de medidas relacionadas com indicadores de desem-
penho associados à qualidade da educação tais como a seletividade do corpo discente ou clas-
sificações de prestígio (Guarino, Ridgeway, Chun, & Buddin, 2005).
Na revisão da literatura não encontramos qualquer referência bibliográfica que testasse esta
variável. Contudo, a elaboração dos rankings pelos mais diversos organismos tem por base,
de entre os vários critérios de avaliação das universidades, os indicadores de desempenho,
sendo utilizado pelas universidades como um elemento fundamental na captação de estudan-
tes e de docentes com elevadas competências (Maingot & Zeghal, 2008). Pode então, colocar-
se a seguinte hipótese:
H4 – O facto de uma UPP constar num ranking influencia positivamente a divulgação de um
maior número de indicadores de desempenho.
3.4 Percentagem de vagas preenchidas
Apesar da inexistência de estudos que testem o impacto desta variável no nível de divulgação
de indicadores de desempenho, entendemos que, na conjuntura atual em que existe competi-
ção entre as universidades por forma a captar o maior número de alunos possível, a percenta-
gem de preenchimento das vagas numa dada UPP pode ser um indicador da sua qualidade e
assim potenciar (ou não) a procura por parte dos estudantes, potenciando (ou não), igualmen-
te, a divulgação de indicadores de desempenho. Deste modo, formulamos a seguinte hipótese:
H5 – A percentagem de vagas preenchidas influencia positivamente a divulgação de um maior
número de indicadores de desempenho.
3.5 Amostra
A nossa amostra é constituída por todas as UPP. Em cada um dos sites das UPP foi verificada
a existência, ou não, de informação disponível relativa aos exercícios económicos de 2010,
2011, 2012 e 2013. Não foi possível encontrar informação para todas as UPP, estando resu-
mido na tabela 1 o resultado desta análise.
Tabela 1 – Resumo da análise aos sites das Universidades Públicas Portuguesas
Ensino Superior Público Universitário Sites Relatório de contas/gestão/consolidado ou
Relatório de atividades 2010 2011 2012 2013
Universidade Aberta URL: www.univ-ab.pt X6 X X X Universidade dos Açores URL: www.uac.pt O7 O O O Universidade do Algarve URL: www.ualg.pt X X X O Universidade de Aveiro URL: www.ua.pt X X X X Universidade da Beira Interior URL: www.ubi.pt O X O O Universidade de Coimbra URL: www.uc.pt X X X X Universidade de Évora URL: www.uevora.pt X X X X Universidade de Lisboa URL: www.ulisboa.pt O O O X Universidade da Madeira URL: www.uma.pt X X X O Universidade do Minho URL: www.uminho.pt X X X X Universidade Nova de Lisboa URL: www.unl.pt X X X X Universidade do Porto URL: www.up.pt X X X X Universidade de Trás-os-Montes e Alto Douro URL: www.utad.pt X X X X
Tendo em consideração a informação da tabela 1, a amostra é constituída pelas seguintes uni-
versidades (10) e número de observações (38): Universidade Aberta – 4 observações; Univer-
sidade do Algarve – 3 observações; Universidade de Aveiro – 4 observações; Universidade de
Coimbra – 4 observações; Universidade de Évora – 4 observações; Universidade da Madeira
– 3 observações; Universidade do Minho – 4 observações; Universidade Nova de Lisboa – 4
observações; Universidade do Porto – 4 observações; e Universidade de Trás-os-Montes e
Alto Douro – 4 observações.
3.5.1 Índice de divulgação
Seguindo o artigo 4.º da Lei n.º 37/2003 de 22 de agosto e alguns estudos, designadamente:
Chalmers (2008); Jacinto (2012); Maingot e Zeghal (2008) e Tavenas (2003), foi elaborado
um ID baseado nos indicadores constantes da tabela 2. O cálculo do ID foi levado a cabo com
base na metodologia seguida por Tooley e Guthrie (2004) e visa determinar a abrangência da
divulgação de informação de desempenho. A recolha de informação com vista ao cálculo do
ID foi efetuada com recurso à análise dos relatórios de gestão/atividades das UPP, sendo a
variável ID calculada de acordo com a seguinte fórmula (1).
IDit =
jitj=0
1
∑
N
Em que:
IDit - índice de divulgação de indicadores de desempenho de uma universidade i, no momento t.
jit - valor atribuído a cada item incluído no ID para uma universidade i, no momento t.
N – número de indicadores de desempenho que compõem o ID.
6 “X” está disponível o relatório de gestão e/ou o relatório de atividades onde se podem consultar os indicadores de desempenho divulgados. 7 “O” não está disponível o(s) relatório(s) referido(s).
Tabela 2 – Indicadores de desempenho
Indicadores Obrigatórios a relação padrão pessoal docente/estudante
número de pessoal docente número de estudantes
a relação padrão pessoal docente/pessoal não docente número de pessoal docente número de pessoal não docente
incentivos à qualificação do pessoal docente e não docente disponibilização de novas tecnologias ações de mobilidade formação master-classes conferências colóquio/fórum/congresso
os indicadores de qualidade do pessoal docente de cada instituição docentes com doutoramento avaliação do desempenho docente
ensino inquérito resultados obtidos pelos estudantes
cargos de gestão investigação
publicações por docente revistas/artigos livros capítulos de livros
criação cultural os indicadores de eficiência pedagógica dos cursos
número de departamento número de cursos % diplomados taxa de colocação taxa de retenção taxa de aprovação taxa de emprego
os indicadores de eficiência científica dos cursos de mestrado e doutoramento número de mestrandos número de doutorados
os indicadores de eficiência de gestão das instituições liquidez
liquidez geral liquidez imediata estrutura financeira
endividamento autonomia financeira solvabilidade
rentabilidade rentabilidade do Ativo Líquido rentabilidade dos Capitais Próprios
a classificação de mérito resultante da avaliação do curso/instituição prestígio/média curso custo por aluno taxa de sucesso escolar
a estrutura orçamental, traduzida na relação entre despesas de pessoal e outras despesas de funcionamento custos com pessoal outros fornecimentos e serviços externos
a classificação de mérito das unidades de investigação número de publicações por docente número de publicações totais
Indicadores voluntários Localização geográfica Patentes Ranking
3.5.2 Dimensão
A variável dimensão, seguindo de perto os estudos de Jacinto (2012) e de Maingot e Zeghal
(2008) consiste no número de alunos a frequentar cada UPP em cada ano de cada um dos ci-
clos de estudo. Estes dados foram obtidos nos relatórios de gestão e/ou atividades.
3.5.3 Financiamento
O cálculo desta variável tem por base as verbas provenientes do Orçamento Geral do Estado e
de outras fontes de financiamento, tais como propinas, taxas diversas, juros, vendas de bens e
de prestação de serviços e outras receitas próprias. Estes dados foram obtidos nos relatórios
de gestão e/ou de atividades.
3.5.4 Ranking
A informação sobre esta variável foi obtida através de dois websites. Optamos por recorrer a
estes dois websites pelo facto de ambos considerarem as IES a nível mundial e divergirem na
metodologia para classificação das universidades. No ranking web of universities8, a classifi-
cação das IES baseia-se na presença e no impacto da visibilidade web, enquanto que, no ran-
king times higher education9, é avaliada a qualidade das IES tomando como indicadores a
qualidade do ensino, da investigação, da transferência de conhecimento e da internacionaliza-
ção, com base nas opiniões dos estudantes, académicos, responsáveis universitários, mundo
empresarial e governo.
A variável ranking é dicotómica e toma o valor 1 se se verificar que dada universidade está
nas primeiras 500, caso contrário atribui-se o valor 0 (Haniffa & Cooke, 2005).
3.5.5 Número de vagas preenchidas
O número de vagas preenchidas foi obtido dos relatórios de gestão e/ou atividades das UPP,
porém, dado existirem algumas universidades que não divulgam esta informação nos relató-
rios de gestão e/ou atividades, recorremos ao site da Direção Geral do Ensino Superior10 e ao
site da Direção-Geral de Estatísticas da Educação e Ciência11.
8 http://www.webometrics.info/en/Previous_editions 9 http://www.timeshighereducation.co.uk/world-university-rankings/ 10 http://www.dges.mctes.pt/DGES/pt 11 http://www.dgeec.mec.pt/np4/home
3.6 Modelo de regressão múltipla
Para testar as hipóteses, colocadas nas subsecções 3.3.1, 3.3.2, 3.3.3 e 3.3.4, utilizámos um
modelo de regressão múltipla que permite determinar a força de cada uma das variáveis inde-
pendentes na explicação do comportamento da variável dependente, ou seja, do ID. Os auto-
res (Gordon, Fisher, Malone, & Tower, 2002; Maingot & Zeghal, 2008; Sandiford &
Montoya, 2005) utilizaram a mesma metodologia nos estudos desenvolvidos. De forma simi-
lar, para testar as hipóteses, vamos utilizar o modelo de regressão cross-section por mínimos
quadrados assim definido:
itititititititit VPRKYRKWFOFFOEDimID εββββββα +++++++= 654321
Em que:
IDit – índice de divulgação de indicadores de desempenho – calculado conforme fórmula (1);
α – constante;
Dimit – dimensão – número de alunos da universidade i, no momento t;
FOEit – financiamento obtido através do orçamento de Estado da universidade, i no momento t;
FOFit – financiamento obtido através de outras fontes de financiamento da universidade i, no momento t;
RKWit – posição do Ranking web of universities da universidade i, no momento t;
RKYit – posição do Ranking thimes higher education da universidade i, no momento t;
VPit – vagas preenchidas da universidade i, no momento t;
ε - resíduos.
Um maior número de estudantes poderá significar que a instituição esteja associada a um me-
lhor nível de divulgação de informação. Espera-se assim que a variável Dimit apresente um
sinal positivo. Espera-se igualmente que a variável FOEit apresente sinal positivo, pois uma
maior atribuição de verbas poderá significar uma maior divulgação de indicadores de desem-
penho e, consequentemente, elevar os níveis de accountability nas UPP. A situação económi-
ca do país faz com que, cada vez mais, as UPP procurem outros meios de financiamento, por
isso espera-se um sinal positivo para a variável FOFit.
Os rankings são importantes uma vez que se fundamentam em determinados critérios para
classificar as instituições. Assim se uma UPP está entre as melhores do mundo poderá signifi-
car uma maior divulgação de indicadores de desempenho pelo que se espera sinal positivo
para as variáveis RKWit e RKYit. O mesmo se espera para a variável VPit.
A análise, baseada no modelo de regressão, foi efetuada com recurso ao programa Gretl.
4 Apresentação e Análise dos Resultados
Nos gráficos 1, 2, 3, e 4, estão resumidos os resultados do cálculo do ID com o objetivo de
responder à questão 1 - as UPP divulgam os indicadores de desempenho impostos por lei? e à
questão 2 - as UPP divulgam informação sobre o desempenho para além do que é obrigatório
(divulgação voluntária)?
Relativamente ao ID de indicadores de desempenho, ao serem analisados os gráficos 1 (ano
de 2010) e 2 (ano de 2011), verifica-se que a Universidade do Minho é aquela que apresenta,
em ambos os anos, um maior nível de divulgação - 80,00%.
Gráfico 1 – Índice de divulgação de indicadores de desempenho para o ano 2010
Para os mesmos anos, a Universidade da Madeira é aquela que apresenta um menor nível de
divulgação - 35,56% e 37,78%. Os gráficos 1 e 2 refletem que, no geral, as UPP divulgaram
para os anos 2010 e 2011 um número considerável de indicadores de desempenho impostos
por lei.
Gráfico 2 – Índice de divulgação de indicadores de desempenho para o ano 2011
Através do gráfico 3, podemos verificar que em 2012 a Universidade de Coimbra e a Univer-
sidade de Évora são as que apresentam um maior nível de divulgação, ambas com 71,11%.
Ao contrário do verificado para os anos 2010 e 2011, em 2012 quase todas as UPP apresen-
tam um ID superior a 50%, com a exceção da Universidade da Madeira e da Universidade do
Algarve com 35,56% e 40% respetivamente. A Universidade da Madeira mantém o registo da
UPP que menos divulga indicadores de desempenho.
Gráfico 3 – Índice de divulgação de indicadores de desempenho para o ano 2012
No ano 2013, conforme gráfico 4, a Universidade que mais divulga é a Universidade do Mi-
nho, apresentando, novamente um nível de divulgação de 80,00%. A Universidade que apre-
senta um menor nível de divulgação é a Universidade de Aveiro com 53,33%. Verifica-se pe-
la análise gráfica que a percentagem de divulgação se situa acima dos 50% para todas as uni-
versidades e que esta percentagem tem um comportamento crescente ao longo dos anos em
estudo.
Gráfico 4 – Índice de divulgação de indicadores de desempenho para o ano 2013
Numa perspetiva global, podemos concluir, analisando o gráfico 5, que de um total de 42 in-
dicadores referentes à divulgação de informação de desempenho de carácter obrigatório e de 3
indicadores referentes à divulgação de informação de desempenho de caráter voluntário, para
o período compreendido entre 2010 e 2013, que as universidades que mais divulgam são: em
primeiro lugar a Universidade do Minho, na segunda posição encontra-se a Universidade No-
va de Lisboa e na terceira posição a Universidade de Coimbra.
Em quarto lugar estão a Universidade do Porto e a Universidade de Évora. A universidade
Aberta e a Universidade de Trás-os-Montes e Alto Douro encontram-se mais ou menos a par,
seguidas da Universidade de Aveiro.
Gráfico 5 – Índice de divulgação de indicadores de desempenho para os anos 2010, 2011, 2012 e 2013
Face aos resultados apresentados podemos concluir, relativamente à primeira questão de in-
vestigação, que as UPP divulgam, apesar de em percentagens diferentes, indicadores de de-
sempenho impostos por lei. Podemos igualmente concluir, relativamente à segunda questão
de investigação, que as UPP divulgam alguns indicadores de desempenho de caráter voluntá-
rio.
No gráfico 6 é apresentada a variação do número de estudantes entre 2010 e 2013. Podemos
verificar que entre 2010 e 2011, esse número cresce, com exceção da Universidade Aberta e
da Universidade de Évora onde se verificou um ligeiro decréscimo.
No entanto, entre 2011 e 2012 verificou-se um decréscimo considerável no número total de
estudantes a frequentar as UPP. Esta tendência manteve-se para o ano 2013, onde só se verifi-
ca uma ligeira subida na Universidades do Minho e na Universidade Nova de Lisboa.
Gráfico 6 – Dimensão das UPP para os anos 2010, 2011, 2012 e 2013
De acordo com o gráfico 7 o financiamento obtido pelas UPP através do Orçamento Geral do
Estado sofreu um grande decréscimo de 2010 para 2011, sendo a Universidade Aberta, a Uni-
versidade de Évora e a Universidade do Minho as que menos sentiram esse impacto. De 2011
para 2012 o decréscimo manteve-se, no entanto as que menos notaram a contração das trans-
ferências do Orçamento Geral do Estado foram a Universidade do Algarve e a Universidade
da Madeira. Notou-se um ligeiro aumento nas verbas atribuídas à Universidade Aberta. De
2012 para 2013 verificou-se um aumento das verbas transferidas pelo Estado para as UPP
aumentaram, sendo a universidade do Minho a única exceção.
Gráfico 7 – Financiamento por parte do orçamento de Estado per/capita
No gráfico 8 pode ser vista a evolução das transferências obtidas através de outras fontes de
financiamento, que não as do Orçamento Geral do Estado.
Como era de esperar, uma vez que houve uma redução nas transferências do Orçamento Geral
de Estado, as UPP muniram-se de outras ferramentas para conseguirem fazer face aos seus
compromissos, refletindo-se no comportamento ascendente da obtenção de outras receitas.
Gráfico 8 – Financiamento de outras fontes de financiamento per/capita
Ainda de acordo com o gráfico 8, verificamos que entre 2010 e 2011 existiu uma redução das
verbas obtidas através de outras fontes de financiamento verificadas na Universidade do Al-
garve, na Universidade de Coimbra, na Universidade da Madeira, na Universidade do Minho
e na Universidade Aberta, nesta última a redução foi tão insignificante que nem chega a ser
percetível graficamente. Entretanto, a Universidade de Aveiro, a Universidade de Évora, a
Universidade Nova de Lisboa, a Universidade do Porto e a Universidade de Trás-os-Montes e
Alto Douro captaram maiores receitas. Entre 2011 e 2012 a tendência de aumento de outras
fontes de financiamento manteve-se com exceção da Universidades de Trás-os-Montes e Alto
Douro em que se verificou um ligeiro decréscimo. De 2012 para 2013 verificou-se um de-
créscimo na Universidade Aberta, na Universidade de Aveiro e na Universidade do Porto e
um aumento as Universidade de Coimbra, na Universidade de Évora, na Universidade do Mi-
nho, na Universidade Nova de Lisboa e na Universidade de Trás-os-Montes e Alto Douro.
Com vista a identificar se as variáveis independentes influenciam a variável dependente (ID
de indicadores de desempenho) foi utilizado o modelo de regressão múltipla descrito na seção
3.6. Na análise, conforme tabela 3, foram considerados sete modelos. No modelo A foram
consideradas todas as variáveis independentes tal como descrito na secção 3.6. Nos modelos
B, C, D, E, F e G de modo a analisar o impacto que cada variável apresenta isoladamente para
a explicação do Idit foram consideradas, respetivamente, a variável dimensão - Dimit; a variá-
vel financiamento obtido através do orçamento de Estado - FOEit; a variável financiamento
obtido através de outras fontes de financiamento - FOFit; a variável posição do ranking web of
universities - RKWit; a variável posição do ranking thimes higher education - RKYit; e a variá-
vel vagas preenchidas - VPit.
Tabela 3 – Resultados do modelo de regressão múltipla
Variáveis inde-pendentes
Sinal esperado
Modelo A Modelo B Modelo C Modelo D Modelo E Modelo F Modelo G
Coeficiente Coeficiente Coeficiente Coeficiente Coeficiente Coeficiente Coeficiente
(t-statistic) (t-statistic) (t-statistic) (t-statistic) (t-statistic) (t-statistic) (t-statistic)
Const 2,566 12,948 7,719 9,462 22,898 23,369 2,477
(0,016)**12 (0,000)***13 (0,000)*** (0,000)*** (0,000)*** (0,000)*** (0,019)**
Dimit + 0,471 3,233
(0,642) (0,003)***
FOEit + 0,926
-0,249
(0,363) (0,805)
FOFit + 0,225
1,778
(0,823) (0,084)*14
RKWit + 2,471
4,159
(0,020)** (0,000)***
RKYit + -0,594
0,905
(0,558) (0,371)
VPit + -1,149
0,269
(0,261) (0,789)
R2 ajustado 0,271 0,203 -0,026 0,055 0,306 -0,005 -0,029
Estatística F 3,042
Na tabela 3 apresentam-se os resultados da análise à regressão múltipla com base no método
dos mínimos quadrados (MMQ).
Para o modelo A o coeficiente de determinação R2 ajustado é de 27,10%, o que significa que
a variação ocorrida nas variáveis incluídas na estimação deste modelo apenas explica em
27,10% as variações ocorridas no ID de indicadores de desempenho. Os resultados obtidos
para o modelo A também indicam que apenas a variável RKWit é estatisticamente significativa
com um nível de confiança de 5%, sendo ainda a que tem maior contribuição individual
(2,471) para a explicação da variação da variável ID.
Os resultados do modelo B indicam que a variável Dimit, apresenta o sinal positivo, conforme
era esperado, e um nível de significância estatística de 1%, existindo assim uma boa correla-
ção com a variável ID. Assim, quanto maior for a dimensão de uma UPP maior será o seu ID
de indicadores de desempenho, ou seja, a dimensão influencia, positivamente, o ID de indica-
12 ** Nível de significância de 5% 13 *** Nível de significância de 1% 14 * Nível de significância de 10%
dores de desempenho das UPP. Estes resultados vão de encontro aos dos obtidos nos estudos
por Jacinto (2012) e de Maingot e Zeghal (2008). O modelo B explica em 20,30% as varia-
ções ocorridas na variável dependente.
Os do modelo D indicam qua a variável FOFit apresenta o sinal esperado e um nível de signi-
ficância estatística de 10%. O modelo D explica em 5,50% as variações ocorridas na variável
dependente.
Os resultados do modelo E mostram que a variável independente RKWit é estatisticamente
significativa ao nível de 1%, e apresenta um poder explicativo das variações ocorridas no ID
de 30,60%, continuando a ser a variável que maior poder explicativo tem, quer em conjunto
com todas as variáveis, quer isoladamente. Os resultados para as variáveis FOEit; RKYit e VPit
mostram que estas não têm qualquer poder explicativo.
Assim, os resultados obtidos permitem corroborar a hipótese H1 – a dimensão da universidade
influencia positivamente o nível de divulgação dos indicadores de desempenho – dado que a
variável dimensão, no modelo B, apresenta um nível de significância de 1% e sinal positivo.
Quanto à variável financiamento proveniente do orçamento de Estado não foi verificado ne-
nhum nível de significância, ao contrário do esperado, foi verificada uma associação negativa
entre esta variável e o ID. Assim, a hipótese H2 – o nível de financiamento proveniente do
orçamento de Estado influencia positivamente o nível de divulgação dos indicadores de de-
sempenho – não é corroborada.
De acordo com o modelo D o ID de indicadores de desempenho é influenciado pela variável
financiamento proveniente de outras fontes de financiamento, uma vez que esta variável apre-
senta um nível de significância estatística de 10% e o sinal positivo, conforme esperado. As-
sim a hipótese H3 – o nível de financiamento proveniente de outras fontes de financiamento
influencia positivamente o nível de divulgação dos indicadores de desempenho - é corrobora-
da.
Considerando os resultados dos modelos A, E e F, sendo eles contraditórios, podemos con-
cluir que nem todos os rankings influenciam a divulgação de indicadores de desempenho e,
por essa razão, não corroboramos a hipótese H4 – o facto de uma UPP constar num ranking
influencia positivamente a divulgação de um maior número de indicadores de desempenho.
Atendendo aos resultados obtidos para os modelos A e G não é possível corroborar a hipótese
H5 – a percentagem de vagas preenchidas influencia positivamente a divulgação de um maior
número de indicadores de desempenho.
A resposta à questão de investigação 3 – existindo diferentes níveis de divulgação, quais os
fatores que poderão influenciar esse nível de divulgação das UPP? é respondida após análise
dos resultados obtidos pelo modelo de regressão múltipla, ou seja, concluímos que os fatores
que influenciam o nível de divulgação dos indicadores de desempenho nas UPP são: a dimen-
são, o financiamento proveniente de outras fontes de financiamento, o ranking web of univer-
sities.
5 Conclusões e Trabalho Futuro
A finalidade deste estudo consistiu em verificar quais os fatores que influenciam a divulgação
dos indicadores de desempenho pelas UPP no relatório de gestão. O contributo da revisão da
literatura foi fundamental, uma vez que permitiu uma maior perceção sobre a importância dos
indicadores de desempenho para as UPP e para os diversos stakeholders, bem como permitiu
desenhar o modelo para estudar os fatores que têm influência na divulgação desses indicado-
res por parte das referidas IES. A análise de conteúdos e a formulação do modelo referenciado
na seção 3.6 permitiu assim, responder hipóteses colocadas nas seções 3.1, 3.2, 3.3 e 3.4.
Podemos verificar que nem todas as UPP disponibilizam nos seus sites o relatório de gestão
e/ou de atividades, não sendo possível a análise de todas as UPP nos anos 2010, 2011, 2012 e
2013. Apesar de não se ter verificado a divulgação de todos os indicadores de desempenho
obrigatórios nos relatórios de gestão e/ou de atividades das UPP, constatou-se, em termos ge-
rais, uma divulgação considerável dos mesmos (apesar de em percentagens diferentes), bem
como, a divulgação de alguns indicadores de caráter voluntário.
A análise com recurso à regressão múltipla permite corroborar as hipóteses H1 e H3. Assim
constatou-se que as variáveis dimensão e nível de financiamento proveniente de outras fontes
de financiamento influenciam, positivamente, a divulgação dos indicadores de desempenho
nos relatórios de gestão e/ou de atividades. Apesar de não ter sido corroborada a hipótese H4,
a variável ranking web of universities também influencia, positivamente, a divulgação de in-
dicadores de desempenho.
Face ao descrito, podemos ainda concluir que, o facto das UPP divulgarem os seus indicado-
res de desempenho contribui para uma maior transparência da gestão das universidades públi-
cas portuguesas e, consequentemente, para uma maior accountability.
Sugerimos como trabalho futuro que sejam estudadas outras variáveis que poderão influenciar
o nível de divulgação de indicadores de desempenho, designadamente, a escolaridade dos res-
ponsáveis pela preparação da informação financeira divulgada nos relatórios de gestão e/ou de
outras atividades das UPP. Sugere-se ainda expandir a lista de indicadores de desempenho a
analisar, dando maior relevo aos indicadores voluntários.
Referências
Álvarez, J. L. (2002). Un sistema de Indicadores de Gestión para los Ayuntamientos. AECA. Armstrong, A. (1998). A Comparative Analysis : New Public Management - The Way Ahead ? Australian Jour-
nal of Public Administration, 57(2), pp. 12–24. http://doi.org/10.1111/j.1467-8500.1998.tb01379.x Armstrong, E. (2005). Integrity, transparency and accountability in public administration: Recent trends, regional
and international developments and emerging issues. Economic & Social Affairs. United Nations. Arnaboldi, M., & Azzone, G. (2010). Constructing performance measurement in the public sector. Critical Per-
spectives on Accounting, 21(4), pp. 266–282. http://doi.org/10.1016/j.cpa.2010.01.016 Azma, F. (2010). Qualitative Indicators for the evaluation of universities performance. Procedia - Social and
Behavioral Sciences, 2(2), pp. 5408–5411. http://doi.org/10.1016/j.sbspro.2010.03.882 Bovens, M. (2010). Two Concepts of Accountability: Accountability as a Virtue and as a Mechanism. West Eu-
ropean Politics, 33(5), pp. 946–967. http://doi.org/10.1080/01402382.2010.486119 Burke, J. C. (1998). Performance Funding Indicators : Concerns, Values, and Models for State Colleges and
Universities. New Directions for Institutional Research, 1998(97), pp. 49–60. http://doi.org/10.1002/ir.9704
Chalmers, D. (2008). Teaching and Learning Quality Indicators in Australian Universities. Presented at the IM-HE 2008 General Conference, Paris, France.
Connolly, C., & Hyndman, N. (2004). Performance reporting: a comparative study of British and Irish charities. The British Accounting Review, 36(2), pp. 127–154. http://doi.org/10.1016/j.bar.2003.10.004
Dunleavy, P., Margetts, H., Bastow, S., & Tinkler, J. (2005). New Public Management Is Dead - Long Live Dig-ital-Era Governance, 16(3), pp. 467–494. http://doi.org/doi: 10.1093/jopart/mui057
Gordon, T., Fisher, M., Malone, D., & Tower, G. (2002). A comparative empirical examination of extent of dis-closure by private and public colleges and universities in the United States. Journal of Accounting and Public Policy, 21(3), pp. 235–275. http://doi.org/10.1016/S0278-4254(02)00051-0
Grateron, I. R. G. (1999). Auditoria de Gestão : Utilização de Indicadores de Gestão no Setor Público. Caderno de Estudos, (21), pp. 01–18.
Guarino, C., Ridgeway, G., Chun, M., & Buddin, R. (2005). Latent Variable Analysis: A New Approach to Uni-versity Ranking. Higher Education in Europe, 30(2), pp. 147–165. http://doi.org/10.1080/03797720500260033
Guthrie, J., & Neumann, R. (2007). Economic and non-financial performance indicators in universities. Public Management Review, 9(2), pp. 231–252. http://doi.org/10.1080/14719030701340390
Haniffa, R. M., & Cooke, T. E. (2005). The impact of culture and governance on corporate social reporting. Journal of Accounting and Public Policy, 24(5), pp. 391–430. http://doi.org/10.1016/j.jaccpubpol.2005.06.001
Hood, C. (1991). A Public Management for All Seasons? Public Administration & Management, 69(1), pp. 3–19. http://doi.org/10.1111/j.1467-9299.1991.tb00779.x
Huisman, J., & Currie, J. (2004). Accountability in higher education: Bridge over troubled water? Higher Educa-tion, 48, pp. 529–551.
Jacinto, J. (2012). A importância do relatório de gestão na divulgação dos indicadores de desempenho: o caso dos institutos politécnicos portugueses (Mestrado). Instituto Politécnico de Leiria, Leiria.
Jensen, M. C., & Meckling, W. H. (1976). Theory of the firm: Managerial behavior, agency costs and ownership structure. Journal of Financial Economics, 3(4), pp. 305–360. http://doi.org/10.1016/0304-405X(76)90026-X
Katharaki, M., & Katharakis, G. (2010). A comparative assessment of Greek universities’ efficiency using quan-titative analysis. International Journal of Educational Research, 49(4-5), pp. 115–128. http://doi.org/10.1016/j.ijer.2010.11.001
Kaufman, R. (1988). Preparing Useful Performance Indicators. Training and Development Journal, 42(9), pp. 80–83.
Kroll, A., Proeler, I., & Siegel, J. (2010). Explaining the use of performance Information by public managers: The impact of external Pressure, capacity, and control. Presented at the International Research Society for Public Management (IRSPM) Conference, Berne, Switzerland.
Lewis, D. R., Hendel, D. D., & Kallsen, L. (2007). Performance Indicators as a Foundation of Institutional Au-tonomy: Implications for Higher Education Institutions in Europe. Tertiary Education and Manage-ment, 13(3), pp 203–226. http://doi.org/10.1080/13583880701502158
Maingot, M., & Zeghal, D. (2008). An Analysis of Voluntary Disclosure of Performance Indicators by Canadian Universities. Tertiary Education and Management, 14(4), pp. 269–283.
Mann, S. L. (2011). Using findings from the performance appraisal literature to inform the evaluation of students in higher education. Canadian Journal of Higher Education, 41(2).
Nedwek, B. P., & Neal, J. E. (1994). Performance indicators and rational management tools: A compatative as-sessment of projects in North America and Europe. Research in Higher Education, 35(1), pp. 75–103. http://doi.org/10.1007/BF02496663
Novo, Ó. (2013). Indicadores para entidades sin fines lucrativos: El caso de la Fundación Gas Natural Fenosa (Mestrado). Oviedo, Oviedo, Espanha. Retrieved from http://dspace.sheol.uniovi.es/dspace/bitstream/10651/17744/8/TFM%20Rodriguez%20Novo,%20Oscar.pdf
Osborne, S. P. (2006). The New Public Governance? Public Management Review, 8(3), pp. 377–387. http://doi.org/10.1080/14719030600853022
Peci, A., Pieranti, O. P., & Rodrigues, S. (2008). Governança e New Public Management: convergências e con-tradições no contexto brasileiro. Organizações E Sociedade, 15(46).
Pollitt, C., & Bouckaert, G. (2004). Public Management Reform: A Comparative Analysis. Oxford University Press.
Popova, V., & Sharpanskykh, A. (2010). Modeling organizational performance indicators. Information Systems, 35(4), pp. 505–527. http://doi.org/10.1016/j.is.2009.12.001
Rodrigues, M., & Araújo, J. (2005). A nova gestão pública na governação local. Presented at the 3.o Congresso Nacional de Administração Pública, Oeiras, Portugal.
Sandiford, J. R., & Montoya, R. (2005). Faculty Commitment to Performance Based Funding for Academic Pro-grams. Retrieved from http://files.eric.ed.gov/fulltext/ED491038.pdf
Sano, H., & Abrucio, F. L. (2008). Promessas e Resultados da Nova Gestão Pública no Brasil: o Caso das Orga-nizações Sociais de Saúde em São Paulo, 48(3).
Tavenas, F. (2003). Quality Assurance: a Reference System for Indicators and Evaluation Procedures. European University Association. Retrieved from http://www.eua.be/eua/jsp/en/upload/ELU_EN.1082042243703.pdf
Tooley, S., & Guthrie, J. (2004). Annual external reporting by New Zealand secondary schools: an assessment of accountability disclosures. Presented at the EIASM International Conference, Oslo.
Vasicek, V., Lutilsky, I. D., & Dragija, M. (2014). The Possibility of Development of Financial Indicators at Higher Education Institutions – Croatian. In Global Conference on Business & Finance Proceedings (Vol. 9, pp. pp. 118–124).
Wall, A., & Martin, G. (2003). The disclosure of key performance indicators in the public sector. Public Man-agement Review, 5(4), pp. 491–509. http://doi.org/10.1080/1471903032000178554
Watts, J., McNair, C. J., & Baard, V. (2010). From Inception to Inertia – An Institutional Perspective of a Public Accountability Measure. Australasian Accounting, Business and Finance Journal, 4(1), pp. 6–28.