1

Indicadores de Avaliação do Desempenho Portuário: Uma Análise a Partir da Literatura Científica

Autoria: Ademar Dutra, Vicente Mateo Ripoll-Feliu, Sandra Rolim Ensslin, Leonardo Ensslin,

Emma Teresa Castelló Taliani

RESUMO: Este artigo tem como objetivo proceder uma análise dos indicadores de desempenho portuário a partir da literatura científica. Trata-se de uma pesquisa exploratória, com abordagem qualitativa, envolvendo a coleta de dados primários e secundários. Como principais resultados destacam-se: (i) a maioria dos indicadores tem como foco a avaliação da eficiência dos portos em uma perspectiva operacional; (ii) a maioria dos indicadores não atendem plenamente as propriedades da Teoria da Mensuração; (iii) a percepção dos gestores quanto à contribuição dos indicadores para o desempenho portuário é convergente em termos da quantidade e divergente quanto ao tipo de indicador.

2

1. INTRODUÇÃO A avaliação de desempenho possui papel estratégico em todas as áreas de gestão de

negócios porque explica a trajetória das organizações, principalmente quanto e como estas têm alcançado seus objetivos, além de fornecer subsídios para o processo de tomada de decisão. Neste contexto, insere-se a indústria portuária permeada por crescente competição e constantes demandas dos clientes pela melhoria da qualidade dos serviços prestados (WOO; PETTIT; BERESFORD, 2011; LAM; VOORDEZ, 2011).

Brooks, Schellincky e Pallisz (2011) afirmam que o desempenho de um porto pode ser avaliado a partir de sua eficiência e eficácia enquanto dimensões complementares, já que a primeira deve enfatizar o desempenho na perspectiva da autoridade portuária e, a segunda, na perspectiva dos clientes e de todos os atores envolvidos no ambiente portuário. Independentemente das dimensões consideradas, Chou e Liang (2001) recomendam aos gestores a adoção de modelos de avaliação multicritério, contemplando dimensões objetivas e subjetivas do desempenho, por permitir uma visão mais abrangente do negócio e também servirem como referência para potenciais investidores, parceiros e clientes.

Um processo adequado e preciso de avaliação de desempenho de um porto não só ajuda a entender e melhorar seu marketing e posição competitiva, mas também fornece uma base clara e sólida para os formuladores de políticas de desenvolvimento local e regional (WU; YAN; LIU, 2009). Turner (2000) afirma que um porto deve ser visto como um sistema, ao invés de um conjunto de terminais e operadores independentes, tendo como foco o desempenho global do sistema, sempre reconhecendo a contribuição e a interdependência dos atores envolvidos no ambiente portuário.

A avaliação do desempenho portuário e sua evolução a médio e longo prazos (AL-ERAQI et al., 2008) requer capacidade de gestão; ou seja, competência para mobilizar os recursos e atores envolvidos na busca de melhorias contínuas enquanto processo sistemático, permeado em toda a organização, tendo como guia os objetivos estratégicos, desmembrados para os níveis tático e operacional. Isto requer metodologias de avaliação de desempenho, normalmente propostas por pesquisadores e incorporadas no cotidiano da gestão para apoiar e subsidiar o processo de tomada de decisão (LIU; XU; ZHAO, 2009; LAM; SONG, 2013).

A avaliação de desempenho deve ser entendida como um processo de gestão, sendo os indicadores o eixo central para fins de medição do desempenho. Para Tocchetto e Pereira (2004), os indicadores são medidas utilizadas para avaliar, mostrar a situação e as tendências das condições de um dado ambiente ou contexto. Van Bellen (2002) afirma que o objetivo principal dos indicadores é agregar e quantificar informações que evidenciem as características mais importantes de um contexto. Os indicadores organizam e simplificam as informações sobre fenômenos complexos tentando melhorar, com isso, o processo de comunicação e entendimento dos gestores e usuários de tais informações.

Neste contexto, o presente artigo tem como objetivo proceder uma análise dos indicadores de desempenho portuário a partir da literatura científica. Como objetivos específicos destacam-se: (i) selecionar um portfólio bibliográfico que evidencie os indicadores referenciados na literatura científica por meio do instrumento de intervenção ProKnow-C (Knowledge Development Process–Constructivist); (ii) sistematizar os indicadores propostos na literatura científica e analisar suas principais características; (iii) pesquisar junto aos gestores de um porto brasileiro e de um porto espanhol quais indicadores mais contribuem para o desempenho portuário.

A presente pesquisa justifica-se por sua contribuição à comunidade científica que estuda a avaliação de desempenho portuário, pois evidencia e analisa as contribuições da literatura científica referentes ao tema indicador de desempenho, confrontando-as com a percepção dos gestores portuários. Com isso, permite discutir se as contribuições dos

3

pesquisadores estão alinhadas com as necessidades dos gestores que atuam no ambiente portuário.

Este artigo, além desta seção que trata da introdução, está estruturado da seguinte forma: a seção 2 aborda o referencial teórico; a seção 3 apresenta a metodologia da pesquisa envolvendo seu enquadramento e a descrição do instrumento de intervenção; a seção 4 apresenta os resultados; após, na seção 5, apresentam-se as considerações finais e finaliza-se com o referencial bibliográfico utilizado no decorrer do estudo.

2. REFERENCIAL TEÓRICO

A literatura científica relacionada ao tema indicador de desempenho não apresenta convergência nas diferentes denominações e definições apresentadas pelos pesquisadores da área. O que pode ser percebido é o uso de diferentes definições, conforme as especificidades do contexto a que se destinam.

Grünberg (2004), a partir de uma visão genérica, apresenta os indicadores como os fatores que possuem alto impacto na performance global de uma organização. Franceschini et al. (2008), valem-se da Teoria da Representação para afirmar que o conceito de indicador de desempenho está estritamente relacionado à noção de representação alvo. A representação alvo é a operação que almeja tornar um sistema empírico, ou parte deste, tangível, de tal modo que permita avaliações, comparações, formular predições, tomar decisões, dentre outros. Assim, um indicador de desempenho é uma aplicação que, de acordo com a representação alvo, mapeia as manifestações empíricas nas correspondentes manifestações simbólicas.

Driva, Pawar e Menon (2000), em uma perspectiva de gestão, defendem que os indicadores são medidas internas que focam na comparação ou evidenciação de atividades, projetos, programas, processos para prever a dinâmica de operação e o alcance das metas estabelecidas. Seguindo este entendimento, Drongelen, Nixon e Pearson (2000) afirmam que os indicadores de desempenho são as variáveis que indicam a eficácia, efetividade e eficiência de um processo, sistema, ou parte de um sistema, comparado a um valor de referência. Neste sentido, Amaratunga e Baldry (2002) consideram que os indicadores são meios de propiciar a comparação do processo final com seu início, uma vez que as medidas de desempenho provêm a base para avaliar o quão bem se está progredindo para alcançar objetivos preestabelecidos.

Bourne et al. (2000) atestam que os indicadores de desempenho são as medidas que sustentam a estratégia organizacional. Da mesma forma, Tapinos, Dyson e Meadows (2005) consideram que são variáveis que permitem a constatação se o processo de planejamento estratégico suporta o alcance das metas organizacionais, é efetivo, eficiente e eficaz.

Cram e Shine (2004) inserem-se na perspectiva decisória ao tratar os indicadores de desempenho como mensurações feitas para prover os dirigentes com recursos que permitam apoiar a gestão e subsidiar o processo decisório. Já Leandri (2001) considera que os indicadores são instrumentos de mensuração que traduzem os julgamentos subjetivos em métricas precisas, as quais podem ser armazenadas e analisadas para que seja possível monitorar a alteração na performance desejada para a organização.

A European Environment Agency (2008) parte da premissa que os indicadores são instrumentos de medida, geralmente quantitativa, que podem ser usados para ilustrar e comunicar um conjunto de fenômenos complexos de forma mais simples, incluindo suas tendências e progressos. Adotando o mesmo entendimento, Bossel (1999) defende que os indicadores condensam a complexidade em quantidade manejável de informações significativas em um subgrupo de observações que auxiliam as decisões e direcionam as ações. Ensslin e Ensslin (2009) consideram que os indicadores de desempenho são instrumentos de gestão utilizados para medir as propriedades do contexto que, na perspectiva dos gestores (decisores), explicitam seus objetivos.

4

2.1 Tipos de Indicadores

Existem diferentes formas de classificar os indicadores de desempenho. As denominações apresentadas neste estudo não são exaustivas, mas se resumem àquelas utilizadas com maior frequência.

No que se refere à perspectiva temporal, os indicadores podem ser Lagging e Leading. Os indicadores Lagging, para Leandri (2001), medem o reflexo dos objetivos-chave no resultado final de um processo, e são usados para saber se os mesmos foram alcançados. Diferentemente, os indicadores Leading são aqueles utilizados para monitorar as atividades; ou seja, são instrumentos que, ao medir o alcance dos objetivos-chave, demonstram a evolução do trabalho (LEANDRI, 2001).

Theppitak (2004) e o Ministério da Defesa (2006) consideram que, por serem indicadores que avaliam se as ações e atividades conduzirão aos objetivos esperados, são denominados direcionadores do desempenho (drivers), que permitem avaliar a tendência e convergência das ações em relação aos resultados esperados.

Franceschini et al. (2008) utilizam outra forma para diferenciar os tipos de indicadores: objetivos (correlacionam objetivamente as manifestações empíricas com as simbólicas) e subjetivos (mapeiam manifestações empíricas em simbólicas dependentes de percepções pessoais).

De forma mais específica, Chiesa e Frattini (2007) indicam os seguintes tipos de indicadores: (i) quantitativos objetivos: utilizam métricas numéricas obtidas a partir de algoritmos, que produzem a mesma avaliação independentemente do responsável pela mensuração; (ii) quantitativos subjetivos: empregam métricas numéricas baseadas no julgamento pessoal de um especialista, cuja avaliação subjetiva é traduzida em pontuação numérica; e (iii) qualitativos subjetivos: são expressões de julgamentos pessoais.

Tangen (2003), Tapinos, Dyson e Meadows (2005) informam que os indicadores podem estar associados aos níveis decisórios de uma organização; ou seja, podem ser operacionais, táticos ou estratégicos, dependendo do tipo de processo ao qual a propriedade a ser mensurada esteja associada. Já Barclay (2002) agrupa os indicadores em internos (baseados em processos pertencentes a programas) e externos (baseados na organização como um todo e nos clientes).

2.2 Propriedades Intrínsecas dos Indicadores

A validade científica de um indicador de desempenho está condicionada ao atendimento de um conjunto de propriedades da Teoria da Mensuração (ENSSLIN; ENSSLIN, 2009). Este conjunto recebe a denominação de Propriedades Intrínsecas dos Indicadores de Desempenho, sendo que o atendimento às propriedades intrínsecas assegura não apenas o atendimento aos fundamentos científicos dos indicadores, mas, também, o alinhamento ao sistema de valores do decisor.

As propriedades intrínsecas dos indicadores são propostas por Keeney (1992); Ensslin e Ensslin (2009) com as seguintes denominações: mensurabilidade, operacionalidade, legitimidade, inteligibilidade (compreensibilidade) e homogeneidade. A seguir são descritas cada uma das propriedades. Mensurabilidade: Um critério é mensurável quando define o objetivo a ele associado por meio de indicadores, em mais detalhes do que é provido pelo objetivo sozinho. Para que isso ocorra, aos indicadores devem ser incorporados julgamentos de valor (KEENEY, 1992). Assim, um indicador que atende a propriedade da mensurabilidade é construído para quantificar claramente a performance, segundo o sistema de valores de um decisor (ENSSLIN; MONTIBELLER; NORONHA, 2001). Com isso, sua construção se dá em função do que o decisor deseja monitorar ou aperfeiçoar, e não por meio da associação pura do nome

5

do indicador à medida a ser realizada (ENSSLIN; ENSSLIN, 2009). Uma vez que a construção de um Indicador de Desempenho precisa ser baseada em julgamentos de valor, deve-se ter o cuidado de evitar o uso de conceitos qualitativos para definir seus níveis. O uso de níveis qualitativos, tais como fraco, bom, muito bom, e excelente resultam com frequência, em níveis mal definidos, acarretando ambiguidade para a alocação do desempenho nos níveis da escala (KEENEY, 1992; ENSSLIN; MONTIBELLER; NORONHA, 2001). Operacionalidade: A propriedade da operacionalidade indica que a mensuração descrita através do Indicador de Desempenho: (i) é fisicamente possível de realizar (ENSSLIN; ENSSLIN, 2009); (ii) fornece informações claramente definidas quanto à forma de coletar os dados e quais devem ser coletados (ENSSLIN; MONTIBELLER; NORONHA, 2001); (iii) possui uma relação custo/benefício julgada vantajosa pelo decisor (ENSSLIN; MONTIBELLER; NORONHA, 2001); (iv) existem, ou podem ser desenvolvidos, meios para realizá-la (ENSSLIN; ENSSLIN, 2009); (v) permite mensurar um determinado aspecto, independentemente de qualquer outro aspecto considerado, ou seja, o desempenho de uma ação potencial em um critério é associável a um único nível de impacto (ENSSLIN; MONTIBELLER; NORONHA, 2001). O atendimento à propriedade da operacionalidade torna o indicador de desempenho capacitado a fornecer uma base sólida para o desenvolvimento de discussões de performance baseadas nos julgamentos de valor dos decisores (KEENEY, 1992; ENSSLIN; MONTIBELLER; NORONHA, 2001). Legitimidade: A legitimidade é a propriedade que assegura que o indicador de desempenho utiliza os valores e preferências de decisores específicos para contextos igualmente específicos, e garante a participação ativa do decisor em todas as etapas da construção do indicador (ENSSLIN et al., 2010). Por meio da participação ativa em todas as etapas, é afirmado que o decisor possa reconhecer que o conhecimento construído durante todo o processo de Avaliação de Desempenho esteja alinhado à sua percepção de valor sobre o contexto, o que evita a perda de interesse devido ao modelo de avaliação passar a representar interesses distintos dos seus (ENSSLIN; MONTIBELLER; NORONHA, 2001). Quando é permitida a participação no processo de construção e gestão dos Indicadores de Desempenho de outros atores com poder de influência sobre o contexto, além do decisor, são criados meios que favorecem a sinergia, e evita-se que propriedades relevantes ao contexto possam ser esquecidas durante o processo de construção do modelo de avaliação. Inteligibilidade (compreensibilidade): Para atender à propriedade da Inteligibilidade, o indicador deve conter informação suficiente que permita a todos os atores envolvidos chegar à mesma mensuração e interpretação (ENSSLIN; ENSSLIN, 2009). Ou seja, não deve haver perda de informação quando um ator associa determinado nível de impacto a uma ação potencial, e outro ator interpreta esta mesma associação (KEENEY, 1992; ENSSLIN; MONTIBELLER; NORONHA, 2001). Deste modo, o atendimento à propriedade da inteligibilidade faz com que o Indicador de Desempenho permita a descrição e interpretação da performance, de uma ação potencial, de forma não ambígua por diferentes atores (KEENEY, 1992). Homogeneidade: A homogeneidade assegura que, ao realizar a mensuração, sejam medidas as mesmas propriedades representadas pelo Indicador de Desempenho, e estas propriedades, estejam em conformidade com os interesses e preferências dos decisores (ENSSLIN; ENSSLIN, 2009). Para isso, quando da construção do indicador, deve ser assegurado que cada indicador mensure uma única propriedade, assim como cada propriedade selecionada seja mensurada por um único indicador (CRAM; SHINE, 2004; FRANCESCHINI et al., 2008).

2.3 Recomendações práticas para a construção de indicadores

6

A literatura científica sobre indicadores apresenta recomendações baseadas na prática de procedimentos a serem evitados, e outros que se deve enfatizar ao selecionar / construir Indicadores de Desempenho.

Procedimentos que devem ser evitados: (i) o desejo de medir tudo o que for possível, importante ou não, pois desta forma as medidas acabarão competindo entre si e, por fim, comprometendo sua efetividade (LEANDRI, 2001); (ii) evitar que a medida, em si mesma, torne-se o foco principal das atenções (LEANDRI, 2001); (iii) medidas selecionadas sem transparência e participação dos envolvidos, pois podem causar reação negativa à avaliação (denominada lado obscuro) por medo que os dados do desempenho sejam utilizados em julgamentos, o que encoraja um comportamento defensivo (NEELY; POWELL, 2004); (iv) a tendência para a adoção de medidas que se dizem aplicáveis a todas as organizações, ou a todas de um mesmo setor (TANGEN, 2003; DENTON, 2005).

Neely et al. (1997), Hudson, Smart e Bourne (2001), Neely, Gregory e Platts (2005) afirmam que os indicadores devem ser selecionados ao atenderem as seguintes características: (i) empregar razões, mais do que números absolutos; (ii) terem metas derivadas da estratégia e com propósito explícito; (iii) prover feedback rápido, periódico e acurado; (iv) mensurarem propriedades que possam ser controladas pelos usuários; (v) manterem-se significativos ao longo do tempo; (vi) serem claramente definidos e objetivos; (vii) terem foco no aperfeiçoamento; (viii) serem precisos e relevantes; (ix) possam ser reportados em formato simples, compreensível e consistente.

Denton (2005) apresenta duas importantes recomendações: o reconhecimento da existência dos trade-offs entre as medidas, e que as mesmas só são valiosas se forem consistentes com as necessidades dos usuários. Devido à existência dos trade-offs, ou seja, à impossibilidade de aumentar a performance de apenas um indicador sem impactar em outros, Garengo, Biazzo e Bititci (2005) defendem que a mensuração do desempenho global deve ser obtida por meio da integração de indicadores. 3. PROCEDIMENTOS METODOLÓGICOS 3.1 Framework da Pesquisa

Quanto ao objeto, a presente pesquisa enquadra-se como exploratória, pois explora um fragmento da literatura afeta ao tema indicadores de desempenho portuário, visando a seleção de um portfólio bibliográfico de publicações relevantes e analisá-lo frente à literatura científica e à percepção dos gestores portuários (GIL, 2008).

A abordagem utilizada neste estudo caracteriza-se como qualitativa (CRESWELL, 2014) por estar fundamentada nas escolhas e preferências dos pesquisadores, seja na seleção do portfólio bibliográfico, na análise dos artigos que o compõem, ou na identificação da percepção dos gestores quanto à contribuição dos indicadores para o desempenho portuário.

No que se refere a procedimentos técnicos, este estudo fez uso da pesquisa bibliográfica, da pesquisa-ação e da análise de conteúdo (RICHARDSON, 2007). A pesquisa bibliográfica decorre da identificação e análise de artigos publicados em bases de dados internacionais; a pesquisa-ação decorre da interação dos pesquisadores com o objeto da pesquisa na operacionalização do instrumento ProKnow-C, exigindo escolhas e delimitações destes; a análise de conteúdo decorre do cotejo das características dos indicadores de desempenho presentes na literatura com achados na pesquisa bibliográfica, que exige a leitura e interpretação crítica dos artigos que integram o Portfólio Bibliográfico.

Quanto à coleta de dados, fez-se uso tanto de dados primários quanto de secundários. A etapa de seleção do Portfólio Bibliográfico fez uso de dados primários, uma vez que as delimitações são definias pelos pesquisadores em todas as escolhas demandadas durante o processo. Já nas etapas de análise dos indicadores são utilizados dados secundários, uma vez

7

que as características são buscadas nos artigos do PB e no cotejamento do referencial teórico. A etapa de identificação da percepção dos gestores portuários quanto à contribuição dos indicadores selecionados para o desempenho faz uso de questionário que foi aplicado ao gestor de um porto brasileiro e de um porto espanhol. O questionário fez uso da Escala Likert, com três níveis, a saber: 1 - Baixa contribuição; 2 - Média contribuição; 3 - Elevada contribuição. A seleção do PB, por meio do instrumento ProKnow-C ocorreu no mês de outubro de 2013; a análise dos indicadores e a aplicação de questionário, no mês de abril de 2014. 3.2 O Instrumento de Intervenção ProKnow-C

A presente pesquisa faz uso do instrumento de intervenção denominado ProKnow-C (Knowledge Development Process–Constructivist) desenvolvido pelo LabMCDA (Laboratório de Metodologias Multicritério de Apoio à Decisão Construtivista) da Universidade Federal de Santa Catarina (UFSC) – Brasil. A disseminação do instrumento ocorreu por meio de várias publicações científicas em periódicos de língua inglesa, com destaque para Azevedo et al. (2013); Lacerda et al.(2011, 2012, 2014); Rosa et al.(2012) e Tasca et al.(2010), e na língua nativa dos proponentes do ProKnow-C, com destaque para Ensslin et al. (2012); Lacerda et al. (2012) e Sartori et al. (2014). O objetivo principal do ProKnow-C é construir conhecimento para determinado pesquisador a partir de seus interesses, escolhas e delimitações, segundo uma visão construtivista. Figura 1: ProKnow-C e suas etapas

Fonte: Adaptado Lacerda, Ensslin, Ensslin (2012) e Tasca et al. (2010).

As etapas do ProKnow-C, representadas na Figura 1, podem ser sintetizadas da

seguinte forma: a etapa 1 Seleção do Portifólio Bibliográfico visa a identificar, na literatura, as publicações científicas referentes ao tema delimitado pelo pesquisador, e envolve três subetapas sequenciais: seleção do banco de artigos bruto; filtragem do banco de artigos; e realização do teste de representatividade do Portfólio Bibliográfico – PB (LACERDA; ENSSLIN; ENSSLIN, 2012; ROSA et al., 2011; SATORI et al., 2014); a etapa 2 Bibliometria busca identificar as caraterísticas das publicações da área de conhecimento em

8

investigação, a fim de gerar conhecimento para o pesquisador por meio da contagem das ocorrências de determinada variável (característica) nas publicações do PB (ENSSLIN; ENSSLIN; PACHECO, 2012; ROSA et al., 2011, 2012; LACERDA; ENSSLIN; ENSSLIN, 2012; ENSSLIN et al., 2014); a etapa 3 Análise Sistêmica visa a identificar oportunidades e lacunas de pesquisa a partir da análise crítica dos artigos do PB, frente a uma afiliação teórica definida pelo pesquisador (LACERDA; ENSSLIN; ENSSLIN, 2014); e, finalmente, a etapa 4 Pergunta de Pesquisa, é o estágio em que o pesquisador gera conhecimento suficiente sobre o fragmento da literatura / realidade que está investigando, sendo, então, capaz de identificar ‘onde’ e ‘como’ pretende intervir cientificamente, e justificar tal escolha de forma fundamentada. Para fins do presente estudo foi aplicada a etapa 1 do instrumento ProKnow-C, apresentado na Figura 1.

Assim, em linhas gerais, o ProKnow-C é informado por uma perspectiva dinâmica e construtivista, que visa, por meio de um processo estruturado, à geração de conhecimento. O pesquisador é o agente principal e por meio de suas reflexões, escolhas e interações requeridas pelo instrumento, gera subsídios de forma contínua, ou utiliza-se da recursividade até que resultados tangíveis sejam alcançados. Trata-se de resultados personalizados, decorrentes das escolhas do pesquisador, mas que permitem replicabilidade, já que envolve um conjunto de procedimentos previamente estruturados.

Para a aplicação do ProKnow-C, além da definição do tema central da pesquisa “Avaliação de Desempenho Portuário”, os pesquisadores selecionaram as palavras-chaves por meio de dois eixos, resultando no comando de busca:[("Performance Evaluation” or “Performance Assessment” or “Performance Appraisal” or “Performance Measurement” or “Performance Management”) and (“Port” or “harbor” or “Seaport”)]. As bases científicas escolhidas para fins da pesquisa foram: EBSCO Academic Search Premier; ProQuest; Isi Web of Knowledge; Scopus; Science Direct; e Willey Interscience Blackwell. Os procedimentos de seleção e filtragem dos artigos são demonstrados na Figura 2. Figura 2: Procedimentos de seleção e filtragem dos artigos

Fonte: Elaborado pelos autores, 2014.

A operacionalização da primeira etapa do instrumento ProKnow-C resultou em 23 artigos, que passam a ser denominados de artigos do Portfólio Bibliográfico (PB). Concluída a síntese da etapa de Seleção do Portfólio Bibliográfico do ProKnow-C, passa-se a descrever a análise dos resultados.

4. APRESENTAÇÃO E ANÁLISE DOS RESULTADOS A apresentação e a análise dos resultados contemplam a sistematização dos indicadores de desempenho encontrados nos artigos do PB e a percepção de gestores portuários quanto à contribuição dos indicadores para o desempenho. 4.1 Indicadores originários do Portfólio Bibliográfico A análise de conteúdo dos 23 artigos que integram o PB, resultante da aplicação do instrumento de intervenção ProKnow-C ,evidenciou um conjunto de dimensões e indicadores utilizados para a avaliação do desempenho portuário. As dimensões caracterizam-se como variáveis mais abrangentes que agregam vários indicadores. No processo de análise dos artigos constatou-se que os autores utilizam denominações diversas, tais como variáveis,

9

critérios, fatores, dentre outros, para caracterizar os indicadores; ou seja, não existe consenso na literatura quanto a uma terminologia específica, no entanto, o termo “indicador” é o mais utilizado. O Quadro 1 apresenta um recorte da sistematização das dimensões e dos indicadores encontrados no PB. Quadro 1 – Recorte dos Indicadores do PB

Autor(es) Artigo Dimensões de desempenho

Indicadores de Desempenho

H. S. Turner (2000)

Avaliação de alternativas de política portuária: um estudo de simulação de política leasing de terminal e desempenho do sistema

Transportadoras marítimas

Quantidade de chegadas de navio em determinado tempo; Capacidade do navio; Terminais alocados por transportadora.

Terminais de contêineres

Número de terminais de contêineres; Tipo de operação de terminais (dedicado ou de uso comum); Número de guindastes; Taxa de Manuseio.

A. S. Al-Eraqi, A. Mustafa, A. T. Khader, C. P. Barros (2008)

Eficiência dos portos marítimos do Oriente Médio e do Leste africano: aplicação do DEA utilizando análise de janela

Entradas Comprimento do ancoradouro; Área de armazenamento; Manuseio de equipamentos; Navios atracados.

Saídas Movimentação de carga.

J. Wu, L. Liang (2009)

Performances e benchmarks de portos de container usando análise envoltória de dados (DEA)

Entradas Capacidade de movimentação de carga; Número de berços; Área do terminal; Capacidade de armazenamento.

Saídas Movimentação de contêineres.

S. H. Woo, S. Pettit, A. K. C. Beresford (2011)

Evolução do porto e desempenho na mudança de ambientes logísticos

Serviços (Externo)

Oportunidade; Confiança; Prazo de execução dos serviços; Danos de carga; Precisão da informação; Receptividade; Flexibilidade; Número de reclamações; Taxas portuárias; Taxa de movimentação de carga; Taxa de serviço; Tarifa de uso das instalações portuárias.

Operação (Interna)

Produtividade; Produtividade por hectare; Produtividade por trabalhador; Produtividade por guindaste; Tempo de espera do navio; Tempo de trabalho no navio; Tempo de serviço no porto; - Tempo de carga do navio; Cumprimento do Regulamento; Número de acidente; Número de acidentes com afastamento do trabalho.

Logística Tempo de espera de carga no porto; Tempo de trabalho na movimentação de carga em conexão; Cargas com valor agregado de serviço; Valor agregado de serviço do porto.

J. C. Q. Dias, S. G. Azevedo, J. M. Ferreira, S. F. Palma (2012)

Comparação de desempenho portuário por meio da análise envoltória de dados: o caso de terminais de contêineres ibéricos

Variáveis Externas

Produto Interno Bruto; Densidade populacional; Taxa de emprego; Acessibilidade ao porto.

Variáveis internas

Dimensão do cais; Número de terminais; Área do porto utilizado para o tratamento de carga; Equipamentos de movimentação de carga.

Fonte: Elaborado pelos autores, 2014. A análise do conjunto de indicadores resultantes do PB evidencia que a maioria dos indicadores tem como foco a avaliação da eficiência dos portos em uma perspectiva operacional. Isto pode ser observado em 14 artigos do PB, ou seja, em 61% dos artigos, sendo predominante o uso da metodologia de avaliação Data Envelopment Analysis (DEA). Analisou-se, também, o tipo de escala utilizada para a medição dos indicadores, se ordinal ou cardinal, além da observância das propriedades da teoria da mensuração. A escala

10

ordinal organiza os níveis de desempenho, indicando a ordem de preferência dos itens associados a um indicador, e permite as operações de contagem, frequência, moda e mediana (CHISNALL, 1973), mas não explicita as diferenças de atratividade entre os níveis de desempenho, que podem ser obtidas por meio de escala cardinal.

A partir do PB constatou-se que 14 artigos (61%) apresentam escalas ordinais para a mensuração dos níveis de desempenho dos indicadores, 2 artigos (9%) apresentam escalas cardinais (CHOU; LIANG, 2001; MADEIRA JUNIOR; CARDOSO JUNIOR; BELDERRAIN; CORREIA; SCHWANZ, 2012), 2 artigos (9%) apresentam escalas Likert (LIU; XU; ZHAO, 2009; WOO; PETTIT; BERESFORD, 2011) e 5 artigos não especificam o tipo de escala (LAM; SONG, 2013; SAENGSUPAVANICH; COOWANITWONG; GALLARDO; LERTSUCHATAVANICH, 2009; DARBRA; RONZA; CASAL; STOJANOVIC; WOOLDRIDGE, 2004; DOI; TIWARI; ITOH, 2001; GONG; CULLINANE; FIRTH, 2012).

O indicador de desempenho e suas escalas de mensuração, de acordo com os estudos de Barzilai (2001) e Lacerda et al (2014), devem atender propriedades específicas da Teoria da Mensuração para terem respaldo científico, quais sejam: (i) mensurabilidade; (ii) operacionalidade; (iii) legitimidade; (iv) inteligibilidade; e (v) homogeneidade. A análise do PB informa que apenas dois artigos atendem plenamente tais propriedades (CHOU; LIANG, 2001; MADEIRA JUNIOR; CARDOSO JUNIOR; BELDERRAIN; CORREIA; SCHWANZ, 2012), enquanto 16 artigos contemplam parcialmente algumas propriedades, e 5 artigos não contemplam tais propriedades.

4.2 Percepção dos gestores portuários quanto aos indicadores de desempenho A partir do conjunto de dimensões e indicadores de desempenho sistematizados nos artigos do PB, procedimento este descrito na seção anterior, os autores desta pesquisa realizaram uma seleção preliminar das dimensões e dos indicadores que melhor representam o desempenho de uma unidade portuária; ou seja, aqueles que mais contribuem para expressar o desempenho portuário. As dimensões e indicadores em duplicidade foram eliminados, e também agrupados em uma mesma denominação aqueles similares ou da mesma natureza. Esta seleção teve como base o conhecimento e trajetória de pesquisa dos autores sobre o tema avaliação do desempenho organizacional, considerando, ainda, a ampla utilização de metodologias multicritério na elaboração de modelos de avaliação de desempenho. Esta seleção preliminar resultou em um conjunto de dimensões (Quadro 2) de indicadores de desempenho (Quadro 3). A etapa seguinte consistiu na aplicação de questionário junto a um gestor portuário da área de planejamento de um porto brasileiro, sediado no Estado de Santa Catarina, e de um porto espanhol sediado na Comunidade Valenciana. Ambos os gestores possuem mais de 15 anos de experiência na área portuária e nível de formação correspondente à pós-graduação, o primeiro em nível de especialização e o segundo em nível de mestrado. A primeira indagação do questionário aplicado visou a identificar quais dimensões melhor representam o desempenho portuário, conforme apresentado no Quadro 2, a seguir. As orientações de preenchimento indicavam que, na coluna “Relevância”, os gestores deveriam registrar com “X” aquelas consideradas estratégicas para a avaliação do desempenho do porto. Na coluna “Grau de Relevância”, o percentual de “0 a 100%” para evidenciar o grau de importância em termos comparativos, exclusivamente para as dimensões que foram selecionadas na coluna anterior. A soma do percentual de todas as dimensões selecionadas deve atingir 100%. O Quadro 2 apresenta a percepção dos gestores quanto às dimensões para a avaliação do desempenho portuário. Quadro 2 – Potenciais dimensões para a avaliação do desempenho portuário

11

Dimensões de desempenho

Gestor porto brasileiro Gestor porto espanhol Relevância Grau de

Relevância Relevância Grau de

Relevância Planejamento e gestão X 5 X 5 Qualidade dos serviços X 5 X 5 Operação e logística X 35 X 15 Serviços e novos negócios X 15 X 5 Sustentabilidade / Meio ambiente X 10 X 10 Econômica e financeira X 5 X 15 Capital humano X 5 X 10 Segurança no trabalho X 10 X 5 Tecnologia da Informação X 5 X 15 Planejamento de infraestrutura X 5 X 15 Outras_____________________

TOTAL 100% 100% Fonte: Elaborado pelos autores, 2014. Observa-se, no quadro acima, que todas as dimensões apresentadas foram selecionadas pelos gestores; no entanto, com grau de relevância divergente, exceto duas das dimensões relacionadas (Planejamento e gestão, Sustentabilidade / meio ambiente). Para o gestor brasileiro, as quatro dimensões mais importantes foram Operação e logística (35%), Serviços e novos negócios (15%), Sustentabilidade / meio ambiente (10%) e Segurança no trabalho (10%). Para o gestor espanhol foram: Operação e logística, Econômica e financeira, Tecnologia da Informação e Planejamento de infraestrutura. A segunda indagação aos gestores refere-se à identificação dos indicadores que mais contribuem para o desempenho portuário, a partir da seleção efetuada pelos autores, tendo como base a literatura científica. Para o preenchimento do questionário foi adotada a seguinte orientação: analise de forma isolada cada indicador e atribua o escore que melhor represente a contribuição para o desempenho de sua unidade portuária, utilizando os escores 1 - baixa contribuição no desempenho do porto; 2 - Média contribuição no desempenho do porto; 3 - Elevada contribuição no desempenho do porto (Escala Likert). Os resultados encontram-se descritos no Quadro 3. Quadro 3 – Potenciais indicadores de desempenho portuário

Potenciais indicadores de desempenho Gestor porto

brasileiro Gestor porto

espanhol Score (1, 2 ou 3) Score (1, 2 ou 3)

Índice de produtividade (toneladas movimentadas) 3 3 Índice de rentabilidade 2 3 Investimentos em infraestrutura (% faturamento) 3 2 Contribuição do porto na movimentação de carga do país 1 1 Participação no PIB regional 3 2 Nível de integração com a comunidade local (cidade sede) 2 3 Uso de ferramentas de gestão 2 1 Faturamento do porto 3 2 Percentual de superfície (área) operada por terceiros 1 3 Percentual nas receitas decorrente da concessão a terceiros 1 2 Autonomia do porto para fixar tarifas 3 1 Sistema de custo utilizado 3 1 Custo da folha de pagamento 2 1 Faturamento por funcionário 1 2 EBITDA 3 3 Rentabilidade sobre ativos 1 3 Capacidade de movimentação de cargas 3 3 Tempo médio de carregamento de navios 3 3 Tempo médio de espera dos navios 3 3

12

Pontualidade na movimentação de cargas 3 3 Percentual da carga movimentada por meio de container 1 1 Tempo médio de permanência de cargas nas dependências do porto 2 2 Conectividade (rotas) 3 3 Plataforma logística intermodal 3 2 Conectividade com outros modos de transporte 3 3 Cooperação e trabalho em rede 2 3 Plano de gestão ambiental 3 1 Certificação ambiental 3 1 Certificação / qualidade dos serviços internos 3 1 Certificação / qualidade dos serviços aos clientes 3 3 Satisfação dos clientes 3 3 Índice de reclamações 1 3 Danos e avarias (relação com o volume de cargas movimentadas) 2 2 Tramitação e elaboração de documentos on line (Porto digital) 3 3 Negócios prospectados 2 2 Captação de novos clientes 3 2 Fidelização de clientes 3 2 Prestação de serviços de valor agregado 2 3 Carga horária média de capacitação dos funcionários 3 2 Rotatividade dos gestores (até terceiro nível hierárquico) 1 3 Frequência de acidentes com afastamento do trabalho 1 3 Afastamento em dias decorrentes de acidentes de trabalho 1 1 Fonte: Elaborado pelos autores, 2014. Observa-se, no quadro acima que, dos 42 indicadores relacionados, o gestor do porto brasileiro selecionou 22 com elevada contribuição para o desempenho portuário, enquanto o gestor espanhol selecionou 20 indicadores; no entanto, somente 11 deles são convergentes. Já em relação à alternativa média contribuição para o desempenho portuário, o gestor brasileiro selecionou 9 indicadores, enquanto o gestor espanhol selecionou 12. Assim, constata-se que a quantidade de indicadores selecionados em cada alternativa são similares, no entanto, existe baixa coincidência daqueles selecionados por cada gestor. Analisando os resultados encontrados a partir dos indicadores sistematizados da literatura científica e da percepção dos gestores quanto ao grau de importância, pode-se afirmar que: (i) os pesquisadores da área de avaliação do desempenho portuário têm optado pela utilização de indicadores operacionais em detrimento de indicadores estratégicos; (ii) a maioria das pesquisas evidenciam o desempenho comparativo de portos de um país e /ou região, sendo incipiente a avaliação do desempenho de forma personalizada; (iii) a ausência de indicadores estratégicos na literatura científica pode estar associada ao distanciamento dos pesquisadores em relação ao cotidiano de atuação dos gestores portuários; (iv) a comunidade científica faz uso de indicadores cujas informações se encontram disponíveis em acesso aberto, ao invés da coleta específica em cada unidade portuária, o que justifica o uso de indicadores operacionais; (v) a percepção dos gestores (brasileiro e espanhol) quanto à contribuição dos indicadores para o desempenho portuário é convergente em termos da quantidade de indicadores; no entanto, a divergência é acentuada quanto ao tipo selecionado, que pode ser explicada pela forma de estruturação e características do ambiente portuários vigentes em cada país. 4. CONCLUSÕES

O presente estudo teve como objetivo proceder uma análise dos indicadores de desempenho portuário a partir da literatura científica, tendo como objetivos específicos: (i) a seleção de um portfólio bibliográfico que evidenciasse os indicadores referenciados na literatura científica por meio do instrumento de intervenção ProKnow-C (Knowledge

13

Development Process–Constructivist); (ii) a sistematização dos indicadores propostos na literatura científica com a corresponde análise das principais características; (iii) a aplicação de pesquisa junto a gestores de um porto brasileiro e de um porto espanhol, objetivando identificar quais indicadores mais contribuem para o desempenho portuário.

Com a aplicação do instrumento de intervenção ProKnow-C foi possível selecionar um PB de 23 artigos com relevância, reconhecimento científico e alinhados com o tema da pesquisa: avaliação do desempenho portuário. A sistematização dos indicadores presentes nos artigos do PB possibilitou identificar as principais características destes indicadores, mais especificamente se os mesmos atendem os preceitos da Teoria da Mensuração e o tipo de escala utilizada para a medição do desempenho – escalas ordinais e / ou cardinais. Adicionalmente foi identificada a percepção dos gestores quanto à contribuição dos indicadores selecionados para o desempenho portuário.

Como resultados destacam-se: (i) a análise do conjunto de indicadores resultantes do PB evidencia que a maioria dos indicadores tem como foco a avaliação da eficiência dos portos em uma perspectiva operacional (61% dos artigos do PB); (ii) a análise quanto ao tipo de escala de medição dos níveis de desempenho evidenciou que, em quatorze artigos, utilizam-se escalas ordinais; em dois deles escalas cardinais; em dois dos trabalhos escalas Likert e em cinco artigos não é especificado o tipo de escala utilizada; (iii) a análise quanto ao atendimento das propriedades da Teoria da Mensuração constatou que apenas dois artigos atendem plenamente tais propriedades, enquanto dezesseis deles contemplam parcialmente algumas propriedades, e cinco trabalhos não especificam tais propriedades; (iv) a percepção dos gestores portuários (brasileiro e espanhol) quanto à contribuição dos indicadores para o desempenho portuário é convergente em termos da quantidade de indicadores; no entanto, a divergência é acentuada quanto ao tipo de indicador selecionado, que pode ser explicada pela forma de estruturação e características do ambiente portuário vigente em cada país.

Como principal limitação desta pesquisa, destaca-se a aplicação do questionário a um número reduzido de gestores portuários. Quanto a contribuições para futuras pesquisas, recomenda-se: (i) a ampliação das bases de dados para fins de seleção do PB, objetivando identificar um número mais representativo de artigos científicos; (ii) a identificação da percepção de um número maior de gestores portuários do Brasil e da Espanha; (iii) a construção de um modelo de avaliação do desempenho portuário a partir do indicadores selecionados pelos gestores do setor. AGRADECIMENTO: Os autores da presente pesquisa agradecem o apoio da CAPES para sua realização.

REFERENCIAS BIBLIOGRÁFICAS AL-ERAQI, A. S.; MUSTAFA, A.; KHADER, A.T.; BARROS, C.P. Efficiency of middle eastern and East African seaports: Application of DEA using window analysis. European Journal of Scientific Research 23(4): 597-612, 2008. AMARATUNGA, D.; BALDRY, D. Moving from performance measurement to performance management. Facilities, v. 20, n. 5-6, p. 217-223, 2002. AZEVEDO, R. C.; LACERDA, R. T. O.; ENSSLIN, L.; JUNGLES, A. E.; ENSSLIN, S. R. Performance Measurement to Aid Decision Making in the Budgeting Process for Apartment-Building Construction: Case Study Using MCDA-C. Journal of Construction Engineering and Management, Vol. 139, No. 2, p. 225 – 235, 2013. BARCLAY, I. Organisational factors for success in new product development. In: IEEE Proceedings: Science, Measurement and Technology, v. 149, n. 2, p. 105-112, 2002. BARZILAI, J. On the foundations of measurement. IEEE International Conference on Systems, Man, and Cybernetics, v. 1, p. 401-406, 2001.

14

BOSSEL, H. . Indicators for Sustainable Development: theory, method and applications, International Institute for Sustainable Development, Winnipeg: Canada, 124 p, 1999. BOURNE, M.; MILLS, J.; WILCOX, M.; NEELY, A.; PLATTS, K. Designing, Implementing and updating performance measurement systems. International Journal of Operations & Production Management, v. 20, n. 7, p. 754-771, 2000. BROOKS, M. B.; SCHELLINCK, T.; PALLIS, A. A. A systematic approach for evaluating port effectiveness, Marit. Pol. Mgmt., May, 2011, Vol. 38, No. 3, 315–334. CHIESA, V.; FRATTINI, F. Exploring the differences in performance measurement between research and development: evidence from a multiple case study. R & D Management, v. 37, p. 283-301, 2007. CHISNALL, P. Marketing Research: Analysis and Measurement. McGraw-Hill: 1973. CHOU, T. Y.; LIANG, G. S. Application of a fuzzy multi-criteria decision-making model for shipping company performance evaluation. Maritime Policy & Management, Vol. 28 No. 4, pp. 375-392, 2001. CRAM, J.; SHINE, V. Performance measurement as promotion: demonstrating benefit to your significant others. School Library Association of Queensland Biennial Conference, Gold Coast, Australia, 29 jun. – 1 jul., 2004. CRESWELL, J. W. Research Design: Qualitative, Quantitative, and Mixed Methods Approaches, 4 th ed. SAGE Publications, Inc., 2014. DARBRA, R. M., RONZA, A., CASAL, J., STOJANOVIC, T. A. AND WOOLDRIDGE, C. The Self Diagnosis Method A new methodology to assess environmental management in sea ports. Marine Pollution Bulletin, Vol. 48 No. 5-6, pp. 420-428, 2004. DENTON, D. K. . Measuring relevant things. International Journal of Productivity and Performance Management, v. 54, n. 4, p. 278-287, 2005. DIAS, J. C. Q., AZEVEDO, S. G., FERREIRA, J. M. AND PALMA, S. F. Seaport performance comparison using data envelopment analysis: The case of Iberian container terminals. International Journal of Business Performance Management, Vol. 13 No. 3-4, pp. 426-449, 2012. DOI, M.; TIWARI, P.; ITOH, H. A computable general equilibrium analysis of efficiency improvements at Japanese ports. Review of Urban and Regional Development Studies, RURDS Vol. 13, No. 3, November, 2001. DRIVA, H.; PAWAR, K. S.; MENON, U. Measuring product development performance in manufacturing organizations. International Journal of Production Economics, v. 63, n. 2, p. 147-159, 2000. DRONGELEN, I. K.; NIXON, B.; PEARSON, A. Performance measurement in Industrial R&D. International Journal of Management Reviews, v. 2, n. 2, p. 111-143, 2000. ENSSLIN L, SCHEID L.C.M, ENSSLIN S.R, LACERDA R.T.O. Software process assessment and improvement using multicriteria decision aiding-constructivist. JISTEM - Journal of Information Systems and Technology Management. v. 9, n.3, p. 473-496, 2012. ENSSLIN, L.; ENSSLIN, S. R.; PACHECO, G. C. Um estudo sobre segurança em estádios de futebol baseado na análise bibliométrica da literatura internacional. Perspectivas em Ciência da Informação, v. 17, n. 2, p. 71-91, 2012. ENSSLIN, L.; GIFFHORN, E.; ENSSLIN, S.R.; PETRI, S. M.; VIANNA, W.B. Avaliação do desempenho de empresas terceirizadas com o uso da metodologia multicritério de apoio à decisão-construtivista. Pesquisa Operacional, 30, 125-152, 2010. ENSSLIN, L.; ENSSLIN, S. R.; PINTO, H. M.; Processo de investigação e Análise bibliométrica: Avaliação da Qualidade dos Serviços Bancários. RAC – Revista de Administração Contemporânea; v.17, n. 3, p. 325-349, 2013. ENSSLIN, L.; ENSSLIN, S. R. Processo de construção de indicadores para a avaliação de desempenho. In: V Ciclo de debates - Avaliação de Políticas Públicas, 2009. ENSSLIN, L.; MONTIBELLER NETO G.; NORONHA S. M. Apoio à Decisão. Florianópolis: Insular; 2001.

15

EUROPEAN ENVIRONMENT AGENCY – EEA. Disponível em: http://glossary.pt.eea.europa.eu/terminology/concept_html?term=indicador %20de%20desempenho, 2008. FRANCESCHINI, F.; GALETTO, M.; MAISANO, D.; MASTROGIACOMO, L. Properties of performance indicators in operations management: A reference framework. International Journal of Productivity and Performance Management, v. 57, n. 2, n. 137-155, 2008. GARENGO, P.; BIAZZO, S.; BITITCI, U. S. Performance measurement systems in SMEs: A review for a research agenda, 252 International Journal of Management Reviews, v. 7, n. 1, p. 25-47, 2005. GIL, A. C. Como elaborar projetos de pesquisa. 4. ed. São Paulo: Atlas, 2008. GONG, S. X. H.; CULLINANE, K.P.B; FIRTH, M. The impact of airport and seaport privatization on efficiency and performance: A review of the international evidence and implications for developing countries, Transport Policy, Vol. 24, pp. 37-47, 2012. GRÜNBERG, T. Performance improvement: towards a method for finding and prioritising potential performance improvement areas in manufacturing operations. International Journal of Productivity and Performance Management, v. 53, n. 1, p. 52-71, 2004. HUDSON, M.; SMART, A.; BOURNE, M. Theory and practice in SME performance measurement systems. International Journal of Operations & Production Management, v. 21, n. 8, p. 1096-1115, 2001. KEENEY, R. L. Value-focused thinking: a path to creative decision making. Harvard University Press: London, 1992. LACERDA, R. T. O.; ENSSLIN, L.; ENSSLIN, S. R. DUTRA, A. A Constructivist Approach to Manage Business Process as a Dynamic Capability. Knowledge and Process Management., 2014 [no prelo]. LACERDA, R.T.O.; ENSSLIN, L.; ENSSLIN, S. R. Research opportunities in strategic management field: a performance measurement approach. Int. J. Business Performance Management, Vol. 15, No. 2, 2014. LACERDA, R. T. O.; ENSSLIN, L.; ENSSLIN, S. R. A Performance Measurement Framework in Portfolio Management: A Constructivist Case. Management Decision, v.49, n.4, p.1- 15, 2011. LACERDA, R. T. O.; ENSSLIN, L.; ENSSLIN, S. R. Uma Análise Bibliométrica da Literatura Sobre Estratégia e Avaliação De Desempenho. Gestão & Produção, v.19, n.1, 2012. LAM, J. S. L; SONG, D.-W. Seaport network performance measurement in the context of global freight supply chains. Polish Maritime Research, 20: 47-54, 2013. LIU, W.; XU, H.; ZHAO, X. Agile service oriented shipping companies in the container terminal. Transport, 24(2): 143-153, 2009. LAM, J. S. L.; EDDY VAN DE VOORDEZ, E. V. Scenario analysis for supply chain integration in container shipping. Marit. Pol. Mgmt., Vol. 38, NO. 7, 705–725, 2011. LEANDRI, S. J. Measures that matter: how to fine-tune your performance measures. The Journal for Quality and Participation, v. 24, n. 1, p. 39-41, 2001. MADEIRA JUNIOR, A. G.; CARDOSO JUNIOR, M. M.; BELDERRAIN, M. C. N.; CORREIA, A. R. SCHWANZ, S. H. Multicriteria and multivariate analysis for port performance evaluation. International Journal of Production Economics, 140(1): 450-456, 2012. MINISTÉRIO DA DEFESA. Indicadores de Desempenho - Sistema de Medição do Desempenho Organizacional. In: Programa de Excelência Gerencial – Nota de Instrução, 2006. NEELY, A.; RICHARDS, H.; MILLS, J.; PLATTS, K.; BOURNE, M. Designing performance measures: a structured approach. International Journal of Operations & Production Management, v. 17, n. 11, 258 pp. 1131-1152, 1997. NEELY, A.; GREGORY, M.; PLATTS, K. Performance measurement system design: a literature review and research agenda. International Journal of Operations & Production Management, v. 15, n. 4, p. 80-116, 1995. NEELY, A.; POWELL, S. The challenges of performance measurement. Management Decision, v. 42, n.8, p. 1017-1023, 2004.

16

RICHARDSON, R. Pesquisa social: métodos e técnicas. 3 ed. São Paulo: Atlas, 2007. ROSA, F. S.; ENSSLIN, S.R.; ENSSLIN, L.; LUNKES, R.J. Environmental disclosure management: a constructivist case. Management Decision, 50, 1117-1136, 2012. ROSA, F. S. DA; ENSSLIN, S. R.; ENSSLIN, L.; LUNKES, R. J. Gestão da evidenciação ambiental: um estudo sobre as potencialidades e oportunidades do tema. Engenharia Sanitária Ambiental, v. 16, n. 1, p. 157-166, 2011. SAENGSUPAVANICH, C.; COMANITWONG, N.; GALLARDO, W. G.; LERTSUCHATAVANICH, C. Environmental performance evaluation of an industrial port and estate: ISO14001, port state control-derived indicators. Journal of Cleaner Production, Vol. 17 No. 2, pp. 154-161, 2009. SARTORI, S.; ENSSLIN, L.; CAMPOS, L. M. S.; ENSSLIN, S. R. Mapeamento do estado da arte do tema sustentabilidade ambiental direcionado para a tecnologia de informação, TransInformação, Vol. 26(1):77-89, 2014. TANGEN, S. An overview of frequently used performance measures. Work Study, v. 52, n. 7, p. 347-354, 2003. TAPINOS, E.; DYSON, R. G.; MEADOWS, M. The impact of performance measurement in strategic planning. International Journal of Productivity and Performance Management, v. 54, n. 5-6, p. 370-384, 2005. TASCA, J. E.; ENSSLIN, L.; ENSSLIN, S. R.; ALVES, M. B. M. An approach for selecting a theoretical framework for the evaluation of training programs. Journal of European Industrial Training, v. 34, n. 7, p. 631-655, 2010. THEPPITAK, T. Exploring on Performance Measurement System Design and Implementation in Thai Automotive Industry. Journal of the University of The Thai Chamber of Commerce, v. 24, n. 3, sep-dec., 2004. TOCCHETTO, M. R. L.; PEREIRA, L. C. Seleção de indicadores ambientais para indústria com atividade galvânica. In: ENCONTRO DA ASSOCIAÇÃO NACIONAL DE PÓS-GRADUAÇÃO E PESQUISA EM ADMINISTRAÇÃO, 28., 2004, Curitiba. Anais... Paraná: Anpad, 2004. CD-ROM. HUGH S. TURNER, H. S. Evaluating seaport policy alternatives: a simulation study of terminal leasing policy and system performance, Marit. Pol.Mgmt., Vol. 27, NO. 3, 283 – 301, 2000. VAN BELLEN, H. M. Indicadores de desenvolvimento sustentável – um levantamento dos principais sistemas de avaliação. In: ENCONTRO DA ASSOCIAÇÃO NACIONAL DE PÓS-GRADUAÇÃO E PESQUISA EM ADMINISTRAÇÃO, 26., 2002, Salvador. Anais... Bahia: Anpad, 2002. CD-ROM. WOO, S. H.; PETTIT, S.; BERESFORD, C. Port evolution and performance in changing logistics environments. Maritime Economics and Logistics, 13(3): 250-277, 2011. WU, J., H. YAN, LIU, J. DEA models for identifying sensitive performance measures in container port evaluation. Maritime Economics and Logistics, 12(3): 215-236, 2009. WU, J.; LIANG, L. Performances and benchmarks of container ports using data envelopment analysis. International Journal of Shipping and Transport Logistics, Vol. 1 No. 3, pp. 295-310, 2009.