1

Pesquisa “Ouvindo o Aluno” – Uma Aplicação da Análise de Lacunas em uma

Instituição Multicampi.

Universidade Salgado de Oliveira (UNIVERSO)

Eixo II - Indicadores e Instrumentos de Autoavaliação

Jobenil Luiz Magalhães Júnior (Universidade Salgado de Oliveira)

Mauro Urbano Rogério (Universidade Salgado de Oliveira)

Paulo de Tarso Tonelli Teixeira Álvares (Universidade Salgado de Oliveira)

Resumo

Este trabalho apresenta os detalhes metodológicos que justificaram a elaboração de dois instrumentos de pesquisa levados aos alunos de uma IES multicampi. Os indicadores permitem, sem perda de generalidade, uma análise comparativa entre os distintos campus e cursos, além de servirem como parâmetros para que os gestores direcionem as eventuais melhorias que por ventura venham a ser necessárias. O trabalho teve como objetivos, a elaboração e validação dos instrumentos de medidas utilizando de pesquisa junto aos alunos, a construção dos indicadores de necessidade de crescimento e de desempenho e a construção de relatórios a serem utilizados por distintas instâncias da gestão universitária. A metodologia utilizada foi a de Análise de lacunas - “Gap Analysis”, utilizando-se o instrumento SERVQUAL, onde os alunos podem manifestar as suas expectativas e suas satisfações com os distintos aspectos das ações desenvolvidas pela Universidade na oferta dos seus cursos. Nessa pesquisa, além de deixar explícitos os valores atribuídos à importância e satisfação declarados em cada aspecto avaliado, introduziu-se, como elemento de análise quantitativa, o Indicador de Necessidade de Crescimento (INC) inspirado no PGCV- “Pontencial Gain in Customer Value”. Foram criados indicadores que compõem uma série de relatórios como: desempenho individual dos docentes, no semestre e em anos anteriores; desempenho dos gestores, serviços e infraestrutura da IES em cada campus. Esta pesquisa é realizada anualmente desde 2007 na UNIVERSO e já se encontra implantada na rotina da IES.

Palavras-Chave: Avaliação Institucional; Indicadores de Qualidade Educacionais; SERVQUAL.

Introdução

Os cursos de graduação ofertados pela UNIVERSO, a exemplo de outras instituições congêneres, constituem elementos substanciais na composição da dimensão Ensino que, juntamente com a Extensão e a Pesquisa, formam os eixos referenciais da instituição universitária.

A oferta de cada curso se realiza por meio de um projeto que, atendendo a especificações reguladoras do MEC, vem revestido de características institucionais

2

próprias e materializa-se junto aos alunos para quem se destinam as atenções da gestão acadêmica, o trabalho de seus professores, do pessoal técnico, de secretaria e de apoio e o desfrute das instalações e da infraestrutura necessárias para abrigar as atividades do curso. Também, a ambiência institucional em que se dá a oferta constitui-se num espaço apropriado para que a formação universitária se amplie além das especificidades próprias da profissão almejada.

O projeto do curso, a sua gestão, o corpo docente, a qualidade das instalações, dos laboratórios, da biblioteca, o nome da instituição no mercado, a atenção do pessoal interno e todas as demais variáveis que condicionam a oferta do curso constituem valores, que concorrem para que o candidato ao curso crie suas expectativas que, somadas a outras circunstâncias, inclusive de ordem pessoal, acabam por influir significativamente na escolha de uma determinada instituição em lugar de outra.

Na relação indivíduo x instituição ressalta-se por um lado a expectativa pela qualidade da formação profissional que foi ofertada e, por outro, a instituição que acredita e propaga a qualidade do seu projeto e da sua execução. Por mais que a ação educadora e formativa seja integradora do indivíduo e instituição (aqui vista no conjunto de suas ações), a relação entre essas partes permite o entendimento da existência de dois contextos: o contexto do aluno (o indivíduo) que retém as suas expectativas com vistas à obtenção de sua formação e o contexto da organização acadêmica (a instituição) que detém em seu poder os princípios que asseguram a integridade de seu projeto e a liberdade para estabelecer todos os elementos ordenadores para a sua execução. Embora não estejamos tratando de coisas imutáveis, porque inúmeras são as variáveis que contaminam e dinamizam a relação, levando o indivíduo a reformular e criar novas expectativas e a instituição a criar novas perspectivas e realidades para a sua oferta, os dois contextos apresentam distinções.

O contexto institucional possui meios de aferir a evolução do aluno e, por consequência, registrar o seu nível de satisfação com os resultados obtidos, confrontá-los com as expectativas da instituição e registrá-los como indicadores (ou percepções) da qualidade do trabalho acadêmico realizado. Será essa percepção de qualidade observada pelo aluno? Sendo verdade que ela é observada, como e quando ela ocorre? Dentre os segmentos do contexto institucional, há algum destaque especial que conta mais que os outros para gerar essa percepção?

A mensuração dessas percepções de qualidade observadas pelas partes numa relação de oferta e procura, mesmo diante da complexidade que envolve tanto a relação quanto as suas partes, tem sido objeto de modelos desenvolvidos por equipes multiprofissionais e utilizados largamente no mundo empresarial, com o foco na obtenção de maior qualidade na oferta e execução de seus serviços e com o objetivo de gerar diferencial mercadológico num ambiente de alta competitividade.

A Educação no Brasil e, em particular, o Ensino Superior apresenta uma forte presença da iniciativa privada (MEC-INEP, 2011, p.32), com tendência evolutiva, exibindo nos dias de hoje um cenário altamente competitivo, que se constitui como palco de disputas, onde as instituições vêm se reestruturando nas suas condições de oferta com foco na melhoria da qualidade de seus serviços visando: ampliar a captação de novos alunos e diminuir suas perdas motivadas pela evasão de seu contingente. Assim, é natural que as Instituições de Ensino Superior (IES), não importando o seu porte, passem a utilizar de recursos de marketing na oferta de seus produtos, no caso os seus cursos organizados a

3

partir de projetos pedagógicos institucionais, e a buscarem a utilização de instrumentos de mensuração da qualidade do serviço ofertado.

Objetivos

O trabalho teve como objetivos, a elaboração e validação dos instrumentos de medidas utilizando de pesquisa juntos aos alunos, a construção dos indicadores de necessidade de crescimento e de desempenho e a construção de relatórios a serem utilizados por distintas instâncias da gestão universitária.

Metodologia

A complexidade das relações envolvidas no processo educacional entre quem o busca (o indivíduo) e quem o oferece (a instituição) não permite uma abordagem simples em que se vê de um lado o cliente e do outro a fornecedora de um serviço. A relação indivíduo x instituição no processo educacional objetiva no seu desenlace a produção de um bem - a formação profissional do aluno, no papel do cliente, por meio de um serviço; a oferta da formação, viabilizada pela execução do projeto pedagógico do curso. Nessa relação, segundo (GRONROOS, 2004, p.65), não há simplesmente um “consumo de resultados” como ocorre na produção de um bem físico; o que ocorre é “consumo de processo”, em que o cliente (aluno) percebe o processo de serviço ou de produção deste, como parte do consumo de serviço e não simplesmente o resultado daquele processo. Ainda, segundo a mesma fonte, e isso é característico na oferta do serviço educacional, “bens e serviços se fundem – mas sob as condições de serviços”. Na oferta do serviço, além da ocorrência de encontros de serviço (todas as atividades desenvolvidas pela universidade: aulas, palestras, cursos e atividades de extensão, etc.) se desenvolvem, também, relacionamentos contínuos entre clientes e fornecedores e, em ambos, discute-se como a qualidade de serviços é percebida. De acordo com esta percepção, a CPA (Comissão Própria de Avaliação) da UNIVERSO realiza anualmente desde 2007, utilizando a metodologia apresentada neste trabalho, a Pesquisa “Ouvindo o Aluno” - POA que tem por objetivo mensurar as percepções de qualidade, do ponto de vista dos alunos, em relação ao projeto e a oferta dos cursos de graduação da instituição. Esta pesquisa acontece em dois momentos no ano: no primeiro semestre é realizada a POA – Avaliação do Trabalho Docente e no segundo a POA – Avaliação da Gestão Infraestrutura e Serviços.

POA – Avaliação do Trabalho Docente

Nesta pesquisa os alunos avaliam o trabalho dos docentes em sala de aula. A pesquisa se fundamenta em um questionário eletrônico composto por 18 (dezoito) questões, disponibilizado no portal institucional, através do canal “Espaço do Aluno”, local acessado frequentemente pelo discente para acompanhamento da sua situação acadêmica. As 15 (quinze) primeiras questões fazem referência específica a aspectos da atividade docente em sala de aula, permitindo aos alunos avaliarem o grau de importância que atribuem a cada aspecto e o grau de satisfação com cada um de seus professores nos mesmos aspectos; outra questão avalia os equipamentos disponíveis e duas outras tem como foco os planos de ensino.

POA – Avaliação da Gestão, Infraestrutura e Serviços

Nesta pesquisa os alunos avaliam as atividades das quais participaram, o seu desempenho nos estudos, aspectos relacionados à Gestão, Infraestrutura e Serviços,

4

demonstram o grau de satisfação geral com o Curso, Infraestrutura, Professores, Gestores do Curso, Dirigentes do Campus e se indicariam ou não a UNIVERSO para outras pessoas. A pesquisa se fundamenta em um questionário eletrônico composto por 44 (quarenta e quatro) questões, disponibilizado no canal “Espaço do Aluno”.

O instrumento SERVQUAL Visando incrementar instrumentos de mensuração de qualidade do serviço ofertado com base na metodologia de análise de lacunas (gaps), a CPA UNIVERSO estudou a possibilidade de implementação de um instrumento denominado “SERVQUAL”. Este, segundo (GRONROOS, 2004, p.97) e (LOVELOCK; WIRTZ e HEMZO, 2011, p.452), começou a ser desenvolvido em meados da década de 1980 por Berry, Parasuraman e Zeinthal quando iniciaram estudos com “vistas a detectar determinantes da qualidade de serviço” e “como clientes avaliam a qualidade de serviços” tomando como base o conceito de Qualidade Percebida do Serviço (QPS): o nível da qualidade total percebida é determinado pela lacuna (gap) existente entre a qualidade esperada (expectativa do cliente) e a qualidade experimentada (satisfação do cliente). O SERVQUAL, originalmente, tem como base um conjunto de cinco determinantes e um conjunto de 22 (vinte e dois) atributos que descrevem os determinantes. Aos entrevistados é solicitado que classifique cada um dos atributos numa escala de sete pontos, que vai de “forte discordância” (nota 1) a “forte concordância” (nota 7), o que esperavam do serviço – qualidade esperada (expectativa) e como perceberam o serviço – qualidade experimentada (satisfação). A pontuação geral da qualidade é obtida através das diferenças entre as notas atribuídas para as expectativas e para a satisfação em cada um dos atributos e resumidas nos determinantes. Quanto maior a diferença (nota da expectativa menos a nota da satisfação) mais baixa é a qualidade percebida no atributo em questão. Instrumento SERVQUAL adaptado para a pesquisa na UNIVERSO

Com vistas aos objetivos da nossa pesquisa, procurou-se adaptar o instrumento SERVQUAL de forma que ele pudesse dar respostas acerca da qualidade percebida nos projetos e na oferta dos cursos de graduação da UNIVERSO (Figura 1), pois, segundo (GRÖNROOS, 2004, p.101),

“a escala SERVQUAL deve ser aplicada cuidadosamente e, em qualquer situação, os determinantes e atributos devem sempre ser reavaliados antes da utilização da ferramenta. Serviços, bem como mercados e ambientes culturais, são diferentes. Poderá ser necessário adicionar ao conjunto original de determinantes e atributos novos aspectos do serviço a ser estudado e, às vezes, excluir alguns deles no instrumento de medida utilizado”.

Ao analisar a natureza do serviço oferecido pela Universidade, procurou-se identificar os diferentes segmentos institucionais envolvidos na oferta: suas posições hierárquicas, seus diferentes papéis e suas posições estrategicamente distribuídas na ação desencadeada no processo de oferta do serviço. Essa identificação de papéis na estrutura organizacional da Instituição é determinante na adaptação do Modelo de Análise de Lacuna (Gaps) para o caso em estudo.

5

Segmentos institucionais relacionados para a pesquisa

I. Administração Superior – segmento constituído pela Mantenedora e Reitoria da UNIVERSO, Pró-Reitorias e os Conselhos Superiores. Responsável pela manutenção e administração da Universidade; é nesse segmento que se estabelecem as políticas institucionais: (acadêmicas e administrativas), definindo a missão e os objetivos da Instituição, o Plano de Desenvolvimento Institucional (PDI), o Projeto Pedagógico Institucional (PPI) e o plano de oferta da graduação (onde se insere a definição dos projetos pedagógicos dos cursos) e pós-graduação, dentre outros. É nesse segmento, também, que se dá a definição dos atos e diretrizes para que a ação institucional se estabeleça, bem como o gerenciamento dessa ação. É aqui que se concretiza o querer institucional e onde se vislumbra, em primeiro plano, a tradução desse querer em ações que visam transformá-lo em serviços que são ofertados à sociedade;

II. Administração Intermediária – segmento constituído pelas Diretorias dos Campi e Gestores de Cursos. É nesse segmento que se inicia a prática das ações consequentes das políticas e planejamentos institucionais que se referem à oferta dos cursos de graduação da Universidade. A tradução em ações de serviços das convicções institucionais que estão propostas nos projetos pedagógicos dos cursos tem, nesse segmento, um dos seus focos principais. Aqui ocorre a seleção dos professores e funcionários técnico-administrativos, a gerência dos serviços

ALU

NO

U

NIV

ER

SO

Comunicações boca a

boca Necessidades Experiência anterior

Expectativa

Satisfação

Professores e Funcionários

(Processo de produção e entrega do

serviço)

Comunicação e Marketing

Administração Intermediária

(Tradução das percepções em

especificações de qualidade)

Administração Superior

(Percepções da Administração

Superior quanto às

expectativas do aluno)

Gap 1

Gap 2

Gap 3

Ga

p 4

Gap 5

Figura 1 - Modelo de Análise de Lacuna (Gaps) Adaptado ao Projeto de Pesquisa da UNIVERSO

6

gerais e de apoio, do trabalho de secretaria, da organização e disponibilidade das instalações necessárias para o desenvolvimento do serviço: (biblioteca, laboratórios, etc). Além de todas essas atividades é desse segmento o acompanhamento e a orientação para que o serviço contemple as especificações definidas nos projetos pedagógicos e as perspectivas das políticas institucionais definidas nos estratos maiores da Universidade;

III. Comunicação e Marketing – é o segmento responsável pela comunicação e marketing institucional, representados pelos Núcleos de Comunicação e Marketing;

IV. Professores e Funcionários – segmento constituído pelos docentes e pelos funcionários técnicoadministrativos que desempenham funções que possuem interface mais visível com os alunos. Esse é o segmento responsável pelo processo de produção e entrega do serviço e, portanto, se constitui na face mais evidente da produção e da oferta do serviço; é onde as manifestações de satisfação ou insatisfação ocorrem mais diretamente. O desempenho desse segmento tem enorme influência nas percepções da qualidade do serviço.

Determinantes para o instrumento SERVQUAL e seus respectivos aspectos avaliados definidos para a pesquisa na UNIVERSO.

Competência: significa que a UNIVERSO reúne capacidade e os conhecimentos necessários (ou requeridos) para assegurar uma oferta de qualidade, devendo contar com:

� Corpo docente constituído por professores eficientes; � Diretores que viabilizam com eficiência os trâmites institucionais de

forma a reforçar a proposta institucional de buscar sempre a excelência na qualidade do serviço por ela disponibilizado;

� Gestores de cursos identificados com as propostas institucionais de propiciar aos alunos uma excelente formação técnica e acadêmica em consonância com os Projetos Pedagógicos dos Cursos que, por sua vez, além de preconizarem uma formação profissional de qualidade, refletem os objetivos e visões da Universidade preconizadas pela sua missão;

� Suporte operacional (pessoal de apoio, serviços de secretaria, coordenação de turno, etc.) capaz de suportar com eficiência o nível de qualidade pretendido pela Universidade na oferta de seus serviços.

Aspectos avaliados no determinante Competência na Avaliação do Trabalho Docente

O Professor:

� Relaciona os assuntos da sua disciplina com a realidade dos alunos. � É claro e objetivo em suas exposições. � Contribui, efetivamente, para a formação profissional de seus alunos.

7

� Utiliza procedimentos didático-metodológicos que facilitam a aprendizagem.

� Estimula o pensamento crítico dos seus alunos.

Aspectos avaliados no determinante Competência na Avaliação da Gestão, Infraestrutura e Serviços

� Os alunos recebem esclarecimentos sobre o projeto pedagógico do

curso. � Nas atividades neste campus da UNIVERSO percebe-se a liderança de

seus dirigentes. � Ao se dirigirem à secretaria os alunos são atendidos com eficiência

pelos funcionários. � Ao se dirigirem ao serviço de protocolo os alunos são atendidos com

eficiência pelos funcionários. � Ao se dirigirem ao atendimento do setor financeiro os alunos são

atendidos com eficiência pelos funcionários. � Ao se dirigirem à biblioteca os alunos são atendidos com eficiência

pelos funcionários.

Credibilidade: é o determinante relacionado com a consistência de desempenho, confiança e honestidade da Universidade em realmente cuidar dos interesses do aluno, no que tange à proposta de oferecer uma formação profissional de qualidade e, nesse sentido, deve-se levar em conta:

� O nome e a reputação da Universidade. � As características pessoais do corpo docente. � Esforço da Universidade na busca de sempre melhorar o seu

desempenho (pessoal/institucional) nas interações com os alunos. � Implantação de alternativas inovadoras no processo educacional

visando melhorias no desempenho de seus alunos.

Aspectos avaliados no determinante Credibilidade na Avaliação do Trabalho Docente

O Professor:

� Demonstra interesse pela aprendizagem dos alunos. � Transmite confiança na abordagem dos assuntos de sua disciplina. � Estimula os seus alunos a participarem das aulas. � Contribui para a formação ética dos seus alunos. � Incentiva os alunos a pesquisar assuntos relacionados com a disciplina. � É hábil em despertar o interesse dos alunos pelo estudo. � Apresenta evidências de que planeja as suas aulas.

Aspectos avaliados no determinante Credibilidade na Avaliação da Gestão, Infraestrutura e Serviços

8

� O Gestor do Curso desperta nos alunos confiança na qualidade do curso.

� A UNIVERSO é reconhecida na sociedade por desenvolver um trabalho de qualidade.

� As despesas financeiras com o meu curso na UNIVERSO constituem um bom investimento pessoal e, inclusive, familiar.

� A UNIVERSO oferece aos seus alunos uma variedade de cursos e atividades de extensão.

� Os alunos da UNIVERSO têm possibilidades de participar de estágios extracurriculares.

� Os alunos da UNIVERSO têm possibilidades de usufruir de convênios destinados à obtenção de descontos nas mensalidades.

� Os professores da UNIVERSO, de uma maneira geral, contribuem de fato para o meu desenvolvimento intelectual e profissional.

� Os cursos e atividades de extensão oferecidos pela UNIVERSO são de qualidade e enriquecem a formação do aluno.

Tangibilidade: é o determinante que inclui a evidência física do serviço. Ele está relacionado com a atratividade das instalações, equipamentos e materiais usados pela Universidade relacionando-se, também, com a aparência física dos funcionários. Nessa dimensão deve-se levar em conta:

� Instalações físicas. � Laboratórios. � Biblioteca. � Salas de Aula. � Localização da Universidade.

Aspectos avaliados no determinante Tangibilidade na Avaliação do Trabalho Docente

O Professor:

� Elabora suas provas com questões compatíveis com os temas ministrados.

� Comenta a prova em sala visando o aprimoramento da aprendizagem.

Aspectos avaliados no determinante Tangibilidade na Avaliação da Gestão, Infraestrutura e Serviços

� Percebo que estou vivenciando um crescimento intelectual e cultural na UNIVERSO.

� Os dirigentes do campus realizam ações que atendem as necessidades/dificuldades de seus alunos.

9

� O Gestor do Curso orienta seus alunos quando são encontradas dificuldades nos processos de ensino e da aprendizagem.

� A biblioteca possui, em disponibilidade, as obras indicadas na bibliografia básica das disciplinas.

� As salas de aula são adequadas para o ensino das disciplinas. � As instalações deste campus são limpas. � Os laboratórios específicos e/ou salas especiais do meu curso são bem

aparelhadas. � Os laboratórios de informática são adequados. � Há facilidades de uso dos laboratórios de informática para desenvolver

atividades acadêmicas. � A localização deste campus é um fator relevante para a minha escolha

pela UNIVERSO. � As disciplinas online disponibilizam conteúdos de qualidade. � As disciplinas online utilizam de metodologia que promove o

aprendizado dos conteúdos. � As disciplinas online possuem adequada estrutura de apoio. (professor

plantonista, professor tutor, etc.). � As disciplinas online possuem facilidades para encontrar os diversos

materiais/recursos de aprendizagem.

Empatia: é o determinante que envolve a cortesia (polidez, consideração e atitude respeitosa) na relação alunos/instituição (diretores, gestores, professores e demais funcionários). Diferentemente de qualquer outro serviço, na educação a relação de cortesia deve ser construída como elemento integrante do processo de formação do aluno e, portanto, a iniciativa para o estabelecimento da relação cabe aos segmentos da Universidade. Nesse sentido devem-se considerar as iniciativas para:

� Entender as necessidades dos alunos. � Conhecer requisitos específicos ou diferenças individuais dos alunos. � Desenvolver atenção individualizada para o aluno.

Aspecto avaliado no determinante Empatia na Avaliação do Trabalho Docente

O Professor:

� É cordial em suas relações com os alunos.

Aspectos avaliados no determinante Empatia na Avaliação da Gestão, Infraestrutura e Serviços

� Em geral, os funcionários são cordiais e atenciosos com os alunos. � Os alunos são bem recebidos na UNIVERSO. � Há sentimento de orgulho em ser aluno da UNIVERSO.

Comunicação: é o determinante responsável pela divulgação da Universidade no plano externo, com o objetivo de difundir a marca institucional e, no plano interno, criando as campanhas de divulgação de fatos, eventos e acontecimentos de interesse do público

10

interno: alunos, professores e funcionários técnicoadministrativos. Faz parte, também, da comunicação interna a divulgação das normas regimentais, resoluções, portarias e outras decisões necessárias para a manutenção e a ordenação do funcionamento institucional.

Aspectos avaliados no determinante Comunicação na Avaliação da Gestão, Infraestrutura e Serviços

� Os serviços e as informações disponibilizados no Espaço do Aluno atendem

às suas necessidades. � A comunicação realizada pela UNIVERSO na mídia (TV, jornais, etc.) é

coerente com a realidade da Universidade. � Os alunos têm facilidade para exporem aos dirigentes do campus suas

satisfações/insatisfações.

Construção dos indicadores

Em geral, a análise dos resultados dessa avaliação é apresentada discutindo-se os valores relativos da diferença havida entre a Importância I n de um aspecto n e a satisfação Sn declarada pelo aluno em relação a esse mesmo aspecto, do seguinte modo:

a) I n Maior que Sn: Desempenho a Desejar; b) I n Igual a Sn: Desempenho Dentro das Expectativas; c) I n Menor que Sn: Desempenho Acima das Expectativas.

Nessa pesquisa, além de deixar explícitos os valores atribuídos à importância e satisfação declarados em cada aspecto, introduziu-se, como elemento de análise quantitativa, o Indicador de Necessidade de Crescimento (INC) inspirado no PGCV – Potencial Gain in Customer Value, apresentado em (HOM; 1997; p. 89-93). Esse indicador, segundo o seu autor, “objetiva estabelecer uma forma de quantificar o quanto se pode aumentar na melhoria do desempenho de cada aspecto que está sendo avaliado, a partir do conhecimento da importância atribuída e da satisfação percebida” em relação ao aspecto.

O INC, determinado para cada aspecto, depende de duas parcelas. Uma delas é dada pelo valor encontrado (VEn): In x Sn, obtido pelo produto da importância atribuída pelo aluno a um determinado aspecto n multiplicado pela satisfação percebida no desempenho desse mesmo aspecto. A outra é dada pelo valor desejado (VDn): In x 7, obtido pelo produto da importância atribuída pelo aluno ao mesmo aspecto n multiplicado pelo valor máximo da satisfação na escala adotada que, neste caso, é dado pelo valor 7.

Assim, define-se o indicador de necessidade de crescimento (INCn)

INC� � VD� � VE�

Ou, na forma de percentual, calculado em relação ao valor desejado:

11

INC� = VDn - VEn

VDn

%

O Indicador de Necessidade de Crescimento – INC representa, numa escala de 0 a 100%, o potencial de crescimento necessário para a obtenção da excelência do desempenho em cada aspecto, tendo como referência a importância atribuída. Desta forma, ele complementa, nessa escala, a satisfação do aluno com o desempenho percebido em cada aspecto avaliado. Assim, aliado ao INC, pode-se atribuir para cada aspecto n o INDICADOR DE DESEMPENHO (IDn), definido como a seguir:

ID� � 100%, quando I� S� ou I� � S� � 7

ID� � 100% � INC�, nos demais casos.

Os resultados obtidos para cada questão compõem os Indicadores de Desempenho institucionais e se encontram expressos por valores em percentuais, segmentados em quatro grupos de desempenho: Excelente, Alto, Médio e Baixo. Para cada segmentação foi escolhido um ícone conforme ilustrado na Figura 2.

Figura 2 Escala do Indicador de Desempenho POA – 2012/1

Resultados e Discussões

Os questionários, depois de validados em pesquisa piloto junto a grupos de alunos possibilitaram sua implementação efetiva no ambiente institucional. A Pesquisa “Ouvindo o Aluno”, desdobrada em dois momentos – “Avaliação do Trabalho Docente” e “Avaliação da Gestão, Infraestrutura e Serviços”, permitiu a elaboração dos seguintes relatórios institucionais:

Resultados POA – Avaliação do Trabalho Docente

Nesta pesquisa são gerados os seguintes resultados:

- Relatório do desempenho do Professor em cada curso no qual leciona, considerando 15 aspectos distintos do trabalho docente. (Anexo 1);

- Relatório do desempenho síntese de cada professor em cada curso no qual leciona. Esses indicadores permitem aos Gestores de Curso, comparações do desempenho obtido por um mesmo professor, em seguidos processos avaliativos. Em 2012, os gestores de cursos tiveram acesso ao desempenho síntese de cada professor nos últimos cinco processos avaliativos. (Anexo 2);

� 0,51 � 0,71 � 0,86 �Baixa - 0% a 50% Média - 50,1% a 70% Alta - 70,1% a 85% Excelente - 85,1% ou mais

12

- Resultados a respeito da disponibilidade de equipamentos para aulas práticas e avaliação dos Planos de ensino apresentados pelos Professores, classificados por Campus, por cursos e Geral UNIVERSO.

Para estes resultados os gestores de curso são orientados a se reunir com cada Professor, repassar e discutir os resultados da avaliação do desempenho do docente. Nos aspectos avaliados onde o Professor obteve desempenho Médio (50,1% a 70%) ou Baixo (0 a 50%) é solicitado ao Professor que elabore um “Plano de Ação” com vistas à melhoria daqueles aspectos o qual deve ser entregue ao Gestor do Curso.

Tais medidas permitem aos agentes deste processo uma constante reflexão sobre como os alunos têm observado o trabalho docente em sala de aula e sua relação com o mesmo.

Resultados POA – Avaliação da Gestão, Infraestrutura e Serviços

Nesta Pesquisa são gerados os seguintes resultados:

- Atividades promovidas pela UNIVERSO que o aluno realiza ou realizou durante o curso - comparativo por Campus;

- Médias (0 a 10) das notas atribuídas em função da importância das atividades promovidas pela UNIVERSO para a formação do aluno - comparativo por Campus;

- Autoavaliação do aluno em relação ao seu desempenho nos estudos, nas turmas em que fez ou faz parte;

- Determinantes de Qualidade considerando o modelo SERVQUAL de aspectos relacionados à Gestão, Infraestrutura e Serviços - comparativo entre Campus e comparativo entre avaliações de diferentes anos (Extrato, anexos 3 e 4);

- Síntese dos determinantes de Qualidade: Competência, Credibilidade, Comunicação, Empatia e Tangibilidade;

- Conhecimento dos alunos a respeito do “Manual Informativo do Aluno” (MIA) e do serviço “Fala Aluno”;

- Avaliação do nível de satisfação geral dos alunos da UNIVERSO com o Curso, Infraestrutura, Desempenho dos Professores, Gestores de Curso e Dirigentes do Campus;

- Conhecimento da proporção de alunos que indicariam ou não a UNIVERSO para outras pessoas.

Os relatórios são enviados para a administração geral da instituição e distribuídos a todos os agentes (Mantenedores, Reitoria, Pró-reitorias, Diretores de Campus, Gestores de Cursos). Cada agente, após análise dos resultados apresentados nos relatórios, realizam as ações corretivas daqueles aspectos cuja execução não dependa

13

de prévia autorização dos órgãos superiores e que se encontram abaixo dos padrões considerados suficientes pela Mantenedora e Reitoria. Quando não é possível uma ação imediata, estes aspectos são apontados nos Planos de Ações de cada campus para a devida apreciação dos órgãos superiores.

A pesquisa, que já se encontra implantada dentro da rotina institucional, vem sendo realizada de forma intermitente desde 2007 e de forma ininterrupta desde 2010 após sua efetiva implantação em ambiente Web, havendo uma adesão crescente dos alunos ao longo destes anos. Na mais recente pesquisa “Ouvindo o Aluno – Avaliação do Trabalho Docente” (2013/1), fizeram parte da amostra 29.414 alunos e na “Ouvindo o Aluno – Avaliação da Gestão, Infraestrutura e Serviços” (2012/2) responderam a pesquisa 15.692 alunos.

Outro ponto que pensamos relevante a ser considerado é a possibilidade de comparação dos resultados quer seja entre as Unidades (campus) em dado ano, quer seja ao longo do tempo permitindo que se observe a “evolução” dos indicadores. Para os órgãos superiores, esta ferramenta tem se mostrado de grande utilidade uma vez que pode ser observada em um único documento que aspectos institucionais são mais relevantes em cada campus.

Considerações Finais

O presente trabalho apresentou uma das ferramentas elaboradas pela Comissão Própria de Avaliação da UNIVERSO e a indicação de alguns de seus desdobramentos dentro de uma instituição de ensino multicampi. Além dos alunos, também são realizadas pesquisas com os Professores, Funcionários técnicoadministrativos e Alunos Ingressantes. O Projeto de Autoavaliação Institucional não teve mudanças estruturais desde sua elaboração; porém, a CPA tem revisto periodicamente seu cronograma de ações objetivando acompanhar a dinâmica da gestão universitária.

Referências

GRONROOS, Crhistian. Marketing Gerenciamento e Serviços. Editora Campus. Rio de Janeiro, 2004.

HOM , Willard. Make Customer Service Analyses a Little Easier With PGCV Index, p.89. QualityProgress. March, 1997.

LOVELOCK , C.;WIRTZ , Y. e HEMZO , M.A. Marketing de Serviços: Pessoas, Tecnologias e Estratégias, Editora Pearson Prentice Hall, 2011.

MEC-INEP ;CENSO DA EDUCAÇÃO SUPERIOR 2011 RESUMO TÉCNICO - Disponível em: <http://download.inep.gov.br/educacao_superior/censo_superior/resumo_tecnico/resumo_tecnico_censo_educacao_superior_2011.pdf>; em 15/07/2013.

14

ANEXO 1 - Modelo do relatório individual que o professor recebe em cada curso

que leciona.

15

ANEXO 2 - Indicadores de desempenho síntese dos Professores do Curso.

16

ANEXO 3 - Resultados a respeito dos Determinantes de qualidade: Comunicação e Empatia

Determinantes de Qualidade

e Aspectos Avaliados

Campus.... Campus... Campus... Campus... Campus... Campus... Campus... Campus... UNIVERSO

I S ID I S ID I S ID I S ID I S ID I S ID I S ID I S ID I S ID

3 Comunicação 6,0 5,3 � 76% 6,0 5,1 � 72% 6,0 5,5 � 78% 5,9 5,2 � 74% 6,0 5,4 � 77% 6,1 5,5 � 78% 5,9 5,2 � 74% 5,9 5,2 � 75% 6,0 5,3 � 75%

24

Os serviços e as

informações

disponibilizados no

Espaço do Aluno

atendem às suas

necessidades.

6,3 5,9 � 84% 6,3 5,7 � 81% 6,2 5,9 � 84% 6,2 5,8 � 83% 6,3 6,0 � 86% 6,4 6,0 � 86% 6,3 5,9 � 84% 6,2 5,8 � 83% 6,3 5,9 � 84%

25

A comunicação realizada

pela UNIVERSO na mídia

(TV, jornais, etc.) é

coerente com a realidade

da Universidade.

5,8 5,1 � 73% 5,9 4,9 � 70% 5,8 5,3 � 76% 5,8 5,3 � 76% 5,8 5,2 � 74% 6,1 5,5 � 79% 5,7 5,0 � 71% 5,8 5,2 � 74% 5,8 5,2 � 74%

26

Os alunos têm facilidade

para exporem aos

dirigentes do campus

suas satisfações

/insatisfações.

5,8 4,9 � 70% 5,9 4,6 � 66% 5,9 5,2 � 74% 5,6 4,5 � 64% 5,8 4,9 � 70% 5,9 4,9 � 70% 5,7 4,7 � 67% 5,6 4,7 � 67% 5,8 4,7 � 68%

4 Empatia 6,1 5,5 � 78% 6,0 5,1 � 73% 6,2 5,7 � 82% 6,0 5,3 � 76% 6,2 5,8 � 82% 6,3 5,8 � 83% 6,3 5,8 � 82% 6,1 5,6 � 80% 6,1 5,5 � 78%

22

Em geral, os funcionários

são cordiais e atenciosos

com os alunos.

6,1 5,5 � 79% 6,0 5,1 � 73% 6,2 5,8 � 83% 5,8 5,0 � 71% 6,2 5,9 � 84% 6,4 5,9 � 84% 6,3 5,9 � 84% 6,2 5,7 � 81% 6,1 5,4 � 78%

23 Os alunos são bem

recebidos na UNIVERSO. 6,1 5,6 � 80% 6,1 5,3 � 76% 6,2 5,8 � 83% 6,0 5,3 � 76% 6,3 5,9 � 84% 6,4 6,0 � 86% 6,4 6,0 � 86% 6,2 5,8 � 83% 6,2 5,6 � 80%

30

Há sentimento de

orgulho em ser aluno da

UNIVERSO

6,0 5,3 � 76% 6,0 5,0 � 71% 6,1 5,6 � 80% 6,1 5,6 � 80% 6,0 5,5 � 79% 6,2 5,6 � 80% 6,1 5,4 � 77% 5,9 5,3 � 76% 6,0 5,4 � 77%

Fonte: CPA - CPD -Novembro/2012

Legenda: I – Importância, S – Satisfação, ID – Indicador de Desempenho

17

ANEXO 4 – Determinantes de Qualidade: Comunicação e Empatia - Comparação do Indicador de Desempenho 2011 x 2012

Determinantes de Qualidade e

Aspectos Avaliados

Campus..... Campus... Campus... Campus..... Campus... Campus..... Campus... Campus.... UNIVERSO

2011 2012 2011 2012 2011 2012 2011 2012 2011 2012 2011 2012 2011 2012 2011 2012 2011 2012

3 Comunicação 73% 76% 70% 72% 71% 78% 71% 74% 75% 77% 74% 78% 69% 74% 72% 75% 75% 75%

24

Os serviços e as informações

disponibilizados no Espaço do Aluno

atendem às suas necessidades

82% 84% 80% 81% 73% 84% 79% 83% 84% 86% 83% 86% 79% 84% 80% 83% 81% 84%

25

A comunicação realizada pela

UNIVERSO na mídia (TV, jornais,

etc.) é coerente com a realidade da

Universidade.

69% 73% 68% 70% 70% 76% 72% 76% 73% 74% 73% 79% 65% 71% 71% 74% 73% 74%

26

Os alunos têm facilidade para

exporem aos dirigentes do campus

suas satisfações /insatisfações.

68% 70% 63% 66% 71% 74% 61% 64% 67% 70% 65% 70% 62% 67% 65% 67% 70% 68%

4 Empatia 76% 78% 72% 73% 72% 82% 72% 76% 81% 82% 82% 83% 78% 82% 79% 80% 78% 78%

22 Em geral, os funcionários são

cordiais e atenciosos com os alunos. 75% 79% 72% 73% 72% 83% 66% 71% 83% 84% 84% 84% 82% 84% 81% 81% 78% 78%

23 Os alunos são bem recebidos na

UNIVERSO. 77% 80% 75% 76% 72% 83% 72% 76% 82% 84% 85% 86% 81% 86% 82% 83% 79% 80%

30 Há sentimento de orgulho em ser

aluno da UNIVERSO. 74% 76% 69% 71% 72% 80% 77% 80% 78% 79% 78% 80% 72% 77% 74% 76% 76% 77%

Fonte: CPA – Novembro de 2012

Legenda: AZUL – Excelente – Desempenho na faixa de 85,1% a 100%/ VERDE – Alto – faixa de 70,1% a 85,0% / AMARELO – Médio – faixa de 50,1% a 70% / VERMELHO – Baixo – faixa de 0 a 50%