IX ENCONTRO DA ABCP

GT - Ensino e pesquisa em Ciência Política e Relações Internacionais

Os Exames Nacionais de Desempenho do Estudante de 2009 e 2012 para

Relações Internacionais: as limitações de uma análise a partir dos Padrões de

Qualidade para cursos de RI e do Perfil do Egresso

Cláudia Alvarenga Marconi

David Almstadter Mattar de Magalhães

Marilia Carolina B. de Souza

Brasília, DF

04 a 07 de agosto de 2014

2

Os Exames Nacionais de Desempenho do Estudante de 2009 e 2012 para

Relações Internacionais: as limitações de uma análise a partir dos Padrões de

Qualidade para cursos de RI e do Perfil do Egresso

Cláudia Alvarenga Marconi – Pontifícia Universidade Católica de São Paulo

David Almstadter Mattar de Magalhães – Universidade Anhembi Morumbi

Marilia Carolina B. de Souza – IEEI-UNESP e Universidade Anhembi Morumbi

Resumo do trabalho: Em 2009 e 2012 realizaram-se as duas e únicas avaliações no

âmbito do Ensino Superior no Brasil envolvendo os Cursos de Graduação em

Relações Internacionais (RI). Trata-se do Exame Nacional de Desempenho de

Estudante (ENADE), que integra o Sistema Nacional de Avaliação do Ensino

Superior (SINAES). Uma análise comparada de ambas as provas, seja em termos de

conteúdos formais exigidos, seja em termos do formato das questões e, por

conseguinte, o tipo de conhecimento que é demandado do estudante, permite-nos

identificar diferenças significativas entre elas e que serão objeto da presente

investigação. Em outras palavras, o presente artigo sustenta que muito embora os

Padrões de Qualidade do Ministério da Educação (MEC) para os Curso de Graduação

em RI, denominados Padreli, mas também o perfil desejado do egresso de RI, também

esmiuçado pelo MEC, mantenham-se os mesmos e sejam os dois grandes

instrumentos de referência para o funcionamento adequado dos cursos de bacharelado

em RI no Brasil, cada uma das duas provas aplicadas pode acabar por indicar para

uma narrativa distinta da área de RI, impactando, diretamente, no processo de ensino-

aprendizagem dos estudantes brasileiros e na gestão cotidiana e estratégica de tais

cursos.

Palavras-chave: ENADE; Avaliação; Relações Internacionais; Perfil do Egresso;

Padrões de Qualidade

1. Introdução

Em 2009 e 2012 realizaram-se as duas e únicas avaliações no âmbito do

Ensino Superior no Brasil envolvendo os Cursos de Graduação em Relações

Internacionais (RI). Trata-se do Exame Nacional de Desempenho de Estudantes

(ENADE), que integra o Sistema Nacional de Avaliação do Ensino Superior

(SINAES). Uma análise comparada de ambas as provas, seja em termos de conteúdos

formais exigidos, seja em termos do formato das questões e, por conseguinte, o tipo

3

de conhecimento que é demandado do estudante, permite-nos identificar diferenças

significativas entre elas.

No entanto, não apenas os Padrões de Qualidade do Ministério da Educação

(MEC) para os Curso de Graduação em RI1, denominados Padreli, mas também o

perfil desejado do egresso de RI, também definido pelo MEC2, mantêm-se os

mesmos. Ambos constituem-se, vale dizer, os dois grandes instrumentos de referência

para o funcionamento adequado dos cursos de bacharelado em RI no Brasil e, nesse

sentido, de consulta daqueles que fazem a gestão cotidiana e estratégica de tais cursos.

As diferenças em termos de conteúdos exigidos e de formato das questões

envolvidas em ambos os ENADEs, e que são percebidas ao compararmos ambos os

exames, propósito primeiro do presente paper, podem, de acordo com o nosso

argumento, conferir certa impermanência no ensino de certos conteúdos não só para

os 4430 concluintes de 20123, por exemplo, como para aqueles que estão em outros

semestres do curso que não apenas os dois últimos, nos noventa e nove4 cursos de RI

do país, bem como impedir o avanço ou continuidade de certas práticas pedagógicas

nas distintas IES.

Este consiste no segundo objetivo, portanto, do presente artigo. Em outras

palavras, sugerir que cada uma das duas provas aplicadas pode acabar por indicar para

uma narrativa distinta da área de RI, impactando, diretamente, no processo de ensino-

aprendizagem dos estudantes brasileiros.

Faz-se importante, nesse ínterim, destacar para os percentuais de questões

objetivas da prova de 2009 em comparação com a de 20125 em termos das principais

linhas de conteúdo em RI: Análise de Política Externa (APE); Teoria de Relações

1 Cf. documento no link: http://portal.mec.gov.br/sesu/arquivos/pdf/padreli.pdf.

2 Tratam-se, mais especificamente, dos §§ 2º e 3º do Art. 3º e dos Arts. 4º ao 7º da Portaria Inep

(Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira) nº133 de 24 de junho de

2009, referente aos conteúdos da ENADE 2009, disponível em

http://download.inep.gov.br/download/enade/2009/Portaria_Diretrizes_2009_Relacoes_Internacionais.

pdf. 3 A partir do ENADE 2012, passou-se a considerar como aluno concluinte aquele com expectativa de

colar grau até o final do primeiro semestre de 2013, isto é, passou-se a considerar alunos de sétimo e

oitavo semestres para os cursos que praticam a semestralidade como concluintes a serem inscritos na

prova. 4 Noventa e nove cursos de RI é a informação que pode ser extraída da tabela da qual constam os

Conceitos Preliminares de Cursos (CPCs) dos cursos de graduação brasileiros envolvidos no ENADE

2012. 5 Da prova, constavam 27 questões objetivas relativas aos Conhecimentos Específicos das RI. Estas

questões objetivas ou testes é que foram analisadas e categorizadas por conteúdos core nela

envolvidos. Vale enfatizar que em algumas questões, há mais de um tipo de conteúdo exigido.

Entretanto, avaliamos aqueles predominantes para fazer a referida categorização.

4

Internacionais (TRI); História das Relações Internacionais; Regimes e Organizações

Internacionais; Política Externa Brasileira (PEB); Integração Regional; Economia

Política Internacional; Segurança Internacional.

Comparando-se as provas de 2009 e 2012, nota-se que o percentual de

questões de APE quase dobrou, compondo 7% das questões da última prova. No que

tange às questões de TRI, estas corresponderam a 22% da prova de 2012,

apresentando ligeira diminuição em relação à participação percentual das questões de

TRI na prova anterior: 4%. As questões relativas aos conteúdos de História das RI

corresponderam a 11% da prova total de 2012, apresentando uma diminuição em

termos percentuais em relação às questões da mesma área em 2009: 11%. Integração

Regional apresentou também uma queda em termos percentuais: 11%.

A diminuição em 4% das questões também acometeu as questões de

Instituições Internacionais, que correspondeu a 11% da prova de 2012. As questões

envolvendo Economia Política Internacional cresceram 4%, representando,

aproximadamente, 15% da prova total de 2012. Finalmente, as questões que

mobilizaram conteúdos de Segurança Internacional cresceram 11%, representando

11% do último ENADE.

Em termos de forma, a distinção entre ambas as provas é também marcante.

Enquanto a prova de 2009 praticamente não ofereceu ao estudante questões

contextualizadas, tal preocupação pareceu clara na prova de 2012, sensivelmente mais

extensa que a primeira. Se as informações e instruções fornecidas de forma mais

acentuada no último ENADE, todavia, eram claras e suficientes para o aluno refletir

acerca da resposta é objeto que ainda merece a devida reflexão. O fato de sete das

vinte e sete questões objetivas terem sido anuladas merece aqui menção, posto que

representam mais de um quarto da prova.

Sabe-se que as instituições não são estáticas e, nessa direção, a presente

investigação supõe que o MEC deva ter refletido sobre as suas práticas avaliativas.

Assim, não se pretende aqui afirmar a priori que as alterações de conteúdo e forma

notadas entre os ENADEs de RI de 2009 e 2012 sejam únicas e particulares à área,

mas sinalizar sim para a insuficiência do Padreli e do perfil do egresso como

instrumentos nos quais se possa buscar referência para uma avaliação formal como o

ENADE e para a gestão mais ampla dos cursos de Graduação no Brasil.

5

2. Sobre o ENADE e o seu papel de articulação dos processos de avaliação dos

cursos e das Instituições de Ensino Superior (IES)

A Lei 10.861, de 14 de abril de 2004, é aquela que institui o denominado

SINAES (Sistema Nacional de Avaliação da Educação Superior), supervisionado pelo

CONAES (Comissão Nacional de Avaliação da Educação Superior). Logo no § 11 do

Artigo 5 da referida lei, verifica-se a obrigatoriedade de avaliação trienal dos

discentes dos distintos cursos de graduação como um dos componentes a ser

regulamentado pelo SINAES por meio do ENADE: “A introdução do ENADE, como

um dos procedimentos de avaliação do SINAES, será efetuada gradativamente,

cabendo ao Ministro de Estado da Educação determinar anualmente os cursos de

graduação a cujos estudantes será aplicado” (LEI N. 10.861, online)6.

A Portaria 2.051, datada de 09 de julho do mesmo ano de 2004, e cujo escopo

é regulamentar os procedimentos de avaliação contidos no SINAES, dimensiona as

três principais responsabilidades avaliativas que cabem ao INEP (Instituto Nacional

de Estudos e Pesquisas Educacionais Anísio Teixeira) - avaliar as instituições, avaliar

os cursos e avaliar o desempenho dos estudantes - como atividades intimamente

relacionadas e, desse modo, interdependentes. De acordo com Dantas e Verhine

(2005, pp.13-14), e como aponta a figura abaixo, “[…] a Portaria 2.051 restabeleceu

essa relação, determinando que os resultados do ENADE fizessem parte de um

conjunto de dimensões de avaliação do curso e do processo de auto-avaliação da

instituição”.

Representação Sistemática do SINAES*:

6 A lei manifesta também preocupação em levantar o perfil dos estudantes e utilizar estas informações

na compreensão dos resultados dos alunos na prova. Ver Art. 5 § 4, LEI 10.861, online.

6

*Representação do SINAES, tendo a avaliação institucional como base e o ENADE

como uma das fontes para a avaliação de curso7.

Como indicado na figura acima, todo o processo envolvendo o ENADE, e, de

forma direta, a avaliação de cursos, subsidiará os processos de auto-avaliação da

instituição e de avaliação externa in loco dos cursos de graduação, culminando, assim,

na avaliação mais abrangente das IES.

Vale indicar, nesse sentido, que o ENADE não consiste apenas de uma

avaliação aplicada a um grupo circunscrito de alunos do último ano de sua graduação.

Envolve sim três instrumentos a partir dos quais se pode extrair dados importantes

para a avaliação dos cursos. O primeiro deles é a prova em si, composta de quarenta

questões totais, sendo dez delas de Formação Geral (FG) e trinta envolvendo o

denominado Componente Específico (CE). Das dez de FG, oito são questões objetivas

e duas discursivas. Das trinta correspondentes ao CE, usualmente vinte e sete são

questões objetivas, enquanto três têm o caráter de questão aberta.

Além da prova, tem-se um questionário de percepção da mesma, envolvendo o

grau de dificuldade da prova tanto no componente de FG quanto no que tange ao CE,

a adequação do tempo de prova, a clareza quanto aos enunciados das questões, o quão

suficientes foram as instruções dadas para a resolução das questões, que tipo de

dificuldade o aluno se deparou ao fazer a prova, se o aluno estudou ou não a maior

parte dos conteúdos exigidos nas questões objetivas, e, por fim, quanto tempo o aluno

gastou para fazer a prova.

Um terceiro e último instrumento envolvendo o ENADE é o questionário

socioeconômico, cujo objetivo é traçar um perfil dos alunos concluintes, assim como

reunir a opinião dos estudantes sobre o ambiente acadêmico e o impacto da qualidade

deste mesmo ambiente em sua formação. No último ENADE, datado de 2013, duas

das questões respondidas neste questionário produziam a nota do curso nos

componentes Infraestrutura e Organização Didático-Pedagógica. Sobre o primeiro

componente, tratava-se de uma questão sobre equipamentos e materiais para a

realização de aulas práticas8, enquanto que o segundo componente envolvia uma

questão sobre a disponibilização dos planos de ensino com todos os seus aspectos aos

alunos.

7Figura extraída de DANTAS; VERHINE, 2005, p.14.

8 Para cursos da área de Humanidades, tal pergunta pode, sobretudo pela natureza mais teórica dos

cursos envolvidos nessa grande área, gerar certa confusão para o aluno respondente.

7

Percebe-se, assim, que não só o ENADE se constitui em um processo em

função dos amplos insumos que produz para a avaliação dos cursos de graduação, e

IES, mas também porque compreender a sua composição é um desafio que se

evidencia quando se elencam todas as variáveis necessárias para que, por meio do

ENADE, extraia-se a nota mais importante advinda dele e que reflete, ao menos por

princípio, a qualidade dos cursos de graduação sempre numa escala de 0,0 a 5,0: o

Conceito Preliminar de Curso (CPC).

Tais variáveis são as seguintes:

nota de professores em função da titulação de doutor (Dout);

nota de professores com regime de dedicação integral ou parcial

(Integ_parc);

nota da infraestrutura (Infra);

nota da organização didático-pedagógica (Pedag);

nota dos concluintes na prova ENADE;

indicador de diferença de desempenho (IDD).

Na tabela abaixo, extraída da Nota Técnica do INEP/MEC, fica claro como se

dá tecnicamente o cálculo do supracitado IDD, que é função das características de

infraestrutura e instalações físicas do curso, dos recursos didático-pedagógicos

disponibilizados pelo curso e das características do corpo docente, seja em termos de

titulação quanto de dedicação ao curso, todos denominados insumos.

Conceitualmente, o IDD se define como

[...] uma estimativa de “valor adicionado”, ou seja, de quanto o

curso contribuiu para o desenvolvimento das habilidades

acadêmicas, das competências profissionais e do conhecimento

específico do aluno, levando-se em consideração o perfil do

estudante que ingressa no curso (INEP/MEC – NOTA TÉCNICA

DO CÁLCULO DO CPC DE CURSOS DE GRADUAÇÃO,

online, p.1).

O modelo e peso de cada insumo no cálculo do IDD pode ser sintetizado tal

como demonstrado na tabela abaixo (INEP/MEC – NOTA TÉCNICA DO

CÁLCULO DO CPC DE CURSOS DE GRADUAÇÃO, online, p.4):

8

O CPC é, por seu turno, e de forma simplificada, “[…] um indicador sintético

que pondera os resultados do Enade, IDD e insumos” (INEP/MEC – NOTA

TÉCNICA DO CÁLCULO DO CPC DE CURSOS DE GRADUAÇÃO, online, p.5) e

no qual o IDD e os insumos têm peso 0,30, somando 0,60, e a nota dos concluintes na

prova ENADE tem peso 0,40, totalizando 1,00.

A tabela abaixo expõe os pesos, respectivamente, da nota do IDD (NIDD), da

nota dos concluintes (NC), da nota dos professores mestres (NPM), da nota dos

professores doutores (NPD), da nota de regime de regime de dedicação integral ou

parcial (NPR), da nota referente à infraestrutura (NF) e da nota referente à

organização didático-pedagógica (NO) na composição do CPC de 2011 em diante

(INEP/ MEC – NOTA TÉCNICA N. 029, 2012, online).

É necessário frisar que o objetivo de nossa reflexão no presente paper acerca do

papel do ENADE no que diz respeito à área de RI se limitará à NC nas provas

ENADE de 2009 e 20129, não se atendo, portanto, aos outros componentes aqui

descritos. Uma análise, todavia, completa do papel avaliativo do ENADE enquanto

9 De 2011 em diante, o cálculo tanto do IDD quanto do CPC passou a fazer uso do resultado do

desempenho dos ingressantes a partir do ENEM (Exame Nacional do Ensino Médio), estando tais

alunos dispensados de realizarem o ENADE. Desse modo, em 2009, os ingressantes dos cursos de RI

daquele ano foram inscritos e realizaram a prova, enquanto na prova de 2012, os ingressantes

obtiveram dispensa de participar do exame.

9

processo para a área de RI, exigiria dos autores um esforço na direção de

compreender os resultados em termos de CPC das distintas IES que ofertam o curso,

tal como se expôs acima, e não apenas da variável “nota dos concluintes na prova

ENADE”.

3. Sobre a prova ENADE e a área de RI: a expectativa de alinhamento com o

Padreli e o perfil desejado do egresso de RI

Os denominados “Padrões de Qualidade para o curso de Relações

Internacionais” (PADRELI)10

, desenvolvidos a partir do MEC, cumprem papel

fundamental de indicar para os requisitos fundamentais para o funcionamento da

graduação em RI na ausência de Diretrizes Curriculares Nacionais (DCNs) para a

área. Estruturado em três eixos, o documento propõe-se a sistematizar os quatro

requisitos obrigatórios para o pleno funcionamento de cursos de RI no Brasil.

O primeiro deles diz respeito à formação do corpo docente e do coordenador

devem, necessariamente, conectar-se às RI11

. O segundo diz respeito à qualificação

docente, considerando a titulação formal e as atividades acadêmicas empreendidas

pelos docentes. O quarto requisito envolve as questões de instalações e infraestrutura

em geral. O terceiro requisito do PADRELI e que interessa especialmente ao presente

artigo intitula-se “O projeto acadêmico-pedagógico”. Neste, prevê-se um conjunto de

disciplinas para cada item abaixo, perfazendo determinada quantidade de horas.

Sendo assim, têm-se:

Disciplinas específicas da área de RI: formam o corpo central do curso e cobre as

principais matrizes teóricas que caracterizam a área específica das Relações

Internacionais, estabelecendo que “[...] os conceitos e as categorias empregadas

nesse campo de estudo são ministradas, devem perfazer um mínimo de 480

horas/aula” (PADRELI, online). Disciplina introdutória ao estudo das RI,

disciplinas cujo cerne sejam as questões teóricas de RI, disciplina de História e

Análise da PEB, disciplina de História de RI e disciplinas de análise de

instituições internacionais são nesse item elencadas.

10

Cf. documento no link: http://portal.mec.gov.br/sesu/arquivos/pdf/padreli.pdf. 11

Tal preocupação fica claramente expressa em MIYAMOTO, 2003, online, quando levanta a seguinte

questão: “[…] seria possível imaginar um curso de Economia cujo corpo docente contasse apenas ou

majoritariamente com advogados, sociólogos e historiadores? Critérios semelhantes devem, portanto,

ser utilizados para as RI”.

10

Disciplinas de suporte e diretamente correlatas de caráter obrigatório para a área

de Relações Internacionais: são as disciplinas de suporte e de formação básica,

envolvendo disciplinas das áreas de Humanas, Ciências Sociais e Exatas, já que

“Devem tratar das áreas no âmbito das quais os fenômenos internacionais se

manifestam e perfazer cerca de 1.200 horas-aula” (PADRELI, online). Disciplinas

introdutórias à Ciência Política, à Sociologia, à História, ao Direito, disciplinas de

Economia Brasileira, disciplina envolvendo as relações econômicas

internacionais, disciplina de Direito Internacional, disciplina envolvendo a prática

de idiomas, disciplina de metodologia qualitativa e de também quantitativa estão

elencadas no rol de disciplinas ditas de suporte.

Disciplinas voltadas para a orientação profissional do curso de Relações

Internacionais: são as disciplinas de suporte e complementares à formação no

campo das Relações Internacionais. Tais disciplinas refletem o perfil vocacional

particular de cada IES e podem, portanto, variar de curso a curso.

Tendo isso sido exposto, as questões específicas de RI selecionadas para

compor o ENADE deveriam perfazer tanto os conteúdos envolvidos nas disciplinas

específicas da área de RI quanto os conteúdos mobilizados nas disciplinas de suporte

e diretamente correlatas, uma vez que as disciplinas voltadas para a orientação

profissional podem oscilar em função das especificidades dos cursos de RI. Vale

ainda dizer que ainda que se aponte para certas disciplinas, o PADRELI não

especifica os seus conteúdos, muito menos as metodologias de ensino envolvidas na

construção desses conteúdos.

Para além do PADRELI, os denominados gestores de curso, ou seja, os

coordenadores de graduação, também contam como referência legal para pensarem os

seus Projetos Pedagógicos de Curso (PPCs), o perfil desejado do egresso de RI

traçado pelo INEP. O art. 7 da Portaria Inep Nº133, de 24 de junho de 2009, elenca os

seguintes conteúdos como aqueles que perfarão o primeiro ENADE da área de RI12

:

A prova do Enade 2009, no componente específico da área de

Relações Internacionais, tomará como referencial os seguintes

conteúdos:

a) Formação Teórica: teorias clássicas e contemporâneas das

Relações Internacionais; Economia Política Internacional.

12

2009 foi, na realidade, o ano em que a área de RI foi pela primeira vez avaliada por uma prova do

MEC, já que enquanto vigorou o denominado “Provão”, os cursos de RI não foram nele envolvidos.

11

b) Formação Geral: Regimes Internacionais; Organizações

Internacionais; Análise de Política Externa; Política Externa

Brasileira; Integração Regional; Segurança Internacional; Comércio

e Finanças Internacionais; Cooperação Internacional; Direitos

Humanos; Meio Ambiente.

c) Formação Histórica: História das Relações Internacionais;

História das Relações Internacionais do Brasil.

Percebe-se uma ligeira diferença entre os conteúdos disciplinares envolvidos

no PADRELI e os conteúdos tomados como referenciais para a prova de 2009. Tal

distinção diz respeito a uma maior especificação deste último instrumento em relação

ao primeiro, bem como a itenização de conteúdos específicos que não constavam, ao

menos não de forma explícita, no PADRELI.

3.1. A dimensão dos conteúdos relativos ao Conhecimento Específico (CE)

dos ENADES de RI de 2009 e 2012

Tal como explicitado na introdução do presente artigo, crê-se importante

destacar os percentuais de questões do CE da prova de 2009 em comparação com a de

201213

em termos das principais linhas de conteúdo em RI: Análise de Política

Externa (APE); Teoria de Relações Internacionais (TRI); História das Relações

Internacionais; Regimes e Organizações Internacionais; Política Externa Brasileira

(PEB); Integração Regional; Economia Política Internacional; Segurança

Internacional.

Comparando-se as provas de 2009 e 2012, nota-se que o percentual de

questões de APE quase dobrou, compondo 7% das questões da última prova. No que

tange às questões de TRI, estas corresponderam a 22% da prova de 2012,

apresentando ligeira diminuição em relação à participação percentual das questões de

TRI na prova anterior: 4%. As questões relativas aos conteúdos de História das RI

corresponderam a 11% da prova total de 2012, apresentando uma diminuição em

termos percentuais em relação às questões da mesma área em 2009: 11%. Integração

Regional apresentou também uma queda em termos percentuais: 11%.

A diminuição em 4% das questões também acometeu as questões de

Instituições Internacionais, que correspondeu a 11% da prova de 2012. As questões

envolvendo Economia Política Internacional cresceram 4%, representando,

13

Da prova, constavam 27 questões objetivas relativas aos Conhecimentos Específicos das RI. Estas

questões objetivas ou testes é que foram analisadas e categorizadas por conteúdos core nela

envolvidos. Vale enfatizar que em algumas questões, há mais de um tipo de conteúdo exigido.

Entretanto, avaliamos aqueles predominantes para fazer a referida categorização.

12

aproximadamente, 15% da prova total de 2012. Finalmente, as questões que

mobilizaram conteúdos de Segurança Internacional cresceram 11%, representando

11% do último ENADE.

Em linhas gerais, a pioneira avaliação ENADE de 2009, sob a perspectiva da

distribuição de seus conteúdos, mostrou os desafios que espelham a própria área: uma

abrangência ímpar de conteúdos exigidos por parte dos estudantes. Os resultados

desta prova não foram satisfatórios quando se observam as estatísticas nacionais.

Entretanto, não se pode concluir que tais resultados revelavam de forma geral uma má

qualidade dos cursos de graduação, mas sim que o que se era esperado dos estudantes,

não estava sendo praticado por ao menos 47,1% das instituições avaliadas, que

obtiveram conceitos 2 e 1 no ENADE (CESA, 2012).

Ao se analisar o Gráfico (I) abaixo, elaborado a partir da análise das 27

questões objetivas de CE, percebe-se, entre outros aspectos que (a) as subáreas de

Teoria das Relações Internacionais e História das Relações Internacionais

preponderaram sobre as demais, totalizando cerca de 41% do total; (b) prevaleceram

os conteúdos tradicionais e clássicos das relações internacionais; e, por fim, (c)

estiveram quase ausentes questões que envolvessem a pluralidade dos atores

internacionais, seja na participação quanto à formulação de política externa, seja nas

questões de segurança internacional, entre outros.

(I) ENADE 2009: Distribuição de Conteúdos*

*Gráfico elaborado pelos autores a partir da análise da prova ENADE 2009.

4%

26%

11%

15%

15%

22%

7%

Análise de PolíticaExterna

Teoria das RIs

Economia PolíticaInternacional

Regimes e Ois

Integração Regional

História das RIs

Política Externa Brasileira

13

Os conteúdos abordados na avaliação de 2009, ao priorizarem temas relativos

à Teoria e História de Relações Internacionais revelaram um destaque aos temas

originários da área, e, na sequência, priorizaram os temas que envolvem PEB e

Regimes e Organizações Internacionais.

Observa-se que os conteúdos não foram distribuídos de forma equilibrada

entre as áreas e que, ao priorizar os temas tradicionais das RI, acabaram por excluir

temas que envolvessem, por exemplo, os ditos novos atores na condução dos

processos de negociações internacionais, de formulação de política externa, ou até

mesmo na definição de novas ameaças em segurança internacional.

Os cursos, distribuídos entre as diferentes regiões do país tiveram dificuldades

ao se depararem com uma prova que priorizou alguns conteúdos e excluiu outros.

Ademais, temas que envolvem economia, políticas comerciais, teoria e ciência

política foram igualmente excluídos.

A avaliação ENADE de 2012 quanto à distribuição de conteúdos, apresentou

41% do total distribuído entre Teoria das RIs, História das RIs e Política Externa

Brasileira, representando os conteúdos mais tradicionais e clássicos da área. A

novidade desta avaliação foi que Economia Política Internacional e Regimes e

Organizações Internacionais concentraram 26% do total da prova, e a inovação foi a

ênfase em conteúdos de Análise de Política Externa e Segurança Internacional,

perfazendo 18% do total da prova.

É possível inferir, a partir da análise dos dados, que a avaliação contou com

uma distribuição mais equilibrada e plural dos conteúdos, sobretudo por abarcar

questões que envolviam os novos atores, ou atores privados, no que concerne ao

processo de análise da política externa e às discussões sobre a agenda de segurança

internacional. O gráfico abaixo demonstra a distribuição desses conteúdos, ainda que

não revele as nuances quanto ao modo como esses conteúdos foram exigidos.

14

(II) ENADE 2012: Distribuição de Conteúdos*

*Gráfico elaborado pelos autores a partir da análise da prova ENADE 2012.

Dessa forma, ao se tornar mais abrangente, possibilitou um melhor

desempenho aos diversos currículos existentes no país, mesmo diante da ausência da

Diretriz Curricular Nacional.

3.2. A dimensão da forma com que o Conhecimento Específico (CE) foi

exigido nos ENADES de RI de 2009 e 2012

Distintamente do PADRELI, instrumento legal que sequer menciona as

metodologias de ensino envolvidas na construção dos conteúdos elencados como

fundamentais para um aluno de RI, a Portaria Inep Nº133 ao estabelecer as seguintes

competências e habilidades como aquelas que se espera do egresso da graduação em

RI, pode ser entendida como um instrumento legal que avança nessa direção:

a) Dominar a norma culta da língua portuguesa nas modalidades oral e escrita;

b) Conhecer e dominar as principais ferramentas teóricas e técnicas da área de

relações internacionais que possibilite o profissional planejar ações, analisar

cenários e os seus impactos, bem como angariar subsídios para uma tomada de

decisão em matérias internacionais acertada;

c) Dominar as distintas abordagens e perspectivas teóricas das RI;

11%

7%

15%

19% 4%

22%

11%

11%

Regimes e OIs

Análise de Política Externa

Economia PoliticaInternacionalPolitica Externa Brasileira

Integração Regional

Teoria das RIs

Historia das Ris

Segurança Internacional

15

d) Desenvolver, prospectar cenários e avaliar impactos de transformações da

conjuntura internacional em cenários estratégicos de curto, médio e longo

prazos a partir dos conhecimentos específicos da área de RI;

e) Gerir processos na área internacional de forma ética.

Desse modo, o presente artigo entende que uma prova como a do ENADE a

fim de pretender avaliar competências e habilidades dos egressos de RI, deve,

minimamente, ter as suas questões concebidas e estruturadas justamente no sentido de

verificá-las. Analisando as distintas provas ENADE, inclusive de outras áreas, é

possível extrair tipologias ou categorias específicas a partir do que cada questão exige

do aluno em termos de habilidades e competências ao se depararem com a questão,

quais sejam:14

(I) Questões Interpretativas COM Conhecimento prévio; (II) Questões

Interpretativas SEM Conhecimento prévio; (III) Teóricas; e, por fim, (IV) Lógicas

(MALLET; SANTOS, 2011, online).

Observando, assim, a prova de 2009, encontra-se a seguinte distribuição das

questões em termos das tipologias supracitadas, permitindo-nos analisar a

acessibilidade dos estudantes quanto à compreensão das questões e possibilidades de

acerto:

(III) ENADE 2009: Tipologia das Questões *

14

Os autores deste artigo tiveram contato com tais tipologias quando estiveram a frente do Curso de

Relações Internacionais da Universidade Anhembi Morumbi quando do ENADE 2012. Uma das

autoras, Cláudia A. Marconi participou, ao lado das profas. Ms. Luciana Santos e Dra, Débora Mallet

da Comissão Permanente para o ENADE da referida IES, oportunidade em que tais questões foram

discutidas e tipologias esclarecidas por MALLET; SANTOS.

37%

4%

48%

11% Interp. COMConhecimento Prévio

Interp. SEMConhecimento Prévio

Teóricas

Interp.COMConhecimentoPrévio+Teóricas

16

*Gráfico elaborado pelos autores a partir da análise da prova ENADE 2009.

Foram analisados os 27 testes de CE que compuseram a prova. Compreendem-

se pelas questões teóricas, que corresponderam a 48%, questões sem textos-base ou

contextualização, ou seja, são questões exigem que o aluno identifique o conceito-

chave e eleja a alternativa correta, a partir de conhecimento prévio.

Em seguida, a prova apresentou 37% de questões Interpretativas com

Conhecimento Prévio, ou seja, questões com textos-base e contextualização, que

exigem interpretação dos textos e sua relação com o enunciado, para então, eleger a

alternativa correta.

Por fim, as questões Interpretativas sem Conhecimento Prévio e questões

“mistas” Interpretativas com conhecimento prévio e Teóricas corresponderam a 15%

do total.

Observa-se, portanto, que a maioria das questões foram baseadas na

habilidade do estudante de decorar os conteúdos para poderem resolver o item, pois

não foram fornecidos textos-base com contextualização. Tal fato dificultou o bom

desempenho dos estudantes na prova, sobretudo pela abrangência e amplitude de

conteúdos.

Com o objetivo de comparar as duas avaliações, se faz necessário analisar a

avaliação ENADE de 2012, em sua distribuição questões em função das tipologias

(gráfico IV), novamente analisando-se as vinte e sete questões objetivas de CE:

(IV) ENADE 2012: Tipologia das Questões

85%

15%

Interp. COMConhecimento Prévio

Lógica

17

É interessante observar a partir dos dados analisados que a grande maioria das

questões ENADE 2012 foram, segundo a metodologia proposta por Mallet e Santos

(online), “Interpretativas COM Conhecimento Prévio”, ou seja, foram questões que

contavam com textos-base e contextualização, para então, o aluno mobilizar seu

conhecimento prévio e eleger a alternativa correta.

Tal fato evidencia que houve mais subsídios na prova para que o estudante

pudesse classificar a subárea, mobilizar o aprendizado obtido através de estudos

convencionais, mas também em debates em sala de aula e atividades extraclasse, o

que propiciou um melhor desempenho nas questões objetivas.

Houve também 15% de questões “Lógicas”, aquelas em que o estudante

precisa reconhecer relações de causa e consequência entre sentenças, o que faz com

que ele reflita não apenas sobre a veracidade das mesmas, mas também sobre suas

relações causais e/ou implicações sobre o meio em que está inserida.

De toda forma, vale destacar que, em comparação com a avaliação de 2009,

houve uma diminuição drástica nas questões puramente “Teóricas”, pois mesmo nas

questões que exigiam conteúdos que envolvessem conhecimento teórico, havia textos-

base, de forma contextualizada, que permitiu ao estudante estabelecer conexões e, por

este motivo, aumentavam as suas chances de eleger a alternativa correta.

Finalmente, a avaliação de 2012 mostrou-se mais ampla e mais consonante

com as diversas frentes que a área de relações internacionais pode explorar, muito

embora tenha refletido algumas dificuldades inerentes à ausência DCNs, pois muitos

cursos prepararam seus estudantes a partir da avaliação de 2009 e a avaliação de 2012

mostrou-se muito distinta, tanto em sua distribuição de conteúdo, quanto no formato

de suas questões, o que impossibilita extrair um mínimo denominador comum entre

ambas avaliações.

3.3 Da Percepção dos futuros egressos em relação às provas ENADE de 2009

e 2012

Tal como indicado no item dois do presente artigo, foi solicitado aos

estudantes, ao final da prova, que respondessem a um questionário intitulado

“Percepção da prova”. Nele os alunos registram suas opiniões a respeito do exame a

partir de um questionário composto por nove perguntas, abarcando tanto os

componentes gerais quanto os específicos da prova.

18

Muito embora estejamos lidando com dois grupos diferentes de estudantes

que realizaram a prova – um em 2009 e outro em 2012 -, o registro de percepção

discente pode sinalizar para uma menor ou maior aderência dos distintos PPCs de

cursos em atividade no Brasil em relação ao exame.

Das nove perguntas do questionário, sete diziam respeito direta ou

indiretamente ao CE da prova. As questões versaram principalmente sobre tópicos

como a dificuldade, extensão e clareza da prova. Vale destacar que o ENADE 2009

traz o registro da percepção tanto dos ingressantes quanto dos concluintes. Já o

questionário do ENADE 2012 registra apenas as percepções dos alunos concluintes,

uma vez que os ingressantes foram dispensados.

Por razões metodológicas, portanto, os dados e gráficos que seguem dizem

respeito somente à percepção dos alunos concluintes registradas a partir das respostas

às sete questões sobre o conteúdo específico do exame.

Para melhor entendimento da percepção discente nesses dois exames, foram

escolhidos os dados totais do Brasil, Sudeste e de cinco cursos de referência na

consolidação da área de RI no Brasil: UnB, PUC-RJ, PUC-SP, PUC-MG e UFRGS.

Além disso, tais instituições também apresentaram elevado CPC em ambos os

ENADEs.

Quando perguntados sobre o nível de dificuldade das questões específicas,

tanto em âmbito nacional quanto regional, não houve maiores alterações entre os dois

exames. Em 2009, em todo o Brasil, 57,6% dos estudantes declararam que a prova

tinha um nível médio de dificuldade contra 59,3% registrados em 2012.

Uma oscilação semelhante pode ser observada nos alunos que consideraram a

prova difícil: 27,1% em 2009 versus 24,9% em 2012. Os dados referentes à região

Sudeste seguem, portanto, os mesmos padrões nacionais.15

15

Faz-se válido destacar que o presente trabalho não reúne subsídios suficientes para adentrar as

realidades institucionais das IES apresentadas, oferecendo interpretações para eventuais diferenças de

percepção entre 2009 e 2012. Os dados nos auxiliam, entretanto, a pensar em que medida os cursos de

Relações Internacionais das IES envolvidas no ENADE acompanham as tendências observadas

regional e nacionalmente.

19

Fonte: INEP

Em relação à duração da prova, o ENADE 2012 foi considerado pelos

concluintes ligeiramente mais longo e trabalhoso que o de 2009. Os alunos que

declararam ser a prova "muito longa" correspondem a 7,8% em 2009 e 15,8% em

2012. Em 2009, 13,4% dos alunos consideraram a prova "longa"; em 2012 o número

saltou para 23,8%. A mesma tendência pode ser observada regionalmente.

Nota-se, também, alterações muito pequenas, em níveis nacionais, na

percepção dos alunos quanto à suficiência das informações para a resolução das

questões. Essa alteração é um pouco maior na região: o estudantes no Sudeste

consideraram as questões da prova de 2012 com mais informações/instruções do que

a de 2009: respectivamente 35,3% e 40,1%.

Quando perguntados sobre as dificuldades enfrentadas na prova, há uma

sensível alteração na percepção em nível nacional. 17,2% dos alunos declararam

desconhecer mais o conteúdo da prova de 2009. Em 2012 esse número cai para

12,8%. Tal distinção pode ser reflexo, de um lado, da maior distribuição de conteúdos

da prova de 2012, e, de outro lado, do fato de prova de 2012 privilegiar questões

contextualizadas.

A mesma alteração se observa na região Sudeste - 17,6% para 11,8% -,

região, vale dizer, com alta concentração de IES privadas e que, muitas vezes, acabam

privilegiando em sua grade curricular disciplinas que conferem certa especificidade à

formação do egresso e atendem a certas demandas de mercado, impactando, por

exemplo, na carga horária de disciplinas dedicadas a conteúdos mais tradicionais de

RI. Dessa forma, o menor desconhecimento dos conteúdos por parte dos futuros

0,00%

10,00%

20,00%

30,00%

40,00%

50,00%

60,00%

70,00%

2009 2012 2009 2012 2009 2012 2009 2012 2009 2012 2009 2012 2009 2012

BRASIL REGIÃO UNB PUC-MG PUC-SP PUC-RJ UFRGS

Qual é o grau de dificuldade desta prova na parte de Componente Específico?

Muito fácil Fácil Médio Difícil Muito difícil

20

egressos da região Sudeste em 2012 é um bom indicativo de que a prova se tornou

mais sensível à realidade educacional da maior parte dos estudantes brasileiros de RI.

Em termos numéricos, a região Sudeste compreende cinquenta e três IES,

sendo oito de caráter público contra quarenta e cinco instituições privadas. Enquanto

as oito publicas correspondem a 286 alunos concluintes participantes da prova, as

outras quarenta e cinco perfazem 2037 estudantes concluintes, o que representa quase

88% dos estudantes da região16

.

Em relação à clareza e objetividade das perguntas, em nível nacional e

regional, observa-se uma grande correspondência entre as provas de 2009 e 2012:

Fonte: INEP

Também observa-se alterações muitos sensíveis, em níveis nacionais, na

percepção dos acadêmicos no que concerne à suficiência das informações para a

resolução das questões. Essa alteração é um pouco maior na região Sudeste: mais

alunos consideraram as questões da prova de 2012 com maior grau de detalhamento

de informações que a prova aplicada em 2009 (35,3% e 40,4%, respectivamente),

ainda que justamente por problemas de clareza a última prova tenha tido sete das

vinte e sete questões teste de CE anuladas.

Quando perguntados sobre as dificuldades enfrentadas na prova, há uma

sensível alteração na percepção em nível nacional. Os acadêmicos declaram

desconhecer um pouco mais o conteúdo do primeiro exame que o do segundo: 17,2%,

16

A região Sudeste compreende mais da metade dos cursos de RI participantes da prova de 2012: 53 de

100 cursos totais.

0,00%

10,00%

20,00%

30,00%

40,00%

50,00%

60,00%

70,00%

2009 2012 2009 2012 2009 2012 2009 2012 2009 2012 2009 2012 26,20% 25%

BRASIL REGIÃO UNB PUC-MG PUC-SP PUC-RJ UFRGS

Os enunciados da questões da Prova Específica estavam claros e objetivos?

Sim, a maioria Apenas cerca da metade Poucos Não, nenhum

21

em 2009, para 12,8% em 2012 . A mesma alteração se observa na região sudeste:

17,6% para 11,8%17

.

Fonte: INEP

No tópico referente ao conteúdo estudado, há também uma percepção

compartilhada por parte dos alunos nas duas provas. Os que declaram ter estudado

todos ou muito dos conteúdos chega a quase 75% das respostas (75,6% em 2009 e

74,6% em 2012), ainda que isso não se reflita em desempenho elevado na mesma

proporção dos estudantes na prova. Em âmbito regional, também observa-se que três

quartos dos alunos declararam ter estudado todos ou muitos dos conteúdos cobrados

na prova.

4. Considerações finais

A proposta do presente artigo se cumpre na medida em que foram mapeadas

as provas ENADE de 2009 e 2012 no CE em termos de conteúdo e de tipologia das

questões, tendo sido observado mudanças significativas em ambos os aspectos. Ainda

que a avaliação de 2012 tenha apresentada uma distribuição mais equilibrada dos

17

Como alternativas a esta pergunta, o aluno dispunha das seguintes: Desconhecimento do conteúdo;

Forma diferente de abordagem do conteúdo; Espaço insuficiente para responder às questões; Não tive

qualquer tipo de dificuldade para responder à prova; Falta de motivação para fazer a prova.

0,00%

10,00%

20,00%

30,00%

40,00%

50,00%

60,00%

70,00%

2009 2012 2009 2012 2009 2012 2009 2012 2009 2012 2009 2012 26,20% 25%

BRASIL REGIÃO UNB PUC-MG PUC-SP PUC-RJ UFRGS

Você se deparou com alguma dificuldade ao responder a prova. Qual?

Desconhecimento do conteúdo

Forma diferente de abordagem do conteúdo

Espaço insuficiente para responder às questões

Falta de motivação para fazer a prova

Não tive qualquer tipo de dificuldade para responder à prova

22

conteúdos específicos, a distinção mais notória pode ser percebida no desenho das

questões e do formato da prova como um todo.

Há, desse modo, um diagnóstico por parte do presente artigo de uma tendência

de mudança de um eixo quase que estritamente clássico das RI, observado com

clareza na prova de 2009, para um eixo um tanto mais plural e que compreenda a área

de RI como uma área em permanente construção.

Quanto à mudança de forma, evidenciada na distribuição dos ENADEs em

função das tipologias de questões, há um salto qualitativo importante, haja vista que o

perfil do egresso encontra nesse formato de prova maios aderência. Todavia, tanto

questões teste interpretativas quanto lógico-causais exigem amplo preparo por parte

do examinador. Em outras palavras, um treinamento adequado por parte dos

elaboradores do exame parece ser condição necessária para que a relação entre texto-

base, enunciado e alternativas se consume, dando reais subsídios e condições para que

o conhecimento prévio do aluno seja efetivamente mobilizado.

Por mais avanços, portanto, que o ENADE 2012 apresente nesse quesito com

relação ao de 2009, ainda há desafios a serem levados a cabo no sentido de tal

avaliação cumprir o seu papel de mensurar, com transparência e objetividade, a

qualidade dos cem cursos de Graduação em RI no Brasil envolvidos no último

ENADE.

Os dados quanto à percepção dos futuros egressos quanto às avaliações por

eles realizadas em 2009 e 2012 são, sem dúvida, instrumentos valiosos no

entendimento do papel cumprido pela IES, curso e seu próprio ao longo dos anos de

formação acadêmica, além de servir de insumo para que o INEP/MEC obtenha o

diagnóstico de uma área jovem, mas que cresceu expressivamente dos anos 2000 em

diante, e trace estratégias para o seu melhor desenvolvimento futuro.

Todavia, os mesmos dados apontam para certa linearidade na percepção do

estudante face a duas avalições bastante díspares entre si: a de 2009 e 2012. Nota-se

apenas ligeiras oscilações na percepção dos alunos das IES selecionadas no presente

paper, das IES da região Sudeste e, finalmente, do conjunto de alunos do Brasil ao

reagirem às perguntas envolvidas no questionário de percepção da prova. Tais

semelhanças podem evidenciar que a relevância e singularidade dos ENADEs servem

mais de subsídio para os gestores dos cursos de bacharelado na área do que para os

próprios concluintes envolvidos trienalmente na avaliação.

23

Uma avaliação que produza mais aproximações em termos de percepção, seja

de conteúdo, seja de forma, por parte dos corpos diretivo, docente e discente das IES

parece condição fundamental para o avanço da área, sobretudo diante da ausência de

parâmetros legais para a definição dos conteúdos e estratégias de ensino-

aprendizagem que trabalhem na direção do perfil do egresso.

O Padreli e as habilidades e competências exigidas dos egressos por parte do

MEC, mantendo-se inalterados, mostraram-se insuficientes para a interpretação

coerente das duas únicas avaliações externas produzidas e aplicadas a alunos

concluintes da área de RI no Brasil.

5. Referências Bibliográficas

CESA, Gabriela. Relações Internacionais e o ENADE: Desafios e Perspectivas. 2012.

Disponível em:

http://www.ucs.br/etc/conferencias/index.php/anpedsul/9anpedsul/paper/viewFile/291

/722. Acesso em 20 de junho de 2014.

DANTAS, Lys Maria Vinhaes; VERHINE, Robert Evan. Avaliação da Educação

Superior no Brasil: do Provão ao ENADE. 2005. Disponível em:

http://www.isp.ufba.br/avaliação%20da%20Ed%20Superior%20do%20Provao%20ao

%20ENADE.pdf. Último acesso em 20 de maio de 2014.

INEP/MEC – NOTA TÉCNICA DO CÁLCULO DO CPC DE CURSOS DE

GRADUAÇÃO. Disponível em:

http://enadeies.inep.gov.br/enadeResultado/pdfs/nota_tecnica%20-%20CPC.pdf.

Último acesso em 20 de maio de 2014.

INEP/MEC - NOTA TÉCNICA N. 029. Cálculo do Conceito Preliminar de Curso

(CPC) referente ao ano de 2011. 2012, online. Disponível em:

http://www.prograd.ufba.br/Arquivos/CPC/nota_tecnica_indicadores_2011.pdf.

Último acesso em 20 de maio de 2014.

____. Guia de Elaboração e Revisão de Itens. Vol I. Disponível em:

http://download.inep.gov.br/outras_acoes/bni/guia/guia_elaboracao_revisao_itens_20

12.pdf. Acesso em 20 de junho de 2014.

____. Sistema Nacional de Avaliação dos Estudantes. Prova de Relações

Internacionais. 2009. Disponível em: http://enade2009.inep.gov.br. Acesso em 20 de

junho de 2014.

____. Sistema Nacional de Avaliação dos Estudantes. Prova de Relações

Internacionais. 2012. Disponível em: http://enade2012.inep.gov.br. Acesso em 20 de

junho de 2014.

24

_____. Relatório de Curso - ENADE 2009. PUC-SP. Disponivel em:

<http://enadeies.inep.gov.br/enadeResultado/>. Acesso em: 20 jun. 2014.

_____. Relatório de Curso - ENADE 2012. PUC-SP. Disponivel em:

<http://enadeies.inep.gov.br/enadeResultado/>. Acesso em: 20 jun. 2014.

_____ .Relatório de Curso - ENADE 2009. PUC-RJ. Disponivel em:

<http://enadeies.inep.gov.br/enadeResultado/>. Acesso em: 20 jun. 2014.

_____ .Relatório de Curso - ENADE 2012. PUC-RJ. Disponivel em:

<http://enadeies.inep.gov.br/enadeResultado/>. Acesso em: 20 jun. 2014.

_____ Relatório de Curso - ENADE 2009. PUC-MG. Disponivel em:

<http://enadeies.inep.gov.br/enadeResultado/>. Acesso em: 20 jun. 2014.

_____ Relatório de Curso - ENADE 2012. PUC-MG. Disponivel em:

<http://enadeies.inep.gov.br/enadeResultado/>. Acesso em: 20 jun. 2014.

_____ Relatório de Curso - ENADE 2009. UnB. Disponivel em:

<http://enadeies.inep.gov.br/enadeResultado/>. Acesso em: 20 jun. 2014.

_____ Relatório de Curso - ENADE 2012. UnB. Disponivel em:

<http://enadeies.inep.gov.br/enadeResultado/>. Acesso em: 20 jun. 2014.

_____ Relatório de Curso - ENADE 2009. UFRGS. Disponivel em:

<http://enadeies.inep.gov.br/enadeResultado/>. Acesso em: 20 jun. 2014.

_____ Relatório de Curso - ENADE 2012. UFRGS. Disponivel em:

<http://enadeies.inep.gov.br/enadeResultado/>. Acesso em: 20 jun. 2014.

LEI 10.861. 2004. Disponível em: http://www.planalto.gov.br/ccivil_03/_ato2004-

2006/2004/lei/l10.861.htm. Último acesso em 10 de junho de 2014.

MALLET, Débora; SANTOS, Luciana. O ENADE como oportunidade de

desenvolvimento de competências e habilidades na formação acadêmica e

profissional. Disponível em:

http://www.abmes.org.br/abmes/public/arquivos/documentos/ABMES.pdf. Último

acesso em 10 de maio de 2014.

MIYAMOTO, Shiguenoli. O ensino das relações internacionais no Brasil: problemas

e perspectivas. Rev. Sociol. Polit., Curitiba , n. 20, June 2003 . Available from

<http://www.scielo.br/scielo.php?script=sci_arttext&pid=S0104-

44782003000100009&lng=en&nrm=iso>. access

on 20 June 2014. http://dx.doi.org/10.1590/S0104-44782003000100009.

PORTARIA Nº. 2.051. 2004. Disponível em:

http://meclegis.mec.gov.br/documento/view/id/32. Último acesso em 10 de junho de

2014.

25

PORTARIA INEP Nº133. 2009. Disponível em

http://download.inep.gov.br/download/enade/2009/Portaria_Diretrizes_2009_Relacoe

s_Internacionais.pdf. Último acesso em 05 de abril de 2014.

SESU/MEC. Padrões de qualidade para os cursos de Relações Internacionais.

Brasília : Ministério da Educação. http://www.mec.gov.br/sesu/ftp/padreli.doc. Sem

data. Último acesso em : 02 de março de 2014.