construindo resultados a partir da elaboração de questões ... · adequado e correção...

Dra. Michéle Tancmanmicheletcs@gmail.com

junho 2018

Construindo resultados a partir da elaboração de questões padrão

Enade

Objetivos

• Conhecer como é formulada a prova do ENADE.

• Identificar as Diretrizes da Prova de Formação Geral.

• Conhecer as estruturas dos itens.

Como é formulada a prova do ENADE?

* objetivo: aferir a aquisição de conhecimentos e competências esperadaspara o perfil profissional do curso em níveis diversificados decomplexidade.

As provas são constituídas de duas partes

Total de itens Itens múltipla escolha

Discursiva

1ª Parte –Formação Geral 10 8 22ª Parte –Componentes específicos*

30 27 3

Como é formulada a prova do ENADE?

PESO DAS PARTES DA PROVA

Formação Geral = 25%

Componente Específico = 75%

Diretrizes para a prova do ENADE

Quem elabora as Diretrizes para a prova e das especificações das Matrizes?

1 - Comissões Assessoras de Avaliação de Áreas2 - Comissão Assessora de Avaliação da Formação Geral,

Estão pautadas nas diretrizes Curriculares Nacionais

e definem

a serem avaliados em relação aos conteúdos programáticos previstos nas diretrizes curriculares dos respectivos cursos de graduação ou tecnológico.

A Matriz de ReferênciaÉ o instrumento norteador para a construção de itens.São estruturadas a partir de competências ehabilidades que se espera.

A Matriz de Referência não se confunde com ocurrículo, que é muito mais amplo.Ela é, portanto, uma referência, garantindotransparência ao processo.

Exemplo:As Portarias Normativas publicadas pelo Inep Portaria Inep nº PORTARIA Nº 501, DE 25 DE Maio de 2018 que traçam as Diretrizes Curriculares de Formação Geral e Específica dos cursos contemplados pelo Enade 2018.

Diretrizes da formação geralNos componentes de Formação Geral e específica

será considerada a formação de um profissional

Diretrizes da formação geral

compreensão de temas que transcendam ao seu ambiente próprio de formação e sejam importantes para a realidade contemporânea.

Diretrizes da formação geral

O componente de Formação Geral do Enade 2018 –Port. 444 de 30/05/2018 terá 10 (dez) questões que abordarão situações-problema e estudos de caso.

As questões discursivas dos componente sdeFormação Geral e Específica avaliam aspectoscomo clareza, coerência, coesão, estratégiasargumentativas, utilização de vocabulárioadequado e correção gramatical do texto.Essa compreensão vincula-se a perspectivas críticas,integradoras e à construção de sínteses contextualizadas.

Diretrizes da formação geralArt. 5º A prova do Enade 2018, no componente de Formação Geral, tomará como referencial do perfil do egresso as seguintes características:

I . ético e comprometido com as questões sociais, culturais eambientais;II. humanista e crítico, apoiado em conhecimentos científico, social ecultural, historicamente construídos, que transcendam a área de suaformação;III. protagonista do saber, com visão do mundo em sua diversidadepara práticas de multiletramentos, voltadas para o exercício dacidadania;IV. proativo, solidário, autônomo e consciente na tomada de decisões,considerando o contexto situacional; eV. colaborativo e propositivo no trabalho em equipes, grupos e redes,atuando com respeito, cooperação, iniciativa e responsabilidade social

Diretrizes da formação geral art 6ºArt. 6º A prova do Enade 2018, no componente de Formação Geral, avaliará se o estudante desenvolveu, no processo de formação, COMPETÊNCIAS para: I. fazer escolhas éticas e responsabilizar-se por suas consequências;II. promover diálogo e práticas de convivência, compartilhando saberes e conhecimentos;III. trabalhar em equipe, de forma flexível e colaborativa;IV. buscar soluções viáveis e inovadoras na resolução de situações-problema;V. organizar, interpretar e sintetizar informações para tomada de decisões;VI. planejar e elaborar projetos de ação e intervenção a partir da análise de necessidades, de forma coerente, em contextos diversos;VII. compreender as linguagens e suas respectivas variações como expressão das diferentes manifestações étnico-culturais;VIII. identificar representações verbais, gráficas e numéricas de um mesmo significado;IX. formular e articular argumentos e contra-argumentos consistentes em situações sociocomunicativas; eX. ler, interpretar e produzir textos com clareza e coerência

Diretrizes da formação geral art 7ºArt. 7º A prova do Enade 2018, (OBJETOS DE CONHECIMENTO)Art. 7º A prova do Enade 2018, no componente deI. Ética, democracia e cidadania;II. Estado, sociedade e trabalho; (Novo)III. Educação e Ciência; (Novo)IV. Cultura e arte;V. Tecnologia e inovação;VI. Meio ambiente: natureza e intervenção humana;VII. Processos de globalização e política internacional;VIII. Sociodiversidade e multiculturalismo:Solidariedade (Novo )/violência, tolerância/intolerância,inclusão/exclusão, sexualidade, relações de gênero erelações étnico-raciais.

Como é feitaa matriz da

prova?

Modelo de matriz de provaR = Recursos (competências e habilidades) – artigo

OC = Objetos de conhecimento que devem ser avaliados nos itens

P = Perfil profissional

Orientações para interpretação da matrizG – GráficoFG – FiguraT- TabelaD – DifícilM – MédiaF – Fácil

Modelo de matriz de prova

Recursos/Perfil

R1 –Recurso I

Hab. e comp.

R2 –Recurso 2

R3 –Recurso 3

R4 –Recurso 4

R5 –Recurso 5

P1 – Perfil profissional

OC2 e 3(D)

OC7

(M)

P2– Perfil profissional

OC4, 5 e 6

(M)

P3 – Perfil profissional

OC1

G (M)

P4 – Perfil profissional

OC5

(F)

OC2

(F)

OC3

FG (D)

ExemploP5 - Problematização da realidade fundamentada em referenciais epistemológicos e teórico-metodológicos.R4 – Utilizar diferentes linguagens que expressem e representem a dimensão geográfica em diversos tempos e escalas.OC16 – A geopolítica e as redefinições territoriais. Foi a Questão 39

Check point - Palestina

Disponível em: <www.imemc.org/article/60478>. Acessoem: 10 set. 2011.

Com relação ao conflito da Palestina, analise as afirmativas aseguir.I. De um lado, há o soberano Estado de Israel, detentor do poderpolítico e militar e exercendo sua territorialidade plena; de outrolado, os grupos esparsos de palestinos, desterritorializados,expulsos de seu lugar de origem e estocados em campos derefugiados ou pequenas comunidades cercadas pelo domínioisraelense. Desta forma, os assentamentos resultam do processode territorialização do espaço geográfico.II. Os palestinos formam uma nação, visto que têm língua etradições comuns, vivem em um espaço geográfico determinado,com hábitos, tradição, governo e leis próprias. A Palestina é umpaís reconhecido pela ordem mundial.III. O check point, representado na figura ao lado é uma forma dese fragmentar o território. Os postos de passagem refletemdescontiguidade territorial das porções de terra destinadas aospalestinos, o que implica a existência de várias barreiras a seremcontroladas por israelenses e a contínua criação e manutenção docontrole militar.É correto apenas o que se afirma em.A I. B II. C I e II. D I e III. E I e III.

FORMAÇÃO GERAL ITENS

Etapas na elaboração de questões.consiste no delineamento da matriz de referência da avaliação,

consiste em decidir qual é o tipo de questão mais adequado tanto à natureza do conteúdo quanto à complexidade da habilidade.

definido o tipo de questão, o elaborador cria sua estrutura a partir da problematização.

Problematizar consiste em transformar um conhecimento em uma situação-problemaou em um problema que funcionará como estímulo para a produção de respostas ou busca de soluções. Quanto mais próximo do cotidiano dos estudantes, melhor será o desempenho.

Requer uma revisão de bibliografia atualizada e uma pesquisa de informações

É A fundamentação teórica e a revisão bibliográfica que fornecem subsídios para a

criação de distratores. ...

Etapas na elaboração de questões.

o professor redige a instrução.Diferente do enunciado, que apresenta o problema ou situação problema.

A INSTRUÇÃO é uma orientação que indica para o aluno de que forma ele deve responder a questão. Por exemplo: “Assinale a resposta correta”; “Circule a letra correspondente à resposta correta”;“Faça um X no ( ) correspondente a sua resposta”; “Numere as duas colunas de acordo com...”.

Para formação dos itens. 1 – Objetividade – Vá direto ao assunto. Use frases curtas, termos exatos, sem demonstração de erudição;2 – Informação: Apresente somente informações necessárias para a solução da questão;3 – Adequação: procure adequar a prova ao nível exigido;4 – Simplicidade: escolha cada palavra evite termos técnicos desnecessários, preciosismo.5 – Correção da linguagem – adote um padrão culto;6 – Clareza – Seja explícito;7 – Precisão: Seja preciso. Uma boa questão admite uma única interpretação e só uma resposta;8 – Impessoalidade –evite impressões e expressões pessoais. Evite gírias;9 – Adjetivos- Eles podem apresentar forte carga de subjetividade ou imprecisão.

Etapas na elaboração de questões.

são as opções erradas e devem ser plausíveis e fazer parte do contexto do item.As alternativas de resposta devem convidar o aluno a resolver o problema pela escolha da resposta correta, por isso o gabarito não pode dar margem a dúvidas.

Os distratores têm a função de atrair quem não sabe e escolhe sem fundamento a resposta que lhe parece certa ou que o impressiona.

Os distratores devem ser aceitáveis como possibilidades de respostas para o problema apresentado, mas não correspondem satisfatoriamente ou em sentido completo ao que é solicitado em relação ao tópico de conteúdo e à habilidade avaliados.

OS DISTRATORES

Etapas na elaboração de questões.É ainda fundamental:a – Siga a ordem crescente ou decrescente nas opções numéricas;b - Siga uma sequência lógica nas opções/alternativas;c – Redija as opções com extensão semelhante;d – Utilize o formato trapezoidal na apresentação;e – Redija, preferencialmente , enunciados, itens ou opções na forma afirmativa;f – Não utilize expressões : Nenhuma das respostas anteriores ou todas anteriores;g – Considere o tempo disponível para a resposta de cada item;h – Dê preferência a situações problemas (situações-estímulos) que requeiram reflexão e tomada de decisão.I – Utilizar textos que abordem temas atuais.J – Apresentar quando necessário, tabelas, figuras, gráficos, quadros, textos ou segmento de texto, atualizados e referenciados, de acordo com a ABNT.

Os itensNÃO

devem ...

Os itens NÃO devem:

Utilizar expressões como sempre, nunca, talvez, pode ser, todos, ninguém, nenhum, nada, algum, alguma, pode acontecer, pode haver, pouco, às vezes, quase, geralmente, raramente, jamais, somente, é provável, possivelmente, qualquer.

Cobrar simples memorização e tão pouco exigir mera recordação de conceitos ou fórmulas.

Conter situações, exemplos, que possam se caracterizar um viés político.

Utilizar textos de internet que não tenham sofrido nenhum crivo.

Propiciar pistas que facilitem a resposta do aluno.

Estrutura Do item

Discursivo

Estrutura do item discursivoEstruturação dos itens discursivos deve dar oportunidade

para que os alunos no desenvolvimento da resposta possam:

Propor explicações e soluções para os problemas apresentados;

Aplicar o que aprendeu a situações novas;

Fazer comparações ou classificações de dados e informações;

Estabelecer relações entre fatos e princípios, por exemplo causa e efeito;

Analisar a propriedade das informações; ...

Estrutura do item discursivoAssumir posição favorável ou contrária a alguma conduta, apresentando a devida argumentação;

Demostrar a capacidade de síntese, originalidade e/ou julgamento de valor;

Formular conclusões a partir de elementos fornecidos;

Demonstrar capacidade de organizar as ideias trabalhadas, expressando-as na forma escrita, de maneira coerente e lógica

8. Até que ponto é possível solicitar que o estudante produza um texto dissertativo, sem pedir que expresse sua opinião?A instrução do enunciado deve ser clara e compatível com o que se deseja avaliar. Uma instrução do tipo "produza um texto dissertativo" não é específica. Um bom comando deve deixar claro ao estudante o que ele deve escrever. Assim, no caso de itens em que o estudante deve opinar, é preciso estar claro que tipo de embasamento dessa opinião será aceito.

Estrutura do item discursivo

Quanto aos enunciados, os itens da prova devem:

Apresentar linguagem simples, clara e sem ambiguidade; evitando-se o uso de palavras, expressões, textos, fórmulas, figuras e tabelas que NÃO tenham função nos itens.

Definir claramente a(s) tarefa(s) a realizar, indicando a abrangência da resposta e os aspectos a abordar.

Conter todas as informações necessárias para resolução do item, fornecendo elementos como textos, informações técnicas específicas, tabelas, figuras e fórmulas que sejam necessários à resolução e não como elemento figurativo.

Os itens discursivos NÃO devem ...

Empregar proposições vagas como:

Os itens discursivos NÃO devem ...

Ser formulados com perguntas do tipo “:

pois possivelmente não avaliam habilidades complexas.

Os itens discursivos NÃO devem ...

E ainda....

Admitir simplesmente a resposta sim ou não.

Os itens discursivos devem ser formulados de modopreciso, de forma possibilitar que o aluno compreenda oque se pede e saiba como proceder para estruturar edesenvolver a sua resposta

item discursivo 2012 - QUESTÃO 2:

item discursivo 2012 - QUESTÃO 2:

Padrão de Resposta O estudante deverá redigir texto dissertativo, abordando os seguintes aspectos: A – Comentários gerais a respeito da violência na atualidade, considerando o papel de tecnologias no estímulo ou combate à violência. B – Aspectos relacionados à educação escolar e a violência, apontando suas causas e consequências. C – Ações/soluções para a violência na escola. Exemplos: atualização dos profissionais da educação, conscientização da comunidade escolar sobre o assunto, desenvolvimento de políticas públicas ligadas ao combate à violência.

Estrutura de

Múltipla Escolha

O item de múltipla escolha utilizado nos exames do Inep divide-se em três partes:

FAQ9 - Ao tornar o enunciado muito conciso, não fica um tanto quantoóbvio o que deve ser pedido ao estudante?

Um enunciado longo, com muitas informações desnecessárias, podeconfundir o estudante e colabora para tornar a prova cansativa.O Enade não objetiva selecionar candidatos, mas, avaliar os cursos. Por issoé interessante que os estudantes respondam aos itens e é primordial queentendam o que se espera dele no item. Isso não significa que devem serelaborados itens simplórios. É necessário evitar muitos "floreios" que nãocontribuem para discriminar os estudantes em função de suas habilidades,competências etc. Não utilize, no enunciado, novas informações ouinformações desnecessárias à resolução do item.

12. Existe um padrão de tempo ideal que o estudante gaste pararesponder a cada pergunta?O tempo pode variar um pouco, mas o adequado é que o estudante consigaler e responder ao item de múltipla escolha em 4 minutos; para osdiscursivos, o ideal é que responda em até 15 minutos.

1 - COMPLEMENTAÇÃO SIMPLES OUAFIRMAÇÃO INCOMPLETA

Item de interpretação com resposta únicaApresenta para o estudante um problema, uma situação-problema ou um estudo de caso e o estudante deve ser capaz de identificar a resposta correta (gabarito). São apresentadas cinco opções de respostas, sendo uma o gabarito e as outras quatro os distratores.

Vantagem: tendem a ser menos cansativos para o estudante;

Desvantagem: dificuldade de criar bons distratores, que sejam plausíveis, podendo ser extremamente simples, óbvios, ou serem acertados por exclusão.

Principais problemas técnicosO uso de advérbios (todas, sempre, tudo, nunca, não, totalmente, completamente, raramente...) para tornar as alternativas incorretas ocorre com frequência. Isso é um fato que enfraquece o item e muitas vezes o leva ao descarte. Uma alternativa de resposta não deve estar incorreta apenas pela inserção de um advérbio, pois isso chama a atenção do estudante, além de reduzir a qualidade técnica e pedagógica do item.

1 - COMPLEMENTAÇÃO SIMPLES OUAFIRMAÇÃO INCOMPLETA

Conteúdos avaliados: Inclusão social da mulher; diferenças na inserção deHomens e mulheres. Percentual de acertos: 55,2%

ENADE 2008 - Tipo de questão: escolha simples

QUESTÃO 4 CIDADÃS DE SEGUNDA CLASSE? As melhores leis a favor das mulheres de cada país-membro da União Européiaestão sendo reunidas por especialistas. O objetivo é compor uma legislaçãocontinental capaz de contemplar temas que vão da contracepção à equidadesalarial, da prostituição à aposentadoria. Contudo, uma legislação que assegure ainclusão social das cidadãs deve contemplar outros temas, além dos citados.São dois os temas mais específicos para essa legislação:(A) aborto e violência doméstica. (B) cotas raciais e assédio moral. (C) educação moral e trabalho. (D) estupro e imigração clandestina. (E) liberdade de expressão e divórcio.

2 – InterpretaçãoO item é formulado a partir de uma situação-estímulo que compõe o enunciado.

A situação estímulo faz parte do problema e a partirdela o estudante organiza as ideias, dados ouinformações para resolvê-lo.

São exemplos os textos, caso, tabela, quadro,diagrama, gráfico, figura, mapa, ilustração quedevem ser extraídos de fontes fidedignas, com asdevidas referências.

2 – Interpretação QUESTÃO 1 - 2012

De acordo com as informações apresentadas acima, verifica-se que:A metade da população brasileira é constituída de leitores que tendem a ler mais livros a cada ano.B o Nordeste é a região do Brasil em que há a maior proporção de leitores em relação à sua população.C o número de leitores, em cada região brasileira, corresponde a mais da metade da população da região.D o Sudeste apresenta o maior número de leitores do país, mesmo tendo diminuído esse número em 2011.E a leitura está disseminada em um universo cada vez menor de brasileiros, independentemente da região do país

3 – Resposta múltipla ou complementação múltipla ou múltipla escolha complexa

Consiste em 3 ou 4 afirmações, relacionadas como tema explicitado no enunciado e uma chave derespostas em que são apresentadas asalternativas propriamente ditas,

sendo que em cada uma delas consta(m) qual(is)afirmação(ões) entre as apresentadas é(são)verdadeira(s) em relação à proposta do ítem.

3 – Resposta múltipla QUESTÃO 7 - 2007

Desnutrição entre crianças quilombolas “Cerca de três mil meninos e meninas com até 5 anos de idade, que vivem em 60 comunidades quilombolas em 22 Estados brasileiros, foram pesados e medidos. O objetivo era conhecer a situação nutricional dessas crianças.(...) De acordo com o estudo,11,6% dos meninos e meninas que vivem nessas comunidades estão mais baixos do que deveriam, considerando-se a sua idade, índice que mede a desnutrição. No Brasil, estima-se uma população de 2 milhões de quilombolas. A escolaridade materna influencia diretamente o índice de desnutrição. Segundo a pesquisa, 8,8% dos filhos de mães com mais de quatro anos de estudo estão desnutridos. Esse indicador sobe para 13,7% entre as crianças de mães com escolaridade menor que quatro anos. A condição econômica também é determinante. Entre as crianças que vivem emfamílias da classe E (57,5% das avaliadas), a desnutrição chega a 15,6%; e cai para5,6% no grupo que vive na classe D, na qual estão 33,4% do total das pesquisadas.Os resultados serão incorporados à política de nutrição do País. O Ministério de Desenvolvimento Social prevê ainda um estudo semelhante para as crianças indígenas.” BAVARESCO, Rafael. UNICEF/BRZ. Boletim, ano 3, n. 8, jun. 2007.

3 – Resposta múltipla QUESTÃO 7 - 2007

O boletim da UNICEF mostra a relação da desnutrição com o nível de escolaridade materna e a condição econômica da família. Para resolver essa grave questão de subnutrição infantil, algumas iniciativas são propostas: I − distribuição de cestas básicas para as famílias com crianças em risco; II − programas de educação que atendam a crianças e também a jovens e adultos; III − hortas comunitárias, que ofereçam não só alimentação de qualidade, mas também renda para as famílias. Das iniciativas propostas, pode-se afirmar que (A) somente I é solução dos problemas a médio e longo prazo. (B) somente II é solução dos problemas a curto prazo. (C) somente III é solução dos problemas a curto prazo. (D) I e II são soluções dos problemas a curto prazo. (E) II e III são soluções dos problemas a médio e longo prazo.

Conteúdos avaliados: Correlação entre demografia, estrutura etária, distribuição de renda, índice de alfabetização, exclusão socioeconômica, análise de dados, estatísticas, políticas públicas e realidade brasileira. Alternativa correta: E (afirmativas II e III corretas) Percentual de acertos: 75,1% Comentário:

4 - Questão de asserção e razão

apresenta duas afirmativas ou asserções quepodem ou não ser proposições verdadeiras oucorretas, assim como podem ou não estabelecerrelações entre si (causa e efeito, proposição ejustificativa, princípio e justificativa, asserção erazão). Esse tipo de questão é indicado paraavaliação de habilidades complexas.

4 - Questão de asserção e razão Geografia – 2011 - QUESTÃO 12:

P3 – Análise do Ordenamento territorial em diversas escalas.

R9 – Avaliar, propor e utilizar métodos, técnicas einstrumentos de diagnóstico, planejamento e gestãoadequados ao trabalho disciplinar e/ou interdisciplinar emdiferentes campos da atuação profissional para a resolução desituações-problemas e justificar as decisões, considerando aaquisição, a interpretação e a análise de informações.

OC. 9 – O meio técnico científico e informacional e a dinâmica territorial.

4 - Questão de asserção e razão Geografia – 2011 - QUESTÃO 12:

Entre os 10% mais pobres, apenas 0,6% têm acesso à Internet; entre os 10% mais ricos, essa porcentagem é 56,3%. Somente 13,3% dos negros usam a Internet, mais de duas vezes menor que a porcentagem relativa aos os de raça branca (28,3%). Os índices de acesso à Internet nas Regiões Sul (25,6%) e Sudeste (26,6%) contrastam com os das Regiões Norte (12%) e Nordeste (11,9%). Considerando esse tema, avalie as seguintes asserções.

Verifica-se que os dados indicados acima fazem parte da lógica de exclusão social, pois reproduzem a exclusão digital.

PORQUE

Apesar de o acesso à internet ser cada vez maior, um país de desigualdades socioeconômicas, como o Brasil, precisa de investimentos, suporte e regulamentação governamental para aumentar o percentual da população que tem acesso à rede mundial de computadores.

Acerca dessas asserções, assinale a opção correta.A) As duas asserções são verdadeiras, e a segunda é uma justificativa correta da primeira.B) As duas asserções são verdadeiras, mas a segunda não é justificativa correta da primeira.C) A primeira asserção é uma proposição verdadeira e a segunda, falsa.D) A primeira asserção é uma proposição falsa e a segunda, verdadeira.E)Tanto a primeira quanto a segunda asserções são proposições falsas.

Referencial teórico

Agradecimentos

ObrigadaMichéle Tancman C. da Silva

micheletcs@gmail.com