a atuaÇÃo do entrevistador na interaÇÃo face a face do exame celpe-bras

7/30/2019 A ATUAO DO ENTREVISTADOR NA INTERAO FACE A FACE DO EXAME CELPE-BRAS

1/211

i

LIEKO SAKAMORI

A ATUAO DO ENTREVISTADOR NA INTERAOFACE A FACE DO EXAME CELPE-BRAS

UNICAMPINSTITUTO DE ESTUDOS DA LINGUAGEM

2006


2/211

ii


3/211

iii

LIEKO SAKAMORI

A ATUAO DO ENTREVISTADOR NA INTERAOFACE A FACE DO EXAME CELPE-BRAS

UNICAMPINSTITUTO DE ESTUDOS DA LINGUAGEM

2006

Dissertao apresentada ao Programa dePs-Graduao em Lingstica Aplicada, doInstituto de Estudos da Linguagem daUniversidade Estadual de Campinas, comorequisito parcial para obteno do ttulo deMestre em Lingstica Aplicada na rea deEnsino-Aprendizagem de Segunda Lngua eLngua Estrangeira.

Orientadora:

Profa. Dra. Matilde Virginia RicardiScaramucci


4/211


5/211


6/211

iv


7/211

vi


8/211

vii

Aos meus pais, pelo incentivo e carinho.


9/211

viii


10/211

ix

AGRADECIMENTOS

Profa. Dra. Matilde, pela amizade, incentivo, ensinamentos e sugestes que me

ajudaram a amadurecer profissionalmente.

Ao Prof. Dr. Nelson Viana e Profa. Dra. Elza Taeko Doi, pelas sugestes e

direcionamentos durante o exame de qualificao.

Aos funcionrios do IEL, pelo carinho e ateno.

equipe do Celpe-Bras, pela ateno e colaborao sempre que precisei.

Aos participantes desta pesquisa, pela valiosa colaborao.

Aos meus pais, por me incentivarem a lutar pelos meus objetivos.

s minhas irms, pelo apoio e carinho; em especial minha irm Akina, pelas

anlises estatsticas desta pesquisa.

Aos familiares e amigos, por sempre estarem ao meu lado.


11/211

x


12/211

xi

RESUMO

A confiabilidade um aspecto fundamental da avaliao. Um teste considerado

confivel quando no h variveis que possam afetar a avaliao do desempenho do

candidato. Elas podem estar relacionadas s condies de aplicao do teste, ou

atuao dos entrevistadores. No entanto, no caso das avaliaes orais como as

interaes face a face, em que o candidato interage com o entrevistador, o controle

da confiabilidade se torna mais difcil, j que as interaes envolvem inmeras

variveis. Para controlar essas variveis, formam-se entrevistadores e elaboram-se

procedimentos, regras e critrios de avaliao. Mesmo assim, podem existir variveis

que no foram previstas em relao s interaes. O objetivo deste trabalho fazer

uma anlise da atuao dos entrevistadores na interao face a face do exame

Celpe-Bras (Certificado de Proficincia em Lngua Portuguesa para Estrangeiros).

Esse exame, desenvolvido pelo Ministrio da Educao do Brasil e em uso desde

1998, certifica os candidatos estrangeiros em quatro nveis: Intermedirio,

Intermedirio Superior, Avanado e Avanado Superior. Ele composto de duas

partes, uma prova escrita e outra oral. A avaliao oral uma interao face a face,

com durao de 20 minutos. O candidato avaliado por um entrevistador e umobservador. Os resultados do estudo mostraram que houve variaes em relao

atuao dos entrevistadores, podendo ser consideradas colaborativas e/ou no

colaborativas. Espera-se que este trabalho possa contribuir para um maior

entendimento das avaliaes orais em geral, e mais especificamente, servir de

subsdio para o aprimoramento do Manual do Entrevistador do exame Celpe-Bras.

Palavras-chave: avaliao oral, interao face a face, atuao do entrevistador.


13/211

xii


14/211

xiii

ABSTRACT

Reliability is a fundamental concept in assessment. A test is considered to be reliablewhen there are no variables that can affect the candidates performance assessment.

They can be related to the conditions of test application or interviewers performance.

However, in the case of oral assessments such as face to face interactions, in which

the candidate interacts with an interviewer, the control of reliability becomes more

difficult, since the interactions will involve many variables. In order to control those

variables, interviewers are trained and test procedures, rules and criteria are

elaborated. Even though, there can be variables that were not predicted to the

interactions. The aim of this work is to analyze interviewers performance in face to

face interaction of Celpe-Bras examination (Proficiency in Portuguese as a Foreign

Language). This examination, developed by the Ministry of Brazilian Education and in

use since 1998, certifies foreign candidates in four levels: Intermediate, High

Intermediate, Advanced and High Advanced. It has two parts, a writing test and a

speaking one. The oral test is a 20 minutes face to face interaction. The candidate is

evaluated by an interviewer and an observer. The results of this study pointed that

there were variations concerning interviewers performance, which could be

considered collaborative and/or non-collaborative. It is expected that this work can

contribute to a better understanding of oral evaluations in general , and more

specifically, to serve as subsidy to the improvement of Interviewers Manual of Celpe-

Bras examination.

Key words: oral assessment, face to face interaction, interviewers performance.


15/211

xiv


16/211

xv

SUMRIO

1.A Trajetr ia da pesquisa

1.1. Introduo .......................................................................................................01

1.2. O exame Celpe-Bras .......................................................................................05

1.3. O problema da pesquisa e a justificativa da escolha do tpico ......................10

1.4. A interao face a face ...................................................................................15

1.5. Objetivos da pesquisa .....................................................................................18

1.6. Metodologia .....................................................................................................19

1.7. Estruturao da dissertao ...........................................................................20

2. Confiabilidade na avaliao oral: um olhar sobre a atuao de

entrevistadores

2.1 Introduo ........................................................................................................23

2.2. Variao dos entrevistadores na atribuio de notas .....................................24

2.3. Estudos sobre avaliao oral no Brasil ...........................................................30

2.4. Confiabilidade e validade em exames orais ....................................................32

2.5. O aspecto cultural nas entrevistas ..................................................................54

3.Anlise dos dados e discusso dos resultados

3.1. Introduo .......................................................................................................59

3.2. Dados relacionados aos procedimentos do exame ........................................59

3.3. Dados relacionados aos estilos dos entrevistadores ......................................90

3.4. Atribuio de notas pelos entrevistadores e observadores ..........................110

3.5. Consideraes finais .....................................................................................115

Referncias bibliogrficas ....................................................................................121


17/211

xvi

Anexos

Anexo 1: Questionrio para estrangeiros que moram no Brasil ..............................127Anexo 2: Elemento provocador ................................................................................131

Anexo 3: Roteiro para aplicao ..............................................................................135

Anexo 4: Elemento provocador: Adeus, olho gordo .................................................139

Anexo 5: Elemento provocador: Co e o carteiro ....................................................143

Anexo 6: Elemento provocador: Ordem na casa, ordem na vida ............................147

Anexo 7: Elemento provocador: Super-heris .........................................................151

Anexo 8: Elemento provocador: Compra pela internet.............................................155

Anexo 9: Elemento provocador: Escolha da profisso ............................................159

Anexo 10: Elemento provocador: Presentes.............................................................163

Anexo 11: Elemento provocador: Quando voc se sente um peixe fora dgua? ...167

Anexo 12: Elemento provocador: Gaiola .................................................................171

Anexo 13: Elemento provocador: Eles e elas ..........................................................175

Anexo 14: Elemento provocador: Amor de sogra ...................................................179

Anexo 15: Elemento provocador: Mulher apaixonada ............................................183

Anexo 16: Instrues para aplicao do exame ......................................................187


18/211

xvii

NOTAS DE TRANSCRIOAdaptado de Atkinson & Heritage (1984)

1.Falas simultneas: [[2. Sobreposio de falas: [ ou [ ] (para indicar o comeo e o fim da sobreposio defalas)

3. Falas contnuas: = (quando no h intervalos entre as falas e a segunda falaocorre imediatamente aps a primeira fala)

4. Pausas: ( ) (marcadas por segundos)

5. Prolongamento do som ou da slaba: :

6. Caracterizaes na forma de falar: (( ))

7. Dvidas e suposies do transcritor: ( ) , quando no se sabe o que foi falado:(ininteligvel)

8. Destaques: para sinalizar as falas a serem discutidas


19/211

xviii

LISTA DE FIGURA

Figura 1 Caractersticas da avaliao oral .............................................................25

LISTA DE GRFICOS

Grfico 1 Tempo total por entrevistador .................................................................63

Grfico 2 Tempo da primeira parte ........................................................................64

Grfico 3 Tempo do 1. Elemento provocador .......................................................66



Grfico 6 Porcentagem de cumprimento das etapas por entrevistador .................74


20/211

xix

LISTA DE TABELAS

Tabela 1 Durao das entrevistas .........................................................................60

Tabela 2 Tempo total da entrevista por entrevistador ............................................63

Tabela 3 Tempo da primeira parte da entrevista por entrevistador .......................65

Tabela 4 Tempo do 1. Elemento provocador por entrevistador ............................66



Tabela 7 Etapas dos Elementos Provocadores .....................................................72

Tabela 8 Etapas da entrevista por entrevistador ...................................................74

Tabela 9 Elementos caracterizadores dos estilos colaborativos e no-colaborativosdos entrevistadores..........................................................................................108

Tabela 10 Quantidade de notas por avaliador........................................................111

Tabela 11 Associao de avaliador como entrevistador e observador ..................112

Tabela 12 Notas dos candidatos ............................................................................113


21/211

xx


22/211

1

CAPTULO I

A TRAJETRIA DA PESQUISA1.1 INTRODUO

No contexto escolar, a avaliao oral faz parte do processo de ensino e

aprendizagem de uma lngua estrangeira. Avaliar no significa apenas diagnosticar o

produto, ou seja, se um determinado contedo foi assimilado ou no de maneira

satisfatria pelo aluno, mas tambm serve como um termmetro para o professor,

isto , se h a necessidade de modificaes em relao sua abordagem de ensino,

materiais, etc. Por exemplo, se um determinado contedo no foi bem assimilado

pelos alunos, h a necessidade do professor retom-lo novamente ou rever a sua

prtica de ensino.

A avaliao descrita acima denominada de rendimento e se ope

avaliao de proficincia que, por sua vez, tem como objetivo julgar o nvel de

desenvolvimento de competncia lingstica em que se encontra um candidato.

Nesse caso, a avaliao no est relacionada diretamente a contedos vistos em

sala de aula, mas em identificar o quanto um candidato sabe usar a lngua para

desempenho futuro, tendo em vista uma anlise de necessidades.

Para que uma avaliao seja bem elaborada, necessrio considerar

alguns aspectos, como confiabilidade e validade. O primeiro est relacionado s

variveis de um teste que possam interferir naquilo que se quer avaliar. Por exemplo,

um barulho externo que, de alguma maneira, pode prejudicar a concentrao dos


23/211

2

alunos e modificar a sua atuao no teste. J o segundo est relacionado aos

objetivos de um teste, ou seja, se aquilo que ele se prope a avaliar est sendo de

fato avaliado. Se o objetivo avaliar a produo oral de um candidato, uma formaeficaz para isso seria pedir a ele que fale.

Sob uma perspectiva histrica, a avaliao tem se modificado de acordo

com as mudanas em relao s abordagens de ensino e aprendizagem de lngua.

No final dos anos 50, a viso de linguagem era a estruturalista, ou seja, a lngua

poderia ser dividida em pequenas partes e saber uma lngua significava saber como

combinar essas partes para formar estruturas gramaticalmente corretas. Para avaliar

essa viso de lngua, os testes de item isolado (discrete-point test) foram utilizados.

Nesse perodo, a confiabilidade foi enfatizada, pois era importante que a avaliao

fosse feita de forma consistente, sem variaes. Por exemplo, em um teste de

mltipla escolha h apenas uma resposta correta e no h a necessidade de se fazer

julgamentos subjetivos, o que poderia contribuir para variaes em relao

atribuio de notas.

J no final dos anos 60, a viso de linguagem que se destacou foi mais

funcionalista, isto , a lngua, que antes era descontextualizada e dividida em

pores menores, passa a ser vista como um cdigo contextualizado, com enfoque

nas funes da linguagem (pedir um conselho, dar opinio etc.). Com isso, o enfoque

da avaliao tambm se modifica. O foco passa a ser a validade, ou seja, se os

objetivos de um teste esto sendo de fato avaliados. Se o intuito avaliar o

desempenho oral de um candidato, por exemplo, seria necessrio coloc-lo em uma

situao em que ele tivesse que demonstrar esse desempenho. Nesse caso, a

avaliao mais adequada seria uma entrevista oral e no um teste de mltipla


24/211

3

escolha. Em outras palavras, passa-se a avaliar o uso ou desempenho e no mais

conhecimentos sobre a lngua. Uma vez que o foco est no uso, a avaliao se

torna mais subjetiva e propcia a variaes, pois h a necessidade de avaliadorespara julgar o desempenho do candidato. Por outro lado, os critrios de avaliao so

criados para garantir a confiabilidade.

Os primeiros exames orais surgem nos anos 50, como a entrevista de

proficincia oral (EPO)1, desenvolvida pelo Instituto de Servio Estrangeiro (FSI),

com o intuito de avaliar, primeiramente, a habilidade oral de militares americanos que

assumiam postos no exterior e, mais tarde, nos anos 60, de alunos estrangeiros que

ingressavam nas universidades norte-americanas. No incio, a preocupao estava

voltada para uma descrio dos nveis de proficincia, com o intuito de assegurar a

confiabilidade da avaliao oral. Em seguida, o enfoque foi voltado para a validade

da avaliao oral, comparando-se as avaliaes orais (entrevistas) com as conversas.

O aspecto da confiabilidade volta a ser tema dos estudos na dcada de 90,

focalizando a atuao dos entrevistadores/avaliadores 2 e dos candidatos nas

entrevistas.

Em suma, embora a nfase na confiabilidade e na validade tenha se

modificado durante os anos, elas no podem ser vistas como dois aspectos que se

opem, mas que se complementam. Para um teste ser vlido, necessrio que

antes seja confivel, pois se houve variaes em relao s condies de aplicao

do teste e que levaram a uma modificao do desempenho do candidato, a amostra

1 O termo original em ingls OPI (Oral Proficiency Interview) foi traduzido neste trabalho como EPO.2 H uma distino entre Entrevistador e Avaliador. Entrevistador aquele que conduz a entrevistaoral e Avaliador aquele que atribui nota ao candidato. Em algumas situaes, o Entrevistadortambm pode atuar como Avaliador.


25/211

4

desse desempenho no ser significativa, e portanto, a validade do teste tambm

afetada.

Se, por um lado, a avaliao oral como uma entrevista face a face considerada vlida por colocar o candidato em uma situao em que ele tenha que

falar e que representativa das situaes em que ele tenha que se desempenhar na

vida real, por outro, necessrio que as variveis durante a conduo da entrevista

sejam controladas e minimizadas para que a confiabilidade seja garantida.

Portanto, para tornar uma avaliao confivel, necessrio, alm de um

exame bem elaborado, que os entrevistadores recebam uma formao especfica3,

que se estabelea uma grade para definir os aspectos do desempenho a serem

avaliados e que os procedimentos do exame sejam seguidos pelos entrevistadores.

Mesmo que essas condies sejam estabelecidas, a confiabilidade do exame no

est garantida porque no se sabe como ocorrer a interao entre oentrevistador e

o candidato. Por se tratar de interaes, uma ser diferente da outra e com isso,

variaes entre elas existiro. O que se deve observar at que ponto essas

variaes podem criar condies que ameacem a confiabilidade do exame.

Neste estudo, pretendo analisar a atuao dos entrevistadores nas

interaes face a face do exame Celpe-Bras com o intuito de identificar as possveis

variveis que possam ameaar a confiabilidade do exame. Espera-se que este

trabalho possa servir de subsdio para uma descrio mais detalhada em relao

atuao do entrevistador no Manual do Entrevistador.

3 Neste trabalho optei por usar formao em vez de treinamento de entrevistadores porque o termosugere uma viso menos mecanicista.


26/211

5

Este captulo est organizado em seis partes. Na primeira, o exame Celpe-

Bras apresentado. Na segunda, o problema de pesquisa e a justificativa da escolha

do tpico so abordados. Na terceira, a interao face a face do exame discutida.Na quarta, os objetivos desta pesquisa, operacionalizados atravs de perguntas, so

apresentados. Na quinta, a metodologia utilizada discutida. Por fim, na sexta, a

estruturao da dissertao apresentada.

Na prxima seo, apresentarei de forma mais detalhada as

caractersticas do exame. As informaes foram obtidas a partir do Manual do

Candidato (2003).

1.2. O EXAME CELPE-BRAS

O Celpe-Bras o Certificado de Proficincia em Lngua Portuguesa para

Estrangeiros, desenvolvido e outorgado pelo Ministrio da Educao (MEC) do Brasil

desde 1998. Ele o nico certificado de proficincia em portugus reconhecido pelo

governo brasileiro. O exame aplicado duas vezes ao ano, tanto no Brasil como

tambm em outros pases. Os candidatos ao Celpe-Bras so estrangeiros no-

lusfonos, maiores de 16 anos e que tenham, pelo menos, cursado o ensino

fundamental. No Brasil, o certificado j exigido para ingresso nas universidades

para os cursos de graduao e ps-graduao. Alm disso, algumas empresas e

instituies tambm esto exigindo o certificado para que profissionais estrangeiros

possam atuar na sua rea de formao no Brasil. O Celpe-Bras tambm exigido

pelos Conselhos Regionais de Medicina (CRM) para que um mdico possa

convalidar o seu diploma e exercer a profisso no Brasil.


27/211

6

A elaborao do Celpe-Bras iniciou-se em junho de 1993, por uma equipe

de pesquisadores das Universidades Federais de Braslia, Rio de Janeiro,

Pernambuco, Rio Grande do Sul e Estadual de Campinas e tambm por tcnicos daSecretaria de Ensino Superior do MEC (SESu). Esse exame teve como ponto de

partida um exame anterior, elaborado por pesquisadores da Universidade Estadual

de Campinas, como parte de um projeto de desenvolvimento de um certificado de

proficincia em lngua portuguesa para estrangeiros para uso interno dessa

universidade (EPPE). A equipe de elaborao do exame Celpe-Bras optou por fazer

desse exame um embrio para a elaborao do exame nacional, porque tanto a

equipe do Celpe-Bras quanto os pesquisadores da Unicamp compartilhavam os

mesmos pressupostos tericos em relao viso de linguagem e avaliao

(SCARAMUCCI, 1995).

Em 1995, o exame foi oficialmente institudo pela Portaria Ministerial no.

1787/95 e s veio a ser aplicado pela primeira vez em 1998. Os candidatos obtinham

certificao em dois nveis: Primeiro Certificado e Segundo Certificado. O primeiro

certificava uma proficincia parcial; o segundo, uma proficincia plena.4

Diferentemente das avaliaes de rendimento, um exame de proficincia

tem como objetivo avaliar o desempenho do candidato em relao ao uso futuro da

lngua-alvo. Em outras palavras, o objetivo do Celpe-Bras avaliar se os candidatos

conseguem:

(...) se comunicar em situaes reais do dia-a-dia: ler e redigir textos,interagir oralmente ou por escrito em atividades dentro do contexto

4Atualmente h a certificao em quatro nveis: Intermedirio, Intermedirio Superior, Avanado eAvanado Superior (MANUAL DO CANDIDATO, 2003).


28/211

7

escolar (esclarecer dvidas com o professor, fazer provas, apresentarseminrios, etc.) e externas a ele (fazer relatos, fazer compras,reclamar, ir ao mdico, etc.). Por ser um exame de proficincia, oCelpe-Bras no elaborado com o objetivo de avaliar o que umcandidato aprendeu em um determinado curso, mas o que esse

candidato consegue ou no fazer na lngua-alvo quando se submeteao exame, independentemente de onde, quando ou como essa lnguafoi adquirida (MANUAL DO CANDIDATO, 2003, p.3).

A viso que fundamenta o exame de natureza scio-interacional, isto ,

h a preocupao em avaliar o uso que o candidato faz da lngua em diversas

situaes. As questes relacionadas gramtica e vocabulrio no esto presentes

de forma explcita no exame, embora seu conhecimento seja necessrio para que

um candidato possa redigir um texto, por exemplo.

Com base em uma viso de linguagem como uma ao conjunta departicipantes com um propsito social, e considerando lngua ecultura como indissociveis, o conceito de proficincia quefundamenta o exame consiste no uso adequado da lngua paradesempenhar aes no mundo. Nesse sentido, a prtica dalinguagem tem de levar em conta o contexto, o propsito e o(s)

interlocutor(es) envolvido(s) na interao com o texto (MANUAL DOCANDIDATO, 2003, p.4)

As quatro habilidades so avaliadas de forma integrada: compreenso oral,

compreenso escrita, produo oral e produo escrita. No caso da interao face a

face, por exemplo, tanto a produo oral quanto a compreenso oral e escrita so

levadas em conta para definir o nvel de proficincia de um candidato. O exame est

estruturado em dois mdulos: a) Parte Coletiva, uma prova escrita, com enfoque nas

habilidades de compreenso (oral e escrita) e produo escrita; b) Parte Individual,

uma interao face a face, em que a compreenso (oral e escrita) e a produo oral

so avaliadas.


29/211

8

A Parte Coletiva, com durao de duas horas e meia, constituda por

tarefas. Segundo os elaboradores do exame, a tarefa definida como um convite

para o uso da linguagem com um propsito social. Dessa maneira, ela compostade uma ao, propsito e interlocutores.

Em cada tarefa h sempre um propsito claro de comunicao(escrever um texto para reclamar, para informar, para discordar) e uminterlocutor (direcionar o texto para um jornal, para um amigo, paraum chefe), de forma que o candidato possa adequar seu texto aopropsito da comunicao e ao interlocutor (MANUAL DOCANDIDATO, 2003, p. 5).

Nessa parte, h duas tarefas que avaliam a compreenso oral (em que so

apresentados um trecho em udio e outro em vdeo) e produo escrita e mais duas

tarefas que, por sua vez, concentram-se na leitura de textos e produo escrita. Por

exemplo, em uma das tarefas, pode ser pedido ao candidato que, aps ter lido uma

reportagem, escreva uma carta para o jornal expressando sua opinio. O material

utilizado para o exame diversificado e constitudo de textos autnticos que circulam

na sociedade, incluindo desde panfletos a textos de jornais, literrios, entrevistas,

documentrios. Os textos orais podem ser em vdeo ou udio.

A Parte Individual, ou interao face a face, foco deste trabalho, tem

durao de 20 minutos e composta de duas etapas. Nos primeiros cinco minutos, o

entrevistador faz perguntas baseadas em um questionrio previamente respondido

pelo candidato a respeito de seus hobbies, os motivos que o levaram a se interessar

pela lngua e cultura brasileira, dentre outros5. Os quinze minutos restantes so

5H dois tipos de questionrio: um para os estrangeiros que moram no Brasil e outro para os quemoram no exterior.


30/211

9

divididos em trs partes, cada uma relacionada a um elemento provocador

constitudo por pequenos textos, fotos, cartuns etc. sobre tpicos do cotidiano e de

interesse geral que foram montados pela comisso do Celpe-Bras e so usados como intuito de provocar uma interao com o candidato, para que ele possa expressar

suas idias e opinies sobre assuntos variados. Trs elementos provocadores so

escolhidos pelo entrevistador antes do incio da entrevista.

Os candidatos so avaliados atravs de um nico exame e podem receber

certificao em um dos quatro nveis de proficincia: Intermedirio, Intermedirio

Superior, Avanado e Avanado Superior. A certificao do candidato em um nvel

ou outro depende do equilbrio entre as duas partes do exame, ou seja, a Coletiva e

a Individual. Isto significa que se um candidato obtiver um desempenho considerado

Avanado na Parte Individual e no conseguir certificao na Parte Coletiva, ele no

obter a certificao. Os critrios utilizados na correo da Parte Coletiva so:

adequao ao contexto, adequao discursiva e adequao lingstica.

A diferena entre os nveis espelha a qualidade do desempenho docandidato nas tarefas de compreenso e produo textual (oral eescrita), em trs aspectos: adequao ao contexto (cumprimento dopropsito de compreenso e de produo, levando em conta ognero discursivo e o interlocutor), adequao discursiva (coeso ecoerncia) e adequao lingstica (adequao e variedade lexical ede estruturas gramaticais) (MANUAL DO CANDIDATO, 2003, p.6).

Segundo a descrio dos nveis de proficincia no Manual do Candidato,

para obter o Certificado Avanado, o candidato dever ter o domnio amplo da lngua

portuguesa, ou seja, conhece assuntos variados e consegue demonstrar fluncia

(compreenso e produo de textos orais e escritos) em contextos conhecidos e


31/211

10

desconhecidos. Alm disso, ele deve ser capaz de usar estruturas complexas da

lngua e vocabulrio adequado. As imprecises e inadequaes so ocasionais e

quando ocorrem, no devem interferir na comunicao. J em relao ao CertificadoAvanado Superior, o candidato apresenta todas as caractersticas de um candidato

com Certificado Avanado, porm as inadequaes e/ou interferncias so menos

freqentes.

Para obter o Certificado Intermedirio, o candidato dever possuir um

domnio parcial da lngua portuguesa, ou seja, compreender e produzirtextos orais e

escritos sobreassuntos limitados (em contextos conhecidos e situaes do cotidiano)

e usarestruturas simples da lngua e vocabulrio adequado a contextos conhecidos.

Porm, quando se trata de contextos desconhecidos, o candidato ainda pode

apresentar imprecises, inadequaes e interferncias da lngua materna que,

entretanto, no comprometem a comunicao. De forma semelhante distino

entre os nveis Avanado e Avanado Superior, o que diferencia o nvel de

Certificado Intermedirio do Intermedirio Superior est na freqncia de

inadequaes e/ou interferncias, sendo elas menos freqentes no ltimo nvel.

Tendo caracterizado o exame, passo, a seguir, para o problema de

pesquisa e a justificativa da escolha do tpico.

1.3. O PROBLEMA DA PESQUISA E A JUSTIFICATIVA DA ESCOLHA DOTPICO

A confiabilidade uma questo bastante discutida na rea de avaliao.

Hughes (1989) afirma que uma avaliao confivel na medida em que a nota

obtida num teste, numa ocasio particular, seja muito similar a uma outra,


32/211

11

conseguida numa ocasio posterior, considerando-se que no tenha havido

nenhuma aprendizagem ou esquecimento durante esse perodo e que as condies

de aplicao tenham sido as mesmas. Quanto mais similares forem as notas, maisconfivel a avaliao 6 . Em outras palavras, para que uma avaliao seja

considerada confivel, necessrio que no haja variveis que nela interfiram. Por

exemplo, uma varivel poderia ser a qualidade de som apresentado aos candidatos

para a avaliao de compreenso oral. Se, em uma ocasio, no h problemas em

relao ao som, mas em outra h problemas, isso poderia de alguma forma interferir

no desempenho dos candidatos e, dessa maneira, as notas obtidas por eles no

seriam semelhantes.

Alm da confiabilidade, a validade tambm um aspecto importante na

avaliao. Tornar um teste vlido significa verificar se aquilo que ele se props a

avaliar foi de fato avaliado. Se o objetivo de um teste era avaliar a habilidade escrita

dos candidatos, seria necessrio observar se isso foi realmente feito. Uma forma

direta de avaliar essa habilidade seria pedir para que os candidatos escrevessem um

texto. No entanto, a habilidade escrita tambm pode ser avaliada de forma indireta,

por meio de um teste de mltipla escolha, mas para construir esse teste necessrio

levantar hipteses em relao a quais sub-habilidades esto envolvidas quando um

candidato escreve um texto e, dessa maneira, avali-las no teste.

Se por um lado, uma avaliao direta da habilidade do candidato seria

considerada vlida, por outro, sua confiabilidade seria afetada no sentido de que

poderia haver variveis, por exemplo, no momento da correo desses textos. Dois

avaliadores poderiam atribuir notas diferentes a um mesmo candidato por seguirem

6No original: The more similar the scores would have been, the more reliable the test is said to be.


33/211

12

critrios prprios de avaliao. No entanto, a fim de minimizar essas variveis, uma

grade de correo com descritores elaborada para controlar os critrios de cada

avaliador.Porm, mesmo havendo essa grade, ainda pode haver variaes na

atribuio de notas. Um avaliador pode ser mais exigente que outro, interpretando a

grade de outra forma e, assim, um mesmo candidato poderia obter duas notas

diferentes (MCNAMARA, 1996).

A relao confiabilidade e validade tambm pode ser pensada em relao

s avaliaes orais semi-diretas e diretas. As avaliaes orais semi-diretas so

aquelas em que no h a presena de um entrevistador. Nessas avaliaes, o

candidato ouve as instrues j gravadas e tem a sua fala gravada, que ser

posteriormente avaliada. Nesse tipo de avaliao, a confiabilidade pode estar mais

garantida porque todos os candidatos passaro pelas mesmas instrues do exame.

Por outro lado, a validade pode ser diminuda porque se, por exemplo, um dos

objetivos do exame avaliar como o candidato interage em relao ao entrevistador,

esse tipo de avaliao no seria considerado o mais apropriado.

J as avaliaes orais diretas so caracterizadas como interaes face a

face entre um entrevistador e um candidato, em que o primeiro ir fazer perguntas a

respeito de diversos assuntos e o segundo ir respond-las. Se, por um lado, a

validade pode ser aumentada, pois a interao se aproximaria de uma situao real

de comunicao, por outro lado, a confiabilidade seria diminuda porque mais

variveis no controladas poderiam aparecer por se tratar de uma interao face a

face. Por exemplo, a reao do entrevistador poderia variar dependendo do

candidato com quem ele interage. Ou ainda, poderia se pensar no apenas em


34/211

13

relao s variaes de um determinado entrevistador, como tambm entre os vrios

entrevistadores, isto , se eles atuam de forma semelhante quando esto

entrevistando os candidatos.Observa-se, portanto, que devido a uma tenso entre confiabilidade e

validade, difcil de se obter testes que sejam confiveis e vlidos. Alm disso, no

h como se obter uma totalidade em um desses aspectos porque mesmo que se

faa um controle das variveis, ainda assim no h como prever todas.

Como se pode notar, a confiabilidade nas avaliaes orais diretas se torna

mais difcil de ser obtida pela prpria natureza do exame. A respeito da avaliao

oral, Hughes (1989) argumenta: a avaliao precisa da oralidade no fcil. Leva

um tempo considervel e esforo para se obter resultados vlidos e confiveis 7.

Algumas sugestes so feitas por esse autor tanto em relao aos

procedimentos de um exame (como planejar e conduzir as avaliaes orais) como

tambm em relao formao, caractersticas e atitudes dos entrevistadores.

Quanto durao, Hughes afirma que improvvel obter informao confivel num

tempo inferior a 15 minutos, enquanto 30 minutos seria um tempo ideal. Alm disso,

o avaliador deve coletar o mximo de informao relevante no tempo disponvel da

avaliao oral. Ele tambm deve planejar a avaliao, embora sem seguir um

modelo rgido, pois uma das vantagens das avaliaes orais est no fato do

avaliador adaptar procedimentos em resposta ao desempenho do candidato. O

candidato deve receber vrios fresh starts, isto , vrias possibilidades de dar

7No original: The accurate measurement of oral ability is not easy. It takes considerable time andeffort to obtain valid and reliable results.


35/211

14

continuidade interao. Especialmente para os candidatos que tm mais

dificuldade, insistir num mesmo tpico no seria recomendvel.

Em relao seleo e treinamento dos entrevistadores, Hughes coloca:Entrevistadores precisam ser compreensveis e flexveis, com um bom comando das

suas linguagens. Mas at mesmo os mais aptos precisam de formao 8. Alm

disso, um segundo examinador aconselhvel para uma observao mais atenta do

desempenho do candidato. O comeo da entrevista tambm um passo importante,

pois a situao de uma avaliao pode ser estressante para o candidato. Hughes

aconselha que o entrevistador deva ser agradvel e iniciar a avaliao com

perguntas pessoais, por exemplo. Ao longo da entrevista, os entrevistadores devem

evitar lembrar constantemente que os candidatos esto sendo avaliados. O

candidato, ao final da entrevista, deve ter uma sensao de tarefa cumprida. E,

finalmente, os avaliadores devem evitar falar muito, deixando que o candidato use

tempo suficiente para falar. Alm disso, eles devem evitar muitas explicaes e

repeties sobre coisas que o candidato no entendeu.

Embora os entrevistadores sejam formados e qualificados para realizar a

aplicao de uma avaliao oral, e dessa maneira, tornando-a mais confivel, ainda

assim h variveis que podem interferir no desempenho dos candidatos. Por

exemplo, apesar dos entrevistadores serem obrigados a seguir os procedimentos,

numa interao no h garantias de que eles os sigam fielmente. Ou ainda, os

estilos dos entrevistadores que podem variar em relao, por exemplo, maneira

8No original: Interviewers need to be sympathetic and flexible characters, with a good command ofthe language themselves. But even the most apt need training.


36/211

15

como eles elaboram uma pergunta, o que poderia contribuir para a diminuio da

confiabilidade do exame.

Este trabalho tem como objetivo observar se os procedimentos do exametm sido seguidos e entender que variantes podem estar presentes no momento da

interao que, de alguma forma, influenciem o desempenho do candidato, como, por

exemplo, os diferentes estilos dos entrevistadores.

Espera-se que este estudo possa oferecer tanto contribuies tericas

para a rea de avaliao de proficincia oral, como tambm prticas para um

aperfeioamento maior da interao face a face do Celpe-Bras, apontando, dessa

maneira, tanto aspectos positivos quanto negativos com relao s interaes.

Na prxima seo, fao uma descrio mais detalhada da parte individual

do exame CELPE-Bras: a interao face a face, foco deste trabalho.

1.4. A INTERAO FACE A FACE

As interaes face a face so gravadas em udio ou em vdeo e avaliadas

por dois examinadores, que recebem formao especfica para atuarem como

entrevistador e observador.

No momento da entrevista, o entrevistadordeve ter em mos o manual do

aplicador, em que constam instrues gerais em relao aos procedimentos das

duas etapas: a primeira tem a estrutura de uma entrevista, com durao de

aproximadamente 5 minutos e a outra uma conversa motivada por trs elementos

provocadores, com durao de 15 minutos. A primeira parte da interao face a face

conduzida a partir de um questionrio respondido pelo candidato, por ocasio da


37/211

16

inscrio, que contm informaes sobre seus hobbies, se tem amigos brasileiros,

etc., como uma maneira de conhec-lo melhor (ver Anexo 1). Antes da entrada do

candidato, o entrevistador deve fazer uma leitura do questionrio respondido pelocandidato e buscar aprofundar (e no repetir) as respostas dadas pelo candidato.

Portanto, essa parte funciona como um aquecimento para a segunda parte, ou seja,

com o intuito de deixar o candidato vontade para que ele inicie a sua produo oral.

J na segunda parte, o elemento provocador, como o nome diz, o material utilizado

pelo entrevistador com o intuito de provocar uma interao com o candidato. Tal

material preparado pela comisso tcnica do Celpe-Bras e consiste de pequenos

textos, fotos, cartuns etc. sobre tpicos do cotidiano e de interesse geral (ver Anexo

2). So apresentados para cada candidato trs elementos provocadores para que

assim ele possa expressar suas idias e opinies sobre assuntos diversos. Cada

elemento provocador tem durao de 5 minutos. Durante a entrevista, o entrevistador

deve ter em mos o roteiro para os elementos provocadores que consiste de

explicaes sobre como cada um dele ser conduzido. Esse roteiro est dividido em

3 etapas. A primeira delas entregar o elemento provocador ao candidato e pedir

para que este o leia ou observe o material silenciosamente por aproximadamente 1

minuto. Em seguida, na segunda etapa, o entrevistador faz a primeira pergunta para

verificar a compreenso do candidato em relao ao tema abordado pelo elemento

provocador. Por fim, na terceira etapa, o entrevistador continua a interao a partir

de um conjunto de outras perguntas (ver Anexo 3).

As interaes so avaliadas pelo entrevistador e pelo observador, de forma

independente. O entrevistadorutiliza uma grade holstica, avaliando o desempenho

do candidato de forma global. J o observador analisa a interao a partir de uma


38/211

17

grade analtica. Nas duas grades, seis aspectos so considerados: a competncia

interacional, a fluncia, a pronncia, a adequao gramatical, a adequao lexical e

a compreenso. Porm, o que diferencia a nota atribuda pelo entrevistadorda notadada pelo observador est no fato de o primeiro avaliar todos os seis aspectos de

forma conjunta, chegando a uma nota final numa escala de 0 a 5, enquanto o

segundo avalia cada aspecto, pontuando-o de 0 a 5, totalizando-se seis notas de 0 a

5. Todas as interaes so gravadas em udio ou vdeo para posterior verificao.

Em cada um desses aspectos, so apresentados descritores do

desempenho do candidato para cada um dos nveis do exame. Na competncia

interacional, se o candidato capaz de se ajustar mudana de tpico, se a

conversa adequada ao interlocutor, ao assunto e ao contexto (formal/informal), se

ele contribui para o desenvolvimento da conversa e se ele usa adequadamente as

estratgias (reformulaes, parfrase, correes) para compensar eventuais

problemas lexicais, gramaticais e/ou fonolgicos. Em relao fluncia, verificado

se o candidato faz pausas e se ele hesita com certa freqncia para organizar o seu

pensamento e se isso ocasiona interrupes no fluxo da conversa. Em relao

pronncia, se os sons, ritmo e entonao so adequados ou se ainda h

interferncias de outras lnguas. Na adequao gramatical, a extenso de uso de

variedades de estruturas e a quantidade de inadequaes de estruturas complexas e

simples so consideradas. Na adequao lexical, a amplitude e adequao do

vocabulrio e a freqncia das interferncias de outras lnguas so observadas. E,

por fim, na compreenso, se o candidato apresenta ou no problemas na

compreenso do fluxo natural da conversa e se os pedidos de repetio e de


39/211

18

reestruturao so freqentes no caso de palavras mais ou menos freqentes e nos

diferentes ritmos da fala.

O candidato avaliado com duas notas: uma do entrevistador e outra doobservador. No caso do observador, que atribui seis notas, a nota final obtida

atravs de clculos realizados pelo prprio sistema, levando-se em conta um estudo

que mostra uma contribuio diferente para cada um dos aspectos.

Tendo apresentado as caractersticas da interao face a face, passo, a

seguir, aos objetivos desta pesquisa.

1.5. OBJETIVOS DA PESQUISA

O principal objetivo desta pesquisa fazer uma anlise da atuao dos

entrevistadores nas interaes face a face do exame Celpe-Bras, com enfoque em

dois elementos distintos, responsveis pela confiabilidade do exame: um relacionado

com os procedimentos do exame e outro relacionado com os estilos que os

entrevistadores apresentaram nas interaes.

Esse objetivo geral ser operacionalizado atravs das seguintes perguntas:

1. Como a atuao dos entrevistadores em relao aos procedimentos

do exame?

2. Que estilos os entrevistadores apresentam nas interaes face a face?


40/211

19

1.6. METODOLOGIA

Com as perguntas de pesquisa colocadas na seo anterior, o intuito deste

trabalho fazer uma anlise da atuao dos entrevistadores, e para isso, foram

analisadas 58 entrevistas de exames realizados em outubro de 2004 em trs

diferentes universidades, localizadas em um mesmo estado brasileiro.

Nessas universidades, costuma-se gravar as entrevistas em udio. Para o

presente estudo, porm, havia a necessidade de coletar os dados em vdeo para

uma anlise mais detalhada (j que os estilos podem tambm ser caracterizados por

linguagem no-verbal, incluindo gestos, expresses faciais etc.). A escolha dessas

trs universidades se deu em funo do deslocamento da pesquisadora para a

realizao das gravaes em vdeo.

16 entrevistadores participaram das 58 entrevistas, sendo 15 do sexo

feminino e 1 do sexo masculino. O nmero mnimo de entrevistas por entrevistador

foi 2 e o mximo 6. Os entrevistadores foram identificados com letras do alfabeto e

separados em: instituio I, de (A) a (C); instituio II, de (D) a (J) e instituio III, de

(L) a (Q).

J em relao aos candidatos, estes foram identificados com nmeros de 1

a 58. 49 dos 58 candidatos que prestaram o exame eram em sua maioria hispano-

falantes. Dentre eles, 35 eram mdicos que precisavam o certificado em nvel

avanado para poder exercer a profisso no Brasil. Devido ao grande nmero de

mdicos que prestaram o exame para a obteno de nvel avanado, o nvel de

proficincia mais freqente na Parte Individual foi o avanado, com 21 candidatos.


41/211

20

Na primeira etapa, foi feito um levantamento em relao aos

procedimentos do exame, isto , se os entrevistadores cumpriam o tempo

estabelecido para cada parte da interao face a face e se eles seguiam ou no asetapas para cada um dos elementos provocadores.

A partir desse levantamento, pode-se fazer uma anlise mais apurada

sobre as implicaes que o cumprimento (ou no) dos procedimentos do exame

poderiam ter em relao confiabilidade do exame.

Um segundo levantamento foi realizado em relao aos estilos dos

entrevistadores. Primeiramente, os estilos foram observados e posteriormente

analisados, identificando-se quais deles eram colaborativos e quais eram no-

colaborativos. Os trechos mais significativos das entrevistas foram transcritos e

citados como exemplos no Captulo 3.

1.7. ESTRUTURAO DA DISSERTAO

Este trabalho est estruturado em 3 captulos.

No Captulo I, uma breve introduo do assunto a ser estudado

apresentada, caracterizando, de maneira geral, o exame Celpe-Bras, e de maneira

mais especfica, a Interao face a face. Alm disso, so colocados o problema de

pesquisa, os objetivos e a metodologia a ser utilizada.

No Captulo II, os estudos mais significativos na rea de avaliao oral

so abordados. Esse captulo est dividido em quatro partes. A primeira delas refere-

se aos estudos sobre a variao dos entrevistadores na atribuio de notas. A

segunda apresenta alguns estudos sobre avaliao oral no Brasil. A terceira focaliza


42/211

21

os estudos sobre confiabilidade e validade em exames orais. Por fim, a quarta

discute o aspecto cultural nas entrevistas.

No Captulo III, so apresentadas a anlise dos dados e a discusso dosresultados. Esse captulo composto de trs partes. Na primeira, os dados so

analisados e os resultados discutidos em relao aos procedimentos do exame, e na

segunda, os dados e os resultados relacionados aos estilos dos entrevistadores. No

fim do captulo, as consideraes finais so apresentadas.


43/211

22


44/211

23

CAPTULO II

CONFIABILIDADE NA AVALIAO ORAL: UM OLHAR SOBRE A

ATUAO DE ENTREVISTADORES

2.1. INTRODUO

Embora as avaliaes orais, como a entrevista de proficincia oral (EPO),

sejam aplicadas desde a dcada de 50, os estudos em relao a elas surgem de

forma mais significativa nas dcadas de 80 e 90. Os primeiros estudos enfocavam a

confiabilidade e a construo de grades e seus descritores. Mais tarde, com a

incluso de contribuies de outras reas como a da Anlise Conversacional, os

estudos se voltaram para a validade dos testes orais, tentando buscar uma definio

mais clara acerca do discurso das entrevistas orais e da interao estabelecida entre

entrevistador e candidato. A partir desses estudos, outros surgiram, com enfoque na

variao do discurso do entrevistador e do candidato, por exemplo, como os

entrevistadores elaboram e reelaboram as suas perguntas, o que levam em conta

quando esto avaliando um candidato, etc. Embora algumas variveis tenham sido

testadas para averiguar a mudana no desempenho do candidato, como os gneros

e os tipos de tarefas, por exemplo, ainda h outras variveis que foram menos

testadas, tais como personalidade do entrevistador e os elementos paralingsticos,

mas que tambm podem influenciar o desempenho do candidato de forma

significativa.


45/211

24

Neste captulo, discutirei os conceitos de confiabilidade, validade e

autenticidade, trazendo estudos sobre entrevistadores e suas variaes de

comportamento, atitudes e atribuio de notas.

2.2. VARIAO DOS ENTREVISTADORES NA ATRIBUIO DE NOTAS

O termo avaliao de desempenho teve suas origens nas reas de

educao geral e vocacional e se refere a:

(...) uma avaliao que pressupe a demonstrao direta daproficincia almejada ou das capacidades adquiridas, em vez delimitar-se a avaliar indiretamente essa proficincia atravs deinstrumentos que focalizam itens isolados de gramtica(SCARAMUCCI, 2004, p. 366).

Se o objetivo avaliar, por exemplo, se o candidato tem capacidade de

interagir numa lngua estrangeira, seria preciso coloc-lo numa situao que

simulasse uma interao de situao real, em que ele tivesse que demonstrar essa

capacidade. Dessa maneira, a avaliao seria feita com base na amostra daquilo que

o candidato desempenhou.

Para McNamara (1996), os testes de proficincia em geral envolvem dois

tipos de avaliao: a tradicional de resposta fixa e a avaliao baseada no

desempenho. A figura 1, a seguir, esquematiza as diferenas entre elas.


46/211

25

Avaliao tradicional Avaliao baseadade resposta fixa no desempenho

INSTRUMENTO NOTA AVALIADOR NOTA (ATRIBUIO)

CANDIDATO ESCALA

DESEMPENHO

INSTRUMENTO

CANDIDATO

Figura 1: Caractersticas da avaliao oral (MCNAMARA, 1996, p.9)

Na avaliao tradicional de resposta fixa, h foco apenas no instrumento e

no no avaliador. A avaliao consiste, em geral, de questes de mltipla escolha,

em que apenas uma resposta a correta. Esse tipo de avaliao eficaz quanto

confiabilidade, uma vez que em sua correo no haver variaes na correo

dessas questes. J numa avaliao baseada no desempenho, a correo se torna

mais complexa porque o desempenho do candidato passa pelo julgamento de um

avaliador. Para que os avaliadores no julguem o desempenho dos candidatos de

acordo com seus prprios critrios, uma escala usada para garantir a confiabilidade

desse tipo de avaliao.

Um exemplo de avaliao baseada no desempenho a entrevista oral. No

caso das entrevistas face a face, o candidato interage com o entrevistador e um

avaliador ir atribuir uma nota para o desempenho do candidato, por meio de uma

grade de descritores. Embora haja essa grade para assegurar que todos os


47/211

26

avaliadores atribuam notas semelhantes para um mesmo candidato, ainda assim

pode haver variaes na correo:

1. Dois avaliadores podem simplesmente diferir na sua tolernciacomo um todo.2. Avaliadores podem apresentar padres particulares de rigidez outolerncia em relao a apenas um grupo de candidatos, no outros,ou em relao a tarefas particulares, no outras.3. Avaliadores podem diferir um do outro na maneira comointerpretam a escala de avaliao que esto usando.4. Avaliadores podem diferir em termos de sua consistncia (ouinconsistncia), ou seja, a extenso de erros aleatrios associadoscom suas avaliaes. (MCNAMARA, 1996, p.123-124)9

Mesmo com uma definio clara dos critrios de avaliao bem como a

preparao dos avaliadores, no se garante a confiabilidade mxima de uma

avaliao. Pode haver situaes em que h dois avaliadores com nveis diferentes

de exigncia: um deles sendo exigente e o outro, generoso. A nota 7 (numa escala

de 10 pontos) de um candidato que tenha feito a avaliao com um avaliador

exigente indicar que ele tem uma habilidade mais alta do que a de um candidato

que tenha feito a avaliao com um avaliador generoso e obtido nota 8.

H ainda outros fatores que contribuem para a variao entre avaliadores,

tais como os gneros do avaliador e do candidato, as condies fsicas e o horrio

9 No original: 1.Two raters may simply differ in their overall leniency. 2. Raters may display particularpatterns of harshness or leniency in relation to only one group of candidates, not others, or in relationto particular tasks, not others. 3. Raters may differ from each other in the way they interpret the ratingscale they are using. 4. Raters may differ in terms of their consistency (or inconsistency); that is, theextent of the random error associated with their ratings.


48/211

27

em que so feitas as correes, assim como o tipo de entrevista (MCNAMARA,

1996).

Pollitt e Murray (1996) realizaram um estudo para observar a que aspectosos entrevistadores realmente prestavam ateno quando atribuam notas. A

metodologia foi um pouco diferente, pois a preocupao dos autores era verificar as

percepes de julgamento desses entrevistadores e no o uso que eles faziam de

uma grade de avaliao. Para isso, cinco candidatos foram comparados uns com os

outros em pares, totalizando uma combinao de dez pares. Os entrevistadores

deveriam comparar os candidatos, julgando, dentro de cada par, qual dos dois havia

sido melhor e depois justificar a sua escolha. Os resultados mostraram que os

entrevistadores se preocuparam com aspectos no contemplados em sua grade

como a compreenso do candidato e as caractersticas paralingsticas que

acompanham a fala, tais como personalidade, maneiras, expresso facial e

impresso de amizade. Alm disso, a proficincia foi entendida de maneira diferente

dependendo do nvel do candidato. Se o candidato tinha proficincia alta, ele era

julgado em comparao ao comportamento de um falante nativo, com enfoque no

que ele estava dizendo. Com um candidato de proficincia mais baixa, esse enfoque

estava em como ele estava dizendo, ou seja, na forma como ele falava, se estava

correta ou no.

A variao do estilo do entrevistador abordada de forma mais detalhada

no artigo de Brown (2003). A autora conclui que, dependendo do estilo do

entrevistador, pode-se perceber desempenhos diferentes de um mesmo candidato.

Nesse estudo, um mesmo candidato passou por dois entrevistadores com estilos

diferentes; em um momento posterior, avaliadores externos atriburam notas para


49/211

28

essas duas interaes. Um dos entrevistadores tinha estilo caracterstico de

professor, demonstrando interesse na conversa e utilizando dois tipos de perguntas

durante a avaliao oral, as abertas e as fechadas. As perguntas abertas, tais comoVoc pode me dizer sobre..., requerem do candidato respostas mais extensas e

explicitadas. J as perguntas fechadas so aquelas que tm como resposta sim ou

no e so utilizadas pela entrevistadora apenas como maneira de resumir o que j foi

dito na conversa. Alm disso, durante a entrevista, ela freqentemente fornecia

feedback positivo para o candidato, conseguia formular outro tpico, quando um

tpico anterior falhava e mantinha o fluxo da conversa.

J o outro entrevistador tinha estilo mais casual, que remetia a uma

interao real num contexto no-avaliativo. Nas interaes reais, as perguntas

fechadas so usadas constantemente como uma maneira de fazer a pessoa falar. Ao

se fazer uma pergunta fechada, no se espera que a pessoa responda apenas sim

ou no, mas que ela continue falando. Foi pensando provavelmente nesse aspecto

pragmtico, cabvel numa interao fora do contexto de avaliao, que esse segundo

entrevistador utilizava as perguntas fechadas como uma maneira de fazer o

candidato responder de forma mais extensa. Porm, o candidato no percebia esse

aspecto pragmtico durante a entrevista. Como conseqncia, a entrevista

caracterizada por silncios e as respostas do tipo sim ou no do candidato se

resumiam a confirmaes, e assim, ele no conseguia expandir suas respostas.

Alm disso, o entrevistador falhava quando tentava reformular tpicos no sucedidos

e, portanto, os feedbacks no eram freqentes. Brown conclui o artigo apresentando

os comentrios feitos pelos avaliadores que deram as notas para essas duas

entrevistas. Para o primeiro entrevistador, o candidato fluente, comunica-se bem,


50/211

29

compreende o que o entrevistador fala, expressa suas idias de forma correta. J

para o segundo entrevistador, o candidato caracterizado como sendo um falante

em fase inicial, que no tem iniciativa nas respostas, sendo elas mnimas efrustrantes e hesita muito na hora de falar.

Amarante (1995) realizou uma pesquisa semelhante no Brasil em relao

avaliao do desempenho oral de lngua inglesa de alunos iniciantes de uma

instituio particular de ensino superior. Uma mesma aluna foi entrevistada por um

professor e por um aluno. No primeiro caso, o professor atuou como interagente e

avaliador e no segundo, como organizador e avaliador, j que a entrevista foi

conduzida pelo aluno. Os dados mostraram que o desempenho da candidata foi

melhor quando interagia com o aluno do que com o professor, pois os turnos foram

mais longos, as pausas menos freqentes e os risos indicavam conhecimento

compartilhado.

Claro est que interagir com um colega atividade mais costumeira e,portanto, mais real, autntica do que interagir com o professor.

Ademais a interao entre pessoas de igual status se caracterizapelo balanceamento das relaes de poder. (AMARANTE, 1995, p.239)

As perguntas do tipo sim/no e de informao foram feitas mais pelo

professor do que pelo aluno. Quando a aluna no entendia uma pergunta de

informao, o professor reformulava com perguntas do tipo sim/no. J o aluno fazia

a mesma pergunta mais pausadamente.

(...) ele (professor) busca fazer com que o aluno produza, da ogrande nmero de perguntas que se observa em E1(professor-


51/211

30

entrevistador). Tambm procura fazer com que o aluno compreenda,da o grande nmero de refraseamentos, complementaes,exemplificaes. Atua ainda como rbitro da produo do aluno,aceitando ou rejeitando suas respostas, da a ocorrncia deperguntas de clarificao e das repeties para aprovao, das

apreciaes, das correes e reformulaes. (AMARANTE, 1995,p.242-243)

Essa autora conclui que necessrio repensar em uma entrevista oral que

proporcione ao aluno usar a lngua como uma operao comunicativa autntica, j

que a avaliao atual ainda apresenta falhas nesse aspecto.

Os estudos de Brown (2003) e Amarante (1995) referem-se a uma

situao experimental, em que foi verificado o impacto de dois diferentes estilos de

entrevistadores no desempenho de um candidato. No entanto, o presente trabalho

no ir enfocar o impacto em si, pois para isso os candidatos teriam que ser

avaliados por dois entrevistadores diferentes, mas analisar os estilos que os

entrevistadores do Celpe-Bras tm apresentado e suas possveis implicaes em

relao confiabilidade da interao face a face do exame.

Na prxima seo, discutirei outros estudos sobre a avaliao oral no

Brasil.

2.3. ESTUDOS SOBRE AVALIAO ORAL NO BRASIL

Os estudos de avaliao oral no Brasil so poucos e se referem

geralmente lngua inglesa e ao contexto de sala de aula. Por exemplo, o estudo de

Vigia-Dias (1995) teve como objetivo analisar a construo da consonncia entre

abordagem de ensino e a avaliao da habilidade oral em sala de aula. J o de


52/211

31

Amarante (1998) foi enfocado no discurso da avaliao de uma instituio particular

de ensino superior. Nesse trabalho, um dos aspectos que ela discute a relao

assimtrica entre entrevistador e candidato nas entrevistas de avaliao oral. Esseestudo ser retomado mais adiante.

Em seu estudo, Giosa (1994) analisou as caractersticas da fala

colaborativa em uma aula de conversao com aprendizes de nvel bsico de lngua

inglesa. O termo colaborativo usado na rea de ensino de lnguas referindo-se ao

processo colaborativo entre professores e alunos em sala de aula (WELLS, 1991,

apud GIOSA). o processo de colaborao mtua que o aluno desenvolve seus

mecanismos de negociao social, ou seja, sua habilidade oral no idioma

estrangeiro. (GIOSA, 1994). Quando o aluno apresentava dificuldades, o professor

elaborava a prxima pergunta usando exemplos como forma de manter a interao

com o aluno. Esse mecanismo foi visto de maneira positiva pelos alunos. No entanto,

quando o professor fazia correes gramaticais, essa atitude era vista de forma

negativa, pois interrompia a interao. Alm disso, o professor fazia perguntas

reflexivas com o intuito de aproximar a discusso de sala de aula com a realidade do

aluno.

Consolo (2004), por sua vez, elaborou e analisou um teste de proficincia

em lngua inglesa (TEPOLI) para alunos de graduao do curso de Letras. O teste

consistia em uma interao entre entrevistador e aluno e era composto de trs partes.

Na primeira delas, o entrevistador passava, em portugus, as instrues do exame

para o candidato. Na segunda, a avaliao se baseava em duas gravuras, em que o

entrevistador faria perguntas em relao a elas. Finalmente na terceira, era

perguntada a opinio do candidato sobre o exame que acabara de fazer.


53/211

32

Alm da elaborao do teste, houve a preocupao em definir as faixas de

proficincia dos alunos. Foram criadas cinco faixas de notas, sendo A para o aluno

que apresentasse proficincia mais alta e E a mais baixa. Como os alunos estoaprendendo o ingls para mais tarde atuarem como professores, a faixa E

corresponderia a um nvel de proficincia abaixo daquilo que se esperaria de um

professor.

O trabalho de Schoffen (2003) analisou as interaes face a face do

Celpe-Bras com o intuito de descrever de forma detalhada o desempenho dos

candidatos falantes de espanhol. Como o portugus e o espanhol so lnguas

prximas, h aspectos que no so devidamente contemplados pela grade de

avaliao, pois ela foi construda pensando-se em todos os candidatos, abarcando

diversas nacionalidades. Esse trabalho, portanto, levantou caractersticas dos

falantes de espanhol em cada um dos quatro nveis de proficincia do exame.

Como se pode observar, poucos so os estudos sobre avaliao oral. Em

relao avaliao de proficincia oral, h os estudos de Schoffen (2003) e Consolo

(2004), porm no h o enfoque em relao atuao dos entrevistadores.

A seguir, apresento outros estudos sobre confiabilidade e validade em

exames orais.

2.4. CONFIABILIDADE E VALIDADE EM EXAMES ORAIS

Se um mesmo teste for aplicado vrias vezes para os mesmos alunos,

espera-se que estes consigam obter notas semelhantes. No entanto, isso nem

sempre possvel porque h variveis que podem interferir no desempenho do


54/211

33

candidato. As variaes nas notas dos alunos podem ser atribudas por variveis

sistemticas, como um aprendizado que tenha ocorrido entre as aplicaes do teste,

ou por variveis no-sistemticas, como um barulho externo que distrai os alunosdurante a aplicao de uma prova, ou ainda por ansiedade ou fadiga. Um teste

confivel, portanto, aquele em que pode haver a presena de variveis

sistemticas mas no de no-sistemticas (ALDERSON et al. 1995).

Em relao s avaliaes orais, as variveis no sistemticas podem estar

relacionadas a fatores tais como o no cumprimento dos procedimentos ao conduzir

uma entrevista e atribuio de notas de forma inconsistente. Por isso, a fim de

aumentar a confiabilidade dos exames orais, necessrio verificar se os

procedimentos esto sendo seguidos e se os avaliadores avaliam de maneira

homognea.

No justo para os alunos se, para alguns se requer apenascomentrios simples, mas apropriados, enquanto outros, igualmentebons, so forados a usar linguagem complexa que revela suasinadequaes. Os entrevistadores tambm precisam ser formadospara deixar os candidatos vontade, conseguir uma conversasincera, sem dizer muito sobre eles mesmos, estar interessados emcada entrevista e saber como fazer as perguntas que produziro alinguagem requerida. (ALDERSON et al., 1995, p.62)10

A obteno de confiabilidade em uma avaliao oral se torna ainda mais

complicada porque cada entrevista ir ocorrer de uma maneira que no ser

exatamente igual outra. Embora haja os procedimentos estabelecidos para que os

10No original: It is not fair to the students if some of them are only required to make simple butappropriate comments, while other equally good ones are forced to use complex language whichbetrays their inadequacies. Interviewers also need to be trained to put candidates at their ease, to geta genuine conversation going without saying much themselves, to manage to appear interested ineach interview and to know how to ask questions which will elicit the language required.


55/211

34

entrevistadores os cumpram, a elaborao de perguntas, por exemplo, depende

muito do entrevistador, de como ele as realiza, ou ainda, quando o candidato no

entende uma pergunta, como ele a reformula. Se, ao contrrio, a entrevista fosseuma reproduo de perguntas prontas, isto , em que o entrevistador tivesse que

apenas reproduzi-las, a confiabilidade, nesse caso, seria aumentada porque todas as

entrevistas seriam padronizadas, diminuindo-se a ocorrncia de variaes. Por outro

lado, a validade dessa avaliao seria afetada porque a entrevista se tornaria

artificial, sem envolvimento entre entrevistador e candidato.

Complementando a noo de confiabilidade exposta por Alderson et al.,

Bachman (1990) coloca que a investigao da confiabilidade est relacionada

seguinte pergunta: O quanto do desempenho individual em um teste est

relacionado ao erro da medio ou a outros fatores, alm da habilidade lingstica

que queremos medir? 11 Em outras palavras, um teste considerado confivel

quando o desempenho de um candidato no est relacionado aos erros de medio

ou a outros fatores.

(...) quanto menos esses fatores afetarem as pontuaes de um teste,maior ser o efeito relativo das habilidades lingsticas que queremosmedir, e dessa maneira, a confiabilidade das pontuaes de um testede lngua. (BACHMAN, 1990, p. 160)12

Por outro lado, a investigao da validade, para esse mesmo autor, est

relacionada outra pergunta: O quanto do desempenho individual em um teste est

11No original: How much of an individuals test performance is due to measurement error, or to factorsother than the language ability we want to measure?12No original: (...) the less these factors affect test scores, the greater relative effect of the languageabilities we want to measure, and hence, the reliability of language test scores.


56/211

35

relacionado s habilidades lingsticas que queremos medir? 13 Se o objetivo

avaliar a habilidade oral de um candidato, o teste deve ser desenvolvido para que se

obtenha uma amostra significativa da habilidade oral e no outra habilidade. Se outrahabilidade estiver sendo avaliada, a validade desse teste diminui.

Bachman considera que os conceitos confiabilidade e validade no

podem ser vistos de forma separada e oposta porque de alguma forma um ir afetar

o outro. Por exemplo, para um teste ser considerado vlido, necessrio que

primeiro ele seja confivel. Ou ainda, no adianta um teste ser confivel se a

validade no est assegurada.

Muitas discusses sobre confiabilidade e validade enfatizam asdiferenas entre essas qualidades, mais do que suas semelhanas.Mas, ao invs de consider-las como dois conceitos totalmentedistintos, acredito que ambos podem ser melhor entendidos aoreconhec-los como dois aspectos complementares de umapreocupao comum em medio identificando, estimando, econtrolando os efeitos dos fatores que afetam as pontuaes no teste.

(BACHMAN, 1990, p.160)14

Alm da confiabilidade e validade, h ainda a autenticidade. Dizer que um

teste autntico pode ter vrios significados. Bachman definiu autenticidade de

acordo com duas abordagens: uma relacionada vida real e outra habilidade

interacional.

13No original: How much of an individuals test performance is due to the language abilities we want tomeasure?14No original: Many discussions of reliability and validity emphasize the differences between thesequalities, rather than their similarities. But instead of considering these as two entirely distinctconcepts, I believe both can be better understood by recognizing them as complementary aspects of acommon concern in measurement identifying, estimating, and controlling the effects of factors thataffect test scores.


57/211

36

Na primeira abordagem, um teste seria autntico na medida em que o

desempenho apresentado se aproximasse ao de uma situao real de comunicao.

No entanto, no h como replicar o uso lingstico j que a lngua complexa pornatureza e, portanto, no h como prever tudo o que pode acontecer em todos os

contextos em que a lngua usada.

Em contraposio, na segunda abordagem, a autenticidade reside na

interao entre candidato, tarefa do teste e contexto de avaliao. Ao invs de

replicar os usos de lngua partindo de contextos reais de comunicao, essa

abordagem tem como objetivo elaborar testes que reflitam o conhecimento da

natureza das habilidades lingsticas e do uso da lngua.

van Lier (1989) discute a validade das entrevistas de proficincia oral

(EPOs doravante), descrevendo o que elas so e o que os participantes fazem nelas.

Em outras palavras, ele analisa que tipo de evento de fala a EPO e os papis que o

entrevistador e o candidato assumem durante a entrevista. Diferentemente da

maioria dos estudos anteriores, que enfocavam questes referentes aos

procedimentos das avaliaes e s atribuies de notas, nesse estudo houve uma

preocupao em relao a uma definio mais clara acerca da natureza da avaliao

de proficincia oral, ou seja, mais especificamente, se a EPO poderia ser equiparada

a uma conversa ou no.

Segundo van Lier, a conversa pode ser definida como interao face a

face num contexto de lngua da vida real 15. Como no h maneiras de se avaliar os

candidatos interagindo numa situao real de comunicao, as entrevistas de

proficincia oral tentam se assemelhar s situaes fora do contexto de avaliao.

15No original: () face-to-face interaction in a real-life language context.


58/211

37

Complementando essa definio, as caractersticas bsicas da conversa so, alm

da interao face a face, o no planejamento, a imprevisibilidade da seqncia e do

resultado e a distribuio igualitria de direitos e deveres na conversa. (SACKS;SCHEGLOFF; JEFFERSON, 1974 apud VAN LIER)

Embora tal definio tenha sido baseada no princpio cooperativo e nas

mximas de Grice16, van Lier questiona essas caractersticas. Sugere, por exemplo,

que os vrios nveis de planejamento devem ser considerados, isto , se a interao

ser planejada, com perguntas j pr-estabelecidas ou se ocorrer de forma no-

planejada. No entanto, as interaes so mais ou menos planejadas ou

improvisadas. Ao mesmo tempo em que os participantes tm que ser sensveis ao

aqui e agora, eles tambm tm que relacionar o que vo dizer com aquilo que o

interlocutor j disse. Alm disso, os participantes, continuamente, fazem previses

em relao seqncia e ao resultado. Em relao aos direitos e deveres, eles

nunca so iguais em sua totalidade. Embora haja desigualdades das relaes de

status e papis, isso no significa que os direitos e os deveres na interao devam

ser desiguais.

Uma vez colocada sua definio de conversa, van Lier define ento a

entrevista como uma contingncia assimtrica (JONES; GERARD, 1967 apud VAN

LIER), ou seja, o entrevistador tem um plano e ir conduzir e controlar a entrevista de

acordo com esse plano. A entrevista um encontro em que as relaes j esto pr-

estabelecidas, isto , de um lado, o entrevistador que ir fazer as perguntas e de

16As mximas de Grice (1989) so Quantidade, Qualidade, Relao e Maneira. A primeira afirma quea contribuio para a conversa deve ser informativa e no conter mais informao do que foirequerida. A segunda se refere veracidade da contribuio, ou seja, no fazer uma contribuio queseja falsa ou em que haja pouca evidncia adequada. A terceira em relao a ser relevante. Aquarta est relacionada ao como dito, evitando-se obscuridade e ambigidade da expresso; deveser breve e de forma organizada.


59/211

38

outro, o entrevistado, que ir apenas respond-las. Alm disso, tudo o que for dito

pelo entrevistado ser avaliado para decises futuras.

Analisando partes de algumas entrevistas, van Lier notou que elasrealmente apresentam uma assimetria, isto , o entrevistador mantm o controle do

discurso ao fazer perguntas e avaliar respostas. Alm disso, questes ticas foram

aparecendo, por exemplo, quando o entrevistador fazia perguntas de natureza

pessoal e emocional. Nesse caso, o fato de o entrevistado no responder pergunta

do entrevistador pode ter duas explicaes: talvez ele (o entrevistado) no queira

responder e no que no saiba faz-lo.

Resumindo, para van Lier, a EPO pode no ser caracterizada como

conversa uma vez que h uma assimetria entre os seus participantes. O objetivo

desse tipo de entrevista avaliar se a produo lingstica foi bem sucedida e no se

a conversa foi bem sucedida. Em outras palavras, a entrevista tem como intuito

conseguir uma amostra daquilo que o candidato consegue falar na lngua alvo,

avaliando como o candidato fala e no o que ele fala.

Shohamy e Reves (1985) tambm abordam a autenticidade em

entrevistas, comparando o desempenho do candidato ao seu desempenho numa

situao real de comunicao. Segundo as autoras, o problema j comea pelo

prprio termo autenticidade, isto , o que um teste autntico, ou como deve ser a

linguagem desse teste, uma vez que a linguagem produzida numa situao real de

comunicao vai depender de variveis como o que est sendo dito, para quem,

quando e porqu. Um teste ideal teria que observar esse candidato em diversos

contextos (e assim diversas variveis seriam abordadas), sem que ele esteja

consciente de que est sendo avaliado. Dessa maneira, para diferenciar da


60/211

39

linguagem autntica, ou seja, aquela que d conta de todas essas variveis,

Shohamy e Reves denominam a linguagem de um teste como linguagem autntica

de teste.

(...) a linguagem de testes autnticos no uma representaoverdadeira da linguagem de vida real. Foi mostrado que difcil, seno impossvel, at mesmo aproximar o uso de linguagem de vidareal nos testes de lngua. O mximo que ns podemos obter, nomomento, linguagem autntica de teste. (SHOHAMY; REVES,1985, p. 57)17

As autoras mencionam cinco fatores que contribuem para a reduo da

linguagem autntica para linguagem autntica de teste:

a) o objetivo da interao, no caso de uma avaliao oral, avaliar o

desempenho lingstico do candidato. Em situaes reais de comunicao, so

vrios os objetivos da interao, embora nenhum deles seja de avaliar como que a

pessoa est falando;

b) os participantes numa avaliao oral geralmente no se conhecem e

precisam conversar sobre algum assunto. Por no estarem acostumados a conversar

um com o outro e desconhecerem a vida do outro, a interao se torna artificial,

embaraosa e difcil. A no familiaridade pode afetar o desempenho do candidato,

pois ele pode no se sentir vontade ao responder perguntas sobre aspectos da sua

vida pessoal para algum com quem nunca tenha conversado. Nesse caso, o

entrevistador, percebendo esse tipo de reao do candidato, ao invs de fazer

17No original: () the language of authentic tests is not a true representation of real-life language. Itwas shown that it is difficult, if no impossible, to even approximate real-life language use on languagetests. The most we can obtain, at the moment, is authentic test language.


61/211

40

perguntas de cunho mais pessoal, deve tentar elaborar outras perguntas, de cunho

mais geral;

c) a ambientao tambm diferente porque numa situao de avaliao,h uma sala em que o entrevistador se senta em um dos lados da mesa e o

candidato do outro. Em situaes reais, os lugares em que a interao ocorre so

variados e informais, como nas ruas, lojas, sala de estar etc;

d) Numa situao de comunicao real, o tpico est ligado ao contedo

da conversa, isto , o contedo no est pr-determinado e as circunstncias vo

determinar o andamento da conversa. Numa situao de entrevista, os papis esto

marcados. o entrevistador que ir conduzir a entrevista, introduzindo e finalizando

os tpicos enquanto ao candidato caber apenas responder s perguntas feitas;

e) o tempo limitado em uma avaliao oral, diferentemente das

interaes reais, em que no h esse limite.

Dando continuidade aos estudos de van Lier (1989) e Shohamy e Reeves

(1985), Johnson e Tyler (1998) tambm avaliaram a EPO no apenas de forma

qualitativa, mas tambm quantitativa. Nesse estudo, uma mesma candidata foi

entrevistada por dois avaliadores. Os resultados mostraram que houve diferenas,

por exemplo, na negociao de um tpico, uma vez que o entrevistador quem

controlou a entrevista, mais especificamente, introduziu e fechou os assuntos. Alm

disso, no parecia haver envolvimento dos entrevistadores na interao, isto , no

sentido de explorar aspectos/subtpicos que foram ditos pela candidata. Nesse

estudo notou-se que os entrevistadores, ao fazerem perguntas, tinham como objetivo

principal avaliar a produo de uma determinada estrutura gramatical pela candidata

e no o contedo, em outras palavras, aquilo que a candidata estava dizendo. Uma


62/211

41

vez que o objetivo da EPO nesse estudo era o enfoque na produo de estruturas

gramaticais, as perguntas no davam uma seqncia quilo que a candidata est

falando. Outro problema que tambm apareceu em relao ao tpico que acandidata no dominava, ou seja, no sabia o que falar, causando certo desconforto

durante a entrevista.

Concluindo, os estudos sobre validade mostram que h diferenas entre

uma avaliao oral e uma conversa natural. Porm, pode haver variaes nas

entrevistas, no sentido de algumas se aproximarem mais a uma conversa, devido a

um envolvimento maior entre entrevistador e candidato.

Outro aspecto que tambm tem sido foco de estudo so as variaes em

relao atuao dos entrevistadores que podem contribuir para a diminuio da

confiabilidade e validade de um exame.

Morton et al. (1997) fizeram um estudo sobre o comportamento do

entrevistador, partindo do pressuposto de que ele no neutro e que pode interferir

no discurso do candidato.

Com base nos questionrios de avaliao sobre o desempenho dos

entrevistadores, respondidos por avaliadores externos18, foram selecionados os dez

melhores entrevistadores e os dez piores, tomando por base as caractersticas da

interao. Bons entrevistadores sempre do feedback variado e apoiador, que se

aproxima do que as pessoas fazem em uma conversa natural. J os entrevistadores

ruins provocam quebras na interao, na medida em que no do feedback e podem

ser comparados a uma mquina pelo seu distanciamento. Os candidatos com

18Avaliadores externos so aqueles que apenas atribuem notas posteriormente para as entrevistasgravadas em udio.


63/211

42

proficincia baixa so os mais afetados pelos entrevistadores ruins, porque eles

necessitam de feedbacks e reformulaes de perguntas com mais freqncia.

Observou-se tambm que bons entrevistadores do a mximaoportunidade para o candidato expandir suas respostas, atravs de perguntas

adicionais, repetio e explicao. Ao contrrio, entrevistadores ruins do pouco

encorajamento para o candidato expandir suas respostas. Alm disso, bons

entrevistadores no dominam a interao, ou seja, no falam muito. Em outras

palavras, se o candidato tiver mais tempo para falar, o entrevistador poder avaliar

melhor seu desempenho. Se, ao invs disso, o entrevistador fala mais que o

candidato, a amostra que ele obter do candidato ser mnima, e pode no refletir

aquilo que realmente o candidato consegue dizer. o que enfatiza o estudo de

McNamara e Lumley (1997):

() o efeito da falta de desempenho pode ter sido o interlocutor quetomou para si a interao, dando ao candidato pouco tempo parafalar, e dessa maneira, a evidncia disponvel para o avaliador podeter sido restringida, e como resultado, o avaliador deu ao candidato obenefcio da dvida. (MCNAMARA; LUMLEY, 1997, p. 152-153) 19

Morton et al. concluem que ao avaliar candidatos com baixa proficincia,

os bons entrevistadores adaptam a sua linguagem, ou seja, falam mais devagar e de

forma mais simples, com explicaes e repeties. E, nos casos em que os

candidatos tm proficincia alta, estes so desafiados com questes adicionais.

Alm disso, os bons entrevistadores fazem parfrase quando um candidato no

19No original: () the effect of the lack of competence may have been that the interlocutor hoggedthe interaction, giving the candidate too little time to speak, so that the evidence available to the ratermay have been restricted, with the result that the rater gave the candidate benefit of the doubt.


64/211

43

entende uma pergunta; j os entrevistadores ruins apenas repetem a pergunta feita

anteriormente.

Ross & Berwick (1992) analisaram as diversas formas de acomodaodas falas dos entrevistadores da EPO em relao aos vrios nveis de proficincia

dos candidatos, isto , como os entrevistadores acomodavam as suas falas s dos

a atuaÇÃo do entrevistador na interaÇÃo face a face do exame celpe-bras

Documents