5/16/2018 SIM ES_MACHADO_A arte de fazer perguntas - slidepdf.com

http://slidepdf.com/reader/full/simoesmachadoa-arte-de-fazer-perguntas 1/11

2 40 . D ES IG U AL DA DE S S OC IA lS . ..

NORRIS, P. Critical Citizens: G loba l Support f or Democ ra ti c Government . New York: O xf ord Uni ve rs it y Press ,

1999.

PUTNAM, R. D. Comunidade e democracia: a exper ienc ia da l ta li a moderna . R io de Janei ro : Fundacao Get ul io

Vargas, 1996.

RENNC\ L. R.Con fi anca int erpessoa l e comport amen to pol it ic o: m ic ro fundamen tos da t eo ri a do cap it al s oc ia l na

America Latina. Opiniao Publica, v. 7 , n . 1 , p . 2 2· 59 , 2 00 1.

APENDICE 1

A < ARTE EA ClENCIA DE FAZER PERGUNTAS

ASPECTOS COGNITIVOS DA METODOLOGIA DE SURVEY E A

CONSTRUc;AO DO QUESTIONARIO

In: AGUIAR, N. Desigualdades sociais, redes de

sociabilidade e participacao politica. Belo Horizonte: Ed.

UFMG, 2009, p. 241-261.

Solange Simoes

Maria Aparecida Machado Pereira

lntroducao

A metodologia de survey - que e a contrapartida acadernica mais cientff ica

e analf ti ca das pesquisas de opiniao - tem desempenhado um papel impor tantena producao do conhecimento sociol6gico conternporaneo. Pioneiros da

metodologia de survey, como Samuel A. Stouffer e Paul F. Lazarsfeld (1962)

buscaram aplicar metodos de pesquisa social empfrica para a analise de

problemas sociais e sociol6gicos, transformando quest6es sociais em quest6es

sociol6gicas, ou seja, relevantes para 0desenvolvimento da sociologia enquanto

ciencia. Seguindo os passos desses pioneiros, nas ultirnas decadas, a metodologia

de survey tem produzido conhecimento cientff ico, relevante para a formulacao

de polft icas publicas nas mais diversas areas das ciencias sociais, destacando-se

o comportamento eleitoral , estrati ficacao social, relacoes raciais, criminalidade

e meio ambiente, entre inumeros outros ternas, Na ciencia pol lt ica brasi leira,

um dos usos destacados da metodologia de survey nas decadas de 1970 e 1980

foi na analise do comportamento eleitoral dentro da ternatica mais geral de

transicao democratica. Hoje, cientistas sociais brasi leiros uti lizam 0 survey na

lnvestigacao de temas como 0desenvolvimento/arnpl iacao da democracia, seja

no que concerne aos direi tos pol it icos (associativ ismo, transparencia pol ft ica ou

accountability), seja no que concerne aos direitos socia is ( trabalho, educacao,

meio ambiente, relacoes de genera e raciais etc .) . Ademais , essa ampi lacao da

util izacao do survey tem ocorrido em um momenta em que a explicacao da

dinarnica social e pol ft ica tende a superar osdeterminismos - sejam econornicos

ou culturais - e a incorporar um modelo multivariado de analise no qual um

conjunto de divagens sociais (dasse, genera, raca etc. ) se combinam de forma

nao linear . Nesse novo contexto de producao doconhecimento, com a uti l i zacao

da metodologia de survey, a analise da estratificacao e da mudanc;:a social podem

5/16/2018 SIM ES_MACHADO_A arte de fazer perguntas - slidepdf.com

http://slidepdf.com/reader/full/simoesmachadoa-arte-de-fazer-perguntas 2/11

2 4 2 • D E SI G UA L DA D ES S O CI A lS . •.Apend ce 1 - 243

ser retomadas numa abordagem que nao recorre as" leis de ferro" da hist6ria, mas

nao abandona a investigacao de tendencias probabi lfst icas ( lnglehart, 1997).

Apesar da (ou devido a) ampl iacao do seu uso por cientistas sociais, a

metodologia de survey muitas vezes sedefronta com fortes resistencias, Parte das

cr ft icas sof ridas no meio academico der iva-se do fato de que estae uma tecnica

de alguma maneira s imilar aquela uti li zada pelos inst itutos de opin iao publ ica

e pesquisas de mercado, osquais estao rnais preocupados com a habilidade de

prever do que com a expli cacao e compreensao dos fen6menos que invest igam

(Marsh, 1982, p. 83- 84). Catherine Mar sh aponta os principais problemas da

metodologia de survey quando c ient is tas sociais t ratam os depoimentos dos

sujeitos que entrevistam como explicacoes e agregam os resultados das pesquisas

como sefossem auto-evidentes."Mas, para0pesquisador academico. asrespostas

dos entrevistados sao dados cujo papel e subserviente, servindo como evidencia

para a questao te6rica que levantam" (Marsh, 1982, p. 83-84).

No Brasil, 0carater muito descritivo ejornalistico de teses e artigos acadernicos

foi apontado como seria deficiencia de grande parte das ciencias sociais produzida

no Pais(Reis, 1991). Acredita-se que exista uma lacuna na formacao de cientistas

socias que nao esta l igada apenas a rnetodos quantitat ivos, mas especialmente

a adequada art iculacao entre teoria e invest igacao empir ica. Nesse propos ito,

o uso da metodologia de survey, com a analise multivariada, e especial menteatraves do desenho longi tudinal, possibi li ta a investigacao das relacoes causais,

permit indo aos cientis tas soc ia is responder nao apenas os "como" (descricao)

mas tambern os "por que" na sua analise da dinarnica social e pol lt ica.

A conexao entre teo r ia e empir ia , porern, nao pode ser relegada ao momenta

da analise dos dados, A qualidade - validade econfiablidade dos dados - e (oudeveria ser) condicao sine qua non para qualquer esforco anallt ico. Ou seja, a

coleta - ou construcio - do dado tarnbem deve seguiar pelos mesmos canones

de r igor cientff ico e art iculacao entre teoria e empir ia. E esse crucial componenteda metodologia de survey que sera explorado neste apendice, no qual nos

propomos a apresentar os procedimentos rnetodologlcos uti lizados, refinados

ou concebidos na construcao do questionario e conducao das entrevistas da

Pesquisa da Regiao Metropolitana de Belo Horizonte - PRMBH. Ao empregara metodologia de survey e possibi l itar a anal i se s is tematica e longitud inal

dos multiples fatores que hoje condicionam a dinarnica social e politica, a

PRMBH busca fazer uma contr ibuicao relevante para 0 desenvolvimento das

ciencias sociais no Brasil. A PRMBH, que deve ser compreendida como um

dos componentes de um projeto maior de capacitacao de cientistas sociais

brasileiros no uso de metodos quantitativos, foi criada em sequencia e em

adicao ao programa em Metodologia Quantitativa em Ciencias Socias do

Departamento de Sociologia e Antropologia da UFMG, com a colabor acao do

Departamento de Cienc ia Poli ti ca. Esseprograma, nos ult imos seis anos, tem

treinado professores e estudantes de pos-graduacao detodo 0 Brasil, cumprindo,

e indo alern das expectativas iniciais, um papel centr al no pr eenchimento do

que tem sido cons iderado uma lacuna na formacao de c ienti stas sociais no Pais.

Assim, a PRMBH busca ampliar a capacitacao de c ient istas socia is brasi le iros

em um dos metod os quant itat ivos mais pro lf fi cos (mas nao necessariamente

bem entendido e cor retamente util izado) em cienc ias socias: a metodologia

de survey. Nas secoes que seseguem seraapresentado 0 estado da arte dessa

metodologia, d iscut indo os desenvolvimentos mais recentes propic iados pela

experimentacao e teorizacao advindas da psicolingulstica e da psicologiacognit iva, com i lust racoes ret iradas da PRMBH.

o survey: medidas de val ores, atitudes e comportamentos ou

artefato sociologicot

o survey da Regiao Metropoli tana de Belo Hor izonte e orientado pela visao

de que a elaboracao de questoes e a construcao de um questionar io devem ser

guiadas nao apenas pela experiencia e intuicao, mas tambern pela experirnentacao

rigorosa. 1550 porque par timos da premissa de que nos, c ient istas sociais, nao

"coletamos" dados, e sim "construimos" osnossosdados, Issoseda namedida em

que os nossos inst rumentos de invest igacao - no caso do survey, 0 questionario- podem produzir "efei tos nas respostas", ouseja, parte do que medimos pode ser

efeito do nosso modo de coleta do dado. No caso do survey, isso significa mais

do que a manei ra como formulamos a pergunta ou da terminologia empregada,

isto e , do modo como a questao e apresentada, a sequencia em que aparece, 0

formato da questao, seantecipamos para 0 entrevistado a possibi lidade de dizer

"nao sei" e muitas out ras coisas . Para il ustrara irnportancia da escolha exata da

terminologia e const rucao da pergunta narnaximizacao da validade dos dados

obtidos, rnetodologos tem se refer ido a seguinte "estoria" :

Dois padres, um dominicano e um jesufta,discutem se e pecado fumar erezar aomesmo tempo. Quando nao conseguem chegar a uma conclusao,

cada um deles saiparaconsultar seu respectivo superior. Elesseencontram

de novo na semanaseguinte.0dominicano diz: "Bem, 0 que foi que 0seusuperior disse?",0 jesufta responde "Eledisseque tudo bem". "Engracado",

o dominicano responde, "meu superior disse que era pecado". Jesufta:"0

que voce perguntou a ele?". Resposta:"Eu perguntei se era certo alguern

fumar enquanto reza". "Ah - diz 0 jesufta- eu perguntei ao meu superior se

era certo alguern rezarenquanto fuma' (Sudman etal., 1996, p. 1).

A implicacao para a metodologia de survey e a de que necessitamos

continuamente exercitar a vigilancia episternologica, buscando detectar as

possiveis fontes de producao de efeitos nas respostas. Mesmo sendo fato

amplamente reconhecido de que pequenas mudanc;:asna pergunta podem causar

5/16/2018 SIM ES_MACHADO_A arte de fazer perguntas - slidepdf.com

http://slidepdf.com/reader/full/simoesmachadoa-arte-de-fazer-perguntas 3/11

2 4 4 • D E SI G UA L DA D ES S O CI A lS . .. A pen d ce 1 ·245

significativas diferencas nas respostas, em geral, a construcao do questionario e

cons iderada a par te mais facil do survey e, portanto, pouco esforco e r igor sao

geralmente empregados. A PRMBH, partindo de uma premissa oposta, buscou

empregar a chamado "estado da arte" naconstrucao do nosso questionario. Neste

apendice, abordaremos, mesmo que brevemente, as recursos metodologicos

mais recentemente desenvolvidos e utl izados pela PRMBH.

Ainda nos anos 1950 a classico T h e A rt of Asking Ques ti ons (Payne, 1951) ja

apontava repetidamente para a necessidade de sebasear essa"arte" em evidencia

quantitat iva. Mas foi nos anos 1970 que um maior impulso na exper irnentacao

rnetodologica fo i dado por outro c lassico, Q ue stio n a nd A ns we r in A ttitu de s

S u rv e ys : e xpe r im en ts o n q u es ti on form, w o rd in g a n d co nt ex t (Schuman; Presser,

1981), no qual osautores buscam medir com r igor asefe itos daterminologia, do

formato das quest6es (aberta au fechada), da ordem das quest6es, da sequencia

das alternativas, da apresentacao au nao de filtros etc. na producao das respostas.

Para isso, sao utilizados experimentos split-bal/ot, dividindo-se uma amostra

aleatoria em duas partes e utilizando-se para cada uma delas uma versao da

questao. A var iavel a ser manipulada pode ser 0 termo empregado, 0 formato

(aberto au fechado), a sequencia em que a questao aparece, entre muitas outras

possibi lidades. Na medida em que asduas metades da amostra aleat6r ia podem

ser consideradas iguais, asdiferencas nas respostas sao consideradas efeitos da

variavel teste. Por exemplo, em um exper imento classico (Schuman; Presser,1981), ospesquisadores argumentam que "proibir" e "permit ir " sao logicamente

opostos e que, portanto, substituir um pelo outro na pergunta "Os Estados

Unidos deveriam [permi ti r/proibi r] d iscursos publi cos cont ra a democracia?"

nao deveria produzir nenhum efeito na resposta, au seja, a resposta "sim" em

uma forrnulacao dever ia logicamente corresponder a "nao" na outra. Contudo,

a exper imento mostrou que mais americanos estao dispostos a "nao permit ir "

do que a "proibir " tais d iscursos .

Os estudos dessesefeitos exploram e buscam detectar asfatores que influenciam

o entendimento dos entrevistados e como os signif icados inferidos muitas vezes

diferem dos s i gn i fi cados pre tend idos pelo pesquisador (Bradburn; Sudman,

1982; Converse; Presser, 1986; Floyd; Fowler, 1995). Alern disso, a questao da

cristalizacao de opinioes (Converse, 1964), a cr iacao de padroes de resposta e a

desejabilidade social setornaram elementos centrais nasdisputas episternologicas

e rnetodologicas em relacao ao estatuto cientffico do survey, entao freqi.ientemente

rotulado de posit iv ista au visto como um artefato sociol6gico.

Os exper imentos dos anos 1970 foram bem-sucedidos na revelacao de var ies

tipos de efeitos produzidos na r esposta pelos instr umentos de pesquisa de

survey. Contudo, a explicacao teor ica par a a pr oducao de tais efeitos so vai se

desenvolver de manei ra mais r igorosa nos anas 1980 e 1990 com importantes

publi cacoes e exper imentos de psicol ingUistas e psico logos cogni tivos . Estes

partem da definicao do survey enquanto, por um lado, uma interacao social

guiada pelas regras sociais e l ingufstlcas da conversacao e, por outro, uma ser ie

de tarefas cognitivas realizadas pelos entrevistados (Sudman et al., 1996). Os

psicolinguistas argumentam que a tentativa de entender como os entrevistados

compreendem as quest6es em um survey inevi tavelmente leva a busca de

informacoes acerca de como as pessoas compreendem 0 mundo a vol ta del as

e de como elas se comunicam umas com as outras. Assim, a entrevista do

survey pode ser melhor compreendida enquanto uma conversa na qual os

entrevistados conduzem suas parcelas de reflexao e producao de respostas em

um contex to social e de "dialogo" especf fi co (Clark; Schober , 1992). Segundoos psicolinguistas, a entrevista do surveydeve ser analisada a parti r do principio

da cooperecsc, um dos elementos estruturantes daconversa, que postula que os

indivfduos esperam que suas interlocucoes sejam claras, verdadeiras, relevantes

e nao-redundantes, Assim, quando em nossasaulas, a tftulo de exempli ficacao,

perguntamos a um aluno "0 que voce fez hoje?" e eles geralmente respondem

alga como "Li a lguns tex tos e v im para a univers idade" , e les estao colocando

em acao 0principio da cooperacao enos passando informacoes que acreditam

serem 0 que julgamos relevante - nenhum aluno ate hoje nos respondeu

" tomei banho" ou "escovei os dentes". Em outro exemplo, fazemos perguntas

no estilo das famosas "pegadinhas": "0 que voce acha que acontecera com as

negociacoes de paz entre Israel e Palestina depois do assassinate de Mahmoud

Abas ontem a noite?" , e, na maioria das vezes, temos estudantes perplexos

tentando emiti r suas respostas. Segundo a princfpio da cooperacao, tal resposta

nao e f ru to necessariamente de uma necess idade de parecer bem informado,

mas s im do julgamento de que, em pr incipio, nos, os professores, estar famos

sendo verdadeiros.

A par tir de uma perspectiva cognitiva, a resposta a uma questao requer a

realizacao de quatro tarefas cognitivas: interpretar a questao: buscar na memoria

lnforr nacao sabre um compor tamento ou uma opiniao: formatar a resposta e

edlta-la (Strack;Martin, 1987). A operacao combinada do principio da cooperacao

e das tarefas cognitivas nos revela 0 processo de entendimento da pergunta e

producao da resposta. A interpretacao da palavra "manga" na pergunta "Voce

gosta de manga?" certamente depende se esta aparece em uma sequencia de

quest6es sabre moda ou sobre alimentacao, Entender uma questao de maneira a

produzi r uma resposta adequada requer a entendimento nao apenas do sentidoliteral da palavra usada, mas tarnbern do seu sentido pregmetico, ou seja, das

inferencias sabre a lntencao de quem fez a pergunta (Sudman etal., 1996). Dessa

forma, na entrevista do survey, ao interpretar a pergunta, 0entrevistado busca

no enunciado "pistas" para infer ir os signi ficados pretendidos pelo pesquisador:

as altemativas de resposta ou a sequencia em que a questao aparece, por

exemplo, sao fontes para sua interpretacao da pergunta. Um exper imento t ipo

split-ballot, em que dois formatos de perguntas sao aleatoriamente apresentados

aos entrevistados , por exemplo, revelou que a interpretacao da pergunta "Em

que medida voce se considera bem-sucedido na vida?" depende do formato da

escala de resposta oferecida ao entrevistado: enquanto em uma escala de0a 10,

5/16/2018 SIM ES_MACHADO_A arte de fazer perguntas - slidepdf.com

http://slidepdf.com/reader/full/simoesmachadoa-arte-de-fazer-perguntas 4/11

2 46 . DES IGUA lDADES SOCIA lS . ..A pe nd ce 1 - 247

o ponto 0 e entendido como ausenc ia de sucesso, naescala de -5 a +5,0 ponto

o e interpretado como sucesso moderado (Schwarz etal., 1991). No que concerne

a segunda tarefa cogni ti va - busca na memoria de intormacoes relevantes para

a producao da resposta - , as teorias sobre regist ro e ret irada de informacoes nos

ajudam a compreender a extensao do trabalho cognitivo exigido e asestrategias

utilizadas ( contar ou estimar), permitindo determinar, por exemplo, qual e 0

marco de referencia temporal apropriado para comportamentos rotineiros e para

eventos raros. Quando perguntamos "Quantos l ivros voce tomou emprestado da

biblioteca 0 ana passado?", 0 entrevistado certamente sera levado a estimar, em

vez de contar, alem de ter que decidir se "0ana passado" se refere aos ult irnos

doze meses ou ao ana anter ior a este.

No pre-teste da PRMBH 2003-2004, questoes da bateria sobre trabalho

foram fei tas em relacao a uma semana de referencia, com 0 objetivo de garantir

a comparabilidade com a Pesquisa Mensal de Emprego: "Na semana do dia 5

de abril a 11 de abril de 2004 ( semana de referencia) voce trabalhou, durante

pelo menos uma hora, em alguma atividade remunerada (paga) em dinhei ro,

produtos, mercadorias ou beneffcios?"

Contudo, antecipamos que essaquestao poderia gerar dados pouco confiaveis

visto que, no casodo survey como amostra probabilfstica, asentrevistas podem se

estender por per fodos de var ies meses. Esteeum per fodo longo para a memor ia

relativa a semana de referencia para aqueles que respondem 0 questionariono final do campo. Para avaliarmos a tarefa cognitiva exigida da memoria do

entrevistado, decidimos entao incluir no pre-teste a pergunta "Foi facll ou diffc il

responder esta questaoi Por que?" Nenhum entrevistado, ao responder aquestao,

se lembrou que a semana de 5 a 11 de abril de 2004 inclufa os feriados da

Semana Santa, confi rmando nosso questionamento acerca da confiabil idade do

dado relativo a uma semana de referencia em um survey em que as entrevistas

sao conduzidas ao longo de alguns meses.

Temos assim que, por meio das inforr nacoes adquiridas sobr e as tarefas

cognitivas desempenhadas pela memoria, 0 pesquisador podera julgar 0 grau

de prec isao das respostas e decidi r qual formulacao atende aos objet ivos de sua

questao e produz respostas confiaveis,

Em relacao a quarta tarefa cognit iva - a edicao da resposta - , exper imentosrevelam situacoes ou temas que produzem respostas social mente desejaveis.

A lern dos temas sensfveis, como raca ou uso de drogas, tarnbem ass ituacoes

de entrevista ou a relacao entevistador-entrevistado devem ser avaliadas como

possfveis fontes de respostas politicamente corretas.

Na PRMBH, por exemplo, 0 pre-teste revelou que uma bater ia de questoes

sobre experiencias de discrim inacao como "Com que frequencia voce nao

e tao bem atendido em lojas e res taurantes?" gerou grande const rangimento

nos entrevis tados que tendiam a for temente negar que tal si tuacao houvesse

ocorr ido com eles. 1550 levou a preocupacao com a producao de respostas

socialmente desejaveis e a realizar um exper imento split-ballot com 0modo

de coleta da infor rnacao, fazendo a pergunta diretamente ou tornando essa

questao auto-apl icada.

Essassao apenas algumas poucas i lustracoes de como a psicologia cognitiva

pode ser abordada enquanto uma r ica l iteratura sobre a memor ia e 0 processa-

mento de inforrnacoes, dimens6es fundamentais para0 entendimento de como

os entrevistados respondem asperguntas de um survey. A padronizacao rfgida

do quest ionario tem side mui to cr it icada, acusada de gerar uma irnpos icao da

problernati ca por par te do pesquisador . A psicolingUfst ica e a psico logia cog-

n it iva, no entanto, nos permi tem entender a padronizacao do survey enquanto

uma necessaria padron izac;ao de s i gn i fi cados . 0 objetivo da padronizacao e acorrespondencia entre 0 s ent id o p r et en d id o p e /o p e sq u is a do r e a interpretac;ao

fe ita p elo e ntr ev is ta do - fator central para a validade e comparabilidade dos

dados.

o pre-teste do questionario: componente imprescindfvel nametodologia de survey

oentendimento dos aspectos cognitivos da metodologia de survey nos levouaver 0 pre-tes te do quest ionario como um elemento crucial e impresc indfve l na

geracao de dados validos e confiaveis. Nao deixa de ser cur ioso que, em uma

metodologia tao estruturada como 0 survey, 0 pre-teste do questionario seja um

componente f reqUentemente pouco elaborado. Sao relati vamente recentes os

es forcos de criacao de procedimentos e inst rumentos mais r igorosos e padron i -

zados, ou seja, de uma metodologia de pre-teste. A enfase na geracao de dados

validos e conf iaveis para a PRMBH nos levou a dar ao pre-teste um peso grande

em termos de tempo e recursos, e a uti lizar e desenvolver 0 estado da arte dessa

metodologia. No nosso entendimento 0pre-teste e um elemento central para a

validade dos dados tanto no que concerne a verificar e aprimorar a operacio-

nal izacao das questoes de pesquisa e dos conceitos - ou seja, na passagem da

teoria para a empi ria - quanto na garantia da correspondenc ia de s igni ficados

entre pesquisador e entrevistado.

A PRMBH (2002) visou a produzir um modulo basico em ciencias sociais

agregando contribu icoes de diferentes equipes de pesquisadores da UFMG

- alguns rnodulos contaram com a colaboracao da Universidade de Michigan.

A PRMBH (2005) repetiu boa parte das questoes elaboradas em 2002, retirando

algumas quest6es e introduzindo novas. Sendo a capacltacao do quadro docente

um dos objetivos centr ais da PRMBH, a elaboracao e conducao do pre- teste

foi realizada dentro da disciplina de metodologia, pelos estudantes de pos-

graduacao em sociologia da UFMG. 0re-teste permitiu aos professores, alunos

e equipe tecnica trabalhar exaustivamente na operacional izacao dos conceitos,

5/16/2018 SIM ES_MACHADO_A arte de fazer perguntas - slidepdf.com

http://slidepdf.com/reader/full/simoesmachadoa-arte-de-fazer-perguntas 5/11

2 48 • DES IGUALOADES SOCIA lS . •. A pe nd tc e 1 - 249

ver if icando se0 que estava sendo medido empir icamente correspondia aoque

era teoricamente definido, isto e , a validade do dado. Nas medidas de capital

social, por exemplo, os signi ficados dos termos "vizinhanca" e "vizinhos", e da

nocao de "fazer favor aos vizinhos" foram exaustivamente explorados, dado sua

centra lidade na operacionali zacao do conceito de capital soc ial . Um exemplo

engracado ocorreu na bater ia de quest6es sobre participacao poift ica. Ao ouvir a

pergunta "Eu gostaria de saber sobre asentidades, partidos e associacoes das quais

voce participa ..." uma senhora de baixa escolar idade seapressou em esclarecer

que nao frequentava centros espfr itas e que, portanto, nao conhecia ou hav ia

recebido nenhuma "entidade" . Esse exemplo mostra como a escolaridade eo

nfvel de informacao podem afetar a interpretacao da pergunta, e tambern reforca

a central idade da conducao r igorosa de pre-testes em surveys de populacoes tao

heterogeneas quanto a nossa. De fato, 0 nfvel de escolaridade foi 0 principal

criterio para selecao do entrevistado do pre-teste: para0 pre-teste nao setratava de

obter uma amostra probabilfstica da populacao, mas sim de selecionar proporcoes

similares de entrevistados em tres nfveis de escolaridade (analfabeto ou prirnario,

segundo grau e superior ), dado que esta e cons iderada uma das var iaveis que

mais efeitos produzem no entendimento das quest6es.

o objetivo geral do pre-teste da PRMBH 2001-2002 foi testar 0 compartilha-

mento de s igni ficados entre os pesquisadores e os entrevistados, e ident if icar

outras possfveis fontes de erro, Para isso, buscamos detectar "efeitos na resposta"produzidos pela compreensao da terminologia, problemas com 0 enunciado

(longo, arnbiguo, incompleto etc.), formatos dequest6es (ordenacao, escala Likert,

l is ta de alternativas), t ipos e nurnero de pontos de escalas (Likert, diagramatica,

semantics). efeitos da situacao de entrevista ou da relacao entrevistado/entrevis-

tador, receptividade e interesse por parte dos entrevistados. Outras fontes deerro

tarnbern foram averiguadas: instrucoes para0entrevistador, layout de codificacao

e caderno de respostas. Emtodos esses i tens buscamos tambern identif icar eesta-

belecer osesclarecimentos e definicoes de conceitos que dever iam aparecer no

Manual de Questao por Questao (MQQ) , inst rumento para0campo f inal e que

visa a garanti r a padronizacao da entrevista e a comparabil idade dos dados.

Ao conceber os instrumentos de pre-teste, procuramos sistematizar

procedimentos que nos permit issem nao apenas ident if icar os problemas, mas

tar nber n registrar a frequencia da sua ocor rencia. As sessoes de debriefing

( reuniao em que se realiza um balance e avaliacao de todas as dificuldades

encontradas) com os entrevistadores, realizadas logo ap6s0 pre-teste, usualmente

nao sao longas nem estruturadas 0 suficiente para permitir 0 resgate ou 0 registro

adequado dos problemas identif icados nas entrevistas. Outra l irni tacao dessas

sessoes e que entrevistadores mais eloquentes podem acentuar e causar a crenca

na generalidade de um problema que de fato teve apenas uma ocorrencia

mfnima. Buscando uma identif icacao detalhada dos problemas e a frequencia

da sua ocorrencia, concebemos e util izamos os inst rumentos de avaliacao do

questionario que se seguern.

1) BARRA DE PROBES (barra de sondagem para aprofundamento da ques-

tao). Permit iu a cornputacao do rui rnero de ocorrencias em que foi necessaria

a repeticao do enunciado (R. Enun.), repeticao das opcoes de resposta (R.

Op.), a solic itacao do signif icado do enunciado (Sig, Enun.) , ou a solicitacao

do significado das opcoes de resposta (Sig. Op.), A bar ra de Probes perm iti u

o r egistr o do comportamento do entrevistado com um custo muito menor do

que a tecnica de codificacao de comportamento ou behavior coding feita a

partir de gravacoes das entrevistas.

1 . R . En un . 12. R.Op. 1 3 . Sig. Enun . 1 4 . Sig. Op. I s .MQQ

Sendo uma tecnica bem estrutur ada, 0 survey utiliza procedimentos

padronizados para garantir 0com parti Ihamento de significados entre pesquisador

e ent revis tado e, assim, assegurar a comparabilidade das quest6es feitas e das

respostas dadas pelos diferentes ent revis tadores e entrevis tados . 0 Probe,

como um aprofundamento da questao, e uma tecnica neutra, pois, sern induzi r

a resposta, ajuda 0 entrevis tado a entender e responder a questao proposta

e tarnbern auxil ia 0 entr evistador a entender e esclarecer a resposta dada.

Assim, a busca de clarificacao pode par tir tanto do entrevistador quanto do

entrevistado.

Quando a duvida ou pedido de esclarecimento parte do entrevistado, 0entre-

vistador utiliza as seguintes alternativas de procedimento: a)repetir 0 enunciado

e/ou asopcoes (Ass inalar : R. Enun. ou R. Op.) : b) usar a expressao "Qualquer

que seja 0 signi ficado que isto tenha paravoce", quando 0 entrevistado solicitar

definicao que nao apareca no enunciado da questao (Assinalar : Sig. Enun. ou

Sig. Op.): ou c) dar esclarecimentos sobre a questao previstos no MQQ (Manual

de Questao por Questao), caso apareca na questao a instrucao "MQQ pag . .. "

(Assinalar: MQQ).

Quando a duvida ou pedido deesclarecirnento parte do entrevistador, 0Probe

e aplicado por meio de uma questao adicional padronizada, com 0objeti vo de

motivar 0 entrevistado a secomunicar de forma mais clara e completa, permiti r

ou encorajar 0 entrevistado a explicar assuas respostas, ou evi tar que ele inidedigressoes com informacoes i rrelevantes. A lgumas das principais questoes

padronizadas sao as seguintes:

Mas, em geral , 0que voce pensa? (PENSA)

Voce pode me dar um exemplo? (EX.)

Qual se apr oxima mais de como voce sente / pensa? (PX.)

o que voce quer d izer com isso?(SIC.)

Como computamos 0nurnero de ocorrencias de cada Probe para cada questao,

sabemos com maior precisao, por exemplo, quantas vezes foi pedida a repeticao

5/16/2018 SIM ES_MACHADO_A arte de fazer perguntas - slidepdf.com

http://slidepdf.com/reader/full/simoesmachadoa-arte-de-fazer-perguntas 6/11

2 50 . D E SI GUA l DADES SOCIA lS . .. Apend ce 1 - 251

de um determinado enunc iado ou a expli cacao de um termo. Podemos, assim,

avaliar uma questao e buscar al ternat ivas com mais informacao e maior r igor .

2) 0 ROTEIRO DE AVALlA<;AO DA ENTREVISTA permite a sistematizacao

da avaliacao e dos comentarios dos entrevistadores em relacao ao entendimento

das questoes e outras dif iculdades enfrentadas durante a conducao da entrevista

pelos entrevistados e pelos propr ios entrevistadores. 0 Roteiro de Avaliacao da

Entrevista funciona como uma sessaode debriefing mais estruturada, e permite

que as avaliacoes detalhadas de todos os entrevis tadores sejam regis tradas e

computadas. Paracada entrevista, um relatorio e preenchido pelo entrevistador,

registrando as suas avaliacoes do comportamento ou desempenho do entrevis-

tado.O Relator io do Entrevistador tem a seguinte estrutura:

a) Aval ia r; ao d e q u es ts o p or q ue s ta o, referindo-se aos tipos de dificuldades:

compreensao do enunciado, terminologia, compreensao quanto ao objetivo

da questao, problemas relat ivos a memoria, formato da questao, opcoes de

respostas, constrangimento, desconhecimento do assunto, entendimento

do tema etc.

b) M6du lo s t emet ico s que cornpoern a entrev is ta: grau de di ficuldade e grau

de interesse pela ternatica.

c) At it udes do en trev is t ado em relar;ao a entrevista como um todo: receptivi -

dade e comportamento do entrevistado quanto a duracao da entrevista.

d) Si tuac;:aode entrevista: presenca de outras pessoas durante a entrevista e

local da entrevista.

No Roteiro de Avaliacao, cada tipo de problema e precodificado, 0 que,

por um lado, facilita a sua anotacao pelo entrevistador e, por outro, permite a

cornputacao da frequencia de ocorrencias,

Enquanto a barra de Probes permite a "observacao" objetiva do comportamento

do entrevistado, 0 Roteiro de Avaliacao e 0 lugar para a avaliacao subjetiva, por

parte do entrevistador, do desempenho do entrevistado.

A cornbinacao dos resul tados da barra de Probes com 0 Roteiro de Avaliacao

permite-nos, por exemplo, nao apenas identif icar termos de diffc il cornpreensao

por pessoas de baixa escolar idade, como tarnbern identif icar s inonimos queacrescentamos, em parenteses, ao enunciado. Alern de assegurar maior validade

das respostas e facil itar a conducao da entrevista, 0procedimento estabelecido

de todos os entrevistadores fornecerem 0 mesrno sinonirno ou explicacao para

cada entrevistado visa a garanti r a comparabi lidade dos dados.

3) ENTREVISTAS COGNITIVAS. Este inst rumento possibil ita investigar as

quatro etapas do processo de compreensao da pergunta e producao da resposta:

entendimento do enunciado, retrieval (busca na memoria de informacoes

necessarias ou relevantes para a resposta), julgamento e edicao da resposta.

As questoes cognitivas foram feitas subsequenternente as questoes avaliadas.

o objetivo nao era fazer uma entrevista em profundidade ou explorar 0 tema - as

questoes cognitivas foram formuladas para seresgatar asquatro tarefas cognitivas

envolvidas na interpretacao da pergunta e producao da resposta.

No modulo raca e ca r da PRMBH, que v isava a const ru ir uma medida mais

val ida de "raca", usamos asquestoes cognitivas para investigar ossignificados atri-

bufdos a cinco categorias de race/cor usadaspelo Censo. Logo apos0entrevistado

ter respondido a questao tal como formulada pelo IBGE, asquestoes cognitivas

foram introduzidas. Alguns exemplos de questoes e respostas obtidas:

QUESTAO COGNITIVA: "0 que voce entende por pardo? Vace poder ia dar um

exemplo de uma pessoa parda famosa no Bras il?"

- "Mestic;:o? Mestico: Exemplo ... Fernando Henrique Cardoso."

- "E dif ic il responder essa. Pardo e 0 que fica entre 0 branco eo negro, uma

mistura de branco com negro. Os jogadares de futebol, par exemplo, a

gente ve que eles sao pardos, nao sao negros mas tambern nao sao brancos,

seriam pardos?"

- "Para mim e amarelo."

- "Caetano Veloso. Nao sei se esse pardo equivale ao que eu acho que e 0

mulato. Me parece que essepardo e mais branco que a mulato. "

- "Pardo e uma pessoa que 'passa ' do moreno e nao chega a ser negro."

QUESTAO COGNITIVA: "Na li sta acima como voce classi ficar ia a atr iz Camila

Pitanga?"

- "Morena."

- "Acho que ela e negra. Mas ela nao e escura como eu."

- "Parda."

- "E uma mulata."

- "Preta."

QUESTAO COGNITIVA: "Para voce, hadiferenca entre moreno e pardo?"

- "Tem diferenca, 0pardo tem a cor sem def in icao, nao e branca nem preto.

Mareno ja tem a pele mais escura."

- "Sim. Pardo e misturado e moreno, nao,

- "Tem, um e mais palido, 0 outr o mais escuro. Um e escuro, 0 outro e

amarelo."

5/16/2018 SIM ES_MACHADO_A arte de fazer perguntas - slidepdf.com

http://slidepdf.com/reader/full/simoesmachadoa-arte-de-fazer-perguntas 7/11

2 5 2 - D E SI G UA L DA D E S S O C IA I S . . _A pe nd ce 1 - 253

- "Acho que sim. Acho que pardo e mais claro e moreno, mais escuro. Eu

nao sei 0que e pardo."

Sevoce tivesse que escolher, qual dessascoisasvoce diria que e a mais im-

portante? Equal seria a segunda mais importante: manter a ordem no pais,

dar mais voz aspessoasem decisoes importantes do governo, combater a

alta de precos ou proteger a liberdade de expressaoi

Para garantir a validade do dado - que 0 s igni ficado pretendido pelo pes-

quisador cor responda a interpretacao do entrev istado - , 0 entrevistador deve

ser treinado a nao aceitar respostas confusas,ambfguas, incompletas, que nao

atendem aos objetivos da questao, e a conduzir a entrevista de uma maneira

que produza dados claros, completos etc.

Essetreinamento semostra especialmente relevante no caso de questoes abertas.

Um dos var ies "mi tos" em relacao asvantagens do formato aber to de questoes eque a questao aberta propiciaria respostas mais profundas, refletidas, qualificadas

e completas. Sabemos que nao e isso0 que necessariamente, ou principal mente,

ocorre em relacao asquestoes abertas em um survey. Alguns experimentos que

discutem 0 que semede com asquestoes abertas questionam seesseformato de

fatoe uma mais val ida medida deopinlao auapenas uma medida dacapacidade de

verbalizacao do entrevistado (Geer, 1988). Seguindo essa Iinha de argurnentacao,

e preciso ressaltar que as questoes abertas, ao inves de garanti r respostas mais

quali ficadas, podem vir a ser " incodi ficaveis" ou gerar esquemas de codif icacao

de baixa confiabil idade. Isso ocorre se osentrevistadores nao forem treinados a

usar os Probes adequados para clari ficar respostas, ou garanti r que estas sejam

c1arase completas. Apesar de no nosso manual de treinarnento ' indicarmos que

toda questao aberta deve ser seguida de pelo rnenos um Probe, observamos que

osentrevistadores nem sempre seguiam tal procedimento. Portanto, para garantir0

usodos Probes e a obtencao de respostas claras, relevantes e completas, passamos

a incluir no questionario a seguinte instrucao ap6s questoes abertas: "APLICAR

PELOMENOS UM DENTRE OS PROBES: 0 que mais voce poder ia acrescentar?,

Voce poder ia me falar um pouco mais sobre isto ... , 0 que voce quer dizer com

isso?,Voce poderia dar um exemplo?".

Mesmo em relacao a questao fechada 0entrevistador deve estar apto a usar

o Probe adequado. Considere 0seguinte exemplo de uma resposta insatisfat6ria

bastante comum:

Entrevistador: "Pense em suav ida em geral, Em que medida voce estasat is-

fei to com ela: total mente satisfeito(a) , muito satisfeitota), pouco satisfeito(a)

ou nada satisfeito(a)?"

QUESTAO COGNITIVA: "0 que voce entende por amarelo? Voce poderia dar

um exemplo de uma pessoa amarela famosa no Bras il?"

- "Pessoas de cor c lara. Por exemplo, Xuxa."-"Amarelo eu nao conheco, Euconheco descorado. Nao tem pessoa amarela

nao."

- "Os descendentes de japoneses e chineses, os orientais."

- "Eu nao sei direito. Nao sei, sem cor, palida, br anca, sei la."

o uso das questoes cognitivas no pre-teste da PRMBH foi bastante exaustivo

para todos os m6dulos. Mas mesmo algumas poucas i lustracoes sao sufic ientes

para nos alertar para problemas ser ios de val idade e comparabi lidade.

No pre-teste da PRMBH 2002, 0cientista politico Ronald Inglehart, pesquisa-

da r do Insti tute for Social Research da Universidade de Michigan e colaborador

na nossa bateria de valores, propos a repl icacao de algumas quest6es do seu

survey internacional W orld V alu es S urv ey , e entre elas a seguinte questao da

sua famosa bateria de valores p6s-materialistas:

As questoes cognitivas que empregamos no pre-teste revelaram dificuldades

e var iabi lidade no entendimento da terminologia. 1550 nos levou a substituir a

expressao "dar mais voz aspessoas" por "aumentar a participacao das pessoas".

Passamosa adotar tambern 0 procedimento de incluir entre parenteses sinonirnos

ou definicoes de termos mais diffceis para garanti r 0seu entendimento por parte

de pessoas de menor escolaridade e,ao mesmo tempo, garantir a comparabilidadedos dados, tal qual no seguinte exemplo: "Proteger a l iberdade de expressao (0

direito das pessoas de dizerem 0 que pensam sem censura do governo)" .

Entrevistado: "Eu detesto meu trabalho, assim, eu diria nao muitosatisfeito(a)".

As aventuras do soci61ogo em campo:

conducao e situacao da entrevista

Neste caso, 0 Probe correto a ser apl icado pelo entrevistador, para garanti r

que 0 entrevistado produza uma resposta de acordo com 0 objetivo da questao,

e repetir a questao enfatizando 0 marco de referencia: "Mas, pensando em sua

vida em geral. .. " , e os pontos da escala, dado que na resposta 0 entrevistado

tarnbern nao usou a escala oferecida no enunciado.

o uso efetivo do Probe requer do entrevistador 0conhecimento dos objetivos

das questoes e a capacidade de ouvir atentamente 0que 0entrevistado diz, para

decidir se a resposta dada atende aos objetivos da questao:

Nao e novidade 0 reconhecimento de que osentrevistadares devem ser bem

treinados. Mas 0 que e um bom treinamento da conducao da entr evista, outra

fonte de "er ros" do survey?

5/16/2018 SIM ES_MACHADO_A arte de fazer perguntas - slidepdf.com

http://slidepdf.com/reader/full/simoesmachadoa-arte-de-fazer-perguntas 8/11

2 54 • D E S I GUALDADES SOCIA lS • ..

Entrevistador : "Em que medida voce acha que a reali zacao de eleicoes faz

com que 0 governo preste atencao no que 0 povo pensa: mui to, um pouco,

ou quase nada?"

Entrev is tado: "Eu nao estou cer to. Espero que aseleicoes facarn com que 0

governo preste atencao no povo."

Entrevistador: "Certamente, mas voce acha que a real izacao de eleicoes faz

com que 0 governo preste atencao no que 0 povo pensa: muito, um pouco,

ou quase nada?"

Os entrev is tadores sao tarnbern inst rufdos a sempre usar 0 probe "0 que

voce acha?" toda vez que a resposta for "nao sei ", numa tentativa de evi tarmos

o " fa lso negat ivo", ou seja, pessoas que tern opiniao usarem 0 "nao sei" como

uma safda facil para uma questao,

Os experimentos tem tarnbern mostrado como aspectos da si tuacao da en-

t revista, tal como a presenc; :ado conjuge, podem produzi r efei tos na resposta

(Aquilino, 1993). Alern de tais efeitos, ao considerarmos a situacao da entrevista,

tarnber n somos confrontados com um leque var iado de questoes que vao de

consideracoes eticas a preocupacao com a seguranca dos entrev is tadores. 0

seguinte relato de uma entrevistadora da PRMBH (2002) e contundente:

o entrevistado sorteado para responder 0 questionario morava em sua

casacom sua filha, sua mae e uma "amiga", segundo sua propria descricao

durante a conducao da entrevista. Desde 0 infcio a mae do entrevistado

seguiu elogiando a entrevistadora, sempremuito solfcita, deixando entender

que gostaria de ter uma nora como a entrevistadora. Ao mesmo tempo, a

"amiga" do entrevistado, que estava na cozinha ouvindo a entrevista, se

mostrou bastante irritada e hostiI em relacao a presenceda entrevistadora na

casa.Ao final daentrevista, quando perguntado sobresuasituacao conjugal,

o entrevistado declarou que era solteiro. Neste momento, a "amiga" saiu

da cozinha e sedirigiu, vis ivelmente irr itada, ao segundo andar da casa.

De repente, a "amiga" cornecou a jogar objetos (pregadores de roupa,

almofadasetc.)escadaabaixo, com a intencao de acertar0entrevistado, queseencontrava assentadono primeiro degrauda escada.0 entrevistado, muito

constrangido, explicou a entrevistadora que vivia com a "amiga" emsituacao

de concubinato e pediu que, por favor, ela nao revelasse este fato ao pastor

de sua igreja. Em seguida a entao "amiga" desceu asescadas carregando

uma mala e, descontroladamente, gritava que estava indo embora dacasa.

A entrevistadora encerrou a entrevista e saiu da casa,ainda sendoassediada

pela maedo entrevistado.

Um outro aspecto da pesquisa - a sua apresentacao - fator muito importante

para evi tar recusas, levou aequipe da PRMBH a uti l izar var ies instrumentos, tais

Ap en d ce 1 - 255

como: car ta de apresentacao enviada ao domicf lio antes da primeira vis ita do

entrevistador, e folder de apresentacao com um leque de questoes antecipando

respostas as perguntas que os entrevistados normal mente fazem acerca dos

objetivos e procedimentos da pesquisa. No entanto, apesar da enfase nofato de a

pesquisa ser realizada pela universidade, fator que abre portas e da credibilidade,

si tuacoes nao antecipadas acontecem: um entrev istador a luno da UFMG foi

surpreendido pela apreensao gerada no entrevistado ao se apresentar como

sendo da "Federal" ...

05 experimentos

Na introducao deste apendice ressaltamos a importancia dos exper imentos

no processo de transforrnacao do survey de arte em ciencia. A metodologia de

survey e os exper imentos, contudo, tendo sido desenvolvidos principalmente

nos Estados Unidos e Europa, para populacoes com altos nfveis de escolaridade,

nao ter n enfrentado com a devida enfase alguns dos problemas de validade e

conf iabil idade das respostas assoc iados a baixa escolar idade e baixos nfveis

de inforrnacao dos entrev istados brasileiros. 0 fato de aqui no Brasil usarmos

o survey em uma populacao mui to heterogenea em termos educac ionais e de

sofisticacao do conhecimento, com amplos segmentos semi-al fabetizados, nos

levou a focali zar, dentre outros aspectos da metodologia: a) a terminologia

usada, que afeta a validade dos dados; e b) a "cr iacao" de opinioes, que pode

ocorrer , por exemplo, quando 0 formato da questao permi te a uma pessoa que

jamais ouviu falar de um assunto, ou nao 0 compreende, a emiti r uma opiniao (0

chamado falso posit ive) . Com esseproposito, a PRMBH (2002) realizou trestipos

de exper imentos para a ver if icacao de efeitos nas respostas de alguns aspectos

envolvidos no processo cognitivo subjacente a elaboracao das respostas que

supomos mais impactantes no nosso contexto educacional e cul tural. 0 primeiro

t ipo de exper imento, que tes ta 0 uso de terminologias ai ternati vas, se refere a

questao do signi ficado pretendido pelo pesquisador versus a interpretacao feita

pelo ent rev istado. 0 segundo t ipo de exper imento testa 0 uso da opcao "nao

sei", e se refere a producao de falsos posit ivos versus falsos negativos; enquantoo tercei ro tipo de exper imento tes ta efei tos relacionados ao modo de coleta do

dado, com 0 uso da entrevista face-a-face ou do questionario auto-aplicado.

Uma pergunta selecionada para 0 primeiro t ipo de exper imento es ta l igada

a uma importante discussao metodologica em torno de medidas de conf ianca

interpessoal . A medida de confianca interpessoal - a lem de ser um impor tante

elemento no debate sobre capital social - tem sido utilizada por Ronald

Inglehar t na producao de teor ias sobre cultura pol i tica. No impor tante survey

internacional World Values Survey se destaca curiosamente 0 resul tado para

o Brasil, quando mais de 90% da populacao declara que nao se pode confiar

5/16/2018 SIM ES_MACHADO_A arte de fazer perguntas - slidepdf.com

http://slidepdf.com/reader/full/simoesmachadoa-arte-de-fazer-perguntas 9/11

256 _DESIGUALDADES SOCIAIS __

nas pessoas ( Inglehar t, 1997) . No modelo te6rico empregado por Inglehart , a

conf ianca nas pessoas e um importante indicador de rnudanca cultural e um dos

componentes dos valores racionais/seculares. Tais valores, por sua vez, estariam

ligados ao bem estar material e a democracia estavel. A lern de nos remeter

a uma importante discussao sobre 0 conceito de confianca- - aspectos mais

te6ricos =, a medida de confianca interpessoal, tal como uti lizada por Inglehart,

tarnbern incita a discussao metodol6gica sobre a elaboracao da rnedida. Um

importante aspecto metodol6gico diz respeito a diferenc;:a semantica dos termos

uti lizados na elaboracao da pergunta, cujo signi ficado deve ser contextualizado

em diferentes paises.

Susanne l.undasen (2002, p. 132) apresentou resultados de pesquisas (General

Social Survey) rea l izadas nos Estados Unidos nas decadas de 1970 e 1980 nas

quais diferentes formulacoes da pergunta resul taram em grandes diferencas no

percentual de resposta. 0 contexto do pre-teste da PRMBH nos levou tarnbern a

formular uma hipotese rnetodologica para explicar os resul tados para0Brasil do

World Values Survey que colocam 0 Brasi l, junto com aTurquia, como 0 pais com

o menor indice de confianca interpessoal entre asmais de sessenta sociedades

estudadas por Inglehart . Essecur iosa e preocupante dado certamente incita a

busca de interpretacoes teoricas, mas um aspecto rnetodologico que nos chamou

a atencao nos parece relevante para a producao de tais resul tados. Entendemos

que a formulacao da pergunta, tal como traduzida do World Values Survey para

o portugues, uti I izava-se de uma expressao que, no contexto brasi leiro, remetia

a um di to popular. Issonos levou a hipotet izar que aterminologia uti li zada - ou

seja, um dito popular - poderia estar contribuindo para 0 altissimo percentual

de brasi le iros que declaravam que "cuidado nunca e demais". No experimento

split-ballot da PRMBH uti lizamos a traducao original "cu idado nunca e demais"e a expressao alternati va "podemos conf iar em poucas pessoas". Assim, essas

duas forr nulacoes for am testadas mantendo-se constante a expressao para

representar confianca: "podemos conf iar na maioria das pessoas" . 0 resul tado

nos surpreendeu quando os percentuais de respostas para as duas formulacoes

foram iguais, com 90,7% respondendo "cuidado nunca e demais" na primeira

formulacao e 90,9% respondendo "podemos confiar em poucas pessoas" na

segunda formulacao,

Embora 0 resultado do exper imento nao tenha demonst rado uma var iacao

nas r espostas a par tir da rnudanca na for rnulacao da pergunta, entendemos

que a invest igacao quanto asquest6es te6ricas e de rnensuracao envolv idas na

discussao sobre a medida de conf ianca interpessoal a inda esta no seu in ic io e

com um grande campo para ser explor ado - por exernplo, 0 entendimento das

dimens6es do conceito de confianca, a construcao de medidas (micas versus

medidas compostas ou mesmo a relacao (di ferencas) entre medidas ati tudinais

e comportamentais.

Ap en d ce 1 ·257

Outro experimento utilizando difer entes terminologias foi em ralacao as

categor ias de classif icacao de raca e cor. Em uma das subamostras, uti lizamos

as categorias do IBGE - " branco", " pr eto", " par do", " amarelo" e "indigena" - e

na outra subamostra substituimos a categor ia "pardo" pela categor ia "moreno",

mantendo asoutras categor ias iguais. A var iacao dos percentuais na distr ibuicao

de frequencias das quest6es foi grande, sendo que ao apresentarmos a categor ia

"moreno" 0 percentual de respostas aumentou signi ficativamente em relacao

ao percentual de respostas para a categor ia "pardo", diminuindo 0 percentual

de brancos e pretos. Esteresultado cer tamente fomenta um importante debate

sobre os s ignif icados e os entendimentos das medidas de raca/cor (ver Sim6es

et al., 2004).

o segundo tipo de exper imento testa osefeitos na resposta quando decidimos

ofer ecer ou nao a opcao "nao sei" como alternativa de resposta, Para medidas

de percepcao ou de conhecimento, quando nao oferecemos a opcao "nao sei"

dentre as categor ias de respostas, 0 entrevistado, ao sesentir constrangido em

declarar espontaneamente "nao sei", podera ser levado a escolher qualquer uma

das categorias apresentadas (0 que se chama de "false positivo"). Ou seja, na

ausenc ia de um " fil tro" para aqueles que nao tern opiniao (Converse; Presser,

1986) poderemos produzi r uma opin iao que nao existe, 0 que, alias, Bourdieu

(apudThiollent, 1985) ja destacava como 0 primeiro postulado das pesquisas de

opiniao que deve ser colocado em questao para uma analise rigorosa. Por um

lado, 0 " fil tro" ou 0 semif ilt ro (aapresentacao da opcao "nao sabe" no propr io

enunciado da pergunta) e importante para tornar explfcita ao r espondente a

legitimidade de uma resposta "nao sei". Por outr o lado, quando oferecemos

a opcao "nao sei", respondentes, mesmo tendo uma opiniao sobre 0 assunto

em questao. poderao buscar uma saida mais facl l de resposta dec larando "nao

conhecer 0sufic iente paraopinar", em vez de emiti r sua opiniao (0 que sechama

de "falso negativo"). Essedilema e uma discussao importante para as medidas

atitudinais (crencas, opinioes). 0 que estar emos medindo com perguntas de

percepcao, ou seja, 0que buscamos com maior empenho evitar : a criacao de

opiniao enquanto um artefato sociologico, ou a subestirnacao das crencas e

opini6es do conjunto de entrevistados?

A questao selecionada para 0 split-ballot da PRMBH (2002) foi uma medida

de percepcao sobre 0 Orc;:amento Par ti cipativo. Quatro perguntas foram

elaboradas, com cada uma abordando um aspecto do Orcarnento Participativo

em relacao: 1) ao "poder da populacao de decidir sobre obras na cidade",

2) a "prestacao de contas da prefeitur a junto a populacao", 3) a "atencao as

demandas populares", e 4) ao "poder dos vereadores" .

A avaliacao desses aspectos do Orcamento Participativo foi feita considerando-

sese "aumentou", "diminuiu" ou "cont inua igual" . Para uma das subamostras ,

nao oferecemos a opcao "nao sei" , e paraa outra oferecemos a opcao "nao sei"

expressa enquanto "OU voce nao conhece 0 suficiente para opinar".

5/16/2018 SIM ES_MACHADO_A arte de fazer perguntas - slidepdf.com

http://slidepdf.com/reader/full/simoesmachadoa-arte-de-fazer-perguntas 10/11

2 5 8 • D E SI G UA L DA D ES S O CI Al S. _.A pe ro tce 1 ·259

Asdiferencas percentuais na distr ibuicao das respostas foram muito altas para

asquatro perguntas fei tas. Respectivamente, para 0 "nao sei" vo luntar io e para

o "nao conhece 0 sufic iente para opinar" os resul tados foram os seguintes: 1a

pergunta - 9,1% e 46,2%; 2a pergunta - 16,8% e 50,3%; 3a pergunta - 12,7%

e 42,9%; 4a pergunta - 19,2% e 55,1%.

Outro resultado impor tante de se invest igar e a diferenca dos percentuais

de respostas para a categor ia "cont inua igual" em relacao asoutras categorias

quando oferecemos a opcao "nao sei". Neste caso. ao compararmos asmesmascategor ias de respostas entre siobservamos uma dim inuicao do percentual para a

categor ia "aumentou", pouca diferenca paraa categor ia "diminuiu", e uma grande

dirninuicao do percentual para a categoria "continua igual". Estaultima categoria,

caracterizada como um ponto do meio, como uma categoria inter rnediaria de

intensidade, ou "neutra", pode tambern ser interpretada como uma alternativa

para uma satda mais facil de resposta, 0que muitas vezes corresponderia ao "nao

sei" (Converse; Presser, 1986). Nossos resul tados sao consistentes com var ies

exper imentos que ja foram conduzidos paracompararos efeitos da uti lizacao ou

nao do ponto lntermediar io (Schuman; Presser,1981) e mostraram uma variacao

das respostas justamente em relacao ao usoda opcao "nao sei" .

o tercei ro tipo de experimento, relativo ao modo de coleta do dado -

entrevista face-a-face ou questionario auto-aplicado -, foi conduzido uti lizando-se quest6es em duas ternaticas diferentes: percepcao sobre pr econceito e a

daclar acao do valor da r enda familiar mensal. Por se tratarem de quest6es

sensiveis, asperguntas foram aplicadas util izando-se a entrevista face-a-face (em

que 0 entrevistador faz as perguntas diretamente) para uma das subamostras,

e utilizando-se 0 car tao auto-apli cado (sendo separado em envelope lacrado

para 0 sigilo da resposta) para a outra subamostra.

A uti lizacao de diferentes modos de conducao da entrevista para asquest6es

sensfveis - como sao asquest6es sobre preconcei to - sebaseia em exper imentos

que demonstraram um maior percentual de pessoas que admit iam 0 preconceito

no modo auto-aplicado do que na entrevista face-a-face.

As quest6es sobre preconceito refer iam-se ao sentimento em relacao a:a) se

"uma pessoa da famil ia secasasse com uma pessoa branca" e b) "se um f ilho(a)casasse com uma pessoa branca", no caso dos entrevistados que se autoclassi-

f icaram como "pretos" . A s ituacao oposta foi apresentada aqueles que se auto-

identif icaram como "branco", "pardo" l"moreno", ou outro. As alternat ivas de

resposta foram: "apoiaria total mente" , " tender ia a apolar" , " tender ia a seopor "

e "se opor ia total mente" .

Outras quest6es sobre preconcei to se refer iam a identificacao de situacoes

ja ocorr idas com 0 respondente: "e t ra tado com menos respeito" , "nao e tao

bem atendido em restaurantes ou lojas", "as pessoas agem como se estivessem

com medo de voce" , "as pessoas agem como sefossem melhores do que voce" ,

" e vigiado ou seguido em lojas" e " e tratado de maneir a diferente par causa

da cor da pele". Na ocasiao do pre-teste do questionario, a observacao dos

entrevistadores foi de um grande constrangimento por parte dos entrevistados ao

responderem esta questao. Dessa manei ra, a uti li zacao de um modo decoleta

do dado que garantisse 0 s ig ilo das respostas foi co locada como alternativa

rnetodologica para uma questao em que se tratava de uma ternat ica sens ivel no

contexte brasileiro.

Para as duas seqtiencias de quest6es foram uti lizados 0 modo face-a-face e

o modo auto-aplicado em duas subamostras de um exper imento split-ballot, no

qual, mantendo-se a mesma formulacao, apenas variava 0modo de conducao da

entrevista. Os resul tados nao demonstraram diferencas quanta a distr ibuicao dos

percentuais das respostas - 0 que ressalta a necessidade de um aprofundamento

do entendimento das especif ic idades da questao da discr irninacao no contexto

brasi leiro, quando a uti lizacao de um recurso rnetodologico para garanti ro sigi10

das respostas nao funcionou como esperado.

Outro desafio, bem conhecido entre os pesquisadores que utilizam a

metodologia de survey para coleta de dados, e perguntar 0valor da renda (familiar

ou individual) - tarnbern tomada como uma ter natica sensfvel, na medida em

que sesabe que 0ruirnero de entrevistados que serecusam a responder estetipo

de questao e bastante grande nos mais diversos palses, Portanto, esta questao secolocou como uma candidata a ver if icacao dos efe itos na resposta produzidos

pelos modos de coleta do dado. Ass im, util izamos 0 exper imento relat ivo ao

modo de coleta do dado - ent revista face-a-face ou quest ionar io auto-apli cado

- com a expectativa de que 0 nurnero de respostas no modo auto-apli cado

fosse maior do que na entrevista face-a-face. Os percentuais daqueles que se

recusaram a dar respostas sobre a renda, contudo, nao apresentaram diferencas

que indicassem efeitos da variacao dos modos de coleta do dado.

A utillzacao dos experimentos e um importante instrumento para a

investigacao sobre a validade e confiabilidade das medidas e demanda um

conhecimento especffico sobre a sua metodologia. Cada resultado deve ser

analisado levando- se em conta a natureza especffica de cada medida, alern

da fundamentacao teorica na explicacao dos efeitos nas respostas. No casodo uso do survey no contexto brasileiro, os experimentos poderao ser um

instrumento muito uti l naadequacao da metodologia para populacoes altamente

heterogeneas em term os educacionais e cul turais.

Comentarios finais

o processo de construcao do questionario da PRMH, trabalho longo e

minuc ioso, efet ivamente se tornou um fasc inante aprendizado para todos nos,

pr ofessor es e alunos, na arte e na ciencia de fazer perguntas. Esperamos que

5/16/2018 SIM ES_MACHADO_A arte de fazer perguntas - slidepdf.com

http://slidepdf.com/reader/full/simoesmachadoa-arte-de-fazer-perguntas 11/11

2 60 • DES IGUALDADES SOCIA lS • •.

este processo e seus instrumentos, brevemente descritos neste apendice, possam

incentivar outros cientistas socias aver 0 pre-teste como uma fase crucial na

geracao de dados val idos e conf iaveis, sendo, por tanto, um momenta do survey

que deve ser feito com 0 maior rigor e com 0 uso de tecnicas bem elaboradas.

Nos, da PRMBH, estamos totalmente convencidos disto.

Notas

10 nOS50 Manual do Ent revi st ador e u ma a da pta ca o, a o n0 550 c ont ext e so ci al e de pe sq ui sa , do m an ua l de se nv olv id o a o

longo de c inquenta aries pelo Survey Research Center do Ins ti tute for Soc ial Research da Univers idade de Michigan.

2 Susanne Lundasen (2002 , p . 132 ) l evan tou as d if eren tes s igni fi cados do t ermo confianc;a interpessoaf e apont ou t res

d if eren tes n fv ei s, apresen tados por Couch e Jones (1997): c on fi anca general iz ada (na nat ureza humana) , c on fi an ra

relac ional (relacionada com aspessoas conhecidas especff icas) e confianca narede (nfvel interrnediario relac ionado com

asredes socials ou farniliares).

Referencias

AQUILINO, W. Spouse Presence During the Interview onSurvery Responses Concerning Marriage. Public Opinion

Quartely, n. 57,p. 358·376, 1993.

BRADBURN, N .; SUDMAN, S . Asking Questions: a P ra ct ic al Gui de t oQu es ti on na ir e D es ig n. S an F ra nc is co : l os sy -

Bass, 1982.

ClARK , H .; SCHOBER , M. A sk in g Que st io ns a nd I nf lu en ci ng Answe rs . I n: TANUR, l . M . (Or g. ). Questions about

Questions: Inqueries into the Cogni tive Bases of Surveys. New York: Russel Sage Foundat ion, 1992.

CONVERSE, l . M .; PRESSER , S . Survey QuestiOns: Han dc ra ft in g t he S ta nd ar ti ze d Que st io nn ai re . Bev er ly H il ls :

Sage, 1986.

CONVERSE, P . T he Nat ur e o f Bel ie f Sys tems i n Mas s Pub li cs . I n: APTER , D . (Or g. ), Ideology and Discontent. New

York: Free Press , 1964. p. 206·261.

COUCH, L.; JONES , W . Mea su ri ng L ev el s o f Trust. Journal of Research in Personality, n. 31, p. 317·336, 1997.

FLOYD,j.; FOWLER, j. lmproving Survey Questions: Des ign and Evaluat ion. Thousand Oaks, CA: Sage Pub li cati ons,

1995.

GEER, [ .G . Wha t d o Open- en ded Que st io ns Measure? Public Opinion Quartely, n. 52, p. 365·371, 1988.

INGLEHART, R.Modernization and Postmodernization: Cultural, Economic, and Pol it ical Change in 43 Soc ieties .

Princeton: Princeton University Press, 1997.

LUNDASEN, S . Pod emos con fi ar n as med id as d e con fi an ca i Opiniao Publica, v. 7, n. 2, p. 304·327, 2002.

MARSH, C. The Survey Method: t he Con tr ib ut io n o f Sur vey t o Soc io lo gi ca l E xp la na ti on . L on do n: G eo rg e A ll en &

Unwin, 1982.

PAYNE , S . L . The Art o i Asking Quest ions . Princeton : Princeton Univers it y Press , 1951.

REIS,B. P.W. 0 tabelao ea lupa: teoria, metoda generalizante e idiografia no contexto brasileiro. Rev i st a Bras i !e i ra

de Ciencie» Socieis, v. 16, 1991.

SCHUMAN, H.; PRESSER,S.Questions and Answers inAttitude Surveys: Exper iments on Quest ion Form, Wording

and Con te xt . N ew York: A cademi c P re ss , 1981.

SCHWARZ, N. eta l. Response Scales as Frame of Reference: The Impact o fFrequency Range on Diagnos ti cjudgmen t.

Applied Cognitive Psychology, n. 5, p. 37·50, 1991.

STOUFFER, S. A.; LAZARSFELD, P. F. Social Research to TestIdeas. New York: Free Press o f Glencoe, 1962.

A p en d ic e 1 - 261

STRACK, F.;MARTIN, l. L.Think ing, j udging , and Communicati ng : a Process Account o fContex t Effects inAtt it ude

Surveys . In: HIPPLER, N. et a l. (Org. ). Social Information Processing and Survey Methodology. New York: Springer,

1987. p. 123·148.

SUDMAN, S . e t a l. Thinking about Answers: The App li ca ti on o f Cog ni ti ve P ro ce ss es t o Sur vey Met ho do lo gy . S an

Francisco: [ossey-Bass, 1996.

THIOlLENT, M. Critica metodo/6gica, investigac;ao social e e nq ue te c oe re rt e. Sao Paulo: Edi tora Pol is , 1985.