pesquisa qualitativa 1. introdução objetivos objetivo central: – apresentar e discutir questões...
Post on 21-Apr-2015
111 Views
Preview:
TRANSCRIPT
ABEP – Associação Brasileira de Empresas de Pesquisa – 2004 www.abep.org
Pesquisa Qualitativa 1
ABEP – Associação Brasileira de Empresas de Pesquisa – 2004 www.abep.org
Introdução
ABEP – Associação Brasileira de Empresas de Pesquisa – 2004 www.abep.org
Objetivos
• Objetivo central:– apresentar e discutir questões relativas à Pesquisa Qualitativa– aprofundar conhecimento e gerenciamento de dados quali– promover formação e aprimoramento profissional nesta área
• Após o curso, os alunos deverão ter desenvolvido e adquirido:– uma visão crítica da área qualitativa, em termos de:
• escopo e linhas de abordagem
• usos, limitações e possibilidades
– referencial para tirar máximo proveito de pesquisas qualitativas• acompanhando proativamente o planejamento e execução
• avaliando as implicações estratégicas dos resultados
ABEP – Associação Brasileira de Empresas de Pesquisa – 2004 www.abep.org
Tópicos Desenvolvidos
• Conceituação da Pesquisa Qualitativa• Especificidades frente à Pesquisa Quantitativa• Aplicações• Processo e etapas dos Projetos Qualitativos• Métodos de Coleta• Técnicas disponíveis• Papel e funções do pesquisador e do cliente• Ética na Pesquisa Qualitativa• Tendências
ABEP – Associação Brasileira de Empresas de Pesquisa – 2004 www.abep.org
Estrutura do Curso
• Conteúdo expositivo e teórico– Desenvolvimento dos tópicos do programa
• Exercícios práticos– Sedimentação e exemplificação dos tópicos
• Leitura - artigos selecionados– Complemento das informações teóricas– Desenvolvimento de postura crítica sobre o tema/área
ABEP – Associação Brasileira de Empresas de Pesquisa – 2004 www.abep.org
CONCEITUAÇÃO DEPESQUISA QUALITATIVA
ABEP – Associação Brasileira de Empresas de Pesquisa – 2004 www.abep.org
O que é pesquisa qualitativa?
ÁREA DAPESQUISA
DE MERCADOLINHA DE
PENSAMENTO
TIPO DE QUESTIONAMENTO
NÍVEL DE RESPOSTA/RESULTADO
PESQUISAQUALITATIVA
Metodologia específica,com técnicas próprias
ABEP – Associação Brasileira de Empresas de Pesquisa – 2004 www.abep.org
Qualitativa: área de pesquisa
CAMPO ESPECÍFICO DE PESQUISA DE MERCADO
PESQUISA DE MERCADO
Poderoso instrumento de Marketing: apoio à decisão
Em conjunto com:
• cenário sócio-econômico • dados de vendas/varejo• trade / distribuição• R&D - desenvolvimento• produção / fábrica• experiência local / global• players - fornecedores
PESQUISAQUALITATIVA
ABEP – Associação Brasileira de Empresas de Pesquisa – 2004 www.abep.org
Qualitativa: pensamento
Ciências Humanas: Psicologia, Sociologia
EmpirismoExperimentos
pensamentoindutivo
ferramenta específica
neste referencial
PESQUISAQUALITATIVA
Pesquisa de mercado
|
referencial científico
Observação da realidade
Hipóteses, explicações
ABEP – Associação Brasileira de Empresas de Pesquisa – 2004 www.abep.org
Como?O quê?
O que motiva?Por quê?
Qualitativa: questõesO que o consumidor pensa,sente e faz? Por quê?
• Opiniões
• Atitudes
• Motivações
• Comportamentos
• Emoções
Como o consumidor se expressa?
• Linguagem verbal e não verbal
• Imaginário
• Símbolos e projeções
Como é a sua percepção?
• No plano consciente e verbalizável
• De forma consciente, mas de difícil verbalização ou acesso
• Em nível não consciente, ou seja, latente/subjacente
ABEP – Associação Brasileira de Empresas de Pesquisa – 2004 www.abep.org
Conhecimento profundo do tema estudado
Vínculos entre o consumidor e as
propostas de marketing testadas - em sentido
amplo
Direções para otimizar estas propostas
Qualitativa: respostas
•explicações e hipóteses além do discurso, mas também o considerando
•tendências, indicações, caminhos
•Linguagem
•traços/atributos
•benefícios e símbolos
•reações globais a estímulos (*)
(*) o consumidor não cria soluções ou conceitos: reage a estímulos
- exceção: pesquisas criativas/elaboradas para gerar novas idéias
ABEP – Associação Brasileira de Empresas de Pesquisa – 2004 www.abep.org
MALEABILIDADE E SUBJETIVIDADE: intrínsecas ao pensamento qualitativo
dados qualitativos = “conversa” / livre expressão
Qualitativa: metodologia
PlanejamentoControle - Ética
Metodologia específicaTécnicas validadas
necessidade de sistematização
riscos: dados gratuitos, não confiáveisvulnerabilidade e manipulação
“terra de ninguém”
observação pura e simplesmuitas vezes pouco acrescenta
Há espaço para subjetividade, mas
também há limites claros
ABEP – Associação Brasileira de Empresas de Pesquisa – 2004 www.abep.org
Algumas visões parciais e equivocadas
• A PESQUISA QUALITATIVA NÃO É, DEFINITIVAMENTE:– Um tipo de pesquisa oportuno por ser mais barato e rápido– Uma técnica de coleta de dados e resultados fáceis, acessíveis e
compreensíveis mesmo por parte de clientes “leigos”– Uma metodologia que permite acompanhamento interferência
direta do cliente na coleta de dados e análise– Uma forma de pesquisa que se define só por utilizar amostras
reduzidas e não representativas do universo estudado– Uma metodologia com interpretação subjetiva - e cuja análise, por
isso, traz resultados diferentes conforme o pesquisador– Uma forma agradável e até “festiva” do cliente observar e entrar
em contato direto com seu consumidor
ABEP – Associação Brasileira de Empresas de Pesquisa – 2004 www.abep.org
• Mais intuitiva e humanista
• Foco: interpretação e conotações das manifestações do consumidor
• Entender a percepção do consumidor com suas próprias palavras
• Não diretividade na coleta dos dados
• Mais disciplinada e estruturada
• Foco: fatos ou verbalizações, como ocorreram na coleta de dados
• Destaque: discurso e postura do entrevistado, de forma mais pontual
• Roteiros pré-definidos e objetivos
Tradição brasileira identifica-se mais
LINHA EUROPÉIA (ou “conotativa”)
LINHA AMERICANA (ou “cognitiva”)
Alvo de críticas emesmo preconceitos
“Escolas” de qualitativa
ABEP – Associação Brasileira de Empresas de Pesquisa – 2004 www.abep.org
Tendência geral de unificação: globalização,
profissionalismo
Profissionais de ambas as linhas mostram certa abertura
Européia: aceitação progressiva de práticas da linha Americana
• algumas têm sido reconhecidas como relevantes
Americana: preocupação com profundidade dos dados e análise
• acompanhada por grande produção
• artigos, cursos, sites, debates
Eventos/congressos conjuntos de entidades
americanas e européias: ESOMAR, QRCA, AQR
“Escolas” de qualitativa
ABEP – Associação Brasileira de Empresas de Pesquisa – 2004 www.abep.org
Mesmo assim, há sutis mas reveladoras diferenças de linguagem entre elas
Focus Groups X Group Discussions
Respondents X Participants
Moderator X Qualitative Market Researcher
“One-on-one” ou “One-to-one” X “In-Depth
Interview”
“Escolas” de qualitativa
ABEP – Associação Brasileira de Empresas de Pesquisa – 2004 www.abep.org
PESQUISA QUALITATIVAVERSUS PESQUISA QUANTITATIVA
ABEP – Associação Brasileira de Empresas de Pesquisa – 2004 www.abep.org
Além de objetivos, tipo de
problema e aplicação
Algumas diferenças relevantes
• Amostragem: tamanho e tipo• Coleta de informações• Qualificação do entrevistador• Avaliação dos resultados• Tipo de análise de dados• Possibilidade de projeção dos dados• Representatividade estatística da informação
ABEP – Associação Brasileira de Empresas de Pesquisa – 2004 www.abep.org
AMOSTRA
COLETA DE DADOS
•mais reduzida•não representativa do universo estudado
• seleção não aleatória
•mais ampla•representatividade do universo é muito importante
•entrevistas/observações individuais ou em grupo
•roteiro aberto e indireto•questões podem (e devem) ser acrescentadas no momento da entrevista ou grupo
•situação mais informal
•entrevistas individuais•questionário mais rígido•formulado/fechado previamente
•necessidade de padronização:questionário e procedimentos
•entrevista mais formal
QUANTITATIVAQUALITATIVA
Quali X Quanti
ABEP – Associação Brasileira de Empresas de Pesquisa – 2004 www.abep.org
PAPEL DO ENTREVISTADOR
•entrevistador atento ao não verbal
•participação mais ativa: analisa os dados, modifica as questões
•entrevistados determinam:• ritmo geral do evento• até certo ponto, a ordem dos assuntos
•entrevistador treinado de forma mais genérica
•participação limitada: deveseguir o questionário rigidamente
•ritmo do questionário/ entrevista é determinado previamente
TIPO DE DADOS
• investiga os *porquês* do tema, em profundidade:
• explicações mais amplas e tendências
•propicia dados subjetivos, íntimos, não explícitos
•busca informações precisas:• onde?• quando?• quanto?
•dificuldade em obter dadosmais profundos ou íntimos
QUANTITATIVAQUALITATIVA
Quali X Quanti
ABEP – Associação Brasileira de Empresas de Pesquisa – 2004 www.abep.org
ANÁLISE
• interpretação: discurso, gestual, indícios, dados subjacentes, informações projetivas
•análise global: tendências•não se faz uma tabulação das questões nem cálculos
•dados em geral podem ser tratados estatisticamente
• interpretação feita usando dados diretos e indiretos
• contagem/tabulação• análises estatísticas
•números e relações entre eles
RESULTADOS
•apontam significados, além de atitudes e conotações
•são mais genéricos, globais• indicativos de tendências
• hipóteses•não projetáveis para o universo
•apontam incidência•são mensuráveis e projetáveis para o universo
•maior segurança dos dados:• em geral• relativos a estratos específicos da amostra
QUANTITATIVAQUALITATIVA
Quali X Quanti
ABEP – Associação Brasileira de Empresas de Pesquisa – 2004 www.abep.org
Quali X Quanti
• A pesquisa qualitativa indica a presença • ou ausência de algo e a quantitativa indica • o quanto este algo está presente.
• A pesquisa quantitativa seria um retrato em • em preto e branco, enquanto a pesquisa• qualitativa seria um retrato colorido.
ABEP – Associação Brasileira de Empresas de Pesquisa – 2004 www.abep.org
Os dois métodos têm um
caráter complementar
Quali X Quanti
• A pesquisa qualitativa não substitui apesquisa quantitativa
• ou vice-versa
ABEP – Associação Brasileira de Empresas de Pesquisa – 2004 www.abep.org
APLICAÇÕES DA PESQUISA QUALITATIVA
ABEP – Associação Brasileira de Empresas de Pesquisa – 2004 www.abep.org
CategoriasMercado
Concorrência Trade
Mídia/Veículos
MarcaConceitoProduto
EmbalagemComunicação
Segmentos, Perfis, Hábitos, Atitudes, ValoresAspirações, Sentimentos, Percepções
UNIVERSOMIX DE
MARKETING
CONSUMIDORES
Contextos Abarcados
ABEP – Associação Brasileira de Empresas de Pesquisa – 2004 www.abep.org
ABRANGÊNCIAMUITO SEMELHANTEÀ DA PESQUISA DE
MERCADO EM GERAL
ABRANGÊNCIA DA QUALITATIVA
A pesquisa qualitativa pode ser usada em praticamentetodas as etapas do ciclo de marketing dos produtos
ABEP – Associação Brasileira de Empresas de Pesquisa – 2004 www.abep.org
AVALIAÇÃO
DIAGNÓSTICO
CICLO DE MARKETING
análiseda
situação
cate-goria
conceito produtocomuni-cação
monitoramento da performance
lançamento do produto
VALIDAÇÃO
DIAGNÓSTICO
ABEP – Associação Brasileira de Empresas de Pesquisa – 2004 www.abep.org
QUALI X CICLO DE MARKETING
• Entendimento global do consumidor
• motivações, aspirações, hábitos
• Atitudes, percepção: produto e categorias
• Imagem de marcas
• Estudos para segmentação:
• mercado e consumidores
• Desk research
• Histórico de marcas e mercado
• Tendências gerais: categoria e mercado Pesquisas
exploratórias
isoladas ou associadas a quanti
ABEP – Associação Brasileira de Empresas de Pesquisa – 2004 www.abep.org
QUALI X CICLO DE MARKETING
• Conceitos de produto e comunicação
• linguagem e benefícios
• Mix: embalagem e aspectos de produto
• sabor, perfume, cor, variantes
• Comunicação: campanhas, peças
• finalizadas ou não
Desenvolvimento,
refinamento
e avaliação
• Avaliação:
• concorrência e cenário global
• Razões de adoção, escolha ou abandono
• produtos e marcas
• Potencial de extensão de marcas
• outros produtos e categorias
Diagnóstico
ABEP – Associação Brasileira de Empresas de Pesquisa – 2004 www.abep.org
Aplicações: Tipos De Pesquisa
• Pesquisas exploratórias iniciais– desk research: informações anteriores e/ou dados secundários– levantamento de valores, hábitos e atitudes
• Pesquisas de imagem de marcas e da concorrência• Testes de elementos do mix dos produtos
– embalagem - frascos, rótulos– produto - formulação, aspectos físicos
• sabor, cheiro, cor, consistência, etc.
• Pesquisas de comunicação– conceito– caminhos criativos– propaganda/comunicação - anúncios/peças
• Avaliação de sites e comunicação on line
ABEP – Associação Brasileira de Empresas de Pesquisa – 2004 www.abep.org
Aplicações: Necessidades
• Gerar hipóteses e insights• Explorar em profundidade atitudes, comportamentos, percepções,
linguagem– consumidores e segmentos– mitos das categorias
• Subsidiar criação e desenvolvimento– vários aspectos do ciclo de marketing e do mix dos produtos
• Prever tendências e comportamentos• Orientar caminhos de comunicação e posicionamento• Identificar novas oportunidades, negócios, “brechas”• Apoiar pesquisas quantitativas, antes e depois:
– levantar hipóteses a serem testadas– auxiliar na compreensão de resultados– gerar atributos a serem confirmados
• E mais uma série de aplicações - atuais e futuras ...
ABEP – Associação Brasileira de Empresas de Pesquisa – 2004 www.abep.org
ETAPAS DA PESQUISA QUALITATIVA
ABEP – Associação Brasileira de Empresas de Pesquisa – 2004 www.abep.org
NECESSIDADE DE INFORMAÇÕES
BRIEF
PLANEJAMENTO
PropostaMetodologia
AmostraRoteiro
RESULTADOSRECOMENDAÇÕES
DESKRESEARCH,
INSIGHTS
Decisão de colherdados primários
EXECUÇÃO
RecrutamentoColeta de dados
Análise
EMPRESA
INSTITUTO
DECISÃO:
Alterações das idéias iniciaisQuantificação ou não
Características do produto
Fluxograma - Quali
ABEP – Associação Brasileira de Empresas de Pesquisa – 2004 www.abep.org
•Definição do problema de marketing
•Necessidade / utilidade de dados primários
•Viabilidade da pesquisa: prazo, custos, tema (é pesquisável?)
•Há um padrão de ação? O que a empresa vai fazer com os resultados?
Decisão de usar Pesquisa Qualitativa – em conjunto com o Instituto (método é
o mais indicado?)
Informação no brief:•Histórico/problema de marketing/ objetivos do projeto e pontos a investigar •Padrão de ação•Target, variáveis da amostra, locais•Especificações, prazos, estímulos, modelos
Brief
• Fundamental para o sucesso de toda pesquisa, deve considerar:
ABEP – Associação Brasileira de Empresas de Pesquisa – 2004 www.abep.org
•Metodologia: em geral Discussões em Grupo ou Entrevistas em Profundidade
•Técnicas recomendadas / possíveis
•Amostra – locais e segmentos de entrevistados
•Áreas de abordagem / roteiro
•Cronograma/prazos•Custos
Elaboração da Proposta Uma vez aprovada a proposta
• Cronograma e viabilização do campo• Decisões sobre logística
• instalações• profissionais• materiais de estímulo• registro• viagens
• Preparação dos questionários, normas de recrutamento e roteiros
Planejamento
• Definido o problema, formaliza-se o planejamento feito pelo instituto, muitas vezes junto com o cliente
(ou vice-versa)
ABEP – Associação Brasileira de Empresas de Pesquisa – 2004 www.abep.org
N° de grupos / entrevistas depende
das características de seu target (variáveis ≠s
segmentos) e dos objetivos do projeto
N° de grupos e entrevistas é o
resultado destas considerações,
nunca n° a priori
Definição da Amostra
• Amostras: em geral reduzidas
• Poucas unidades de informação / eventos – grupos / entrevistas / observações dados se “repetem” após alguns grupos relação custo-benefício: custo elevado de cada evento
ABEP – Associação Brasileira de Empresas de Pesquisa – 2004 www.abep.org
(*) Em quali, a classe raramente é considerada isoladamente filtros para > sensibilidade
Definição da Amostra
• Estabelecida segundo as variáveis relevantes para o caso:
• Demográficas: classe (*), sexo, idade, cidade, renda, raça/etnia
• Estilo de vida: família, escolaridade, hábitos de mídia, lazer• Consumo: uso, fidelidade, freqüência, uso concorrência• Variáveis de atitudes ou segmentos específicos:
profissões / cargos perfil psicográfico (escala aplicada no recrutamento)
ABEP – Associação Brasileira de Empresas de Pesquisa – 2004 www.abep.org
Seleção não-aleatória, a partir de critérios pré-estabelecidos
Representatividade não se coloca como preocupação em Quali
Participantes devem “representar” bem seu
segmento
mas não precisam ser “representativos” do
universo total
Segmentos são incluídos para ouvir sua impressão / opinião e detectar possíveis grandes
≠s de atitudes / comportamento:
levantar tendências / hipóteses sujeitas à confirmação quanti
Amostragem em Qualitativa
ABEP – Associação Brasileira de Empresas de Pesquisa – 2004 www.abep.org
Atenção para aspectos como:
Limitar as variáveis
desejadas
“excesso” de eventos
custo-benefício desfavorável
Procurar comparabilidade nos segmentos “isolar
variáveis”
(ex.: homens classe A/B RJ; homens classe
A/B SP)
possibilita detectar diferenças entre variáveis
levanta hipóteses consistentes
Se possível ter eventos duplicados por segmento
(ex.: 2 grupos com mesma composição)
consistência entre dados
atenua risco de grupos atípicos
Cuidados ao definir amostra
ABEP – Associação Brasileira de Empresas de Pesquisa – 2004 www.abep.org
Roteiro
• Projetos mundiais requerem• Certa padronização
• comparação • análise consolidada
• E, por outro lado:• respeito ao ritmo e cultura locais
Roteiro em qualitativa
Não é um questionário
É uma relação/lista de pontos importantes para abordar na entrevista/grupo - cobrindo o brief
• Ritmo maleável• Necessidade: instrumento flexível• Garantir acesso a dados
• Racionais• verbais, concretos, lineares
• Emocionais• intuitivos, não verbais, menos conscientes
ABEP – Associação Brasileira de Empresas de Pesquisa – 2004 www.abep.org
Trabalho muitas vezes
terceirizado, mesmo em
grandes institutos
•Em geral, os entrevistados têm que ser recrutados previamente
•dificuldade dos targets, timing, infra-estrutura, custos
•Questionário de recrutamento: deve contemplar filtros
•não deixar claro o assunto ou filtros (disfarces) •dados de classificação social critério Brasil•perguntas atitudinais /comportamentais (locais que freqüenta, hábitos de mídia...)
Área delicada, suscetível a fraudes
|
necessidade de controles
Recrutamento
ABEP – Associação Brasileira de Empresas de Pesquisa – 2004 www.abep.org
Sempre permite a expressão livre do consumidor
Caracterizam-se como uma conversa + atividades projetivas
Não há questionário a ser respondido, há um roteiro e técnicas projetivas que
facilitam a tarefa do entrevistador/moderador
Discussõesem Grupo
(DG)
Entrevistas em Profundidade
(EP)
Métodos maisusados
Observação
Coleta de dados
ABEP – Associação Brasileira de Empresas de Pesquisa – 2004 www.abep.org
Análise
Natureza diferenciada da quali se manifesta na análise
• Exploratória --> hipóteses• resultado de “conversa” e projeções
• Resultados não são lineares• vão além do que foi expresso/discurso
• Análise global• do que se disse • do que está “por trás” do que foi dito
Cria-se sistema interpretativo coerente: significado dos fenômenos
• Comportamentos• Atitudes• Reações• Tendências
ABEP – Associação Brasileira de Empresas de Pesquisa – 2004 www.abep.org
Análise
Questão importante: preferências/rankings• Diferença entre gostar/preferir e conotações
• vital para a análise• Ex: alternativas de embalagem ou propaganda
• questão estratégica: • o que se pretende comunicar• consequências para a marca e posicionamento• parte do mix, conjunto• conotações: mais relevantes que as
preferências
Softs de análise - conhecidos como CQDAS• Mais usados nas universidades, pouco empregados pelos profissionais• Possibilitam: contagem das palavras, organização dos temas, verbetes• Em suma, podem até auxiliar na pré-análise, mas não bastam
ABEP – Associação Brasileira de Empresas de Pesquisa – 2004 www.abep.org
Relatório/Resultados
• Debrief: • cada vez mais comum, em
especial no caso de grupos• avaliação dos pontos
principais logo após os grupos• Highlights:
• resumo dos principais resultados
Relatório específico, com particularidades
Esquemático
não um longo relatório, de estilo acadêmico
Avaliações rápidas têm sido
muito solicitadas
Nem sempre aconselháveis, mas tem sido necessário: timingRiscos: esvaziar conclusões, decisões precipitadas
ABEP – Associação Brasileira de Empresas de Pesquisa – 2004 www.abep.org
Relatório/Resultados
• Comunicação dos resultados: particularmente difícil em quali• Não se conta com o apoio de questionários/tabelas• Tem que ser criado, a cada vez, um esquema de exposição
Dados organizados para facilitar:• Compreensão:
• do raciocínio da análise• embasamento: conclusões e recomendações
• Visualização, por parte do cliente, dos pontos fundamentais
Devem constar:• metodologia, amostra, datas de campo
• possibilidade de localizar cenário, interferências de ações do produto ou da concorrência, etc
ABEP – Associação Brasileira de Empresas de Pesquisa – 2004 www.abep.org
Relatório/Resultados
• Necessidade de ir além dos dados propriamente ditos
• Sempre que possível, fundamentar a análise em
outros dados
• mercado, vendas, dados secundários
• pesquisas anteriores, experiências da empresa
• publicações, mídia
• Incluir recomendações estratégicas
• cada vez mais importante e exigido
Função consultoriado Instituto
Fica clara na estruturação dos relatórios qualitativos
ABEP – Associação Brasileira de Empresas de Pesquisa – 2004 www.abep.org
Relatório/Resultados
• Verbetes• Agradam a alguns, mas deve-se usar com parcimônia• Podem ilustrar e exemplificar bem alguns pontos da análise• Mas não substituem a análise e a avaliação dos resultados
• nem fundamentam as colocações• Não têm uma função correlata à das tabelas, em quanti!!
Dados de cenário
• São muito importantes para compreensão das informações
• É interessante que estejam sempre presentes
• ao menos como anexo
• Podem ser de grande utilidade, inclusive no futuro
ABEP – Associação Brasileira de Empresas de Pesquisa – 2004 www.abep.org
MÉTODOSDE COLETA DE DADOS
ABEP – Associação Brasileira de Empresas de Pesquisa – 2004 www.abep.org
Métodos qualitativosde coleta de dados
criados para facilitar e sistematizara obtenção de dados
qualitativos
fruto de uma“conversa”
instrumentalconsagrado e com normas específicas
Não diretividade e livre expressão não podem ser confundidas
com excesso de subjetividade e ausência de sistematização
Coleta de dados em quali
ABEP – Associação Brasileira de Empresas de Pesquisa – 2004 www.abep.org
MÉTODOSDE COLETA DE DADOS
ABEP – Associação Brasileira de Empresas de Pesquisa – 2004 www.abep.org
Métodos qualitativosde coleta de dados
criados para facilitar e sistematizara obtenção de dados
qualitativos
fruto de uma“conversa”
instrumentalconsagrado e com normas específicas
Não diretividade e livre expressão não podem ser confundidas
com excesso de subjetividade e ausência de sistematização
Coleta de dados em quali
ABEP – Associação Brasileira de Empresas de Pesquisa – 2004 www.abep.org
ENTREVISTAS EM PROFUNDIDADE
ABEP – Associação Brasileira de Empresas de Pesquisa – 2004 www.abep.org
Método permite utilizar
situação de intimidade
que se estabelece
Entrevistas Individuais (1 entrevistador e 1 entrevistado)
• Explorar menos tópicos em maior detalhe / profundidade (histórico de uso de uma marca / categoria)
• Abordar temas mais delicados ou potencialmente constrangedores (ex.: fraldas para incontinência urinária, preservativo)
• Atingir targets de difícil recrutamento (“coexistência grupal”, médicos, executivos)
Entrevistas em Profundidade
ABEP – Associação Brasileira de Empresas de Pesquisa – 2004 www.abep.org
Uma entrevista tradicional
•Duração 1 a 2h aproximadamente
•Em geral, em ambiente conveniente e familiar ao entrevistado (casa, escritório) favorece situação de intimidade /relaxamento
•Roteiro menos desestruturado que para DG (apesar de ainda sem grandes estruturaçÕes) em geral: + perguntas e detalhes
• Desafio: seguir o fluxo de pensamento do entrevistado e cobrir questões específicas naturalmente
Necessidade de entrevistadores especializados
Entrevistas em Profundidade
ABEP – Associação Brasileira de Empresas de Pesquisa – 2004 www.abep.org
Mini Grupos4 / 6 part.)
Entrevistas tríades(3 part.)
Entrevistas pareadas(2 part.)
• Obtenção de dados em profundidade / > detalhamento
• Permitir a interação social e, muitas vezes, o confronto (tríades, pareadas)
• Targets de recrutamento difícil
Variações DGs / EPs
ABEP – Associação Brasileira de Empresas de Pesquisa – 2004 www.abep.org
Grupos com Retorno
2 ou mais sessões consecutivas (limite 4/5) intercaladas com uso de produto com observação / diários ou até mesmo para possibilitar > empatia e intimidade (pesquisas comportamentais, atitudinais, “os adolescentes”)
Entrevistas com amigos
2 ou 3 pessoas que já se conhecem previamente situação diminui inibições,favorece a colocação de cada um muito usadas: crianças e adolescentes
Variações DGs / EPs
ABEP – Associação Brasileira de Empresas de Pesquisa – 2004 www.abep.org
OUTROS MÉTODOS QUALITATIVOS
ABEP – Associação Brasileira de Empresas de Pesquisa – 2004 www.abep.org
Grupos Seqüenciais
Etnográficas
Grupos de Retorno
Grupos Criativos
Uso em fases precoces de um projeto
Metodologia especialmente interessante para
subsidiar o processo de INOVAÇÃO
em produtos / serviços / marcas
Inovação
ABEP – Associação Brasileira de Empresas de Pesquisa – 2004 www.abep.org
Ver com os olhos
do consumidor, penetrar sua
realidade
•Observação sistematizada das pessoas / consumidores em geral, equipe instituto + staff do cliente
•em seu próprio ambiente (casa)•em ambiente de uso do produto (ex Praia – Protetor Solar)•em ambiente de compra
•Tentativa: haver o mínimo de interferência na realidade observada atitudeinvestigativa vs. avaliativa Especialmente
interessante para realidades distantes
/ diferentes / desconhecidas do cliente (targets e
categorias)
Método inspirado na tradição antropológica
Etnografia - Observação
ABEP – Associação Brasileira de Empresas de Pesquisa – 2004 www.abep.org
Preparação do time
Treinamento das equipes (definição de papéis, postura ética, limites)
Campo: equipes de 2 a3 pessoas cada - observação - gravação / filmagem / fotografia
Discussão das vivências / experiências
Documento final: registro escrito + material gráfico (fotos / gravações)
fechamento
Etnografia – Exemplo de Observação
ABEP – Associação Brasileira de Empresas de Pesquisa – 2004 www.abep.org
Discussão +Técnicas operativas (ex. construção de produtos com sucata)
• Grupo de consumidores “diferenciados” / especializados criativos dinâmicos experts
• Longa duração (4 a 6 h) ou grupos de retorno
• N° reduzido de grupos (1 a 4)
Trazer insights para resolução de
determinada questão-chave a
partir do ponto de vista do
consumidor
futuro da marca novas
estratégias novos produtos
Grupos Criativos
ABEP – Associação Brasileira de Empresas de Pesquisa – 2004 www.abep.org
• Promover refinamento de conceitos e idéias
• Também usados para screening / triagem
de grande n° de alternativas
• Grupo com consumidores de rápida duração (1-1:30h)
• Em geral, vários por dia (4 em média)
• Cada grupo traz insights para mudanças a serem apresentadas nos grupos seguintes
• Importante: mesmo perfil de consumidores
Processo de construção-reconstrução
Grupos Seqüenciais
ABEP – Associação Brasileira de Empresas de Pesquisa – 2004 www.abep.org
Vantagens: economiade tempo e esforços
- acesso a targets difíceis- possibilidade de reunir pessoas geograficamente distantes
• Abordagem cada vez + comum fora do Brasil
• Métodos principais:• e-mail – entrevistas
abertas / semi-estruturadas
• grupos em tempo real – hora marcada
• bulletin boards – fóruns, abertos por alguns dias
• Porém, ainda receios / críticas: alvo de estudos / normas pouco realizada no Brasil barreira dos profissionais / desconhecimento limitação cobertura Internet custos altos
Quali Online
ABEP – Associação Brasileira de Empresas de Pesquisa – 2004 www.abep.org
TÉCNICAS QUALITATIVAS
ABEP – Associação Brasileira de Empresas de Pesquisa – 2004 www.abep.org
Técnicas projetivas
Além de permitir a livre expressão dos consumidores existem algumas técnicas facilitadoras específicas
Operação psíquica que atribui significados a eventos, objetos ou pessoas externos a eles, derivados de
desejos e sentimentos inconscientes.
Sua aplicação parte do conceito de projeção
Ferramentas herdadas da prática clínica
Técnicas qualitativas
ABEP – Associação Brasileira de Empresas de Pesquisa – 2004 www.abep.org
Muitas técnicas podem ser classificadas como projetivas, outras podem ser consideradas mais
EXPRESSIVAS que projetivas. Em ambos os casos,
• Técnicas Projetivas e/ou “Expressivas” têm o objetivo de trazer um discurso menos racional e linear
• Permite aflorar contradições / inconsistências
• A idéia é tocar em determinado assunto (uma marca, um produto, um tema) de forma indireta para que os sentimentos mais difíceis de serem expressos verbalmente possam ser acessados.
Úteis para estudar a imagem de uma marca, efeitos de novos elementos de mix sobre a imagem de um
produto/marca em suas várias dimensões.
Técnicas qualitativas
ABEP – Associação Brasileira de Empresas de Pesquisa – 2004 www.abep.org
Analogias
Técnicas projetivas - exemplos
Personificação
• Solicita-se aos participantes que transformem determinada marca /produto / comunicação em uma pessoa.
• Devem construir esta pessoa: suas características gerais, seu mundo social, familiar.
• Solicita-se que falem de determinada marca/produto como se fosse um planeta.
• Caracterização do ambiente, tipo de atmosfera, da população, etc.
Se determinada marca/produto fosse um animal, que animal seria...
Planeta
Técnicas Projetivas
ABEP – Associação Brasileira de Empresas de Pesquisa – 2004 www.abep.org
ColagemAssociação Livre
Técnicas Expressivas – o objetivo é romper a linearidade do discurso verbal
•Expressão passa a ser através de imagens.
•Solicita-se aos participantes que expressem seu sentimentos através de uma colagem de imagens (fotos de revista).
•Ajudar a caracterizar um tema, uma categoria de produtos, uma marca sob um novo prisma.
•A partir de um tema de interesse (categoria estudada, uma marca, etc.) solicitar que falem o que vier à cabeça livremente, sem reservas.
•Objetivo: retirar as reservas, a censura sobre o próprio discurso.
Técnicas Expressivas
ABEP – Associação Brasileira de Empresas de Pesquisa – 2004 www.abep.org
Exemplo de colagem
Técnicas Expressivas
ABEP – Associação Brasileira de Empresas de Pesquisa – 2004 www.abep.org
Mapeamento
• De marcas ou produtos
• A partir das marcas /produtos do mercado. Os participantes são solicitados a agrupá-los segundo o critério que julgarem relevante.
Objetivo: investigar segmentação, posicionamento e imagem de marca e produtos, sob a ótica do consumidor
Mapeamento
ABEP – Associação Brasileira de Empresas de Pesquisa – 2004 www.abep.org
MinervaBrilhante
AceBold
Surf/Campeiro
BijuCarrefour
OmoAriel
Reconhecidos como os mais caros, líderes.
Intermediários: preço justo com qualidade.
Desvalorização: limpar chão
Exemplo de mapeamento – mercado sabão em pó:
Mercado maduro imagem de marca
Mapeamento
ABEP – Associação Brasileira de Empresas de Pesquisa – 2004 www.abep.org
Exemplo de mapeamentoMercado de barras de cereal:
NUTRY - salada de frutas
NESTON - morango c/ iogurte
NUTRY - frutas e castanha do Pará
NUTRY - coco
NUTRY - banana
NESTON - coco tostado
GRUPO DAS FRUTAS
GRUPO DAS FRUTAS OLEOSAS
NUTRY - banana c/ chocolate
Banana e Musli - c/ chocolate
TRIO -coco e chocolate
NUTRY - castanha c/ chocolate
NUTRY - coco c/ chocolate
GRUPO DAS FRUTAS OLEOSAS
GRUPO DAS FRUTAS - C/ CHOCOLATE
Mapeamento
ABEP – Associação Brasileira de Empresas de Pesquisa – 2004 www.abep.org
LÍNEA - banana com aveia - diet
TRIO - manga com iogurte - light
TRIO - damasco, maçã e mamão - light
NESTON – damasco e maçã - light
FRUTAS LIGHT/DIET
LÍNEA - maçã c/ uva passa - diet
NUTRY - pêssego - diet
TRIO - avelã e castanha com chocolate - Light
FIBRA TOTAL - ameixa c/ chocolate - Light
NUTRY - frutas vermelhas c/ chocolate - light
FRUTAS C/CHOCOLATE – LIGHT/DIET
LÍNEA - avelã e castanha c/ chocolate - diet
LÍNEA - avelã e castanha c/ chocolate - diet
Mercado em desenvolvimento: mapeamento por tipos (objetivo e racional) ; ausência de diferenciação de marcas
Mapeamento
ABEP – Associação Brasileira de Empresas de Pesquisa – 2004 www.abep.org
Participantes atribuem
diálogos a personagens,
como discussão ou reação a tema
/ marca / conceito / comercial
Participantes “completam” uma frase ou
história proposta pelo entrevistador/moderador
Participantes representam em desenhos
sua lembrança /
imagem de um tema / marca /
produto / categoria.
Ex.:: desenho dos principais ícones de uma
embalagem
Técnicas de relaxamento para criar um
ambiente confortável
que estimule os
participantes a expressar-se livremente
Balões de diálogos / “bubbles”
Completar frases
ou histórias
Desempenhoexpressivo
Relaxamento
Outras Técnicas
ABEP – Associação Brasileira de Empresas de Pesquisa – 2004 www.abep.org
Estímulos visuais, tácteis, sonoros, etc.: gerar associações a determinado tema / marca / categoria / conceito / comercial
Seleção dos que remetem a marcas / categoria / conceito
Participantes assumem papéis para descrever aspectos negativos e/ou positivos de um tema / marca / produto / categoria. Ex.: “tribunal” – equipes que “defendem” ou “atacam” o tema / produto
Forma de explorar exaustivamente atributos e benefícios, até chegar a sua origem e motivação psicológica mais profunda. Ex.: “gosto de tomar banho” entrevistador: “por que gosta?” – “é agradável” – “Por que á agradável?” “fico atraente” “Por que é importante ficar atraente?” – e assim por diante... e muitas outras
Estímulos diferenciados
Associação de fotos
/atributos
Role-playing
Laddering / cadeias de benefícios
Mais outras técnicas
ABEP – Associação Brasileira de Empresas de Pesquisa – 2004 www.abep.org
PAPEL DO CLIENTE EM QUALITATIVA
ABEP – Associação Brasileira de Empresas de Pesquisa – 2004 www.abep.org
Estágios Inciais – Antes do “Campo”
• Checar a real necessidade de partir para a coleta de dados primários– Já há respostas disponíveis internamente? – Haverá padrão de ação para a pesquisa, seja quais forem os
resultados?
• Redigir o briefing de pesquisa de forma isenta– não é uma peça publicitária do produto!– com subsídios para que o fornecedor:
• entenda o problema de marketing
• possa propor a alternativa de estudo mais adequada.
• Ser acessível ao fornecedor– de forma a esclarecer dúvidas e questões – especialmente as que surgem ao longo da preparação da
pesquisa
ABEP – Associação Brasileira de Empresas de Pesquisa – 2004 www.abep.org
Estágios Inciais – Antes do “Campo”
• Cumprir suas “tarefas”, dentro do cronograma proposto: – aprovar o roteiro– se necessário, elaborar materiais de estímulo para a pesquisa
• de preferência com a orientação do fornecedor
• Ter consciência de que:– uma vez agendados os grupos a mudança de datas só deverá
ocorrer em caso de extrema necessidade• pois isso implica em custos
– especialmente quanto mais próximo for o cancelamento/adiamento das datas previstas
– todos ganham com uma atitude de colaboração e com um verdadeiro trabalho em equipe
ABEP – Associação Brasileira de Empresas de Pesquisa – 2004 www.abep.org
Assistir a grupos - Regras
• Antes do grupo:• Ao chegar – identificar-se apenas pelo nome na sala de
espera. Evitar falar o nome da empresa, trazer material com identificação – os participantes podem estar no mesmo ambiente.
• Durante o grupo:• Manter a conversa em tom baixo, controlar risadas – sons
muito altos podem ser ouvidos na outra sala. • Prestar atenção a qualquer luz. • Bilhetes ao moderador: podem atrapalhar sua
concentração, retirar o sentido de intimidade que se estabelece entre o grupo evitar. É possível combinar que o moderador vá periodicamente atrás do espelho.
• No fim da reunião, evitar sair da sala junto com as participantes.
ABEP – Associação Brasileira de Empresas de Pesquisa – 2004 www.abep.org
Assistir aos grupos é um momento importante
A oportunidade de assistir a um grupo é de grande valor
para o cliente: pode ouvir as necessidades, reações de seu consumidor.
• despojar-se de suas próprias verdades
• observar as especificidades do target (em relação aos próprios valores) sem idéias pré-concebidas, sem preconceitos
• exercitar a prática de entrar em seu ponto de vista, enxergar como ele enxerga
• ouvi-lo de forma respeitosa – ele está nos ajudando
Importante: atitude de “investigador”
Assistir a grupos - Regras
ABEP – Associação Brasileira de Empresas de Pesquisa – 2004 www.abep.org
• Verbalizações – o que falam
• Significados – o que querem dizer
• Que tipo de linguagem utilizam, vocabulário, expressões
• Omissões – o que não falam
• Dicas não-verbais: expressões faciais, linguagem corporal, nível de energia do grupo (pode indicar reações a estímulos ou tema), mudança de emoções, sentimentos
O que ouvir e observar:
•Anotar o grupo pode ajudar a sistematizar impressões, separar áreas de interesse.
•Não tentar quantificar o grupo. Não se preocupar com respostas individuais. Tentar assimilar o todo.
Dicas de aproveitamento
ABEP – Associação Brasileira de Empresas de Pesquisa – 2004 www.abep.org
ÉTICA EM QUALITATIVA
ABEP – Associação Brasileira de Empresas de Pesquisa – 2004 www.abep.org
Ética em Quali
Quali rege-se pelos códigos de ética geraisANEP, ESOMAR, MRA, SBPM
– Direito a privacidade e anonimato– Direito a segurança– Não pode ser prejudicado por participar da pesquisa– A cooperação é sempre voluntária– Direito de saber os objetivos reais da pesquisa– Direito de escolher que perguntas responder– Pode se recusar a responder/participar da pesquisa– Deve ser informado da gravação e observação da entrevista/grupo– Possibilidade de checar a veracidade das afirmações do pesquisador– Cuidado especial – crianças e adolescentes
ABEP – Associação Brasileira de Empresas de Pesquisa – 2004 www.abep.org
Ética na Prática
•Cordialidade e hospitalidade - pontos muito importantes
– contribuição voluntária e gratuita: • “lanche”, incentivo, deixar à vontade - sinais de respeito
•Necessidade de rapport inicial/aquecimento: grupos e entrevistas
– alguns clientes se irritam: tempo de aquecimento• “perda de tempo”
– mas na realidade é indispensável: “é um tempo bem gasto!!”
• cultura brasileira: é necessário conversar um pouco mais• estabelecer as condições do “contrato” com entrevistados• esclarecimentos técnicos e éticos
– neutralidade e permissividade
ABEP – Associação Brasileira de Empresas de Pesquisa – 2004 www.abep.org
TENDÊNCIAS - ÁREA QUALITATIVASegundo Pat Sabena
•paper de 1999
•Inauguração do capítulo brasileiro da QRCA
ABEP – Associação Brasileira de Empresas de Pesquisa – 2004 www.abep.org
Tendências
• Grande crescimento do setor - importância como negócio• Corrente favorável
– bem em anos ruins e muito bem em anos bons• Expansão das áreas de atuação
– não apenas produtos/bens de consumo– também imagem corporativa, saúde, universidades, etc…
• Maior respeitabilidade, menos “polêmica”– maior reconhecimento como metodologia científica
• 60 anos de história!
• Aliança crescente com pesquisa quantitativa– maior presença em institutos tradicionalmente quanti– auxiliar: elaboração de questionários, complementação de dados
• Tudo cada vez mais rápido– prazos menores, entrega de resultados por meios eletrônicos …
ABEP – Associação Brasileira de Empresas de Pesquisa – 2004 www.abep.org
Tendências
• Mudanças no formato da análise– relatórios mais curtos e extremamente estratégicos– menos verbatim/citações literais da amostra– apresentações em vídeo/multimídia, distantes de relatórios
acadêmicos
• Maior variedade de metodologias e técnicas de coleta de dados
• Mais flexibilidade no tempo de duração de entrevistas/grupos
• Mais etnografia e observação– casa/trabalho do consumidor e pontos de venda
• Aumento no papel da tecnologia– grupos/entrevistas por vídeo-conferências, pesquisa on line
• Pressão para o desenvolvimento de novas técnicas
ABEP – Associação Brasileira de Empresas de Pesquisa – 2004 www.abep.org
Tendências
• Crescente profissionalização– cursos/treinamentos– filiação a associações como ESOMAR, QRCA, AQR, etc…
• Duas categorias de profissionais: dubiedade– aumento de pesquisa qualitativa como consultoria– mas: mais “candidatos” a apenas moderadores
• Amadurecimento da profissão– novas gerações de pesquisadores especializados na área
qualitativa
• Mais projetos internacionais– pesquisa globalizada, colaboração entre países
• Departamentos de pesquisa mais enxutos/menores (empresas)– e tendência crescente de terceirização (institutos)
ABEP – Associação Brasileira de Empresas de Pesquisa – 2004 www.abep.org
Tendências
• Mudança no relacionamento com os clientes– relação de parceria - mais envolvimento/ responsabilidade
• Mais participação dos clientes– observação proativa/acompanhamento da coleta de dados/– debriefs
• Melhores instalações– salas de grupos/entrevistas mais sofisticadas, melhor equipadas
• Aperfeiçoamento das técnicas de recrutamento• Maior ênfase em ética/confidencialidade para os
participantes• Consumidores mais
conscientes/“espertos”/preparados/articulados• Mais “lição de casa” antes de grupos ou entrevistas
– técnicas de ambientação/preparação– pro-atividade dos participantes
ABEP – Associação Brasileira de Empresas de Pesquisa – 2004 www.abep.org
Preocupações/Receios
Ainda segundo Pat Sabena– Valorização exagerada de novidades
• independente do conteúdo
– Tudo cada vez mais rápido MESMO!– Constante necessidade de provar a relevância da quali– Mania de querer quantificar dados qualitativos!– Perigos do telemarketing, identificado como pesquisa– Pesquisa on line:
• será possível desenvolver uma metodologia quali?
ABEP – Associação Brasileira de Empresas de Pesquisa – 2004 www.abep.org
EXERCÍCIOS PRÁTICOS(complementares)
ABEP – Associação Brasileira de Empresas de Pesquisa – 2004 www.abep.org
Exercício prático
Tarefa: listar as possíveisaplicações de pesquisa qualitativa
Checar com a apostila e relacionar como quadro do ciclo de planejamento de marketing
CONTEMPLAR:
Tipos de pesquisas
Problemas/necessidades
Abrangência da Quali
ABEP – Associação Brasileira de Empresas de Pesquisa – 2004 www.abep.org
Objetivo geral: conhecer hábitos
e atitudes do target em relação à categoria de TV
por assinatura
Exercício de planejamento inicial
Tarefa: determinar o desenho amostral do projeto a seguir:
Target: • Mulheres, homens• Assinantes de TV por
assinatura (Net, Direct TV, SKY e TVA)
• Classes A, B e C• Moradores de São Paulo e RJ• Com idades entre 15 e 50 anos
a) Número ideal de grupos
b) Número “viável” de grupos
Definir:
Definição da Amostra
ABEP – Associação Brasileira de Empresas de Pesquisa – 2004 www.abep.org
Técnicas qualitativas
• Exercício prático - Personificação • Tarefa:
Vamos imaginar que uma dessas marcas de cerveja (Skol e Antarctica) se transformou em uma pessoa. Como ela é?– Sexo, idade– O que faz no seu cotidiano, trabalho, estudo, lazer– Com quem vive, como é a sua família, como convive com a família– Como é a sua personalidade, suas qualidades seus defeitos – Como essa pessoa se veste, seu estilo– Como é a casa desta pessoa, cômodos, estilo dos móveis– Ela tem carro? Se tiver que carro tem– O que eu gosto / desgosto nela
ABEP – Associação Brasileira de Empresas de Pesquisa – 2004 www.abep.org
2. Exercício prático – Variação técnica projetiva Cidade
Vamos imaginar uma cidade... Sabemos que em uma cidade há diferentes bairros:O centro – o coração da cidade, a periferia, o centro financeiro, os bairro da moda com lojas de grife, bares e restaurantes, os bairros residenciais, a zona industrial, a parte antiga
A nossa cidade imaginária se chama AVON. Os seus bairros são as categorias/marcas Avon. A nossa tarefa é construir essa cidade distribuindo os bairros, qual marca/ produto é o centro, qual a periferia...
É possível criar novos bairros.
levantar níveis de extensão e elasticidade de uma marca / composição de linha
Técnicas qualitativas
ABEP – Associação Brasileira de Empresas de Pesquisa – 2004 www.abep.org
LEGENDA:
• O centro – o coração A periferia O centro financeiro O bairro antigo O bairro da moda com lojas de grife,
bares e restaurantes O bairro residencial
• A zona industrial
A cidade Avon
N
I994 MAGELL AN GeographixSM Santa Barbara, CA (800) 929-4MAP
M an au s
R u a Fe rr e ira P e n a
R u a L eo n a rdo Ma lc he r
R u a L u is An ton y
Av e n i da E pamin on da s
R u a Mo n s e n h o r C
o u tinh o
R u a De z d e J u lh o
R ua J oa qu im S a rm
e n to
R u a Ra m o s F e r re
ira
R .D. L
iba n ia
R u a Jo a q u im N a b uc o
Av e nid a G e tu lio Va rga s
A ve n id a S e te d e S ete m b ro
Rua M
al Deo dor o
Ru a G
. Mo re ir a
Ru a M
. Di a s
Rua D
r. More ira
A m az on R iver
R ua d o s B a re sR u a M ir an d a L ea oR u a d o s A n d rad e s
R ua Q u in t in o B o c a iu v aR ua J os e P a ra n ag u a
R u a L im a B a c u ri
R u a V is c on de de P o r to Ale g re
R ua Duqu e d e C a x ia s
Categorias/marcas Avon: a
que bairros correspondem?
N
I994 MAGELL AN GeographixSM Santa Barbara, CA (800) 929-4MAP
M an au s
R u a Fe rr e ira P e n a
R u a L eo n a rdo Ma lc he r
R u a L u is An to ny
Av e n id a E pamin on da s
R u a Mo n s e n h o r C
o u tinh o
R u a De z d e J u lh o
R ua J oa qu im S a rm
e n to
R u a Ra m o s F e r re
ira
R .D. L
iba n ia
R u a Jo a q u im N a bu c o
Av e nid a G e tu lio Va rg a s
A ve n id a S e te d e S ete m b ro
Rua M
al Deo dor o
Ru a G
. Mo re ir a
Ru a M
. Di a s
Rua D
r. More ira
A m az on R iver
R ua d o s B a re sR u a M ir an d a L ea oR u a d o s A n dr ad e s
R ua Q u in t in o B o c a iu v aR ua J os e P a ra n ag u a
R u a L im a B a c u ri
R u a V is co nd e d e P o r to A le g re
R ua Duqu e d e C a x ia s
AVON
S s
Técnicas Qualitativas
top related