análise qualitativa com o programa nvivo 9: fundamentos

16
Análise qualitativa com o programa NVivo 9: fundamentos Alex Niche Teixeira QSR NVIVO INDEPENDENT LISTED CONSULTANT, BRAZIL Porto Alegre, maio de 2011 DEPARTAMENTO DE SOCIOLOGIA UFRGS

Upload: alex-niche-teixeira

Post on 05-Jul-2015

2.831 views

Category:

Documents


14 download

DESCRIPTION

Material de apoio utilizado na disciplina de Metodologias Informacionais do Curso de Graduação em Ciências Sociais da UFRGS voltado ao aprendizado de análise qualitativa de texto, som e imagem com o uso do software NVIVO 9.

TRANSCRIPT

Page 1: Análise qualitativa com o programa NVIVO 9: fundamentos

Análise qualitativacom o programa

NVivo 9: fundamentos

Alex Niche TeixeiraQSR NVIVOINDEPENDENT LISTEDCONSULTANT, BRAZIL

Porto Alegre, maio de 2011

DEPARTAMENTO DE SOCIOLOGIAUFRGS

Page 2: Análise qualitativa com o programa NVIVO 9: fundamentos

Um pouco de história

CAQDAS

Sigla em inglês que define o conjunto dos programas de computador

orientados para o auxilio na análise qualitativa: Computer-aided

qualitative data analysis software.

Surgem na virada dos anos de 1970 para 1980, primeiro nos Estados

Unidos e depois com vários fabricantes pelo mundo:

- The Ethnograph

- Alceste

- Kwalitan

- Hyper Research

- WinMax

- Atlas.TI

- NUD*IST

QSR NUD*IST

A primeira versão do software da QSR International chamava-se NUD*IST,

acrônimo de Non-numerical unstructured data indexing, searching and

theorizing, ou seja, indexação, busca e teorização de dados não

numéricos e não-estruturados.

Assim como os similares da primeira geração deste tipo de programas,

tratava-se de um sistema de gerenciamento e inferência de informação

baseado no princípio da codificação de texto visando posterior recuperação

de resultados (princípio do code and retrieve).

Este princípio permanece nas recentes versões destes softwares, embora

tenham sido adicionados de uma série de outros recursos para a análise.

2

Como um programa de

computador para análise de

informações não-numéricas e

não-estruturadas, o NUD*IST

ofereceu à pesquisa qualitativa

um suporte informatizado que

há pelo 20 anos já estava

disponível para a abordagem

quantitativa em pesquisa com

softwares como o SPSS. Como

é sabido nestes programas, os

dados têm que ser

necessariamente estruturados.

No NUD*IST eram bem

evidentes - e um tanto restritas

- as dimensões de tratamento

das informações: uma janela

para os nós que continham as

categorias, ou dimensões de

análise do projeto e outra para

os documentos, tidos como as

fontes empíricas que deveriam

ser transcritas e salvas no

formato TXT (texto sem

formatação).

O programa estava otimizado

para rodar em PCs com sistema

operacional Windows 95.

Muitos destes programas

tornaram-se hoje obsoletos,

mas outros foram

aperfeiçoados e continuam a

ser comercializados como

WinMax (hoje MaxQDA) e

Atlas.TI .

Mais informações em:

http://caqdas.soc.surrey.ac.uk

Alex Niche Teixeira

Análise qualitativacom o programaNVivo 9: fundamentos

Área de

trabalho do

NUD*IST 4.

Page 3: Análise qualitativa com o programa NVIVO 9: fundamentos

Alex Niche Teixeira

Análise qualitativacom o programa

NVivo 9: fundamentos

O NVivo 7 (figura abaixo), além de unificar os recursos do NVivo 2 e do

NUD*IST 6, trouxe aprimoramentos das ferramentas existentes - como os

modelos e gráficos - e novas possibilidades para as buscas e o tratamento

analítico das informações, além da aproximação do layout aos programas

do pacote Office da Microsoft:

Na versão 7 o espaço de

trabalho do NVivo mudou

bastante e ficou muito parecido

com o do Outlook (programa

de emails do Microsoft Office).

A idéia foi tornar a interface do

programa mais familiar aos

usuários acostumados com o

Office (Word e Excel), valendo-

se do fato de que a QSR

International, fabricante do

NVivo, tornou-se “Microsoft

Gold Partner” a partir de 2006.

3

QSR Nvivo

A primeira versão do NUD*IST Vivo (NVivo) foi lançada em 2001,

juntamente com a versão 5 do NUD*IST.

Nesta mesma política de manter dois softwares aparentemente com os

mesmos propósitos, foram ainda lançados paralelamente o NUD*IST 6 e o

NVivo 2 (tela abaixo).

Tinha-se a idéia de

que o NUD*IST era um

pacote mais robusto para

lidar com grandes bases de

informações, enquanto o NVivo

era um programa para

mergulhar mais a fundo em um

menor volume de materiais,

com outras possibilidades de

tratamento, a partir de recursos

mais sofisticados de buscas,

como o uso de tabelas de

atributos, além da visualização

de resultados na forma de

modelos.

O mais provável é que as

limitações de um e outro se

dessem muito mais em função

da capacidade das máquinas

(hardware) disponíveis naquela

época, principalmente em

termos de processamento e

volume de memória RAM.

Page 4: Análise qualitativa com o programa NVIVO 9: fundamentos

4

Antes de começar:

Sempre ter em mente que NVivo não é um oráculo.

Não há resultados sem trabalho.

Algumas operações podem ser automatizadas mas dependem:

- Da abordagem teórico-metodológica;

- De como foi organizado o material empírico;

- Do tipo de resultado que se espera.

não faz mágica,

O NVivo força o envolvimento

do pesquisador com o material

empírico. Exige a organização

do material em eixos temáticos

ou outras formas de

categorização.

Estimula pensar acerca das

informações. Não substitui o

pesquisador, mas potencializa

os resultados da pesquisa

aumentando o alcance e a

profundidade da análise.

O espaço de trabalho do

NVivo 8 não mudou muito em

relação à versão 7

As guias das seções

permaneceram as mesmas,

indicando que a lógica geral de

funcionamento do programa foi

mantida.

As diferenças mais significativas

foram as adições nos menus e

as ferramentas de navegação

de mídia (botões play, stop etc)

em função da possibilidade de

trabalho com fontes

audiovisuais.

Quanto à interface, pode-se

dizer o mesmo do NVivo 9. A

novidade ficou por conta dos

botões de menu ao estilo Office

2007/2010 e a renomeação de

algumas seções por conta de

mudanças na forma interna de

gerenciamento das

informações.

Alex Niche Teixeira

Análise qualitativacom o programaNVivo 9: fundamentos

A nova geração

Texto, som, imagem e mais

Inovações importantes apareceram com a versão 8 do NVivo lançada em

março de 2008, particularmente a possibilidade de trabalhar diretamente

com som e imagens (sem a necessidade de texto transcrito para estas

fontes). Também foram melhoradas as saídas de resultados na forma de

gráficos e surgiram os relatórios exportáveis em HTML para a visualização

de resultados por usuários sem NVivo, diretamente num navegador web.

Na versão 9, planilhas e bancos de dados podem ser importados como

fontes, o que permite, por exemplo, codificar registros de «questões

abertas» em questionários. Além disso as buscas por palavras foram

otimizadas com a inclusão de dicionários de sinônimos para diversas

línguas, inclusive português.

Áreas de

trabalho do

NVIVO 8

(ao lado) e

NVIVO 9

(abaixo).

Page 5: Análise qualitativa com o programa NVIVO 9: fundamentos

5

Todas estas instâncias

podem ser utilizadas de modo

combinado nas buscas,

vinculadas umas às outras e

representadas graficamente em

modelos.

NVivo 9: estrutura geral

Gerenciando as informações

No que diz respeito à construção da base de dados que se pretende

analisar, as três principais instâncias de gerenciamento das informações de

pesquisa em um projeto do NVivo são:

Fontes

Nós e codificação

Classificações e atributos

Fontes

É por onde tudo começa em um projeto. São os materiais empíricos, as

fontes brutas, ou ainda as notas de campo e/ou registros do pesquisador ,

entre outros, em seus diferentes formatos de arquivos compatíveis:

Textos:

DOCX, DOC, RTF, TXT, PDF

Imagens (fotos ou documentos digitalizados):

BMP, GIF, JPG, TIF

Sons:

WAV, MP3, WMA

Videos:

MPEG, AVI, MOV, WMV

Conjuntos de dados:

XLS, XLSX, OBDC, TXT (separado por tabs).

Arquivos em formatos não importáveis (como HTML por exemplo) podem

ser criados como fontes externas e apontar com links para seus locais de

origem para serem acessados.

Uma vez importada, qualquer

fonte pode ser ligada a outras

fontes internas e também

externas (como endereços de

internet ou qualquer outro

arquivo com um endereço

recuperável). As fontes também

podem ser classificadas quanto

às suas características, ou seja,

receber determinados valores

de atributos quando

vinculadas a uma planilha de

classificação (ver p. 8).

As fontes são acessadas na guia

Sources. No espaço acima são

visualizadas as pastas das

fontes internas e externas,

bem como os memos. Na

janela à direita, o conteúdo das

pastas, ou seja, as fontes

propriamente ditas.

No exemplo ao lado está sendo

visualizado um arquivo de

audio em formato MP3

localizado em

//Sources/Internals/Interviews

Alex Niche Teixeira

Análise qualitativacom o programa

NVivo 9: fundamentos

Page 6: Análise qualitativa com o programa NVIVO 9: fundamentos

6

Além do seu nome

(rótulo,) um nó pode

conter definições , assim

como links para memos ou

outros elementos do projeto e

ainda serem relacionados entre

si para formar uma “rede” de

significados com o recurso dos

nós de tipo Relacionamentos.

Os “nós”, podem ser

construídos numa estrutura

hierárquica que fica

armazenada na pasta Nodes

visualizável pelo acionamento

da guia Nodes.

O método manual de

codificação consiste em varrer o

texto em busca de trechos que

correspondam à definição

conceitual contida no nó com o

qual se está trabalhando,

selecionar esta passagem e

“guardá-la” no nó.

Uma das formas de visualizar o

andamento da codificação é

utilizar o recurso das Coding

stripes. Estas também

consistem numa forma de

observar sobreposições de

temas ocorrendo no material

em análise,

Nós e codificação

Os nós (nodes) representam os temas, categorias ou conceitos de um

projeto e servem para armazenar a codificação (coding) do material em

análise.

Códigos são índices de referência adicionados a porções de material

empírico (trechos de texto, porções de fotos, sons e imagens ou ainda

células em uma planilha de dados).

A codificação, portanto, consiste em localizar passagens no material

empírico e a elas atribuir os significados correspondentes aos nós com os

quais estamos trabalhando.

A estrutura padrão da seção Nodes contempla os nodes (destinados à

codificação do material empírico), relationships (orientados ao registro,

sempre aos pares, de relações de sentido entre dois nós, duas fontes, um

nó e uma fonte ou quaisquer outros elementos do projeto) e matrices (que

guardam os resultados das tabelas matriciais de codificação geradas a

partir das Queries)

Assim como as fontes, qualquer nó pode ser atrelado a uma tabela de

classificaçoes e ser marcado conforme atributos particulares..

Juntando fontes, nós e codificação

Qualquer parte de um documento, som ou imagem pode ser codificada tantas vezes quanto necessário em diferentes nós.

As passagens, codificadas não são destruídas ou recortadas, o que permite um contínuo refinamento na análise.

Os nós e sua estrutura podem ser:

- construídos manual ou automaticamente (com auxílio das buscas de texto) com vantagens e desvantagens para um e outro modo;

- definidos a priori, antes do início da codificação, ou durante o processo de análise.

Alex Niche Teixeira

Análise qualitativacom o programaNVivo 9: fundamentos

Page 7: Análise qualitativa com o programa NVIVO 9: fundamentos

Análise qualitativa com o programa

NVivo 8: fundamentos

Anotações

7

Alex Niche Teixeira

Análise qualitativacom o programa

NVivo 9: fundamentos

Page 8: Análise qualitativa com o programa NVIVO 9: fundamentos

8

Classificações e atributos

No NVIVO 9 é possível manter diversas planilhas, isto é, tabelas no formato

linha x coluna, com o intuito de classificar, segundo determinados atributos,

as fontes ou os nós existentes no projeto.

Significa dizer que tanto fontes quanto nós podem ser definidos como

casos endereçados a tabelas (classificações) a fim de serem marcados com

valores de atributos, isto é, informações estruturadas.

Atributos, portanto, são informações estruturadas, variáveis e exclusivas

daquilo que for definido como «caso» em uma planilha de classificação de

fontes ou nós.

Tal como as variáveis em um banco de dados estruturado, os atributos

podem assumir valores nos seguintes formatos:

numérico (exato ou decimal)

texto (seqüência de caracteres)

booleano (sim/não)

data e/ou horário

Uma vez definidos, os atributos servem como elementos nas buscas.

Assim um entrevistado pode ter suas falas categorizadas em nós e suas

informações demográficas registradas na forma de atributos em uma

classificação (node classification). Da mesma forma, artigos de periódicos

podem ser classificados quanto às suas informações bibliográficas (source

classification).

Em qualquer uma situações, as tabelas (ou planilhas) de classificações

podem ser geradas no próprio NVIVO ou serem preparadas num software

como Excel e depois importadas. Classificações geradas no NVIVO podem

também ser exportadas (nos formatos XLSX, XLS e TXT) e servir da base

para análises estatísticas em softwares específicos para este propósito.

Vale lembrar: o NVIVO 9 não disponibiliza qualquer teste estatístico.

O uso deste recurso não é

obrigatório para o

desenvolvimento de um projeto

no NVIVO e antes de mais nada

diz respeito ao desenho da

análise.

Mas se a idéia for, por exemplo,

comparar falas (armazenadas

em nós) de diferentes

entrevistados segundo algumas

de suas características pessoais

(atributos) o uso das

classificações será de grande

valia.

As planilhas de classificações

ficam armazenadas em suas

pastas específicas

(classificações de fontes e

classificações de nós) e podem

ser acessadas na seção

«Classifications».

Alex Niche Teixeira

Análise qualitativacom o programaNVivo 9: fundamentos

No NVIVO 8

existia somente

uma tabela de

atributos para todo o

projeto, a qual se

chamava Casebook.

Page 9: Análise qualitativa com o programa NVIVO 9: fundamentos

Análise qualitativa com o programa

NVivo 8: fundamentos

Anotações

9

Alex Niche Teixeira

Análise qualitativacom o programa

NVivo 9: fundamentos

Sets

Um set consiste em um conjunto de elementos participantes de um projeto no NVIVO, tais como nós, valores de atributos ou fontes de qualquer espécie reunidos sob critérios comuns.

Por este motivo o set é um recurso bastante versátil que pode servir tanto a propósitos organizacionais, como por exemplo manter o controle dos documentos pendentes no processo de codificação, bem como para reunir elementos (por exemplo, entrevistas) que compõem um grupo similar nas respostas sobre determinado tema.

É certo que uma parte das funções desempenhadas pelos Sets pode ser igualmente alcançada como o uso de nós. Mas o Set tem a vantagem de permitir outro olhar, ou modo de cercar e organizar os mesmos elementos numa estrutura hierárquica de codificação mediante uma nova organização que extrapola a linearidade dos nós, sem, no entanto, afetar sua estrutura.

Para criar um set basta apontar para a pasta dos «Sets» dentro de «Collections» e criá-lo, fazendo uso do botão direito do mouse. Para alimentá-lo basta selecionar os elementos que dele participam, ou a partir destas partes selecionáveis, clicar com o botão direito nelas e escolher «Add to Set».

Page 10: Análise qualitativa com o programa NVIVO 9: fundamentos

10

Alex Niche Teixeira

Análise qualitativacom o programaNVivo 9: fundamentos

Caminhos para análise

Consultas

As ferramentas de investigação da base de dados em um projeto do NVIVO

servem tanto para fazer emergir questões como para testá-las.

Pode-se excluir determinadas

palavras desta contagem

alterando a lista das «Stop

words»

As consultas Word Frequency e Text Search podem ser consideradas do

primeiro grupo, isto é, aquelas que prestam-se a explorar inicialmente um

conjunto de textos na medida em que não exigem conteúdo codificado:

O menu de consultas no

NVIVO 9 pode ser acessado a

partir da guia superior

«Explore/New Query» ou com o

botão direito do mouse na área

da consultas (Queries).

As consultas salvas e alguns de

seus resultados ficam

armazenados na guia Queries.

Word Frequency

A contagem de palavras fornece a

lista das “X” palavras mais

freqüentes para um escopo de

texto definido. O resultado pode

ser visualizado como tabela de

frequências, tag cloud, mapa de

palavras, dendogramas ou clusters.

Independentemente da forma de

visualização, cada palavra

apontada fornece acesso às suas

ocorrências no contexto do

material empírico.

Text search

A busca de texto serve para encontrar palavras específicas solicitadas pelo

pesquisador, podendo seu resultado ser salvo como um nó e assim

constituir-se no início do trabalho de codificação a partir do encontro de

palavras-chave. Assim como a Word frequency, os resultados desta busca

podem aparecer na sua manifestação exata ou agrupada com termos

semelhantes de um mesmo radical ou sinônimos.

Page 11: Análise qualitativa com o programa NVIVO 9: fundamentos

Análise qualitativa com o programa

NVivo 8: fundamentos

Anotações

11

Alex Niche Teixeira

Análise qualitativacom o programa

NVivo 9: fundamentos

Page 12: Análise qualitativa com o programa NVIVO 9: fundamentos

12

Alex Niche Teixeira

Análise qualitativacom o programaNVivo 9: fundamentos

Mais Consultas

Coding query

A busca na codificação, como o nome sugere, parte da existência de

material codificado. Permite recuperar o conteúdo de nós de codificação ou

materiais marcados com atributos (busca simples) ou segundo

determinados elementos de filtragem ( busca avançada) que podem ser

outros nós ou atributos com o uso de operadores booleanos.

Matrix coding

As consultas de matrizes exibem resultados dos cruzamentos entre diversos

elementos de um projeto (como nós e atributos) segundo operadores

booleanos (and, or) ou contextuais (near, preceeding, surrounding). Assim

como a coding query, parte do conteúdo disponível nos nós e/ou nos

atributos.

No exemplo ao lado tem-se

uma matriz de insterseção

(operador booleano «AND»)

entre valores de um atributo

(Age group) e alguns nós

(relativos ao tema «Economy»)

Os valores distribuídos nas

células dizem respeito ao

número de códigos de

referências, isto é, porções de

material codificado para cada

um dos elementos

cruzamentos. Estes valores

podem ser visualizados de

outras formas como números

de fontes codificadas, número

de palavras, caracteres etc.

Qualquer matriz de codificação

pode ser visualizada na forma

de um gráfico clicando-se na

guia «Chart» à direita da janela

de visualização.

Compound

As consultas compostas consistem em buscas de texto combinadas com

outras buscas de texto ou nós, segundo operadores booleanos (AND, OR,

NOT) ou contextuais de proximidade (near); precedência (preceeding) ou

envolvimento (surrounding).

Em qualquer uma das situações

os resultados das consultas

podem ser armazenados como

novos nós, suscitando o

refinamento do trabalho inicial

de codificação ou a exploração

de ideias já visando conclusões

de pesquisa.

Page 13: Análise qualitativa com o programa NVIVO 9: fundamentos

Análise qualitativa com o programa

NVivo 8: fundamentos

Anotações

13

Alex Niche Teixeira

Análise qualitativacom o programa

NVivo 9: fundamentos

Page 14: Análise qualitativa com o programa NVIVO 9: fundamentos

14

Alex Niche Teixeira

Análise qualitativacom o programaNVivo 9: fundamentos

Relacionamentos e modelos

Qualquer elemento de um projeto no NVIVO (fonte, nó etc) pode ser ligado

a outro de maneira específica para estabelecer um ou mais

relacionamentos.

Este recurso presta-se a registrar encontros de sentido entre elementos de

um projeto, sejam estes sentidos descritivos ou analíticos, isto é, seja para

apontar uma relação de parentesco entre dois entrevistados ou para anotar

a interação significativa entre nós.

Cabe ao pesquisador determinar o tipo de relacionamento e definir os

elementos nele envolvidos. Um mesmo elemento pode ser relacionado a

outros tantas e quantas vezes se achar necessário, desde que isso seja feito

aos pares.

Como um nó que é, um relacionamento pode receber conteúdo por meio

de codificação. Isto pode ser crucial no caso de um relacionamento de

sentido entre elementos para que o referencial empírico (as passagens de

texto, som ou imagem) que suscitou o achado daquela relação fique

«amarrada» ao item que a representa no projeto (o nó de relacionamento).

O conjunto dos pares de relacionamentos funciona como um mapa

conceitual que pode suscitar novas questões para análise ou sintetizar

conclusões.

Entretanto, para fins do processo interpretativo mais geral, a apreensão do

conjunto dos relacionamentos, é pouco otimizada quando se recorre à

visualização da lista, na área dos relacionamentos. Mas há como escapar a

esta linearidade: os modelos são uma forma gráfica dinâmica para visualizar

e analisar relacionamentos em sua complexidade, bem como outros itens

do projeto.

Os modelos podem ser criados,

gerenciados e acessados para

edição a partir da seção

Models.

Para adicionar um item do

projeto a um modelo basta

arrastá-lo até a área de

visualização.

A disposição gráfica dos

elementos de um projeto nos

modelos não os torna

estanques, isto é, a qualquer

momento é possível modificar

sua posição, remover ligações e

visualizar o conteúdo de texto,

som ou imagem daquele

documento ou nó que está

sendo graficamente

representado.

A lista de relacionamentos é

construída armazenada na área

dos Nodes na pasta

Relationships, a partir da

seleção do par de elementos

relacionados e utilizando de

tipos de relação pré-definidos

pelo pesquisador.

Os tipos de relacionamento

devem ser criados (nomeados)

na pasta Relationship Types

da área Classifications e

podem variar quanto à

característica (associative, one

way, two way).

É possível criar vários modelos num mesmo projeto, o que pode servir,

entre outros usos, para comparar diferentes estágios de uma

pesquisa.Qualquer modelo pode ser exportado em formato JPEG para ser

incluído como figura em uma apresentação ou documento de texto.

Page 15: Análise qualitativa com o programa NVIVO 9: fundamentos

15

A partir

o menu «Explore» pode-se

criar rapidamente gráficos

relativos ao material codificado.

Pode-se ainda explorar relações

entre a elementos do projeto

utilizando-se as «Cluster

Analysis», os «Tree maps» ou os

«Graphs», aproveitando estas

saídas como ponto de partida

para criação de outros

elementos dinâmicos mais

complexos, como modelos.

da ferramenta «Chart»

n

Outras visualizações

Gráficos e diagramas

No NVIVO 9 há diversas possibilidades de representação dos resultados de

buscas em gráficos que podem ser exportados como figuras, tal como os

modelos.

Relatórios em HTML

Uma boa alternativa para divulgar os resultados finais ou comunicar o

andamento da análise entre os membros da equipe que pesquisa que não

disponham do NVIVO é a emissão de relatórios no formato HTML que

pode ser visualizado em qualquer navegador de internet.

Alex Niche Teixeira

Análise qualitativacom o programa

NVivo 9: fundamentos

Para, por exemplo, exportar o

conteúdo de um nó codificado

em HTML basta clicar com o

botão direito do mouse sobre o

nó e selecionar «Export item».

As páginas HTML exportadas

fornecem suporte a uma

navegação completa no

material trabalhado sem que,

no entanto, este possa ser

editado.

Page 16: Análise qualitativa com o programa NVIVO 9: fundamentos

Requisitos para rodar o NVivo 9*

* Conforme recomendação oficial do fabricante.

Sistema:

Windows 7

Windows Vista com Service Pack 1

Windows XP com Service Pack 2

Processador:

2.0 Ghz Intel Pentium ou mais

Memória RAM:

2 GB ou mais

Monitor:

1024 x 768 pixels de resolução ou mais

Disco rígido:

2 GB livres

Recomendável conexão de internet

Alex Niche TeixeiraQSR NVIVOINDEPENDENT LISTEDCONSULTANT, BRAZIL

Departamento de SociologiaUFRGS

[email protected]

Análise qualitativacom o programaNVivo 9:fundamentos

Aqui vale uma dica de usuário

experiente: o NVIVO é um

software poderoso e como tal

consome muitos recursos do

sistema.

Não economize se estiver

pensando em montar ou

adquirir um equipamento para

rodar a pleno projetos mais

volumosos. Quanto mais

capacidade de processamento

(processadores Intel i7), volume

de memória (4GB ou mais) e

velocidade de disco rígido

(10000 RPM ou discos tipo

SSDs) melhor.

Instalar o NVIVO em um

netbook pode até parecer

funcionar inicialmente, mas as

primeiras tentativas de rodar

testes mais sofisticados

certamente reservará surpresas

desagradáveis.