1

Módulo Planejamento e Avaliação de Ação em Saúde

Aula 05 Avaliação das ações em saúde

Tópico 01 Introdução à aula

Olá, Pessoal! Vimos até aqui que o ato de planejar é algo dinâmico já que atua sobre

uma realidade que está em constante transformação. Assim sendo, grande importância

tem um sistema de gestão que promova um acompanhamento e avaliação desse

processo, propondo os ajustes necessários para a real efetividade do plano de ação

proposto. É sobre isso então que discutiremos nessa aula, sobre a importância do

processo avaliativo e dos métodos de avaliação existentes. Vamos lá?

Constantemente, no dia a dia, estamos avaliando nossas ações

para organizar atividades e tomar decisões. Por exemplo: com

que roupa vou sair? Devo continuar meu curso de francês? Devo

ir primeiro ao supermercado ou a farmácia? Devo estudar ou

assistir TV? Dessa maneira, a avaliação está presente também em

nossa rotina profissional, com questões do tipo: as mudanças no

serviço de saúde tem conseguido responder as necessidades das

pessoas? Por que o número dos casos de dengue tem

aumentado?

Porém, para esse tipo de avaliação no cenário profissional e científico, não podemos

contar só com a intuição, mas precisamos de um método estruturado que nos permita

aferir os efeitos de uma intervenção, podendo fazer mudanças caso se perceba a

necessidade.

Dessa maneira, quando pensamos a avaliação no Sistema Único de Saúde - SUS, maior

relevância ainda ganha o processo avaliativo já que se trata de um sistema de saúde

complexo, com gestão descentralizada, recursos limitados e necessidade de controle

dos gastos. Além do fato deste encontrar-se inserido em um país que apresenta um

perfil epidemiológico complexo e diferente em cada região. Dentro dessa realidade,

fazem-se necessárias informações sobre o seu modo de funcionamento, qualidade,

efetividade, segurança e satisfação do usuário que nos levem a tomadas de decisões

importantes para a melhoria da qualidade da atenção a saúde ofertada.

Mas o que é avaliar?

Avaliar consiste fundamentalmente em fazer um julgamento de valor sobre

uma intervenção empregando um dispositivo que permita fornecer

informações cientificamente válidas e socialmente legítimas sobre uma

2

intervenção ou qualquer um de seus componentes, considerando os diferentes atores

envolvidos que possam ter julgamentos diferentes, de modo a revelar a posição sobre

a intervenção e construir (individualmente ou coletivamente) um julgamento que possa

se traduzir em ações.

(Champagne et al, 2009)

Objetivos da Avaliação

Segundo Contandriopoulos e cols (2008), o processo avaliativo pode apresentar

objetivos de natureza variada e, por vezes, dicotômicos entre si. Estes podem ainda

ser oficiais e oficiosos, explícitos e implícitos, consensuais e conflitantes, aceito por

todos os atores ou somente por alguns. São eles:

Ajudar no planejamento e na elaboração de uma intervenção (objetivo

estratégico);

Fornecer informação para melhorar uma intervenção no seu decorrer (objetivo

formativo);

Determinar os efeitos de uma intervenção ao seu final para decidir se ela deve

ser mantida, transformada ou interrompida (objetivo somativo);

Utilizar o processo de avaliação como um incentivo para transformar uma

situação injusta ou problemática, visando o bem estar coletivo (objetivo

transformador);

Contribuir para o progresso dos conhecimentos, para elaboração teórica

(objetivo fundamental)

Como já falado, existem, além desses, os objetivos oficiosos ou implícitos, que

dependem diretamente dos interesses ou posição do ator que avalia. Ou seja, um

administrador pode, através de um processo avaliativo, querer adiar ou legitimar uma

decisão, por exemplo, ou ainda aumentar seu poder e controle sobre a situação. Já um

avaliador pode querer adquirir mais conhecimentos sobre o assunto ou ganhar uma

promoção.

Leitura complementar Para saber mais sobre avaliação, leia o texto sobre o “Histórico da Avaliação” e conheça um pouco mais sobre as quatro gerações do processo avaliativo ao longo do tempo.

O campo da avaliação é complexo e dele, ao iniciarmos um processo avaliativo,

surgem diversos questionamentos, do tipo: o que, como e quando avaliar? Diante

dessas perguntas, precisamos fazer escolhas quanto à abordagem, método e desenho

da avaliação a ser utilizada. E é sobre isso que conversaremos no próximo tópico.

3

Aula 05 Avaliação das ações em saúde

Tópico 02 Tipos de Avaliação

Depois de compreendermos o que é avaliar e seus objetivos, cabe agora

descobrimos um pouco mais sobre os possíveis tipos e desenho avaliativos. A

escolha de que avaliação utilizar vai depender de fatores como o objeto a ser

avaliado, os objetivos da avaliação, dos níveis, atributos e dimensões da

análise. Mas para isso, precisamos conhecer um pouco mais sobre as diversas

abordagens, métodos e desenhos avaliativos.

Abordagem Metodológica

Avaliação normativa Na avaliação normativa, o objeto avaliado é julgado tendo como referencia critérios e normas já existentes. Ou seja, consiste em fazer um julgamento de um programa, levando em consideração os recursos empregados e sua organização (estrutura), os serviços ou bens produzidos (processo), e os resultados obtidos comparando-os à padrões já estabelecidos. São muito utilizadas para apoiar gestores e profissionais na rotina dos serviços e é realizada por pessoas envolvidas no programa (avaliador interno). Podem ainda ser encontradas como um dos passos dentro de uma pesquisa avaliativa.

Pesquisa Avaliativa A grande característica da pesquisa avaliativa é a utilização de métodos científicos. Ou seja, aqui não temos uma simples comparação do que existe com normas e critérios pré-existentes, mas a utilização de métodos para avaliar a pertinência, os fundamentos teóricos, a produtividade, o efeito, o rendimento e as relações existentes entre a intervenção e o contexto no qual se situa o programa avaliado. A pesquisa avaliativa consistirá então em fazer uma ou várias dessas análises. Ela pode ter diversas finalidades e, por isso, faz-se importante considerar a perspectiva dos diferentes atores envolvidos na intervenção. São necessários avaliadores mais experientes e que não necessariamente estejam de antemão envolvidos no processo (avaliadores externos).

Além dessa classificação, outra tipo de abordagem possível diz respeito a

posição do avaliador, ou seja, se este se encontra dentro ou fora da

organização que pretende ser avaliada ou que solicitou a avaliação. Nesse caso,

temos dois tipos de avaliação:

4

Avaliação externa: quando o avaliador ou a equipe de avaliação não faz parte da organização que abriga a intervenção a ser avaliada, ou seja, tal avaliador é contrato somente para esse fim. O avaliador, nesse caso, deve se apropriar melhor da intervenção, já que não participou de sua implementação. Porém, nesse caso, é mais fácil manter-se imparcial, fator indispensável para uma boa avaliação. Avaliação interna: quando o avaliador ou a equipe de avaliação faz parte da organização responsável pelo programa a ser avaliado. No caso, existe uma grande familiaridade do avaliador com a intervenção que irá avaliar, o que pode ser indispensável em determinados casos. Porém, mais difícil manter a imparcialidade no processo avaliativo.

Métodos Avaliativos

Avaliação somativa A avaliação somativa acontece ao final da intervenção, buscando avaliar os efeitos e produtos desta. Importante para gestores decidirem pela manutenção, ampliação ou finalização da intervenção analisada. Nesta avaliação, as informações sobre custos e resultados são muito relevantes. Este tipo de análise foca no produto final, desconsiderando todo processo da intervenção. Porém, pode ser útil se o objetivo desta for avaliar, por exemplo, se estamos atendendo mais pessoas na Unidade Básica (acesso).

Avaliação formativa A avaliação formativa pode ser realizada em qualquer momento de uma intervenção, pois tem por finalidade ajustar ações e rumos. Pode começar desde a fase de elaboração da intervenção, com o objetivo de melhorar o seu desenho e incluir um modelo de acompanhamento e avaliação de todo o processo de implantação. Este tipo de avaliação tem assim como objetivo o aperfeiçoamento de um programa, diagnosticando suas vulnerabilidade e fragilidades.

DESENHOS AVALIATIVOS

Avaliação quantitativa Tipo de avaliação que coleta informações expressa em termos numéricos, analisadas estatisticamente e cujas conclusões são apoiadas na intensidade dos efeitos e significância das relações estatísticas.

5

Avaliação Qualitativa Tipo de avaliação que usa, para coleta de dados, técnicas de entrevistas e observações da realidade. Sendo a análise e registros desses mesmos dados apresentados em forma de narrativas.

Hoje em dia já é consenso entre estudiosos da avaliação que o uso de métodos

qualitativos e quantitativos, na mesma avaliação, torna-a mais consistente.

Leitura complementar

Na saúde, temos ainda duas técnicas metodológicas muito utilizadas para a avaliação dos serviços e ações em saúde. Saúde elas: condição traçadora ou marcadora e evento sentinela. Saiba mais lendo o texto Estratégias metodológicas avaliativas em saúde.

Aula 05 Avaliação das ações em saúde

Tópico 03 Passos de uma avaliação

Nem todos têm habilidade e experiência em técnicas avaliativas. Dessa

maneira, apresentaremos agora sete passos importantes para serem

considerados quando se tem como meta a avaliação de um programa.

Passos

1º. Passo: Identificar os grupos de interesses

2º. Passo: Definir os propósitos da avaliação

3º. Passo: Descrever o programa

4º. Passo: Definir as questões da avaliação

5º. Passo: Coleta e análise de dados

6º. Passo: Comunicação dos resultados

7º. Passo: Utilização dos resultados

6

1º. Passo: Identificar os grupos de interesses

Os grupos de interesses são pessoas ou grupos que de alguma forma serão afetados

por um processo avaliativo. Dessa maneira, fica claro que diversos públicos podem ter

interesse nos resultados de uma mesma avaliação e o engajamento dos diversos

segmentos envolvidos é importante tanto para o sucesso do processo avaliativo,

quanto para a credibilidade dos resultados.

Dessa forma, qualquer esforço para se avaliar um programa deve considerar os

diversos valores dos envolvidos/interessados tanto no programa, quanto na avaliação ,

de forma que as perspectivas de cada um sejam compreendidas.

2º. Passo: Definir os propósitos da avaliação

Um processo avaliativo pode ter mais de uma função, sendo necessário que

estejam claras todas as reais e principais motivações desse processo. Em geral,

faz-se uma avaliação para: ajustar o programa para que melhor atenda a seus

objetivos, ou seja, aperfeiçoando-o (avaliação formativa); para decidir sobre

sua manutenção, ampliação ou encerramento (avaliação somativa) ou para

contribuir com o avanço de conhecimentos.

Esses princípios gerais devem ser detalhados para que fique bem claro o que

levou a determinada avaliação, já que esse passo é de fundamental importância

para a formulação das perguntas avaliativas.

3º. Passo: Descrever o programa

Para se avaliar bem um programa é necessário que sua estrutura seja

totalmente compreendida pelos avaliadores e grupos de interesse, ou seja, que

os aspectos centrais do programa ou serviço estejam claros para todos os

sujeitos envolvidos. É necessário assim, estabelecer consenso sobre o que se

está avaliando, descrevendo as operações realizadas pelo programa e os

recursos utilizados. Além de se estabelecer ligações entre os objetivos

essenciais e os meios para obtê-los.

7

Algumas perguntas são norteadoras desse passo: quais são os problemas

enfrentados pelo programa? Qual o seu público alvo? Em que contexto social e

político ele está inserido? Que atividades são desenvolvidas? Quais suas metas?

Quais são os seus produtos?

Para subsidiar tal descrição, podemos fazer uso de documentos do serviço,

discussões grupais e observações em campo, dentre outros meios. Porém,

nunca se deve esquecer que a realidade é dinâmica e o objeto descrito sofrerá

mudanças com o tempo, implicando revisões periódicas a descrição inicial.

4º. Passo: Definir as questões da avaliação

Esse é um passo importante para a boa qualidade dos resultados de uma

avaliação já que a qualidade de uma resposta (resultado) depende diretamente

do teor e pertinência da pergunta realizada. Dessa maneira, esse passo é

decisivo para o sucesso de nosso processo avaliativo, pois perguntas mal

formuladas, ou que não representem verdadeiramente as questões dos grupos

de interesses, ou ainda que não levem em conta os recursos e o tempo

disponíveis conduzirão a avaliação ao fracasso parcial ou completo.

Uma boa pergunta deve assim reduzir a incerteza atual, tocar nos pontos

críticos do projeto, considerando sua importância para os diferentes atores,

além de fornecer subsídios para a tomada de decisões. Nesse sentido, para a

definição das perguntas, podemos estabelecer duas etapas:

1ª. explosão de ideias, na qual os vários grupos envolvidos no processo

avaliativo lançam suas ideias, indicando quais perguntas deveriam nortear a

avaliação.

2ª. escolha das perguntas que farão parte da avaliação, através dos seguintes

critérios: pertinência em relação ao objeto avaliado, capacidade de levantar

informações importantes, grau de importância para um ou mais grupos de

interesse, além recursos e tempo requeridos para responder a elas.

8

5º. Passo: Coleta e análise de dados

Após definidas as questões da avaliação, é hora de escolhermos quais

informações são necessárias para dar-lhe respostas, além de definir também de

como e onde estas informações podem ser obtidas. Esse passo exige do

avaliador um pouco mais de conhecimento acerca de metodologia de pesquisa

para que possa traçar os melhores caminhos e desenhos para se buscar tais

informações.

Aqui deve se definir se a pesquisa será qualitativa ou quantitativa, além de

escolher se será feito uma avaliação somativa, somente ao final do processo,

ou formativa, em diferentes momentos durante toda a intervenção. Cabe

também classificar a avaliação em normativa ou em pesquisa avaliativa. Essas

escolhas dependem também dos referenciais escolhidos e que darão base a

avaliação.

É necessário ainda estabelecer qual será a técnica de coleta de dados utilizada,

que está relacionada ao desenho escolhido para a avaliação. Temos assim a

análise de documentos; entrevistas com informantes chaves; observação

sistemática, livre ou participativa; entrevistas individuais ou grupais; grupos

focais ou ainda aplicação de questionários.

Após coletadas, as informações devem ser analisadas e interpretadas segundo

sua natureza qualitativa ou quantitativa, seguindo-se um julgamento sobre o

significado dos achados relativos ao programa avaliado, o que vermos um

pouco mais no próximo tópico 4 desta aula.

6º. Passo: Comunicação dos resultados

É necessário agora dar visibilidade ao trabalho realizado e aos resultados

obtidos. Para isso, deve-se quando possível fazer mais de um relatório, com

linguagens diferentes, de modo que torne o produto final acessível a todos os

interessados. Ou seja, em saúde, deve ser divulgado não só a gestores e

profissionais, mas também, de forma clara, aos usuários do sistema de saúde.

9

Tal relatório deve apresentar desde os propósitos da pesquisa, perguntas

definidas, métodos e achados, como também o julgamento dos avaliadores com

base em critérios e indicadores definidos. Faz-se necessário também apontar os

pontos fortes e fracos do programa ou serviço avaliados e o real contexto em

que se efetivou o processo avaliativo.

7º. Passo: Utilização dos resultados

Para maior credibilidade de todo o processo avaliativo, faz-se importante que os

resultados gerados sejam agora utilizados para a tomada de decisões e não

engavetados. A garantia desse momento deve ser construído desde o início do

processo avaliativo, com a seriedade na realização de cada etapa e na geração

de informações úteis e aplicáveis a realidade.

Aula 05 Avaliação das ações em saúde

Tópico 04 Uso de indicadores e critérios para avaliação

Um importante momento em um processo avaliativo é a análise dos dados

coletados, ou seja, o momento de examinar, categorizar, classificar e testar

para dar respostas as proposições iniciais do estudo. Aqui trataremos sobre a

análise das pesquisas normativas, ou seja, as que se utilizam de padrões pré-

determinados para estabelecer uma comparação com padrões estabelecidos, já

que as pesquisas avaliativas atuam mais investigando os fatores que acarretam

determinada situação.

Entretanto, todos os processos avaliativos produzem informações que devem

ajudar na produção de conhecimento, na melhoria das intervenções, na

formação dos envolvidos e na realização de julgamentos capazes de contribuir

com a tomada de decisão.

Julgamento de Valor

Os julgamentos são declarações sobre o mérito do programa, sua validade e

seu significado. São realizados a partir de comparações com padrões diversos

selecionados anteriormente. Ou seja, ele se dá a partir da confrontação entre o

objetivo da avaliação e um referencial que poderá ser os próprios objetivos

10

iniciais do programa, as normas profissionais ou o desempenho de outro

programa similar.

Cabe aqui alertar que poderemos ter julgamentos diferentes ou conflitantes

realizados pelos diversos interessados, já que esses podem possuir motivações

divergentes.

Quando falamos de padrões pré-definidos, precisamos apresentar aqui os

critérios e indicadores, ferramentas utilizadas para não apenas descrever um

programa, mas para também estabelecer um julgamento sobre o objeto da

avaliação.

Critério

Constitui em um atributo, aspecto de estrutura, processo ou resultado utilizado

para mensurar o programa ou algum de seus componentes. Por meio deles é

que os objetivos iniciais de um programa são descritos em termos

quantificáveis ou interpretativos, já que também podem ser de caráter

qualitativo.

Indicador

Definido como uma medida ou fator quantitativo ou qualitativo, empiricamente

conectado ao critério, que estabelece meio para medir a ocorrência de um

fenômeno. Serve para descrever um comportamento, porém nunca será o fato

em si, mas apenas uma aproximação com o fenômeno.

Por exemplo, se quisermos avaliar a aceitação de pessoas vivendo com HIV,

termos provavelmente um problema já que se trata de um evento complexo.

Mas podemos avaliar essa aceitação a partir de indicadores mais simples,

como: percentual de pessoas que aceitam dar a mão a um portador de HIV,

compartilhar utensílios de mesa e abraçar portadores do vírus.

Os indicadores quantitativos podem ser do tipo:

- contagem simples: contagem numérica do número de ocorrência de

determinado evento sem um denominador

- taxas ou coeficientes: medidas de frequência de um evento durante um

determinado período de tempo. Expressam medidas de risco, a ocorrência de

11

determinado evento em uma população, considerando tempo e lugar. Ex:

coeficiente de mortalidade infantil

- proporções: apresentação proporcional de um evento num determinado

conjunto de eventos, ou seja, o numerador está contido no denominador e os

valores são expressos em porcentagem. Ex: proporção de nascidos vivos com

baixo peso ao nascer

- razões: produzem informações a partir de comparações das ocorrências de

eventos de natureza diferentes, assim o numerador não está incluído no

denominador. Ex: Razão de mortalidade materna, ou seja, número de óbitos

em mulheres por causas maternas em determinado local e período sobre os

nascidos vivos no mesmo local e período.

Exemplo

EVENTO CRITÉRIO INDICADOR

Casos de hanseníase detectados precocemente

Detecção precoce de casos % de pacientes com grau de incapacidade

Evolução da mortalidade

infantil

Tendência da mortalidade infantil Mortalidade infantil

Estrutura das equipes de saúde bucais no Saúde da

família

Presença de consultório com equipamento básico no Saúde da

Família

Proporção de consultórios com equipamentos básicos no Saúde

da Família

Nessa aula, conhecemos a importância do processo avaliativo, os tipos de avaliação e os passos para a construção desse processo. Na próxima aula, é hora de compreendermos um pouco mais sobre como acontece o planejamento e a avaliação no sistema de saúde brasileiro. Até lá!

12

Aula 05 Avaliação das ações em saúde

Tópico 05 Referências

CHAMPAGNE, F. et al. L’évaluation dans le domaine de la santé: concepts et methods.

In: Brousselle, A. et al. L’évaluation: concepts et methods. Montréal: Les Presses

de L’Université de Montreal, 2009.

SAMICO, I. et al (org). Avaliação em Saúde: bases conceituais e operacionais. Rio

de Janeiro: Medbook, 2010. 196p.

FURTADO, J. P. Avaliação de programas e serviços. In: CAMPOS et al (org). Tratado

de saúde coletiva. São Paulo: Hucitec; Rio de Janeiro: Editora Fio Cruz, 2006. Pag:

715-740.