1 |

Monitorização e Avaliação

Modulo C5

A tradução deste documento foi feita por “Translators Without Borders”, único

responsável pela qualidade e fidelidade ao original desta versão em português.

2 |

Objetivo do módulo

No final deste módulo, você será capaz de:

● Descrever a importância da monitorização e avaliação da comunicação do risco numa situação de emergência para a saúde pública

● Enumerar os principais componentes do enquadramento lógico para avaliação

● Descrever a diferença entre avaliação das actividades e avaliação dos resultados

Foto: WHO/Yu Zhao

3 |

Porquê a monitorização e avaliação (M&A para a comunicação do risco em emergência (CRE)?

● O investimento em termos humanos, financeiros e outros exige que sejamos capazes de provar que alcançámos os resultados

● Ser capaz de medir e comunicar os resultados do trabalho em comunicação do risco, tem uma enorme importância na “confiança” e “credibilidade” – princípios fundamentais da comunicação do risco

● Ao comunicar sobre a eficácia das atividades desenvolvidas, os produtos produzidos etc., mais recursos poderão ser mobilizados para o fortalecimento do trabalho futuro da CRE

Imagem: http://g02.a.alicdn.com/kf/HTB1WVO.KVXXXXcvXFXXq6xXFXXXs/Venda-quente-regra-flex%C3%ADvel-profissional-adapta%C3%A7%C3%A3o-fita-

m%C3%A9trica-costura-Superior-qualidade-medindo-m%C3%A9trica-suave-plano-r%C3%A9gua.jpg

Como medir QUALIDADE?

4 |

O que é monitorização?

● Um processo interno contínuo para garantir que as atividades parte do programa/projeto (ex. a implementação da capacidade em termos de CRE conforme referido na estratégia nacional) estão no bom caminho

● Monitorização das atividades deverá ser feita regularmente

● O processo deverá envolver feedback regular

● Progresso das atividades previstas, utilização dos recursos, resultados atingidos e sistemas institucionais (pessoal, policias, etc.) deverão ser monitorizados

Imagem:

http://www.galilcol.ac.il/pictures/pictures/M&E_1.jpg

5 |

O que é avaliação?

● Forma sistemática de compilar, analisar e utilizar a informação para responder a questões básicas sobre um projeto/programa.

● Pode ser interna, externa ou envolver muitos dos principais intervenientes

● Pode ser feita através de:

– Avaliação do processo: avaliar se a intervenção/modelo foi implementada(o) conforme planeada, se atingiu a população alvo e quais foram os maiores desafios e as estratégias de sucesso utilizadas- Exemplo: As formações em CRE foram completadas conforme planificadas?

– Avaliação de resultados: saber se, e em que medida, ocorreram as alterações esperadas e se essas mudanças podem ser atribuídas às atividades do programa. Exemplo: O pessoal formado foi destacado atempadamente para uma resposta de emergência?

Imagem: http://www.revistadigital.com.br/wp-

content/uploads/2012/06/success2.jpg

6 |

O modelo lógico

● Ajuda a definir a que se destina o programa ou a intervenção. A planificação e a avaliação andam de “mãos-dadas”. Por isso é necessário desenvolver atempadamente um modelo de avaliação lógico, logo no início da fase de planificação.

Impacto

Resultado

Produção

Contribuição

Componentes do modelo lógico

Fonte: Rice Project, Harvard School of Public Health

7 |

As abordagens do modelo lógico

❖ Resultados….as consequências dos

produtos…ex. informação chega ao

público, novos jornalistas reportam os

factos corretamente, as populações

adotam os conselhos de saúde

pública, tais como lavar as mãos,

vacinação, etc

❖ Impacto ….. Contribui para a

diminuição da mortalidade, diminuição

de doentes, diminui os danos

económicos, etc

Avaliação de produção: Impulsionada pela atividade

Avaliação de resultados: Impulsionada pela mudança

❖ Atividades……ex. desenvolvimento

da mensagem, envolvimento das

partes interessadas

❖ Produção........ex. produtos

desenvolvidos, ou quantidade de

atividades de alcance comunitário

efetuadas, ações de formação

realizadas, cartazes distribuídos,

anúncios de TV ou rádio produzidos

e divulgados, número de

conferências de imprensa, etc

8 |

O modelo lógico Evento ou

emergência de

saúde pública

Atividades

Evento ou

emergência de

saúde pública

INFORMAÇÃO

PÚBLICA

através dos canais preferenciais das populações afetadas

MOBILIZAÇÃO EM

MASSA ENVOLVIMENTO PRODUÇÃO RESULTADO

das comunida-des afetadas e em risco através da mobilização social, etc.

da comunida-de, família e indivíduos, inclusive através de influencia-dores

Informação fidedigna chega às pessoas e os rumores são resolvidos

Todas as pessoas em risco são capazes de tomar decisões informadas para atenuar os efeitos da ameaça (perigo)

IMPACTO

Menos mortes,

doenças e perdas

económicas e sociais

9 |

Avaliação da produção

● A Produção envolve as atividades ou serviços produzidos num programa, frequentemente expressas em termos de unidades, isto é, número de materiais IEC produzidos e divulgados, número de pessoas formadas, etc

● No nosso modelo lógico, a produção refere-se às atividades que realizamos e quem alcançamos (grupos-alvo)

10 |

Avaliação de resultados

● Um processo sistemático de recolha, análise e utilização da informação para avaliar a eficácia, importância e o impacto dos objetivos do programa/projeto num determinado espaço de tempo

● Implica medir as alterações em termos de conhecimento, atitude, comportamentos, capacidades, normas e práticas, tais como vacinação

● Mais do que um produto (campanhas de sensibilização, envolvimento das comunidades, material de IEC, anúncios de rádio, etc) é uma necessidade para que se possa produzir um resultado

Campanha de Vacinação Oral da Cólera no

Sul do Malavi, 2015

Foto: WHO/L. Pezzoli

11 |

Preparar a M&A

● Definir os indicadores com base no objetivo do programa/projeto

● Os indicadores são medidas acordadas para avaliar o progresso

● Os indicadores têm de ser comparáveis aos dados/informação de base antes e depois da implementação do programa/projeto

Imagem: http://luciane.com.br/wp-content/uploads/2014/07/Qualidade-2.jpg

12 |

Quais as principais questões?

● O programa/projeto atingiu os seus objetivos?

● O grupo alvo beneficiou do programa/projeto?

● Foi eficiente em termos de custos?

● A melhoria dos resultados pode ser atribuída ao programa/projeto?

● Quais as atividades mais eficazes e quais as menos eficazes?

Imagem: http://www.televendasecobranca.com.br/wp-content/uploads/2015/03/Voce-sabe-quais-sao-as-

habilidades-necessarias-para-oferecer-um-excelente-atendimento-ao-cliente-televendas-cobranca.jpg

13 |

Indicadores

E •Específicos

M •Mensuráveis

A

A •Atingíveis

R •Realísticos

C •Calendarizados

14 |

● Quantitativo – Métodos estruturais para a

recolha de dados incluindo inquéritos às famílias, recolha de dados, inquéritos estatísticos, etc.

Métodos de recolha de dados

● Qualitativo

– Entrevistas aprofundadas, observação, revisão de documentos, avaliação participativa, debates específicos de grupo

Imagem:

htItps://www.google.ch/search?q=indicators&hl=en&source=lnms&tbm=isch&sa=X

&ved=0ahUKEwj_09PT3b3KAhUB1RQKHQ5XBz8Q_AUIBygB&biw=2048&bih=749#

hl=en&tbm=isch&q=Data+collection+methods&imgrc=qq82HO9mDqZ8cM%3A

15 |

Exemplo do quadro lógico de uma resposta de comunicação dos riscos

Avaliação da situação

Envolvimento

comunitário/

mobilização social

Monitorização dos

meios de

comunicação social

Número de meios de

comunicação social

alcançados

Inputs

Recursos Humanos

Sistemas de

comunicação

Treinamento das

partes interessadas

Atividades Produtos Resultados

Desenvolvimento da

mensagem

Partilha da informação,

divulgação

Planificação, direção

estratégica,

implementação

Número de atividades

de alcance

comunitário

realizadas

Número de vezes em

que a informação foi

divulgada

Número de produtos

(brochuras, cartazes)

distribuídos

Número de

organizações

comunitárias

envolvidas

Coordenação da

comunicação

Alcance comunitário,

visitas, reuniões

A informação chega

rapidamente às

diversas audiências

As mensagens são

consistentes

Mudança da opinião

pública, reação

Existe transparência

Alteração da CAP da

população

Remoção das

barreiras à adoção

das mensagens

16 |

Exemplo de um modelo de abordagem de resultados de distribuição de vacinas

Inputs

•Fornecedores, autoridades e planificadores pandémicos participam nos esforços de planificação pandémica

Atividades

•Atividades que encorajam e permitem que os fornecedores, autoridades e planejadores atinjam os objetivos pandémicos comuns

Produto

•Fornecedores, autoridades planejadores alcançam acordos mútuos para distribuição de vacinas

Resultado

•Aumento da disponibilidade de fornecedores para administrar a vacina

Impacto

•Vacinação leva a benefícios sociais e de de saúde

17 |

Avaliação da capacidade de comunicação do risco

● O modelo mais recente para a monitorização e avaliação das capacidades nacionais de comunicação do risco avalia:

– 5 domínios da comunicação do risco : sistemas, comunicação interna e entre parceiros, comunicação pública, envolvimento comunitário, escuta e gestão de rumores

– 5 níveis de capacidade : de nenhuma a capacidade sustentável

Imagem: http://www.cesed.br/portal/wp-content/uploads/2015/04/imagem-mat%C3%A9ria-avaliar-para-melhorar.jpgg

18 |

Quadro lógico da avaliação de capacidades de

comunicação dos risco da OMS

Pontuação

Indicadores CC6.1 Sistemas de

Comunicação do

Risco (Planos,

mecanismos, etc.)

CC6.2 Comunicação e Coordenação da Comunicação Interna e com os Parceiros

CC6.3 Comunicação Pública

CC6.4 Envolvimento Comunicacional com as Comunidades Afetadas

CC6.5 Escuta Dinâmica e Gestão de Rumores

1. Sem capacidade

2. Capacidade Limitada

3. Capacidade

Desenvolvida

4. Capacidade

Demonstrada

5. Capacidade

Sustentável