Ferramenta de Avaliação de Rotina da Qualidade de Dados

(ARQD)

MEASURE Evaluation

Ferramenta de Auditoria de Qualidade de Dados criada pelo Projeto do Fundo Global, MEASURE Evaluation, outros parceiros

Objetivo de avaliar a qualidade de dados para financiamentos baseados em desempenho

Utiliza a metodologia GAVI DQA(AQD) para avaliar a exatidão de dados de cobertura de imunização

Técnica de Amostragem por Conglomerados

Estimativa de qualidade de dados a nível nacional

Dois componentes: 1) Verificação de dados

2) Avaliação do sistema

Programas/projetos expressaram a necessidade de uma ferramenta para utilizar como auto-avaliação, capacitação e preparação para auditorias externas

Evolução da ferramenta ARQD

AVALIAÇÃO DA QUALIDADE DE DADOS

FERRAMENTA DE AUDITORIA DA

QUALIDADE DE DADOS (AQD)

FERRAMENTA DE AVALIAÇÃO DE ROTINA

DA QUALIDADE DE DADOS (ARQD)

Versão Auditoria…

Avaliação pela agência financiadora

Método padrão para implementação

Realizada pela equipa de auditoria externa

Limitada participação do Programa/Projeto nas recomendações feitas

Versão Auto-Avaliação...

Simplificada, com base na versão de auditoria

Utilização flexível pelo programa, equipa de IE (Informação Estratégica) para monitorar e supervisionar ou em preparação para uma auditoria externa

Auto-avaliação, pelo programa, do seu próprio sistema de M&A

O programa elabora e implementa o seu próprio plano de ação

A equipa de IE pode monitorar a qualidade dos dados entre os parceiros num país

Utilização das versões de Auditoria e Auto-Avaliação/Rotina

Objectivos da ARQD

OBJETIVOS:

• VERIFICAR rapidamente 1) a qualidade dos dados divulgados em referência aos indicadores chave nos centros selecionados; e 2) a capacidade dos sistemas de gestão de dados para recolher, gerir e divulgar dados de qualidade.

• IMPLEMENTAR medidas através de planos de ação adequados para reforçar o sistema de gestão e divulgação de dados e melhorar a qualidade dos dados.

• MONITORAR o melhoramento da capacidade e do desempenho do sistema de gestão e divulgação de dados, para produzir dados de qualidade.

Modelo Conceitual de ARQD

Dados de Qualidade

Unidade de M&A

Níveis Intermediários de Agregação(Ex: Distritos, Regiões)

Pontos de Serviço

Ge

stã

o d

e D

ad

os

e

Sis

tem

a d

e R

ela

tório

s

NÍ V

EIS

DE

RE

LA

TÓ

RIO

S

Dimensões da Qualidade (Anexo 1, Quadro 1)

Exactidão, Totalidade, Fiabilidade, Pontualidade, Confidencialidade, Precisão, Integridade

Capacidades, Funções e Responsabilidades de M&A

Formação

Requisitos de Divulgação dos Dados

Definições de Indicadores

Fomulários/Ferramentas para Recolha e Divulgação dos Dados

Processos de Gestão de Dados

Mecanismos e controlos da Qualidade dos Dados

Ligações com o sistema nacional de relatórios

I

II

III

IV

V

VI

VII

VIII

Componentes Funcionais Necessários de um Sistema de Gestão de Dados para Assegurar a Qualidade dos Dados

(Anexo 1, Quadro 2)

Dados de Qualidade

Unidade de M&A

Níveis Intermediários de Agregação(Ex: Distritos, Regiões)

Pontos de Serviço

Ge

stã

o d

e D

ad

os

e

Sis

tem

a d

e R

ela

tório

s

NÍ V

EIS

DE

RE

LA

TÓ

RIO

S

Dimensões da Qualidade (Anexo 1, Quadro 1)

Exatidão, Totalidade, Fiabilidade, Pontualidade, Confidencialidade, Precisão, Integridade

Capacidades, Funções e Responsabilidades de M&A

Formação

Requisitos de Divulgação dos Dados

Definições de Indicadores

Fomulários/Ferramentas para Recolha e Divulgação dos Dados

Processos de Gestão de Dados

Mecanismos e controlos da Qualidade dos Dados

Ligações com o sistema nacional de relatórios

I

II

III

IV

V

VI

VII

VIII

Componentes Funcionais Necessários de um Sistema de Gestão de Dados para Assegurar a Qualidade dos Dados

(Anexo 1, Quadro 2)

A ARQD foi concebida para ter flexibilidade em sua utilização e pode desempenhar várias funções:

Verificações de rotina da qualidade de dados como parte de uma supervisão contínua de apoio

Avaliações iniciais e de seguimento dos sistemas de gestão e divulgação de dados – medição das melhorias de desempenho no decorrer do tempo:

Fortalecimento da capacidade técnica dos profissionais do programa em gestão e divulgação de dados:

Preparação para uma auditoria formal da qualidade de dados·

Avaliações externas realizadas por parceiros, outros intervenientes

Funções da ARQD

Normalmente, a ARQD pode ser implementada em seis etapas:

Identificar o objetivo da ARQD

Selecionar os níveis e centros a serem incluídos

Identificar indicadores, fontes de dados e período dos relatórios.

Realizar visitas aos pontos de prestação de serviço / centros.

Examinar os resultados e as conclusões.

Elaborar um plano de reforço do sistema, incluindo medidas de seguimento.

Etapas de implementação

PREPARAÇÃO

FASE 1

IMPLEMENTAÇÃO

FASE 2

PLANO DE AÇÃO

FASE 3

SEGUIMENTO

FASE 4

2. Definir os indicadores, as fontes de dados e o período

5. Verificar os dados

4. Avaliar o sistema de gestão de dados

1. Definir a abrangência da AQD

3. Identificar e notificar aos pontos de prestação de serviço

6. Resumir as conclusões e elaborar o plano de ação

7. Implementar as atividades e realizar o seguimento

A implementação é realizada na Unidade de M&A, nos pontos de prestação de serviços e nos níveis intermediários de agregação, dependendo da abrangência da AQD

Cronologia e etapas da ARQD

DOENÇA INDICADORES PERÍODO DO RELATÓRIO

VIH/SIDA1.Número de pacientes a

tomar ARV Período de 3 meses

[1-Nov-05 / 31-Jan-06]Valores

nacionais

Tuberculose

2.O número de casos de TB com escarro positivo registados em DOTS, os quais tenham sido tratados com êxito

Período de 3 meses[1-Out-04 31-Dez-04]

Valores nacionais

Malária

3.Número de mosquiteiros tratados com insecticida (MTI) distribuídos (ou seja, o número de cupões resgatados)

Período de 6 meses

[1-Nov-2005 / 30-Abr-2006]

Valores divulgados

para o Fundo Global

Exemplo: Seleção de indicadores

Verificação de dados

Análise de documentação

Recontagem dos resultados – rastrear e verificar

Verificações cruzadas – comparar com fontes de dados alternativos

Desempenho na divulgação de dados

Pontualidade, totalidade, disponibilidade (nível intermediário e superior)

Avaliação do sistema

Há elementos de estrutura implementados para assegurar a qualidade dos dados divulgados?

Metodologia da ARQD

■ OBJETIVO: Avaliar em escala limitada se os Pontos de Prestação de Serviços e os Centros Intermediários de Agregação estão a recolher e divulgar dados de forma precisa e pontual.

■ A etapa de verificação de dados ocorre em dois estágios:

- Verificações aprofundadas nos Pontos de Prestação de Serviços; e

- Verificações de seguimento nos Níveis Intermediários de Agregação (Distritos, Regiões) e na Unidade de M&A.

Rastrear e verificar os dados referentes

aos indicadores

Unidade de Gestão de

M&A

Pontos de Prestação de

Serviços / Organizações

Níveis Intermediários de Agregação

(ex., Distrito, Região)

Rastrear e verificar os resultados divulgados

Metodologia da ARQD Componente de verificação de dados

Verificação de dados da ARQD

Centro de Prestação de Serviços 5

Relatório mensal

No. ARV 50

Centro de Prestação de Serviços 6

Relatório mensal

No. ARV 200

Documento-Fonte 1

Documento-Fonte 1

Distrito 1

Relatório mensal

CPS 1 45

CPS 2 20

TOTAL 65

Distrito 4

Relatório mensal

CPS 5 50

CPS 6 200

TOTAL 250

Distrito 3

Relatório mensal

CPS 4 75

TOTAL 75

Unidade de M&A/Nacional

Relatório mensal

Distrito 1 65

Distrito 3 75

TOTAL 435

Distrito 4 250

ILUSTRAÇÃO

Centro de Prestação de Serviços 3

Relatório mensal

No. ARV 45

Documento-Fonte 1

Centro de Prestação de Serviços 4

Relatório mensal

No. ARV 75

Documento-Fonte 1

Centro de Prestação de Serviços 1

Relatório mensal

No. ARV 45

Documento-Fonte 1

Centro de Prestação de Serviços 2

Relatório mensal

No. ARV 20

Documento-Fonte 1

Distrito 2

Relatório mensal

CPS 3 45

TOTAL 45

Distrito 2 45

PONTO DE PRESTAÇÃO DE SERVIÇOS - TIPOS DE VERIFICAÇÃO DE DADOS

Verificações Descrição -

Verificação no. 1:

Análise da

documentação

Examinar se os documentos-fonte de todos os indicadores estão disponíveis e completos para o período do relatório selecionado.

Em todos os casos

Verificação no. 2:

Verificação de

dados

Rastrear e verificar os números divulgados: (1) Recontar os valores divulgados com base nos documentos-fonte disponíveis; (2) Comparar os valores verificados aos valores divulgados pelo centro; (3) Identificar os motivos de eventuais diferenças.

Em todos os casos

Verificação no. 3:

Verificações

cruzadas

Realizar “verificações cruzadas” entre os totais verificados do relatório e outras fontes de dados (ex. registos de stock, relatórios de laboratório, etc.).

Se for viável

Pontos de Prestação de Serviços – Verificação de Dados

Verificação de Dados - ARQD

http://www.worldpressphoto.nl/index.jsp

Avaliação do sistema de gestão e

divulgação de dados

Unidade de Gestão de

M&A

Pontos de Prestação de

Serviços / Organizações

Níveis Intermediários de Agregação

(ex., Distrito, Região)

Avaliar o sistema de gestão e divulgação de dados

■ OBJETIVO: Identificar potenciais riscos à qualidade dos dados criados pelosistema de gestão e divulgação de dados em:

- Unidade de Gestão de M&A;- Pontos de Prestação de Serviços;- Qualquer Nível Intermediário de Agregação (Distrito ou Região).

■ A ARQD avalia tanto (1) a concepção; como (2) a implementação do sistema de gestão e divulgação de dados.

■ A avaliação abrange 8 áreas funcionais (RH, Formação, Processos de Gestão de Dados, etc.)

Metodologia de ARQD Componente de Avaliação do Sistema

QUESTÕES DE AVALIAÇÃO DO SISTEMA POR ÁREA FUNCIONAL

Áreas funcionais Exemplos de Questões

I Capacidades, funções e responsabilidades de M&A

1Os profissionais de M&A e gestão de dados estão identificados e com suas responsabilidades claramente atribuídas?

II Formação2

A maioria dos principais profissionais de M&A e gestão de dados recebeu formação necessária?

III Requisitos para divulgação de dados

3O Programa/Projeto documentou claramente (por escrito) o que é divulgado e a quem, para além de como e quando a divulgação é necessária?

IV Definições de indicadores 4

Há definições de indicadores operacionais que atendam aos padrões pertinentes e são seguidas sistematicamente por todos os pontos de prestação de serviços?

V Formulários / Ferramentas para recolha e divulgação de dados

5Há formulários padronizados de recolha e divulgação de dados que sejam utilizados sistematicamente?

6Os documentos-fonte são mantidos e disponibilizados em conformidade com uma política escrita?

Áreas Funcionais de um Sistema de M&A que afetam a qualidade dos dados

VI Processos de gestão de dados

7Há documentação clara das etapas de recolha, agregação e manipulação dos dados?

VII Mecanismos e controlos de qualidade de dados

8Os problemas de qualidade de dados estão identificados e há mecanismos para resolvê-los?

9Há procedimentos claramente definidos e seguidos para identificar e conciliar discrepâncias nos relatórios?

10Há procedimentos claramente definidos e seguidos para a verificação periódica dos dados - fonte?

VIII Ligações com o Sistema Nacional de Divulgação de Dados

11O sistema de recolha e divulgação de dados do Programa/Projeto está ligado ao Sistema Nacional de Divulgação de Dados?

Áreas funcionais de um Sistema de M&A que afetam a qualidade dos dados

Avaliação do Sistema de ARQD

1Há técnicos responsáveis especificamente por examinar os valores agregados antes de encaminhá-los ao próximo nível (p.ex., aos distritos, aos gabinetes regionais, à Unidade Central de M&A).

Sim - Completamente

2A responsabilidade pelo registo dos serviços prestados em documentos-fonte está claramente atribuída a um técnico / profissional pertinente.

Parcialmente

3Todos os técnicos / profissionais pertinentes receberam formação sobre os processos e as ferramentas de gestão de dados.

Não - Nada

4A Unidade de M&A deu orientação por escrito aos Pontos de Prestação de Serviços sobre os requisitos e os prazos para divulgação de dados.

Parcialmente

5A Unidade de M&A deu instruções claras sobre como preencher os formulários/ferramentas de recolha e divulgação de dados.

Não - Nada

6Os documentos-fonte e os formulários/ferramentas de divulgação de dados especificados pela Unidade de M&A são utilizados com uniformidade pelo Ponto de Prestação de Serviços.

Sim - Completamente

7Todos os documentos-fonte e formulários de divulgação de dados pertinentes à medição do(s) indicador(es) estão disponíveis para fins de auditoria (incluindo os relatórios impressos e datados, no caso de um sistema informatizado).

Parcialmente

8

Os dados recolhidos no documento-fonte têm exactidão suficiente para medir o(s) indicador(es) (ou seja, são recolhidos dados relevantes, com distribuição por sexo, faixa etária, etc., quando o indicador especifica a desagregação de acordo com estas características).

Sim - Completamente

Parte 2. Avaliação do Sistema

I - Capacidades, Funções e Responsabilidades de M&A

II - Formação

III - Requisitos para divulgação de dados

IV - Formulários e ferramentas de recolha e divulgação de dados

Favor Comentar

Favor Comentar

Favor Comentar

Favor Comentar

Favor Comentar

1- Solidez do Sistema de M&A, avaliação baseada numa revisão do sistema de gestão e divulgação de dados do programa/projeto, incluindo respostas para as questões resumidas gerais sobre a qualidade da concepção e implementação do sistema;

2- Fatores de verificação gerados no exercício de recontagem de rastreamento e verificação realizado com os registos primários e/ou relatórios agregados (ou seja, o razão entre o valor recontado do indicador e o valor relatado);

3- Relatórios disponíveis, pontuais e completos percentagens calculadas no Nível Intermediário de Agregação e na Unidade de M&A;

4- Plano de ação para reforçar o sistema em cada nível avaliado.

Resultados da ARQD

Estatísticas resumidas da ARQD – Painel do Nível Específico

Parte 4: PAINEL: Unidade de M&A

Avaliação da Gestão de Dados - Unidade de M&A

2.0

1.0

2.31.0

1.0

3.0

2.3

0

1

2

3

Capacidades, Funções eResponsabilidades de M&A

Formação

Definição dos indicadores

Exigências de divulgação de dadosFormulários e ferramentas derecolha e divulgação de dados

Gestão de dados e controlos dequalidade

Ligações com o Sistema Nacional

Verificação de Dados e Relatórios - Unidade de M&A

80%

100%

90% 90%

0%

20%

40%

60%

80%

100%

120%

Factor deverificação

% disponíveis % pontuais % completos

Estatísticas Resumidas de ARQD – Painel Global

DIMENSÕES DA QUALIDADE DE DADOS – Distribuição das respostas à lista de verificação por dimensão(Nota: O número de respostas está localizado em cada barra colorida)

13

12

7

6

10

3

3

17

13

8

7

7

4

4

21

21

14

15

15

3

10

1

1

1

1

0

0

1

0.00% 10.00% 20.00% 30.00% 40.00% 50.00% 60.00% 70.00% 80.00% 90.00% 100.00%

Exactidão

Fiabilidade

Pontualidade

Totalidade

Precisão

Confidencialidade

Integridade

Sim -Completamente

Parcialmente

Não - Nada

N/A

Avaliação da Gestão de Dados - Consolidação Global

0

1

2

3

Capacidades, Funções eResponsabilidades de M&A

Formação

Definição de Indicadores

Requisitos para Divulgação deDados

Formulários e Ferramentas derecolha e divulgação de dados

Processos de gestão de dados econtrolo de qualidade

Ligações com o Sistema Nacionalde Divulgação de Dados

Verificação de Dados e Relatórios - Consolidação Global

95%90% 90%

42%

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%

% Disponíveis % Pontuais % Completos Factor deVerificação

Resultado da ARQD - Plano de Ação para Fortalecer o Sistema

País:

Programa/Projecto

Data da ARQD:

Data do seguimento proposto

Acrescente linhas conforme for necessário

Plano de Acção Final da ARQD

Necessidades de assistência técnica

Data do seguimento e comentários

PrazoDescrição do ponto de acção Responsável

NÍVEL DE DIVULGAÇÃO

DE DADOSCONCLUSÕES RECOMENDAÇÕES

Unidade de M&A Nacional

Não há nenhuma documentação que especifique as funções e responsabilidades de gestão de dados, cronogramas de divulgação de dados, formulários padronizados, política de armazenamento…

Desenvolver um manual de gestão de dados a ser distribuído para todos os níveis de divulgação

Incapacidade de verificar os valores divulgados pela Unidade de M&A em virtude da excessiva falta de relatórios (dos Pontos de Prestação de Serviços) (67%)

Arquivar sistematicamente todos os relatórios dos Pontos de Prestação de Serviços

Elaborar normas sobre como lidar com relatórios em falta ou incompletos

A maioria dos relatórios recebidos pela Unidade de M&A não são assinados por nenhum funcionário ou gestor do Ponto de Prestação de Serviços

Enfatizar a necessidade de realizar uma revisão documentada dos dados apresentados – por exemplo, não aceitando relatórios não revistos

ILUSTRAÇÃO

Ilustração – Conclusões sobre os sistemas na Unidade de M&A (VIH/SIDA)

NÍVEL DE DIVULGAÇÃO

DE DADOSCONCLUSÕES RECOMENDAÇÕES

Nível Intermediário

de Agregação

Impossibilidade de acessar aos documentos-fonte (ou seja, relatórios dos Pontos de Prestação de Serviços) referentes a um determinado período

Melhorar o processo de armazenamento de documentos-fonte, identificando claramente o documento-fonte armazenado por data

Pontos de prestação de

serviços’’

Confusão acerca da definição do que venha a ser um paciente “perdido para seguimento” (3 meses para o Hospital Temeke; 2 meses para o Hospital Iringa).

A Unidade de M&A deve comunicar claramente, para todos os pontos de prestação de serviços, a definição de um paciente “perdido para seguimento”

Os pontos de prestação de serviços não removem sistematicamente pacientes “perdidos para seguimento” das contagens de pessoas que estão a receber ART

Elaborar um mecanismo para assegurar que os pacientes “perdidos para seguimento” sejam removidos sistematicamente das contagens de pessoas que estão a receber ART

Nos casos de "centros satélites", o sistema de divulgação de dados e os documentos-fonte nem sempre identificam a localização de um paciente

Elaborar um sistema de codificação que identifique claramente o local de tratamento de um paciente, para que se possa fazer a verificação dos dados

Principais fatores de êxito para a qualidade dos dados

1. Sistemas de informação eficientes

2. Definição dos indicadores clara e utilizada com uniformidade em todos os níveis

3. Descrição das funções e responsabilidades em todos os níveis

4. Cronogramas específicos de divulgação de dados

5. Formulários / ferramentas de recolha e divulgação de dados padronizados / compatíveis, com instruções claras

6. Procedimentos de revisão de dados documentados, a serem executados em todos os níveis

7. Procedimentos para resolver problemas de qualidade de dados (dados em falta, contagem repetida, pacientes perdidos para seguimento…)

8. Política de armazenamento e práticas de preenchimento que permitam a recuperação de documentos para fins de auditoria

PREPARAÇÃO:

Finalidade da documentação solicitada

Para ajudar a selecionar os pontos de prestação de serviço a serem visitados.

Lista de pontos de prestação de serviços

com os resultados mais recentes

1

Para possibilitar o entendimento da concepção do Sistema de Gestão e Divulgação de Dados.

Para familiarizar a Equipa de Avaliação com os formulários e relatórios a serem examinados.

Para compreender como os dados são registados e divulgados pelos Pontos de Prestação de Serviços para a Unidade de M&A.

Descrição do sistema de divulgação de dados

2

Modelos de formulários

3

Outros documentos

4

Algumas Experiências com a ARQD

Nigéria

Quénia

Tanzânia

Costa do Marfim

Guiana

Haiti

Moçambique

Exercício

Em pares analisem os dados dos relatórios e utilizem a ferramenta ARQD – Parte 1 Verificação de Dados para o nível intermediário e Unidade de M&A.Calcule os índices quanto a:

• Fator de Verificação• Disponibilidade• Pontualidade e• Relatórios Completos

A MEASURE Evaluation é financiada pela Agência de

Desenvolvimento Internacional dos EUA (USAID) por meio do

Acordo de Cooperação GHA-A-00-08-00003-00 e é implementada

pelo Centro Populacional da Carolina, Universidade da Carolina do

Norte, em parceria com Futures Group, John Snow, Inc., Macro

International Inc., Management Sciences for Health, e Tulane

University.

Visite-nos on-line em http://www.cpc.unc.edu/measure.