Qualidade em Institutos de Estatística: a experiência internacional e

iniciativas no IBGE

Zélia Magalhães Bianchini (Diretoria de Pesquisas) Helena Piccinini (Diretoria de Informática)

Gestão da Qualidade Total

• Revolução conceitual nas últimas décadas

• Conceito que engloba não só o produto mas também a organização nas suas múltiplas facetas – Desde a concepção até o produto– Operacionalidade do processo de produção– Menor custo do produto e do processo de produção– Condições de trabalho

Qualidade em Institutos de Estatística

Produto é a informação

Qualidade da informação estatística • Usuário de produto

manufaturado

– examina, testa e usa

⇓

avaliação sobre a Qualidade do produto

• Usuário de informação estatística

– em geral não tem condições de assegurar sozinho a qualidade do produto

– apenas algumas dimensões da qualidade

– depende do produtor fornecer elementos sobre o gerencia-mento da qualidade e a mensuração de processos que permita o usuário avaliar “a adequação da informação para o uso”

Qualidade nos Institutos de Estatística

• Realidade diversa de cada instituição

• Enfoque baseado nos mesmos princípios – a existência dos usuários – a existência de processo para cada produto, que deve

ser padronizado para aumentar a qualidade do produto

• Boa relação com os informantes:– cooperação (e não competição) – carga de resposta

Qualidade nos Institutos de Estatística

• Os princípios e boas práticas são o que distingue o Instituto de Estatística de outros produtores

• Boas práticas ⇒⇒⇒⇒ Imagem ⇒⇒⇒⇒CREDIBILIDADE

Credibilidade

• Eficiência da organização depende da relevância e credibilidade da informação

• Credibilidade é baseada na reputação e confiança dos dados da organização e sustentada por todos os produtos

• Afetam diretamente a credibilidade:– Metodologia inapropriada – Suspeita de interferência política

Gestão da Qualidade Total nos INEs

• Discussão internacional e muitos avanços sobre o gerenciamento e a avaliação da qualidade nos INEs

– Eventos internacionais

– Rica bibliografia sobre “boas práticas”

• LEG - Leadership Expert Group– declaração comum para o Sistema Estatístico Europeu – modelo de gestão EFQM - European Foundation for Quality

Management

Qualidade em INEs – estratégias

• Credibilidade para a instituição e todos os produtos

• Relevância dos produtos

• Relacionamento efetivo com os informantes

• Processos que geram produtos de alta qualidade

• Avaliação e revisão regular das atividades

• Quadro de pessoal habilitado e motivado para assegurar qualidade

Qualidade em Estatísticas Oficiais: definida e avaliada em termos de

• Integridade (ambiente organizacional)

• Qualidade do produto

• Qualidade de processo

As dimensões da QualidadeIntegridade (ambiente organizacional)

• Independência• Marco institucional e legal• Confidencialidade• Adequação de recursos• Imparcialidade e objetividade• Profissionalismo• Transparência • Padrões éticos• Comprometimento com qualidade

As dimensões da QualidadeComponentes da qualidade do produto

• Relevância• Acurácia• Oportunidade• Pontualidade• Acessibilidade• Transparência do produto • Comparabilidade• Coerência • Exaustividade

Processos

• Processo estatístico • Processo de gerenciamento de dados • Processo administrativo • Processo de monitoramento / decisão • Processo analítico

� Cada processo deve ser:estruturado – monitorado – gerenciado – auditado -

melhorado

Componentes da qualidade de processo estatístico

• Metodologia sólida

• Procedimentos estatísticos apropriados

• Carga aos informantes não excessiva

• Eficiência nos custos

Análise de processo• Tipologias de processo produtivo estatístico

– pesquisas – registros administrativos

– estatísticas derivadas

• Decomposição do processo produtivo (macro-fases)

– planejamento – execução – validação– difusão

• Macro-fases avaliadas com relação:– fontes de erros – atividades de prevenção, correção e avaliação dos

erros

Qualidade em Estatísticas Oficiais:

• Várias formas de controle– o uso de frameworks de qualidade do produto

– a escolha dos indicadores-chave para avaliação de processos

– o processo de trabalho de padronização

– estudos para mensurar os componentes de erros

– a mensuração da performance organizacional e dos procedimentos de trabalho

– a identificação de potenciais fraquezas no sistema existente para revisão e melhoramento

Ferramentas de avaliação da qualidadeidentificar pontos fracos e fortes -

oportunidades de melhoria

• Auto-avaliação• Pesquisa de satisfação dos usuários • Pesquisa para medir motivação e profissiona-

lismo dos funcionários • Indicadores de perfomance • “Checklists” • Auditoria internas

– Grau de aplicação e adequação dos procedimentos

• US Bureau of the Census– Implementação de 3 tipos de auditorias voltadas para

qualidade nos últimos 2 anos

• Auditoria de Qualidade Interna dos programas de Pesquisa e Censos do Bureau

• Auditoria de Segurança da Qualidade – foco em produtos específicos ou atividades dentro do projeto, permitindo a avaliação das atividades do projeto e correção de ações

• Avaliações dos Padrões de Qualidade do Bureau -identificação das áreas para melhoramento e sua implementação.

Gerenciamento da qualidade nas estatísticas oficiais – experiências internacionais

• Statistics Canada– os processos e mecanismos caracterizados em 5

sistemas: ligação com o usuário, planejamento, métodos e padrões,disseminação, documentação

– Integrated Program Report - principal instrumento• cada programa é avaliado e revisto a cada 4 anos com uma

revisão seguida a cada 2º ano

– Quality Management Assessment - em desenvolvimento • avaliação global e sistemática de todas as pesquisas• preenchimento de questionários pelos gerentes • associação com a utilização com o Banco de Metadados

– cobre as fontes e métodos usados pelas pesquisas, indicadores de qualidade e definições das variáveis e classificações

Gerenciamento da qualidade nas estatísticas oficiais – experiências internacionais

• Relativamente fácil concordar com os princípios básicos e os frameworks sobre qualidade

• A implementação de um trabalho sistemático e gerenciamento da qualidade de todos os produtos e processos é um enorme desafio!– Produção de novas estatísticas ganha prioridade na

obtenção de recursos em relação aos relacionados com a avaliação da qualidade e a documentação das pesquisas já existentes.

• Treinamento, revisão sistemática de projetos ajudam a aumentar a sensibilidade p/ integrar a qualidade e agir em todas atividades

Gerenciamento da qualidade nas estatísticas oficiais – trabalho sistemático

Ferramentas de padronização e melhoria da qualidade dos processos e operações

• Manuais de boas práticas

• Relatórios de qualidade– simbolizam compromisso com a qualidade

• Documentação – assegurar e melhorar a qualidade e aumentar a compreensão e a

utilização dos usuários

Exemplos de relatórios / manuais

• Avaliações de qualidade para diferentes tipos de estatísticas econômicas (FMI)

• Quality guidelines (Stats Canada, Stats Finland)

• Frameworks nacional ou organizacional (OECD)

• Diretrizes para relatórios de qualidade(StatsCan, ONS, Stats Sweden, FCSM –Federal Committee on Statistics Methodology)

Código de Prática para um Sistema Estatístico Europeu de alta qualidade

• Implementação de ações de melhoramentos –projetos em melhores práticas

– Manual de métodos e ferramentas para avaliação da qualidade (jan/06 a jun/07)• Coordenado pela Alemanha em parceria com Hungria,

Portugal, Noruega, Suécia

– Manual de boas práticas para o compromisso entre acurácia e oportunidade (jan/06 a jun/07)• Coordenado pelo INSEE (France)

– Manual para avaliação e mensuração da carga aos informantes (jan a dez/06)• Coordenado pela Noruega em parceria com a Suécia e

Inglaterra

Ações relacionadas com a documentação da qualidade no IBGE

• Divulgação da Série Relatórios Metodológicos

• Desde março/2001 aderimos ao Padrão Especial de Disseminação de Dados (Special Data Dissemination Standard – SDDS) do FMI

• Aguardamos divulgação pelo FMI do Relatório sobre a Observância de Normas e Códigos (ROSC),para as Contas Nacionais e Índices de Preços • baseado no Data Quality Assessment Framework - DQAF

Convênio de cooperação União Europeía / Mercosul

• 2002 - Estudo metodológico “Sistema de indicadores de Qualidade” – objetivo de propor um sistema de indicadores como

instrumentos de medição da qualidade do produto e de processo

• 2006 – Grupo de trabalho sobre Qualidade –diagnóstico, assistência técnica e aplicação de um conjunto de indicadores comuns

Sistema de Indicadores de Qualidade implementação no IBGE

• Inserido no Sistema de Metadados do IBGE

• Desenvolvido em ambiente de microcomputador, disponível até o momento para usuários internos

• Banco de Metadados residente em um servidor usando SGBD Oracle e o sistema operacional MS Windows NT 2000 Server

• Atualizações da base de metadados são suportadas por uma aplicação cliente-servidor em Visual Basic 6

• Consultas aos Indicadores de Qualidade podem ser feitas através de aplicação web onde estão disponíveis também opções para geração de relatórios.

Extensões no Modelo MetaBD

FASES DO PROCESSO

(11)

UNIDADE DE AVALIACAO

(12)

COLETA DE DADOS(10)

INDICADOR DE QUALIDADE DA

UNIDADE DE AVALIAÇÃO (13)

PROCESSO DE PRODUÇÃO DE

ESTATÍSTICAS (1)

OCORRENCIA DO PROCESSO

(2)

INDICADOR DE QUALIDADE DO PROCESSO (6)

TIPO DE INDICADOR DE

QUALIDADE(5)

PERIODO(4)

UNIDADE DE INFORMAÇÃO

(3)

TECNICA INVESTIGAÇÃO

(8)

TIPO DE REGISTROADMINISTRATIVO

(9)

TIPO DEPROCESSO

(7)

Relatório Padrão para Pesquisas

Características do Processo Qualidade do Produto Qualidade do Processo

Nome do Processo Relevância Cadastro e coleta de dados

Descrição do Processo Erros amostrais Revisão e codificação

Cobertura ou Abrangência Erros não amostrais manual

Periodicidade Oportunidade Entrada de dados

Nível de Estimação Pontualidade Codificação automática

Tipo de Processo Acessibilidade Crítica e Imputação

Descrição da População Objetivo Transparência do produto Elaboração ou Preparação

Unidade de Informação Comparabilidade Período ou Duração

Técnica de Investigação Coerência Custos

Coleta de Dados Exaustividade

Principais Variáveis

www.metadados.ibge.gov.br

Grandes transformações na produção de estatísticas

• Princípios fundamentais das estatísticas oficiais refletindo as boas práticas– Comissão de Estatística das Nações Unidas, 1994

• Novas tecnologias e métodos de produção– coleta dos dados, tratamento de não-resposta,

estimação, confidencialidade …

– Princípios de disseminação– divulgação de calendário, metadados, formas de

comunicação …

• Temos avanços significativos na produção de informações no IBGE nos últimos anos e um conjunto de exemplos de boas práticas estatísticas ou iniciativas de melhoramento

• Buscamos os melhores métodos e práticas de produção de pesquisas e de análises de seus resultados, sempre atentos às recomendações internacionais

• Temos perspectiva em responder as crescentes demandas com transparência, maior qualidadee rapidez

Inquietações:

• Como os produtores e usuários colaboram para “a adequação da informação para o uso”?

• Como deveria a qualidade da informação ser comunicada?

• O usuário tem sido plenamente consultado?