boas práticas de documentação e integridade de dados no ......gerenciamento de dados, às boas...
TRANSCRIPT
-
1
UNIVERSIDADE DE SÃO PAULO
FACULDADE DE CIÊNCIAS FARMACÊUTICAS
Curso de Graduação em Farmácia-Bioquímica
Boas Práticas de Documentação e Integridade de Dados no
Sistema de Gestão da Qualidade: uma questão nova para a
indústria farmacêutica?
Fernanda Pereira Zapparolli
Trabalho de Conclusão do Curso de
Farmácia-Bioquímica da Faculdade de
Ciências Farmacêuticas da Universidade
de São Paulo.
Orientador:
Prof. Dr. Gabriel Lima Barros de Araújo
São Paulo
2020
-
2
SUMÁRIO
SUMÁRIO ............................................................................................................................. 2
LISTA DE ABREVIATURAS .................................................................................................. 3
RESUMO .............................................................................................................................. 4
1. INTRODUÇÃO ............................................................................................................... 5
2. OBJETIVOS ................................................................................................................... 7
3. MATERIAIS E MÉTODOS .............................................................................................. 7
3.1. Revisão bibliográfica ................................................................................................... 7
a) Estratégias de pesquisa ................................................................................................. 7
b) Critérios de inclusão e exclusão ..................................................................................... 8
c) Coleta e análise de artigos ............................................................................................. 8
3.2. Revisão das cartas de Advertência (Warning Letters) ................................................ 8
a) Coleta de dados e critérios de inclusão e exclusão ........................................................ 9
b) Estruturação do banco de dados .................................................................................... 9
c) Sistematização das violações observadas ..................................................................... 9
d) Análise das observações ...............................................................................................11
e) Análise estatística dos resultados .................................................................................11
1. RESULTADOS ..............................................................................................................12
1.1. Revisão bibliográfica ..................................................................................................12
1.2. Revisão das cartas de advertência (Warning Letters) ................................................12
a) Perfil global de conformidade às normas de Integridade de Dados ...............................12
b) Distribuição geográfica de violações às normas ............................................................14
c) Avaliação de instruções (Data Integrity Remediation) ...................................................16
2. DISCUSSÃO .................................................................................................................17
2.1. Revisão bibliográfica ..................................................................................................17
a) Revisão da literatura .....................................................................................................17
b) Revisão de diretrizes e normas .....................................................................................22
3.3. Revisão das cartas de advertência (Warning Letters) ................................................26
c) Perfil global de conformidade às normas de Integridade de Dados ...............................27
d) Distribuição geográfica de violações às normas ............................................................28
e) Panorama sobre o nível de conformidade no Brasil ......................................................29
f) Setores da cadeia produtiva impactados pelas infrações ..............................................30
3. CONCLUSÃO ...............................................................................................................32
4. BIBLIOGRAFIA .............................................................................................................33
5. ANEXOS .......................................................................................................................35
-
3
LISTA DE ABREVIATURAS
ALCOA Atribuível, Legível, Contemporâneo, Original e Acurado
ALCOA + Atribuível, Legível, Contemporâneo, Original, Acurado, Completo,
Consistente, Duradouro e Disponível
ANVISA Agência Nacional de Vigilância Sanitária
BPD Boas Práticas de Documentação
BPF Boas Práticas de Fabricação
CDSCO Central Drugs Standard Control Organisation
FDA Food and Drug Administration
ICH International Conference on Harmonization
IFA Insumo Farmacêutico Ativo
MeSH Medical Subject Headings
MHRA Medicines and Healthcare Products Regulatory Agency
NMPA National Medical Products Administration
OMS Organização Mundial da Saúde
PIC/S Pharmaceutical Inspection Co-operation Scheme
RDC Resolução da Diretoria Colegiada
-
4
RESUMO
ZAPPAROLLI, F. P. Boas Práticas de Documentação e Integridade de Dados no
Sistema de Gestão da Qualidade: uma questão nova para a indústria
farmacêutica?. 2020. 39f. Trabalho de Conclusão de Curso de Farmácia-Bioquímica
– Faculdade de Ciências Farmacêuticas – Universidade de São Paulo, São Paulo,
2020.
Palavras-chave: Sistema de Qualidade Farmacêutico, Boas Práticas de
Documentação, Integridade de Dados, ALCOA.
INTRODUÇÃO: Os dados gerados pela indústria farmacêutica possuem um ciclo de vida complexo e são suporte para garantir a segurança do paciente, a qualidade dos produtos finais e a seu fornecimento ao mercado. A identificação de falhas nos processos relacionados ao seu gerenciamento fez necessária a publicação de diretrizes por parte de agências reguladoras a fim de melhorar o nível de cumprimento dos requerimentos e, consequentemente, a confiabilidade das informações geradas. OBJETIVOS: Revisar e realizar análise crítica acerca das diretrizes e requerimentos sobre integridade de dados no contexto da indústria de medicamentos, assim como avaliar o cenário atual no que diz respeito ao nível de cumprimento dessas recomendações. MATERIAIS E MÉTODOS: Uma busca da literatura foi conduzida nas bases de dados PubMed, ScienceDirect, ISI Web of Knowledge e SCOPUS (Elsevier). Foi desenvolvida uma estratégia de busca padronizada utilizando termos MeSH ou palavras texto relacionadas ao gerenciamento de dados, às Boas Práticas de Fabricação e à indústria farmacêutica. Foram analisadas diretrizes e normas publicadas pelas principais agências regulatórias e órgãos especializados. A avaliação do nível de conformidade da indústria teve como parâmetro notificações disponibilizadas pela agência FDA. RESULTADOS: Os resultados mostraram que as infrações em virtude de violações aos princípios de Integridade de Dados estão presentes em média de cerca de 40% das cartas emitidas pela FDA no período compreendido entre 2015 e o terceiro trimestre de 2020. Observou-se que a taxa de descumprimento às violações direta e indiretamente relacionadas à Integridade de Dados diminuíram significativamente de 2015 a 2017: 65,2% a 36,5% e 95,7% a 69,4%, respectivamente. Também foi possível identificar um comportamento diferente para as duas categorias de infrações: enquanto houve uma tendência de estabilização no número de infrações diretamente relacionadas ao tema (2017=35,5% e 2020=40,8%), houve o aumento da frequência de problemas indiretamente relacionados à Integridade de Dados entre 2017 (69,4%) e o terceiro trimestre de 2020 (85,7%). Por isso, constatou-se que embora o tema venha sendo apresentado como uma tendência regulatória, as normas que orientam as Boas Práticas de Documentação foram publicadas há mais de 30 anos, isso indica que o tema não é recente na indústria. Observou-se ainda que as diretrizes possuem uma grande capacidade em demonstrar expectativas e tendências inspecionais de agências regulatórias. CONCLUSÃO: A Integridade de Dados é um componente fundamental do Sistema de Qualidade de uma empresa, fornecendo garantia de que os dados que uma empresa usa para operar estão em conformidade com os requisitos regulamentares, demonstrando que seus produtos são seguros e eficazes para o uso pretendido. Violações a esses princípios causam danos consideráveis ao Sistema de Qualidade Farmacêutica comprometendo a confiança de agências regulatórias e de pacientes e impactando negativamente nos negócios da empresa e, sobretudo, na vida dos pacientes.
-
5
1. INTRODUÇÃO
1.1. Considerações Gerais
A nível mundial, os medicamentos constituem um dos recursos terapêuticos de
mais alto impacto e a indústria farmacêutica é uma das áreas mais importantes entre
os serviços de saúde de um país. A produção de fármacos em escala industrial requer
o cumprimento dos mais altos padrões, assegurando, dessa maneira a qualidade do
medicamento e, consequentemente, a segurança do paciente (CORBILLON et al.,
2019).
Na indústria farmacêutica, dados podem ser gerados a partir de diversas fontes
como estudos clínicos, operações de manufatura, testes de controle de qualidade,
dentre outros; e são um requisito essencial em submissões de registro de produtos
frente às autoridades reguladoras ou até mesmo na tomada de decisões no controle
operacional, a fim de que as Boas Práticas de Fabricação, Boas Práticas de
Laboratório ou Boas Práticas Clínicas (BPx) sejam cumpridas (BHADRASHETTE,
2018).
O ciclo de vida de dados inicia-se com a geração das informações e segue até
sua destruição, envolvendo diversas etapas nesse ínterim como processamento,
arquivamento e recuperação. Em vista disso, é fundamental que essa grande
quantidade de dados seja protegida ao longo de todas as etapas, a fim de que sua
confiabilidade seja garantida e que, portanto, sua integridade seja preservada através
de controles adequados.
A robustez dos processos de gerenciamento de dados BPx, sejam manuais ou
eletrônicos, deve ser assegurada de acordo com procedimentos operacionais padrão
e a violação desses procedimentos deve ser considerada como um evento de
qualidade e devidamente reportada à gerência de forma urgente (CALIXTO, 2017).
A regulamentação acerca de gerenciamento de dados não é recente: a primeira
regulamentação foi publicada em 1963 pela agência reguladora norte-americana Food
and Drug Administration (FDA) e após isso diversos guias de referência foram
publicados por essa agência e, também, por agências reguladoras da União Europeia
(RATTAN, 2018).
Em 2003 a agência norte-americana apresenta um guia sobre registros e
assinaturas eletrônicas com os conceitos relativos à integridade de dados (FDA,
2003). Segundo esse guia, as empresas fabricantes de medicamentos são
-
6
responsáveis por garantir a integridade dos dados durante todas as etapas do seu
ciclo de vida. Isso significa que os dados devem ser acurados, devem ser atribuíveis
ao colaborador e ao momento em que foram realizadas as atividades de relevância
às BPF, devem ser legíveis e devem estar disponíveis e serem mantidos em
segurança em seus registros originais ou em cópias verdadeiras (FDA, 2003; FDA,
2018). Nesse guia, tais princípios foram resumidos pela sigla ALCOA. Em 2011, a
Agência Europeia de Medicamentos (EMA) expande esses conceitos criando a sigla
ALCOA+, que descreve que atém dos atributos anteriores os dados devem também
estar completos e consistentes, devem ser duradouros e devem estar disponíveis
(EMA, 2011).
A Tabela 1 apresenta esses conceitos e suas respectivas descrições no
contexto da Integridade de Dados:
Tabela 1: Requerimentos atribuídos aos registros a fim de garantir a Integridade de Dados no contexto das Boas Práticas de Documentação (FDA, 2003; EMA, 2011).
Atributo Descrição
A Atribuível (Attributable) Identificação clara sobre a autoria do registro;
L Legível (Legible) O registro deve estar legível e as assinaturas
devem ser identificáveis;
C Contemporâneo
(Contemporaneous)
A informação foi documentada no momento que a
atividade foi realizada;
O Original (Original) O registro original ou uma cópia verdadeira deve
ser preservado;
A Acurado (Accurate) O registro não deve conter erros ou edições sem
que sejam documentadas justificativas plausíveis;
+
Duradouro (Enduring) O registro deve ser conservado apropriadamente
durante o período de retenção determinado;
Disponível (Available) O registro deve estar disponível para consulta ou
utilização;
Completo (Complete) Não devem faltar informações no registro;
Consistente (Consistent) A sequência dos eventos deve estar de acordo com
o fluxo de eventos.
-
7
Apesar da crescente relevância desse tema na última década, um elevado
número de não conformidades têm sido identificadas a partir de inspeções realizadas
por órgãos internacionais em indústrias farmacêuticas e fornecedores pertencentes à
cadeia de suprimentos das mesmas (FDA, 2018).
Empresas que não seguem as normas de conformidade sobre a integridade de
seus dados estão sujeitas a sanções de impacto regulatório tais como: cartas de
advertência, declarações de não conformidade, perda das licenças de produção e
comercialização, embargos comerciais, recolhimento de produtos do mercado, alertas
de segurança, multas e penalidades, dificuldade na aprovação de novos produtos,
dentre outros (RATTAN, 2018). Para os indivíduos que estão envolvidos em fraudes,
as acusações podem chegar à esfera criminal, com penalidades como banimento do
setor e prisão (KUMAR, 2017).
As violações constatadas são alarmantes uma vez que com a identificação da
alteração de dados a segurança, eficácia e qualidade dos medicamentos não pode
ser garantida, assumindo-se o risco de causar danos à saúde pública e, portanto, ao
bem-estar dos pacientes.
O recebimento de sanções regulatórias também possui um impacto negativo
sob a perspectiva dos negócios para a empresa tais como a não aprovação de novos
produtos, o impedimento da liberação de produtos para o mercado, a perda de
reputação e confiabilidade junto aos consumidores/pacientes. Todos esses fatores
contribuem para a redução de sua participação no mercado e, consequentemente,
geram desvantagens competitivas (ERNST&YOUNG, 2015).
2. OBJETIVOS
Revisar e realizar análise crítica acerca das diretrizes e requerimentos sobre
integridade de dados no contexto da indústria de medicamentos, assim como avaliar
o cenário atual no que diz respeito ao nível de cumprimento dessas recomendações.
3. MATERIAIS E MÉTODOS
3.1. Revisão bibliográfica
a) Estratégias de pesquisa
Uma busca abrangente da literatura foi conduzida nas bases de dados
PubMed, ScienceDirect, ISI Web of Knowledge e SCOPUS (Elsevier).
-
8
Foram analisadas as diretrizes e recomendações sobre integridade de dados
publicadas pelas principais agências regulatórias de medicamentos e órgãos
especializados como Agência Nacional de Vigilância Sanitária (ANVISA), Food and
Drug Administration (FDA), Organização Mundial da Saúde (OMS), Agência Europeia
de Medicamentos (EMA), e Sindusfarma.
Além disso, foi realizada busca manual por referências em todos os estudos
para os quais os textos completos forem obtidos.
b) Critérios de inclusão e exclusão
Os trabalhos incluídos na presente revisão foram publicados entre 2010 e 2020
nos idiomas inglês, português ou espanhol. Foi desenvolvida uma estratégia de busca
padronizada utilizando termos MeSH ou palavras texto relacionadas ao
gerenciamento de dados, às Boas Práticas de Fabricação e à indústria farmacêutica
(Anexo 1).
Foram excluídos estudos que não apresentavam o tema no contexto da
indústria de medicamentos, estudos técnicos no domínio das Ciências da Informação
e estudos de caso no contexto da Pesquisa Clínica ou da validação de sistemas
computadorizados em laboratórios de Controle de Qualidade.
c) Coleta e análise de artigos
Os artigos que não estavam disponíveis nas bases de dados foram obtidos
diretamente com os autores via e-mail.
O título e o resumo de todas as citações foram avaliados a fim de identificar
possíveis estudos relevantes. Os artigos na íntegra foram obtidos e revisados para
determinar se atendiam aos critérios de inclusão pré-estabelecidos.
3.2. Revisão das cartas de Advertência (Warning Letters)
A avaliação do nível de conformidade das Boas Práticas de Fabricação sob o
aspecto da Integridade de Dados teve como parâmetro a análise de cartas de
advertência emitidas pela agência FDA a empresas que importam seus produtos ao
mercado norte-americano. O processo de avaliação dos resultados foi estruturado em
quatro etapas principais:
-
9
a) Coleta de dados e critérios de inclusão e exclusão
As cartas emitidas no período de janeiro de 2015 a setembro de 2020 foram
coletadas da base de dados disponibilizada na página da Internet da agência FDA
(FDA, 2020). A indisponibilidade de informações sobre o período anterior a 2015 na
base de dados publicada pela FDA inviabilizou a avaliação do período de 2009 a 2014,
conforme previsto no projeto do trabalho.
Com o propósito de selecionar cartas no contexto da indústria de
medicamentos, foram avaliadas exclusivamente notificações endereçadas aos
fabricantes de Insumos Farmacêuticos Ativos (IFAs) e de produtos farmacêuticos para
uso humano que contivessem violações relacionadas às Boas Práticas de Fabricação.
Foram excluídas do estudo cartas emitidas às indústrias do tabaco, de
alimentos e/ou suplementos dietéticos, de dispositivos médicos, de produtos
farmacêuticos veterinários, de cosméticos e cartas emitidas às farmácias de
manipulação. Também não foram considerados na análise notificações relacionadas
a violações de aprovação e registro de novos medicamentos.
b) Estruturação do banco de dados
A partir dos dados coletados foi composto um banco de dados padronizado a
cada ano contendo informações básicas sobre as cartas emitidas como a identificação
das empresas às quais foram adereçadas e seus respectivos países de origem, as
seções da regulamentação de BPF referenciadas à cada violação, bem como a
descrição dessas observações, a categorização das cartas de acordo com o gênero
de suas infrações, e a presença ou não de instruções direcionadas à diretriz de
Integridade de Dados publicada pela agência FDA (FDA, 2018).
c) Sistematização das violações observadas
As cartas de advertência apresentam em sua estrutura um sumário de
violações às diretrizes contidas sobretudo nas partes 210 e 211 do Título 21 do Código
Federal de Regulamentações dos Estados Unidos (21 CFR), que descrevem normas
de BPF orientadas à fabricação, processamento, embalagem e conservação de
fármacos e medicamentos. A violação de normas sobre o gerenciamento de
assinaturas e registros eletrônicos (21 CFR parte 11) também pode ser citada nas
cartas. Essas regulamentações são consistentes com o Guia de BPF para a produção
de Insumos Farmacêuticos Ativos (IFAs).
-
10
A avaliação das infrações que poderiam impactar direta ou indiretamente na
integridade dos dados ao longo da cadeia produtiva de medicamentos foi realizada
utilizando-se como critérios as seções do código 21 CFR referenciadas na diretriz
sobre Integridade de Dados publicada pela FDA (FDA, 2018). As seções utilizadas
como critério de avaliação, bem como suas relações com o conceito de Integridade
de Dados são apresentadas, respectivamente, nos Anexos 2 e 3.
A partir das informações registradas no banco de dados, as cartas de
advertência foram categorizadas de acordo com o gênero de violações observadas:
A categoria I inclui as empresas que não apresentaram em suas cartas citações
relacionadas ao tema de Integridade de Dados, isto é, empresas cujas violações
estivessem relacionadas a problemas de infraestrutura, como a separação apropriada
de áreas produtivas e a manutenção ambiental dessas áreas, falhas na utilização de
equipamentos próprios para processos produtivos, a inexistência de papeis e
responsabilidades no nível gerencial da empresa, ausência de procedimentos para o
correto armazenamento de materiais, ausência do uso de equipamentos de proteção
individual e empresas que recusaram o recebimento da inspeção ou dificultaram o seu
desenvolvimento.
Na categoria II, incluíram-se as cartas que apresentassem violações
diretamente relacionadas ao tópico de Integridade de Dados como a inexistência de
controles para evitar alterações nos arquivos armazenados eletronicamente e nos
registros em papel, o compartilhamento de credenciais, a apresentação de registros
incompletos, a deleção injustificada de dados analíticos, a ausência ou desativação
de mecanismos de rastreabilidade via trilhas de auditoria, a manipulação de registros
originais de produção ou controle de qualidade a fim de que fossem obtidos os
resultados desejados, a falta de contemporaneidade no registro de dados, a
ocorrência de erros de transcrição de dados relevantes às BPF ou a utilização de
registros não oficiais para sua documentação, a utilização de resultados obtidos
anteriormente no registro de novos testes, dentre outros.
Já na categoria III, foram consideradas não só as cartas que apresentassem
violações que impacto direto à Integridade de Dados (categoria II), mas também as
cartas com violações que comprometessem de alguma maneira a confiabilidade e
acurácia dos dados gerados ao longo da cadeia produtiva tais como a não criação de
dados primários de caracterização de matérias-primas ou produtos acabados, a não
apresentação ou inexistência de estudos e dados de estabilidade que justificassem
-
11
cientificamente as datas de validade registradas, a ausência ou falhas no processo de
validação de métodos analíticos e produtivos, a testagem repetida de amostras até
que os requerimentos fossem preenchidos sem que fossem apresentadas
justificativas que dessem suporte a essa conduta e falhas no processo de revisão de
registros-mestre de produção antes da liberação do produto ao mercado.
d) Análise das observações
Considerando-se que o número de cartas emitidas a cada ano é variável,
calculou-se a taxa percentual de descumprimento aos requerimentos de Integridade
de Dados a partir da relação entre o número de cartas nas quais foram observadas
violações relacionadas ao tema (categorias II ou III) e o número total de cartas
avaliadas a cada ano (Equação 1). Dessa maneira, os resultados obtidos puderam ser
comparados e posteriormente analisados.
𝑇𝑎𝑥𝑎 𝑑𝑒 𝑑𝑒𝑠𝑐𝑢𝑚𝑝𝑟𝑖𝑚𝑒𝑛𝑡𝑜 (%) = 𝑁º 𝑑𝑒 𝑐𝑎𝑟𝑡𝑎𝑠 𝑐𝑜𝑚 𝑣𝑖𝑜𝑙𝑎çõ𝑒𝑠 à 𝐼𝑛𝑡𝑒𝑔𝑟𝑖𝑑𝑎𝑑𝑒 𝑑𝑒 𝐷𝑎𝑑𝑜𝑠 (𝑐𝑎𝑡. 𝐼𝐼/𝐼𝐼𝐼)
𝑁º 𝑡𝑜𝑡𝑎𝑙 𝑑𝑒 𝑐𝑎𝑟𝑡𝑎𝑠 𝑎𝑣𝑎𝑙𝑖𝑎𝑑𝑎𝑠 (1)
Além do perfil global de descumprimento às normas, avaliou-se a presença de
pontos de destaque no cenário internacional para problemas relacionados à
governança de documentos calculando-se a taxa de descumprimento para violações
pertencentes à categoria III a cada país onde foram observadas infrações no período
de 2015 a 2020.
Ao longo do estudo, notou-se a presença de instruções que referenciavam a
diretriz sobre Integridade de Dados publicada pela agência FDA (Data Integrity
Remediation) no desfecho de algumas das cartas que continham observações
diretamente relacionadas à Integridade de Dados. O índice percentual de ocorrência
dessas instruções a cada ano foi calculado em função do número total de cartas
avaliadas.
A tabulação numérica e a apresentação gráfica de todos os resultados
observados foram efetuadas para o período estudado.
e) Análise estatística dos resultados
As variáveis categóricas (classificatórias) foram comparadas pelo teste
estatístico paramétrico qui-quadrado utilizando-se o software Minitab 19. O nível de
significância considerado foi de p < 0,05.
-
12
1. RESULTADOS
1.1. Revisão bibliográfica
A busca de literatura na base de dados na linguagem pré-estabelecida
identificou 322 artigos de potencial interesse, dos quais 2 eram duplicatas. Após a
leitura do título e do resumo, 293 artigos foram excluídos por não abordarem o tema
de Integridade de Dados no contexto das Boas Práticas de Fabricação aplicadas à
indústria de medicamentos. Os 27 estudos restantes foram selecionados para leitura
de texto completo. Nesta etapa, 4 estudos foram excluídos tratarem do tema sob a
perspectiva de Ciências da Informação. Portanto, 23 estudos preencheram os critérios
de inclusão e foram avaliados neste trabalho de revisão. Também foram estudadas
as publicações de seminários e convenções sobre o tema promovidos por órgãos
regulatórios a fim de esclarecer suas expectativas e tendências inspecionais.
As publicações selecionadas para a leitura dos textos completos apresentaram-
se como artigos científicos e artigos de opinião publicados em revistas de divulgação
científica ou revistas direcionadas a profissionais do setor farmacêutico.
As versões finais das diretrizes publicadas pelas agências sanitárias FDA,
EMA, OMS e pelo Sindicato da Indústria de Produtos Farmacêuticos (Sindusfarma),
foram avaliados e as duas últimas versões das diretrizes de Boas Práticas de
Fabricação da ANVISA foram avaliadas e posteriormente comparadas.
1.2. Revisão das cartas de advertência (Warning Letters)
Entre 2015 e o terceiro trimestre de 2020 a agência FDA emitiu 3271 cartas de
advertência a partir de inspeções realizadas em empresas que produzem produtos e
matérias-primas comercializados no mercado norte-americano (FDA, 2020). Para este
estudo, foram consideradas as cartas endereçadas a empresas da indústria de
medicamentos, conforme critérios estabelecidos e apresentados anteriormente.
Portanto, para os fins deste estudo foram analisadas ao todo 417 cartas.
a) Perfil global de conformidade às normas de Integridade de Dados
Na Tabela 2, apresenta-se a taxa percentual global de descumprimento às
normas, por ano, no período de 2015 a 2020. Também são apresentados o número
-
13
total de cartas avaliadas a cada ano e o número de cartas às quais foram observadas
infrações diretamente relacionadas ao tópico de Integridade de Dados (categoria II)
ou o número de cartas qualificadas na categoria III, cujas violações estão direta e
indiretamente relacionadas ao tema.
Tabela 2: Taxa global de descumprimento às normas relacionadas à Integridade de dados em função das violações observadas nas cartas emitidas pela agência FDA no período de 2015 a 2020. Categoria II: violações diretamente relacionadas ao tema. Categoria III: violações direta e indiretamente relacionadas ao tema.
Classificação
das violações
observadas
Taxa global de descumprimento (%)
p 2015 2016 2017 2018 2019 2020
Categoria II 65,2
(n=15)
42,6
(n=26)
36,5
(n=31)
36,8
(n=32)
33
(n=37)
40,8
(n=20) 0,047
Categoria III 95,7%
(n=22)
72,1%
(n=44)
69,4%
(n=59)
80,5%
(n=70)
87,5%
(n=98)
85,7%
(n=42) 0,03
n Total (417) 23 61 85 87 112 49 0,02
Nota: n = número absoluto de cartas avaliadas.
Figura 1: Taxa global de descumprimento às normas relacionadas à Integridade de dados em função das violações observadas nas cartas emitidas pela agência FDA no período de 2015 a 2020. Categoria II: violações diretamente relacionadas ao tema. Categoria III: violações direta e indiretamente relacionadas ao tema.
O estudo revelou que das 417 cartas de advertência avaliadas, identificaram-
se ao todo 161 e 335 cartas contendo violações classificadas nas categorias II e III,
respectivamente. A partir dos dados tabulados, observa-se que as infrações
65,2%
42,6%36,5% 36,8% 33%
40,8%
95,7%
72,1% 69,4%
80,5%87,5% 85,7%
0%
20%
40%
60%
80%
100%
2015 2016 2017 2018 2019 2020
Ta
xa
de
de
scu
mp
rim
ento
Categoria II Categoria III
-
14
relacionadas ao tópico de governança de dados (categoria III) ocorrem em média em
mais de 80% das empresas que receberam notificações de advertência e que as
violações diretamente relacionadas à Integridade de Dados (categoria II) estão
presentes em média de cerca de 40% das cartas emitidas pela FDA no período
compreendido entre 2015 e o terceiro trimestre de 2020.
Além disso, verificou-se que a taxa de descumprimento às violações
pertencentes às categorias II e III diminuíram significativamente de 2015 a 2017:
65,2% a 36,5% e 95,7% a 69,4%, respectivamente (p
-
15
Tabela 3: Taxa de descumprimento calculada para os países com maior número de casos de violações relacionadas à Integridade de Dados (categoria III) no período de 2015 a 2020. Os valores de “subtotal” apresentados correspondem à soma das ocorrências para os três países (China, Estados Unidos e Índia).
País 2015 2016 2017 2018 2019 2020 p
China 13,6% (n=3)
34,1% (n=15)
35,6% (n=21)
32,9% (n=23)
12,2% (n=12)
14,3% (n=6)
0,01
Estados Unidos
9,1% (n=2)
20,5% (n=9)
20,3% (n=12)
25,7% (n=18)
58,2% (n=57)
40,5% (n=17)
-
16
c) Avaliação de instruções (Data Integrity Remediation)
A Tabela 4 e a Figura 3 apresentam as frequências percentuais e absolutas de
observações de instruções denominadas Data Integrity Remediation no desfecho das
cartas avaliadas no decorrer do estudo. Essas instruções apresentam possíveis ações
corretivas para os problemas relacionados ao gerenciamento de documentos e
referenciam a diretriz de Integridade de Dados publicada pela agência FDA em 2016:
Tabela 4: Frequência percentual da ocorrência de Data Integrity Remediations, instruções sobre o gerenciamento de documentos direcionadas às empresas, no período de 2015 a 2020.
2015 2016 2017 2018 2019 2020 p
Data Integrity Remediation
- 16,4% (n=10)
12,9% (n=11)
21,8% (n=19)
20,5% (n=23)
30,6% (n=15)
0,005
n Total 23 61 85 87 112 49
Nota: n = número absoluto de cartas avaliadas.
Figura 3: Frequência percentual de ocorrência das instruções denominadas Data Integrity Remediations, sobre o gerenciamento de documentos direcionadas às empresas, no período de 2015 a 2020.
A partir dos resultados obtidos, observou-se que as recomendações
diretamente relacionadas ao tema de Integridade de Dados passaram a ser
mencionadas após 2016 e que a partir desse ano houve a tendência de aumento na
frequência dessas menções (de 16,4% a 30,6% entre 2016 e 2020) (p=0,005).
0,0%
16,4%
12,9%
21,8%20,5%
30,6%
0%
5%
10%
15%
20%
25%
30%
35%
2015 2016 2017 2018 2019 2020
Taxa d
e o
corr
ência
-
17
2. DISCUSSÃO
2.1. Revisão bibliográfica
a) Revisão da literatura
Por tratar-se de um tema voltado ao sistema de qualidade da indústria
farmacêutica, os estudos avaliados foram elaborados por representantes de agências
sanitárias, especialistas da indústria e de consultorias que prestam serviço à indústria,
e, também, por representantes de organizações sem fins lucrativos de divulgação de
informações técnicas e regulamentares. Considera-se que essa amplitude de fontes
de referência foi importante para a avaliação do tema, uma vez que se observou uma
perspectiva ampla das partes envolvidas no setor.
Os estudos, de maneira geral, discutiram o histórico e os conceitos
relacionados à Integridade de Dados e sugeriram ações de prevenção e remediação
de problemas e infrações relacionados ao tópico. A maioria dos autores constatou que
embora a governança de dados esteja presente em regulamentações sanitárias há
mais de 30 anos, o tema faz parte das áreas de foco mais recentes de inspeções de
autoridade de saúde.
Uma das razões apontadas para justificar o fato foi a mudança de complexidade
no gerenciamento de registros: registros em papel passam também a ser criados,
processados e armazenados utilizando-se sistemas computadorizados. Essa
mudança representa novos desafios na manutenção da integridade dos dados, uma
vez que a diminuição na qualidade da informação e o aumento de risco geral do
processo não devem ocorrer nessa transição (KUMAR, 2017;TABERSKY et al., 2018).
Também discute-se que as autoridades regulatórias têm dado muita ênfase ao
tema porque descobriram casos graves de violações da integridade dos dados ao
longo dos últimos anos, como os escândalos relacionados a aprovação de
medicamentos genéricos nos Estados Unidos no início dos anos 90, ocasião na qual
foram descobertas uma série de falsificações de dados a fim de obter-se a aprovação
de comercialização, e os casos mais recentes de fraude de dados nas empresas
Schein Pharmaceuticals, em 2000, Able Laboratories em 2005 e Ranbaxy em 2006 e
2008 (KUMAR, 2017; MCDOWALL, 2017; RACHEL & GUPTA, 2017).
Os artigos avaliados indicam que a integridade dos dados é impactada pelo
comportamento organizacional, por fatores humanos e técnicos (SHAFIEI et al.,
-
18
2015). Embora esses fatores estejam interconectados são discutidos individualmente
nesse trabalho:
Fatores organizacionais
Constatou-se que violações à Integridade de Dados podem ocorrer porque a
gestão das empresas carece de experiência ou da tomada de iniciativas para a
implementação e verificação de controles internos ou sistemas empregados para
manipulação de dados, que acabam não sendo adequados para o uso pretendido
(SHAFIEI et al., 2015).
Além disso, demonstrou-se que a pressão dos negócios por vezes passa a ser
mais importante que as medidas de conformidade com as BPF: a necessidade em
aprovar novos medicamentos e trazer os produtos ao mercado o mais rápido possível
utilizando-se um menor número de recursos cria expectativas e metas de difícil
atingimento, causando a pressão pela obtenção de resultados sobretudo nas etapas
de teste e liberação e a menor tolerância a erros e desvios de resultados (RATTAN,
2018).
Também se notou que em alguns casos a questão de Integridade de Dados é
vista como um fardo para a indústria, uma vez que representaria a drenagem de
recursos humanos qualificados nos processos de controle e revisão de dados
(AUTOR, 2018).
Fatores humanos
Alguns estudos citaram aspectos comportamentais de funcionários que lidam
com dados relevantes às BPF. Esses aspectos são apresentados como ações
humanas que geram resultados indesejáveis e podem ser classificados em ações não
intencionais (falhas humanas) ou ações deliberadas (SHAFIEI et al., 2015).
Apontou-se que existe um equívoco geral de que as falhas de integridade de
dados resultem apenas de atos de fraude deliberada. De acordo com os estudos, a
maioria dos problemas está relacionada a práticas inadequadas e a sistemas frágeis,
que criam oportunidades para a manipulação de dados (KUMAR, 2017).
Além disso, a falta de treinamentos e capacitação adequados para o
desempenho das atividades de impacto às BPF, foram citadas nas publicações como
uma das causas mais importantes para a ocorrência de falhas humanas (SHAFIEI et
al., 2015; RATTAN, 2018).
-
19
Fatores técnicos
Alguns estudos atribuem problemas de integridade de dados a falhas dos
sistemas eletrônicos de gerenciamento de dados em cumprirem os requerimentos de
BPF.
Uma das causas apontadas é que embora o mercado farmacêutico seja
expressivo mundialmente, representa apenas uma pequena fração nos negócios das
companhias que desenvolvem sistemas computacionais, e que funções
especificamente relacionadas às Boas Práticas de Fabricação representariam um alto
custo de desenvolvimento para seus sistemas. Além disso, sugere-se que não há
capacitação técnica adequada dos desenvolvedores que possibilitem a aplicação
adequada das normas sanitárias aos sistemas (MCDOWALL, 2017; RATTAN, 2018).
Em contrapartida, aponta-se que as empresas farmacêuticas falham em avaliar
se os sistemas adquiridos estão de acordo com os requerimentos para seu uso
pretendido a partir de falhas na execução da validação e qualificação desses sistemas
(SHAFIEI et al., 2015; MCDOWALL, 2017). A ausência de trilhas de auditoria,
mecanismos vulneráveis de controle de acesso e modificação de dados são exemplos
de problemas técnicos que aumentam sua fragilidade (STEINWANDTER & HERWIG,
2019).
A excelência em conformidade traz benefícios para os negócios, mas sobretudo
garante a proteção do paciente consumidor. Um programa de integridade de dados
consiste em proteger os registros de BPF ao longo de todo o seu ciclo de vida
(KUMAR, 2017).
Os principais elementos de prevenção e correção às violações aos princípios de
Integridade de Dados identificados na revisão da literatura são apresentados a seguir:
Mapeamento pontos sensíveis e gestão de riscos
Um sistema farmacêutico de qualidade em conformidade gera e analisa uma
quantidade de dados significativas. Dados diferentes apresentam níveis de impacto
diferentes na qualidade dos produtos (RATTAN, 2018). Por isso, assume-se que os
esforços e recursos designados à governança desses dados devem ser baseados em
avaliações de risco que considerem a vulnerabilidade dos dados a alterações ou
deleções involuntárias ou deliberadas (KUMAR, 2017; RATTAN, 2018; RACHEL &
GUPTA, 2017).
-
20
Dentre os estudos avaliados, identificou-se o relato de estratégias
estabelecidas pela Novartis, importante empresa do setor, para o mapeamento de
processos de dados a fim de identificar riscos. Com essa iniciativa, a empresa buscou
descrever e compreender sistematicamente os processos de impacto às BPF, o fluxo
de dados relacionados através dos sistemas e o ciclo de vida geral dos dados
utilizando-se os procedimentos das atividades e diagramas de fluxo de dados,
análises de risco de modo e efeito de falha (FMEA) e estabelecendo em seguida, um
plano de ação. Com esta abordagem o autor indica que foi possível identificar
sensibilidades no registro manual de dados e no processamento e armazenamento
de dados nos sistemas. A partir dessas descobertas foram feitos investimentos
significativos em soluções a fim de eliminar ou reduzir riscos de Integridade de Dados
a um nível aceitável tais como a aquisição de sistemas computacionais mais
sofisticados, a validação de sistemas em utilização e a revisão de procedimentos
operacionais padrão (TABERSKY et al., 2018). Além dessas soluções, medidas que
aumentem a detectabilidade de falhas podem ser utilizadas como ações de mitigação
de riscos (RATTAN, 2018).
Estabelecimento de mecanismos de controle e revisão
No contexto das BPF, os processos devem ser projetados para garantir que os
dados nele gerados sejam precisos, confiáveis e consistentes.
A partir da validação de processos, considera-se a capacidade dos sistemas
(manuais ou eletrônicos) em atender os requisitos pré-estabelecidos ao longo do ciclo
de vida dos dados, assim, validação e qualificação são etapas fundamentais
assegurar a Integridade de Dados (RACHEL & GUPTA, 2017; KUMAR, 2017).
Uma vez que registros são gerados a partir de processos validados é
fundamental que todas as alterações feitas nas informações sejam documentadas e
revisadas. O uso de trilhas de auditoria permite a reconstrução de detalhes
significativos sobre atividades de fabricação e coleta de dados (MCDOWALL, 2017).
Por fim, recomenda-se a revisão independente dos dados e metadados
relacionados a processos produtivos e analíticos ao fim de cada etapa. Relata-se que
algumas empresas, mesmo em conformidade com as normas, criaram escritórios
dedicados à gestão de documentos (KUMAR, 2017; SCHMITT, 2014).
Controle e acompanhamento por meio de inspeções internas
-
21
Atividades de verificação de Integridade de Dados devem ser incorporadas ao
programa de auditorias internas, devendo ser realizadas periodicamente. Considera-
se que é melhor prevenir problemas de forma proativa do que remediar descobertas
e estar sujeito a ações regulatórias durante inspeções (WECHSKER, 2014; KUMAR,
2017).
Desenvolvimento de tecnologias inteligentes
Os programas devem ser projetados para garantir a integridade dos dados
tanto no nível físico, ou seja, em edifícios e salas, quanto no nível informativo
(sistemas). Os elementos de um programa de segurança incluem requisitos de
autenticidade de identidade de usuários, restrição de acesso a ambientes e registros,
estabelecimento de processos e sistemas de revisão de dados e de trilhas de
auditoria, identificação de falhas em todas as etapas do ciclo de vidas dos dados
(BUHLMANN et al., 2016; KUMAR, 2017).
Desenvolvimento de recursos humanos
A integridade dos dados começa com cada funcionário assumindo a
propriedade e a responsabilidade por seus próprios dados e documentação, em
sistemas em papel ou eletrônicos. Os padrões de conduta ética da empresa devem
ser definidos e seguidos, garantindo que cada funcionário aja com integridade na
execução de seu trabalho. Cada funcionário deve compreender a necessidade de
identificar, escalonar os problemas e relatar à gerência se os procedimentos não
forem seguidos (BUHLMANN et al., 2016).
Além de serem habilitados para executar procedimentos usando as tecnologias
e sistemas de dados estabelecidos, é crucial que os funcionários de todos os níveis
dentro da empresa conheçam os conceitos de Boas Práticas de Documentação e
tenham consciência sobre sua influência sobre os dados ( ALBON et al., 2015;
BUHLMANN et al., 2016). Auditores internos devem compreender os aspectos a
observar ao detectar discrepâncias relacionas à dados (KUMAR, 2017).
Construção e fomentação da cultura de Qualidade organizacional
Mesmo que controles estejam estabelecidos e funcionários capacitados, é
fundamental uma mudança do comportamento geral da organização para que os
objetivos tenham sucesso (RATTAN, 2018).
É fundamental que colaboradores compreendam seu papel em um contexto de
Boas Práticas de Fabricação e Documentação e seu impacto na segurança, qualidade
-
22
do produto. Além disso, é importante que o corpo gerencial fortaleça os processos de
comunicação recíproca e estabeleça expectativas realísticas aos colaboradores,
mostrando confiança sem desconsiderar os riscos envolvidos e inibindo
comportamentos punitivos em relação a erros e desvios (BUHLMANN et al., 2016).
b) Revisão de diretrizes e normas
Os autores dos estudos avaliados citam a importância dos guias de
recomendações publicados pelos principais órgãos regulatórios uma vez que esses
documentos servem não só como instruções sobre as práticas de documentação
desejáveis, mas também como sinais de alerta sobre as expectativas regulatórias e
as tendências de inspeção (RATTAN, 2018; WECHSKER, 2014).
Food and Drug Administration (FDA)
Com base em diversas ações regulatórias devido à observação de violações
relacionadas à Identidade de Dados, a agência FDA anunciou um programa piloto em
2010 para avaliar o tema como parte de inspeções de BPF de rotina (RACHEL &
GUPTA, 2017). Em 2016, seguindo a tendência da OMS e do órgão regulatório
britânico MHRA, a agência lança o rascunho do Guia para a Indústria sobre
Integridade de Dados e Conformidade com as Boas Práticas de Fabricação. A versão
final do guia foi publicada em dezembro de 2018.
A diretriz reflete o que a agência regulatória pensa sobre esse tópico e tem
como objetivo esclarecer o papel do tema no contexto das Boas Práticas de
Fabricação de medicamentos. Observa-se que em sua linguagem a diretriz possui um
caráter mais recomendativo que regulamentar.
O documento está apresentado no formato de 18 perguntas e respostas. Em
seu conteúdo, além de definir conceitos, a agência esclarece suas expectativas sobre
tópicos como o gerenciamento de documentos de relevância às BPF ao longo do seu
ciclo de vida, a revisão de trilhas de auditoria, o uso de registros e assinaturas
eletrônicas, dentre outros.
Além disso, agência declara que espera que os dados sejam confiáveis e
acurados e que as empresas devem implementar estratégias significativas e efetivas
para gerenciar seus riscos em Integridade de Dados baseadas no conhecimento de
seus processos do gerenciamento de suas tecnologias e seus modelos de negócio
(FDA, 2018).
-
23
Sob a perspectiva da FDA, não estar ciente de práticas questionáveis de
integridade de dados ocorrer não isenta a empresa de sua responsabilidade. Uma vez
que problemas de integridade de dados são identificados, as empresas farmacêuticas
devem avaliar a eficácia de seus sistemas de governança para garantir a integridade
e rastreabilidade dos dados internamente e também nos prestadores de serviços
contratados para desempenhar atividades terceirizadas (ERNST&YOUNG, 2015).
Ao longo do estudo, pode-se notar que embora o guia de referência da FDA
tenha sido publicado recentemente, as seções referenciadas nas diretrizes e utilizadas
como parâmetro para o apontamento de falhas nas empresas foram publicadas no
Código Federal de Regulamentações dos Estados Unidos a partir do ano de 1963
(RATTAN, 2018). Isso indica que as recomendações acerca do tema não são
absolutamente novas para a indústria.
European Medicines Agency (EMA)
O Guia sobre Integridade de Dados publicado na forma de rascunho pela
primeira vez em 2010 e revisado em agosto de 2016 pela Agência Europeia de
Medicamentos (EMA) faz parte dos requerimentos básicos de Boas Práticas de
Fabricação no Sistema de Qualidade no escopo de produtos medicinais para uso
humano e veterinário comercializados no mercado europeu.
Seguindo o mesmo padrão da diretriz norte-americana, o guia apresenta-se na
forma de 23 perguntas e respostas que descrevem princípios fundamentais os quais
facilitam a implementação com sucesso dos requisitos sobre o tema. Recomenda-se
que o guia seja utilizado junto a outros documentos de regulamentação farmacêutica
e ao guia de padrões de BPF europeu – Eudralex, Volume 4.
De acordo com o guia, a Integridade de Dados permite a tomada de decisões
pelos fabricantes farmacêuticos e por autoridades regulatórias. É um requerimento
fundamental ao Sistema de Qualidade farmacêutico e é aplicado a sistemas manuais
(em papel) ou eletrônicos (EMA, 2018).
Na análise da diretriz foi observado um foco particular das recomendações na
avaliação, mitigação e comunicação de riscos associados a cada etapa do ciclo de
vida dos dados com base nos princípios básicos de gerenciamento de riscos da
Qualidade previstos no guia ICH Q9.
Considera-se que o conteúdo do guia é complementar ao do guia publicado
pela FDA, uma vez que aborda aspectos não abordados no outro manual como a
importância de auto inspeções, as expectativas sobre empresas subcontratadas e o
-
24
destaque do papel da cultura de Qualidade e das responsabilidades da gerência na
implementação de medidas organizacionais e técnicas que garantam a acurácia dos
dados.
Além disso, a diretriz ressalta que os conceitos e implicações do tema devem
ser incluídos nos programas de treinamentos de colaboradores de todos os níveis da
companhia e também faz referência à diretriz de Integridade de Dados publicada pela
Organização Mundial de Saúde (OMS).
Organização Mundial da Saúde (OMS)
A primeira versão da Diretriz sobre Integridade de Dados publicada pela OMS
data de 2016. Para fins deste estudo, avaliou-se o conteúdo do rascunho publicado
em março de 2020.
Diferentemente dos guias da União Europeia e dos Estados Unidos, o
guia da OMS aparece na forma de recomendações descritas em seções que abordam,
mas não se limitam a conceitos relacionados à Integridade de Dados, ao
gerenciamento de riscos, ao estabelecimento de responsabilidades a fabricantes e
prestadores de serviço subcontratados, a expectativas em relação aos registros em
papel, a sistemas computadorizados e também a sistemas híbridos (quando há a
combinação de registros eletrônicos e em papel).
Na avaliação considerou-se interessante o fato de que a diretriz traz uma seção
dedicada a estabelecer o conceito de Governança de Dados, apresentando-o de
forma ampla como a soma das políticas que possibilitam a garantia da Integridade dos
Dados no Sistema da Qualidade.
Outro aspecto relevante é que em seu escopo o guia não se limita ao escopo
das Boas Práticas de Fabricação, citando também a observação do aumento de
violações às Boas Práticas Clínicas e de Laboratório.
Por fim, os documentos anexos à diretriz trazem 10 exemplos de gestão de
dados a fim de dar suporte aos conceitos abordados no guia. Esses exemplos tratam,
dentre outros conceitos, sobre a avaliação de risco de integridade de dados (sugerindo
a utilização de modelos como FMEA para a análise), a entrada e configuração de
dados em sistemas, o gerenciamento de mudanças, e mecanismos de controles que
podem ser estabelecidos para garantir à Integridade de Dados. Tais exemplos
certamente têm a função de auxiliar e direcionar as empresas a estabelecerem
medidas de acordo com os requerimentos.
-
25
Agência Nacional de Vigilância Sanitária (ANVISA)
Em agosto de 2019, foi publicada no Diário Oficial da União pela ANVISA a
nova resolução sobre as Boas Práticas de Fabricação de Medicamentos, a resolução
RDC Nº 301, de 21 de agosto de 2019. A publicação teve o objetivo de atualizar a
resolução RDC nº 17, de 16 de abril de 2010, harmonizando suas expectativas aos
requisitos do Esquema de Cooperação de Inspeção Farmacêutica (PIC/S). No
presente trabalho, buscou-se avaliar comparativamente as regulamentações a fim de
verificar se houveram mudanças nos requisitos sobre Governança de Dados.
A RDC nº 17 de 2010 estabelece os requisitos mínimos a serem seguidos na
fabricação de medicamentos a fim de padronizar o cumprimento das BPF. Embora a
regulamentação não disponha diretamente sobre Integridade de Dados, o tópico de
gerenciamento de documentos é abordado de maneira geral na primeira seção do
capítulo XV, trazendo requisitos alinhados aos princípios do ALCOA como a
legibilidade, a contemporaneidade, a garantia da acurácia de registros originais, a
necessidade de gerenciamento de alterações, dentre outros.
Na RDC nº 301 de 2019 observa-se que o termo “integridade” foi citado 3 vezes
no capítulo V sob o contexto das práticas de documentação recomendadas pela
agência. Isso denota um aumento na preocupação da agência em apresentar regras
claras e direcionadas para o setor farmacêutico a respeito do tema: o capítulo
contempla 4 seções dedicadas à definição de conceitos e estabelecimento de
requerimentos sobre Boas Práticas de Documentação. A nova regulamentação
estabelece que devem ser implementados controles adequados para garantir a
precisão, integridade, disponibilidade e legibilidade dos documentos, que podem ser
apresentados em mídias impressa, eletrônica ou fotográfica (BRASIL, 2019).
A RDC n° 301 de 2019 vai além dos princípios básicos definidos pelo ALCOA
e dispõe sobre requerimentos sobre a criação de controle de documentos, a
complexidade de sistemas e a necessidade de aplicação das boas práticas de acordo
com os tipos de documento, estabelecendo exigências para o registro de informações
em papel, em sistemas computadorizados e sistemas híbridos, bem como para a
retenção de documentos.
Observa-se que, seguindo a tendência de agências sanitárias internacionais,
as mudanças propostas pela nova diretriz trazem um aumento no nível de exigência
regulatório no Brasil, representando um desafio para dois lados envolvidos na fase de
transição à adequação aos requerimentos uma vez que a ANVISA terá que
-
26
compreender os requerimentos solicitados e investir na capacitação de seus
inspetores e que as empresas farmacêuticas terão que atender aos requisitos e
implementá-los em seus programas de controle e monitoramento.
Considera-se que o aumento no rigor normativo possui um impacto positivo no
Sistema de Qualidade Farmacêutico, direcionando as empresas a um patamar mais
elevado em seus processos de qualidade e confiabilidade de produtos fabricados
nacionalmente, tornando a indústria mais competitiva no mercado mundial.
Sindusfarma
Em 2017 o Sindicato da Indústria de Produtos Farmacêuticos do Estado de São
Paulo divulgou o Guia Sindusfarma de Integridade de Dados. De acordo com os
autores, o guia surgiu da necessidade de consolidar em um documento informações,
procedimentos e cuidados úteis para evitar falhas e riscos que possam eventualmente
provocar transtornos aos laboratórios farmacêuticos e consumidores de seus
produtos.
A diretriz apresenta-se como um grande compilado de informações sobre o
tema apresentando os conceitos e princípios gerais de Integridade de Dados para
sistemas baseados em papel e sistemas computadorizados, exemplos práticos e
discussões sobre as ações adequadas para mitigar e eliminar os riscos inerentes ao
gerenciamento de dados, discute sobre ações regulatórias e sugere medidas de
controle que podem ser utilizadas para avaliar falhas na Integridade de Dados.
Considera-se que o guia possui uma relevância significativa no âmbito nacional,
uma vez que até 2017 a regulamentação federal sobre as BPF não era tão clara no
que diz respeito ao tema. Esse tipo de publicação pode ser utilizado como guia para
empresas do mercado nacional na efetiva implementação das normas de Boas
Práticas de Documentação, apresentando um impacto benéfico para atingir bons
níveis de conformidade sob a perspectiva da Integridade de Dados.
3.3. Revisão das cartas de advertência (Warning Letters)
Segundo Shafiei et al., a revisão das ações regulatórias dentro de um prazo
específico pode fornecer informações úteis sobre o atual pensamento de agências
regulatórias (SHAFIEI et al., 2015):
-
27
c) Perfil global de conformidade às normas de Integridade de Dados
Durante os processos de inspeção de rotina das BPF em estabelecimentos
produtivos, diversos registros de fabricação e teste são revisados. Diante da
impossibilidade de avaliarem-se todos os dados gerados, é estabelecido um vínculo
de confiança entre a agência e a empresa auditada de que todo o ciclo dos dados,
que vai da sua criação ao descarte, segue as normas estabelecidas com base na
avaliação de uma amostra de registros. Se eventualmente são contatadas
irregularidades não justificadas durante as inspeções, todo o sistema de
gerenciamento de dados é posto em dúvida, sensibilizando essa relação de confiança
nos processos estabelecidos pela empresa.
Na elaboração desse trabalho, observou-se a necessidade de qualificar as
notificações em categorias que vão além da ausência ou presença de citações aos
conceitos primários de Integridade de Dados (categorias I e II, respectivamente), já
que se entende que deficiências nos processos de governança de dados de maneira
geral representam um impacto significativo na acurácia e, consequentemente, na
confiabilidade desses dados.
Consequentemente, criou-se a categoria III, que compreende não só as
infrações diretamente relacionadas ao tema, mas também violações que possuem
grande potencial de abalar a confiança no sistema de governança de dados da
empresa auditada como a ausência de apresentação de registros, demonstrando que
possivelmente os procedimentos de criação ou de retenção desses registros não
seguem as premissas recomendadas. Também podem ser citadas violações como a
falha ou ausência de validação de sistemas e processos produtivos e analíticos: a
ausência desses protocolos não garante a consistência e plausibilidade dos
resultados gerados, impactando na confiança sobre o atendimento aos atributos de
qualidade e, consequentemente de segurança e eficácia, pelos os medicamentos
produzidos.
A partir dos dados tabulados, avaliou-se o perfil de descumprimento aos
requerimentos de Integridade de Dados para as categorias às quais as cartas de
advertência foram qualificadas.
De 2015 a 2017, as categorias II e III apresentaram um perfil significativo de
diminuição de ocorrências. Acredita-se que esse fato pode estar relacionado à
publicação em 2015 e 2016, das diretrizes sobre Integridade de Dados pelas
-
28
autoridades sanitárias MHRA (Reino Unido), FDA (Estados Unidos) e OMS. Isso
demonstra que a iniciativa dos órgãos regulatórios em publicar as orientações a fim
de deixar claro suas expectativas sobre as práticas de documentação para o setor
pode ser uma medida eficaz para melhorar os níveis de conformidade, uma vez que
o risco que sanções regulatórias decorrentes de observações passa a ser mais
relevante.
A partir de 2017 observou-se um comportamento diferente para cada categoria
avaliada: um novo aumento significativo das violações contempladas pela categoria
III, atingindo mais de 85% das empresas avaliadas até o fim do primeiro trimestre de
2020. A categoria II manteve seus níveis de violações relativamente constantes, mas
ainda numericamente elevado, estando presentes em cerca de 41% das cartas de
advertência emitidas em 2020. Considera-se que esse nível de descumprimento é
ainda elevado apesar dos sinais de alerta regulatórios.
O aumento subsequente de menções à diretriz de Integridade de Dados nas
cartas através das instruções denominadas Data Integrity Remediation, demonstra
que a agência regulatória tem buscado deixar cada vez claras suas expectativas e o
seu foco a respeito do tema. É fundamental, portanto, que o corpo gerencial das
empresas compreenda as expectativas sobre o tema e concentre esforços na tomada
de ações corretivas e preventivas, servindo-se para isso da base regulamentar, das
diretrizes e das discussões e análises sobre o assunto amplamente disponíveis na
literatura.
d) Distribuição geográfica de violações às normas
Para além dos dados globais, avaliou-se a distribuição geográfica de infrações
às normas de Integridade de Dados para o período estudado, identificando-se Estados
Unidos, Índia e China como os principais receptores de cartas de advertência sobre o
tema.
Os Estados Unidos apresentaram a maior taxa de violação média nos últimos
cinco anos, correspondendo a cerca de 30% das ocorrências observadas. Esse
resultado se deve ao fato de que o país é a sede do órgão regulatório inspetor e possui
o maior número das empresas auditadas; consequentemente, está sujeito a um maior
número de inspeções e, mais suscetível a observações.
A frequência de citações sobre Integridade de Dados em empresas
estrangeiras reflete que uma grande parte da fabricação de matérias-primas e
-
29
produtos acabados importados para os Estados Unidos é feita no exterior, com maior
volume para China e Índia, respectivamente. Com a crescente importância da
indústria farmacêutica e de correlatos no mercado global, sugere-se que o número de
inspeções regulatórias em países estrangeiros tenha aumentado consideravelmente,
o que leva à exposição de diversas violações às normas e fragilidades nas empresas.
Embora a China e a Índia tenham seus próprios órgãos reguladores (NMPA e
CDSCO, respectivamente), a discrepância entre as normas utilizadas como base para
as inspeções e diferença entre o padrão de exigência da agência norte-americana em
relação aos padrões locais podem impactar no apontamento de um maior número
infrações nas empresas localizadas nesses países.
De acordo com um estudo conduzido pela Fundação Ernest & Young, o
aumento da frequência de inspeções da agência FDA em plantas produtivas de
empresas indianas, teve um impacto positivo no país, ocasionando o aumento da
frequência de inspeções feitas por órgãos regulatórios locais no país. Além disso,
relatou-se que a agência norte-americana convidou funcionários do governo indiano
a acompanharem sua equipe na fiscalização das unidades farmacêuticas do país,
aumentando a comunicação sobre as expectativas de conformidade às BPF sob a
perspectiva dos órgãos internacionais (ERNST&YOUNG, 2015).
A publicação de diretrizes, o aumento do número de ações regulatórias, a
realização de treinamentos globais e as iniciativas de cooperação entre órgãos
regulatórios representam um impacto positivo no que diz respeito ao amadurecimento
dos processos inspecionais nos países com sistemas regulatórios em
desenvolvimento, tendo como consequência o aumento do nível de conformidade e,
consequentemente, a confiabilidade na qualidade dos medicamentos produzidos
nesses países.
e) Panorama sobre o nível de conformidade no Brasil
O mercado farmacêutico brasileiro tem aumentado expressivamente sua
participação no mercado mundial, atingindo a posição de sétimo maior mercado em
2018 e devendo alcançar a quinta posição na classificação mundial até 2023
(INTERFARMA, 2019). Entretanto, no processo de avaliação da distribuição
geográfica de infrações aos requerimentos de governança de dados, identificaram-se
apenas duas cartas de advertência endereçadas a empresas sediadas no Brasil no
ano de 2016 (Anexo 4). Ademais, não foram encontrados na literatura trabalhos ou
-
30
informações sobre o cumprimento de normas a respeito do tema para empresas
nacionais ou multinacionais em atividade no país.
As observações demonstram a escassez de informações sobre o nível de
conformidade de Integridade de Dados para um setor industrial de relevante
participação no mercado mundial. Não é possível afirmar se essa escassez deve-se
à falta de transparência por parte das agências de inspeção ou à falta do
estabelecimento de controles apropriados para identificar elementos críticos,
investigá-los e apontá-los, mas certamente são necessários mais estudos sobre o
tema que descrevam o contexto nacional a fim de avaliar-se o nível de confiabilidade
regulatória sob essa perspectiva e orientarem-se políticas sanitárias com a finalidade
de adequação desses níveis de conformidade.
f) Setores da cadeia produtiva impactados pelas infrações
No planejamento do trabalho propôs-se analisar os departamentos aos quais
as citações foram direcionadas a fim de avaliar quais setores da cadeia produtiva
seriam mais suscetíveis a problemas.
Embora uma grande parte das observações foram direcionadas diretamente ao
setor de Controle de Qualidade, nesta revisão notou-se que uma ênfase em
apontamentos orientados ao departamento de Garantia de Qualidade justificando-se
que o departamento não foi capaz de garantir a confiabilidade os dados a partir do
estabelecimento de padrões, procedimentos e recursos para prever, detectar,
controlar e comunicar violações de Integridade de Dados. Essa atribuição das
violações sobre a falta de supervisão do Sistema de Gerenciamento da Qualidade
pelo corpo gerencial impossibilitou a avaliação da relação direta entre as infrações
apontadas e os setores às quais elas foram direcionadas.
Ainda assim, esses apontamentos demonstram claramente como o tema de
Integridade de Dados é intrínseco e está disperso nos processos ao longo da cadeia
de suprimentos, devendo ser visto e integrado no sistema e cultura de Qualidade.
Embora os departamentos de Produção e Controle de Qualidade sejam os que
mais geram dados, tanto produtivos quanto analíticos, os setores de Almoxarifado,
Engenharia e Garantia da Qualidade também desempenham papeis relevantes no
ciclo de vida de dados e nas BPFs: nas atividades do departamento de Almoxarifado
incluem-se a checagem e o registro de condições de armazenamento e de transporte,
bem como o controle de entrada e saída de matérias-primas e produtos acabados. A
-
31
Garantia da Qualidade tem um escopo de atividades relacionadas às Boas Práticas
de Documentação muito amplo sendo responsável pela revisão de registros antes da
liberação dos produtos, pelo seu apropriado armazenamento durante o período de
retenção, pelos processos de validação e qualificação equipamentos e sistemas, e
pela supervisão de que os demais processos ocorram de acordo com os
procedimentos e obedeçam às Boas Práticas de Fabricação.
Todos esses controles exercem um papel fundamental na garantia da
qualidade, segurança e eficácia dos medicamentos e uma falha em algum deles pode
comprometer toda a cadeia de governança de informações.
-
32
3. CONCLUSÃO
A Integridade de Dados é um componente fundamental do Sistema de
Qualidade de uma empresa, fornecendo garantia de que os dados que uma empresa
usa para operar estão em conformidade com os requisitos regulamentares,
demonstrando que seus produtos são seguros e eficazes para o uso pretendido.
No presente trabalho de conclusão de curso, constatou-se que embora o tema
venha sendo apresentado como uma tendência regulatória, possuindo diretrizes
recentemente publicadas pelos principais órgãos regulatórios e sendo discutido
amplamente na literatura e em seminários, o tema de Integridade não é um tema novo
para a indústria de medicamentos, uma vez que as normas referenciadas nos
trabalhos foram estabelecidas nos Guias de Boas Práticas de Fabricação há mais de
30 anos.
Uma das causas as pelas quais o tema tem sido colocado em evidência é o
aumento de ações regulatórias em razão do crescente número de violações
relacionadas à Integridade de Dados. Nesse trabalho, observou-se que mais de 40%
das empresas que receberam cartas de advertência da agência norte americana FDA
nos últimos 5 anos apresentavam, respectivamente, infrações diretamente ou
indiretamente relacionadas à Integridade de Dados.
Esta revisão sinaliza para o potencial e a oportunidade de pesquisa na área
que podem contribuir para melhor compreensão das expectativas de agências de
inspeção nacionais e a divulgação do panorama nacional sobre o tópico.
Pode-se observar que violações aos princípios de Integridade de Dados
causam danos ao Sistema de Qualidade Farmacêutica comprometendo a confiança
de agências regulatórias e de pacientes e impactando negativamente nos negócios
da empresa e, sobretudo, na vida dos pacientes.
-
33
4. BIBLIOGRAFIA
ALBON, K. I., DAVIS, D., BROOKS, J. L.. A Risk-based Approach to Data Integrity.
Pharmaceutical Technology Europe; v. 39; n. 7; p. 46-50, 2015.
AUTOR, D. et al. PDA Point to Consider: Best Practices for Document/Data Management
and Control and Preparing for Data Integrity Inspections. PDA J Pharm Sci and Tech; v.
71; n. 3; p. 332-337, 2018.
BRASIL. ANVISA – Agência Nacional de Vigilância Sanitária. Resolução - RDC nº 17, de
16 de abril de 2010. Dispõe sobre as Boas Práticas de Fabricação de Medicamentos.
Disponível em: .
Acesso em: 09 set 2020.
BRASIL. ANVISA – Agência Nacional de Vigilância Sanitária. Resolução - RDC nº 301,
de 21 de agosto DE 2019. Dispõe sobre as Diretrizes Gerais de Boas Práticas de
Fabricação de Medicamentos. Disponível em: . Acesso em: 09 set 2020.
BHADRASHETTE, M. S. Overview of Data Integrity issues in the Pharmaceutical Industry.
Int. J. Pharm. Sci. Rwv. v. 50; n. 2; p. 95-101, 2018.
BUHLMANN, B., DOLE, M., KAUFMANN, Z. Points to Consider: Fundamental Concepts
in Data Integrity. PDA J Pharm Sci and Tech; v. 70; n. 5; p. 481-488, 2016.
CALIXTO, J. (coord.). Integridade de Dados: Guia Sindusfarma para Indústria
Farmacêutica. 1. ed. São Paulo: [s. n.], 2017. e-book.
CORBILLÓN, L. M., TEXIDOR, R. F., DAMISLEIDYS, G. S. Los sistemas
computadorizados: la industria farmacéutica y sus regulaciones. Revista Cubana de
Ingeniería; v. X; n. 3; p. 27-33, 2019.
ERNST & YOUNG. Analyzing the State of Data Integrity Compliance in the Indian
Pharmaceutical Industry. India, 2015.
EMA (European Medicines Agency). Eudralex – Rules Governing Medicinal Products in
the European Union – Volume 4 - EU Guidelines for good manufacturing practices (GMP)
for medicinal products for human and veterinary use. Disponível em: <
https://ec.europa.eu/health/documents/eudralex/vol-4_en> Acesso em: 20 set 2020.
EMA (European Medicines Agency). Guidance on good manufacturing practice and good
distribution practice: Questions and answers – Data Integrity (New August 2016).
Disponível em:. Acesso em: 15 set. 2020.
FDA (Food and Drug Administration). Compliance Actions and Activities - Warning Letters.
Disponível em https://www.fda.gov/inspections-compliance-enforcement-and-criminal-
http://bvsms.saude.gov.br/bvs/2010/res0017_16_04_2010.htmlhttps://www.in.gov.br/en/web/dou/-/resolucao-rdc-n-301-de-21-de-agosto-de-2019-211914064https://www.in.gov.br/en/web/dou/-/resolucao-rdc-n-301-de-21-de-agosto-de-2019-211914064https://ec.europa.eu/health/documents/eudralex/vol-4_enhttps://www.ema.europa.eu/en/human-regulatory/guidance-good-manufacturing-practice-good-distribution-practice-questions-answers#data-integrity-(new-august-2016)-sectionhttps://www.ema.europa.eu/en/human-regulatory/guidance-good-manufacturing-practice-good-distribution-practice-questions-answers#data-integrity-(new-august-2016)-sectionhttps://www.ema.europa.eu/en/human-regulatory/guidance-good-manufacturing-practice-good-distribution-practice-questions-answers#data-integrity-(new-august-2016)-sectionhttps://www.fda.gov/inspections-compliance-enforcement-and-criminal-investigations/compliance-actions-and-activities/warning-letters
-
34
investigations/compliance-actions-and-activities/warning-letters. Acesso em: 01 out.
2020.
FDA (Food and Drug Administration). Guidance for Industry Part 11, Electronic Records
and Electronic Signatures — Scope and Application. US Department of Health and Human
Services, 2003.
FDA (Food and Drug Administration). Questions and Answers Guidance for Industry - Data
Integrity and Compliance With Drug CGMP. US Department of Health and Human
Sciences, 2018.
INTERFARMA (Associação da Indústria Farmacêutica de Pesquisa). Dados sobre o
mercado farmacêutico mundial. Guia 2019 INTERFARMA: p. 8, 2019.
KUMAR, J. S. Strategy to avoid data integrity issues in pharmaceutical industry. The
Pharma Innovation Journal; v. 6; n. 2; p. 110-115, 2017.
MCDOWALL, R. D. Why is my application’s audit trail rubbish? Spectroscopy; v. 32; n. 11;
p. 24-27, 2017.
RACHEL, O. K., GUPTA, N. V. Data Integrity – Regulations and Current Scenario. Int. J.
Pharm. Sci. Rec. Res.; v. 43; n. 1; p. 16-22, 2017.
RATTAN, A. K. Data Integrity: History, Issues, and Remediation on Issues. PDA J Pharm
Sci and Tech; v. 72; n. 2; p. 105-116, 2018.
SCHMITT, S. Ask the Expert – Data Integrity. Pharmaceutical Technology Europe; v. 38;
n. 7; p. 73, 2014.
SHAFIEI, N., MONTARDY, R., RIVERA-MARTINEZ, E. Data Integrity – A Study of Current
Regulatory Thinking and Action. PDA J Pharm Sci and Tech, v. 69, n. 6, p. 762-770, 2015.
STEINWANDTER, V., HERWIG, C. Provable Data Integrity in the Pharmaceutical Industry
based on Version Control Systems and the Blockchain. PDA J Pharm Scie and Tech; v.
73; n. 4; p. 373-390, 2019.
TABERSKY, D. et al. Recent Regulatory Trends in Pharmaceutical Manufacturing and
their Impacto n the Industry. Chimia; v. 72; n. 3; p. 146-150, 2018.
WECHSKER, J. Data Integrity - Key to GMP Compliance. BioPharm International; v. 27;
n. 9; p. 40-45, 2014.
WHO (World Health Organization). Draft Working Document for Comments: Guideline on
Data Integrity (2020). Disponível em: . Acesso em: 10 set 2020.
https://www.fda.gov/inspections-compliance-enforcement-and-criminal-investigations/compliance-actions-and-activities/warning-lettershttps://www.who.int/medicines/areas/quality_safety/quality_assurance/QAS19_819_rev1_guideline_on_data_integrity.pdf?ua=1https://www.who.int/medicines/areas/quality_safety/quality_assurance/QAS19_819_rev1_guideline_on_data_integrity.pdf?ua=1
-
35
5. ANEXOS
Anexo 1: Estratégia de busca por base de dados.
Base de Dados Estratégia de Busca
Pubmed
((data integrity[Text Word] OR "data accuracy"[MeSH Terms] OR
information management[MeSH Terms] OR scientific
misconduct[MeSH Terms] OR "data management"[MeSH Terms])
AND ("good manufacturing practices"[Text Word] OR "good
distribution practices"[Text Word] OR "quality assurance, health
care"[MeSH Terms] OR quality control[MeSH Terms] OR guidelines
as topic[MeSH Terms] OR quality improvement[MeSH Terms]) AND
(drug industry[MeSH Terms] OR pharmaceutical industry[Text
Word]))
Science Direct
(("data integrity" OR "data management") AND ("good
manufacturing practices" OR "quality assurance" OR "quality
management")) AND ("pharmaceutical industry" OR "drug
industry"))
ISI Web of
Knowledge
Tópico: (“data integrity” OR “data accuracy” OR “information
management” OR “data management” OR “scientific misconduct”)
Tópico: (“good manufacturing practices” OR “good distribution
practices” OR “quality assurance” OR “quality control” OR
“guidelines” OR “quality management”)
Tópico: (“drug industry” OR “pharmaceutical industry”)
Scopus
ALL("data integrity" OR "data accuracy" OR "data management"
OR "scientific misconduct") AND ("good manufacturing practices"
OR "good distribution practices" OR "quality assurance" OR
"quality control" OR "quality management") AND ("drug industry"
OR "pharmaceutical industry")
-
36
Anexo 2: Seções do Código Federal de Regulamentações parte 211 (21 CFR 211)
relacionadas ao tema de Integridade de Dados de acordo com o “Guia para a Indústria
sobre Integridade de Dados e Conformidade com Boas Práticas de Fabricação” (FDA,
2018).
Seções (21 CFR)
Título da Seção
211.22 Organização e pessoal: responsabilidades da Unidade de Controle de
Qualidade
211.68 Equipamentos: Equipamentos automáticos, mecânicos e eletrônicos
211.100 Controles de Produção e Processos: Procedimentos escritos; desvios
211.101 Controles de produção e processo: carregamento de componentes
211.122 Controle de embalagem e rotulagem: análise de materiais e critérios de
uso
211.160 Controles de laboratório: requisitos gerais
211.165 Controles de laboratório: teste e liberação para distribuição
211.180 Registros e relatórios: requisitos gerais
211.182 Registros e relatórios: limpeza de equipamentos e registro de uso
211.186 Registros e relatórios: registros mestre de produção e controle
211.188 Registros e Relatórios: produção em lote e registros de controle
211.192 Registros e relatórios: revisão de registros de produção
211.194 Registros e relatórios: registros do laboratório
-
37
Anexo 3: Seções do Código Federal de Regulamentações parte 211 (21 CFR 211) e suas
relações ao tema de Integridade de Dados de acordo com o “Guia para a Indústria sobre
Integridade de Dados e Conformidade com Boas Práticas de Fabricação” (FDA, 2018).
Seções (21 CFR)
Relação das seções com o tema de Integridade de Dados
211.68
Requer que “os dados de backup sejam exatos e
completos” e “protegidos contra alterações, deleções
inadvertidas ou perda” e que “as informações de saída do
computador ... sejam verificadas quanto à precisão”
212.110(b) Requer que os dados sejam “armazenados para evitar
deterioração ou perda”
211.100, 211.160 Requer que certas atividades sejam “documentadas no
momento da execução” e que os controles de laboratório
sejam “cientificamente plausíveis”
211.180, 211.194(c)
Requer que os registros sejam mantidos como “registros
originais” ou “cópias verdadeiras” ou outras “reproduções
precisas dos registros originais” (de acordo com as
premissas do ALCOA)
211.188, 211.194
Requer “informações completas”, “dados completos
derivados de todos os testes”, “registro completo de todos
os dados” e “registros completos de todos os testes
realizados”
211.22, 211.192,
211.194(a)
Requer que os registros de produção e controle sejam
“revisados” e que os registros do laboratório sejam
“revisados quanto à precisão, integridade e conformidade
com os padrões estabelecidos”
211.182, 211.186(a),
211.188(b), 211.194(a)
Requer que os registros sejam “checados”, “verificados” ou
“revisados”
211.101(d), 211.122,
211.186, 211.188(b)
Requer que os dados sejam atribuíveis (de acordo com as
premissas do ALCOA)
211.180(e) Requer que os dados sejam legíveis (de acordo com as
premissas do ALCOA)
211.22(a), 211.68,
211.188
Requer que os dados sejam acurados (de acordo com as
premissas do ALCOA)
-
38
Anexo 4: Taxa de descumprimento de normas de impacto direto e indireto ao tema de
Integridade de Dados (categoria III) a cada país aos quais foram endereçadas cartas de
advertência no período de 2015 a 2020. Entre parênteses estão apresentados os números
absolutos de cartas analisadas.
País 2015 2016 2017 2018 2019 2020
Alemanha 4,5% (1) 2,3% (1) 1,7% (1) - - 2,4% (1)
Austrália - - 1,7% (1) 2,9% (2) 2,0% (2) -
Áustria - - 1,7% (1) - - -
Bahamas - - - - 1,0% (1) -
Bulgária - - - - - 2,4% (1)
Brasil - 4,5% (2) - - - -
Canadá 4,5% (1) 2,3% (1) 3,4% (2) 4,3% (3) 2,0% (2) 4,8% (2)
China 13,6%
(3) 34,1% (15)
35,6% (21)
32,9% (23)
12,2% (12)
14,3% (6)
Coreia do Sul - - 5,1% (3) 8,6% (6) 2,0% (2) 7,1% (3)
Costa Rica - - - - 1,0% (1) -
Dinamarca - - - - - 2,4% (1)
Espanha - 4,5% (2) - 1,4% (1) 1,0% (1) -
Estados Unidos 9,1% (2)
20,5% (9)
20,3% (12)
25,7% (18)
58,2% (57)
40,5% (17)
Filipinas - - 1,7% (1) - - -
França - - - 2,9% (2) 1,0% (1) -
Holanda - 2,3% (1) - - - -
Hungria - 2,3% (1) - - - -
Índia 50,0% (11)
20,5% (9)
20,3% (12)
11,4% (8)
15,3% (15)
19,0% (8)
Indonésia - - - - - 2,4% (1)
Irlanda - - - 1,4% (1) - -
Itália 4,5% (1) - 3,4% (2) - - -
Japão - 2,3% (1) 1,7% (1) 4,3% (3) - -
México - - 1,7% (1) 2,9% (2) 1,0% (1) 2,4% (1)
Nova Zelândia 4,5% (1) - - - - - República Dominicana - - - 1,4% (1) - -
República Tcheca 4,5% (1) 2,3% (1) - - - -
Romênia - - - - - 2,4% (1)
Singapura - - 1,7% (1) - 2,0% (2) -
Suíça - 2,3% (1) - - - -
Tailândia 4,5% (1) - - - - -
Trinidad & Tobago - - - - 1,0% (1) -
Total (31) 100% (22)
100% (44)
100% (59)
100% (70)
100% (98)
100% (42)
-
____________________________ ____________________________
Data e assinatura da aluna Data e assinatura do orientador
26/10/202028/10/2020