PRINCIPAIS ELEMENTOSVOLUME I

PRIN

CIP

AIS E

LEM

ENT

OS

VOLU

ME

I

A Coleção COVID-19 persegue o desafio de apresentar questões relevantes para

o debate e o aprendizado acerca da crise sanitária pandêmica, que assola todo o

planeta, desde dezembro de 2019. Da Coleção COVID-19, o volume 1 –

Principais Elementos – reúne interpretações sobre o conteúdo fundamental

relativo à pandemia e seu controle. Aborda temáticas acerca do desenvolvimento

humano, desigualdades econômicas, alicerces democráticos, participação e a

relação entre os poderes instituídos. Os textos possuem o condão de registrar

fatos e evidências, a partir de pontos de vista de profissionais de vários campos do

saber, conforme momento histórico vivenciado até novembro de 2020 e que,

espera-se, tenham o condão de contribuir para a compreensão e a análise da

crise sanitária mais severa do último século.

CO

VID

-19

PrinciPais ElEmEntosVolumE 1

Coleção CoVID-19

© 2021 – 1ª Edição

CONSELHO NACIONAL DE SECRETÁRIOS DE SAÚDE – CONASS

É permitida a reprodução parcial ou total desta obra, desde que citadas a fonte e a autoria.

As opiniões emitidas na presente publicação são da exclusiva responsabilidade do autor, sem representar posicionamentos oficiais da Organização Pan-Americana da Saúde e do Conselho Nacional de Secretários de Saúde.

A Coleção COVID-19 é distribuída gratuitamente. Proibida a comercialização.

Também disponível na Biblioteca Digital do Conass em www.conass.org.br/biblioteca.

Coleção COVID-19

Brasília, janeiro de 2021.

PrinciPais ElEmEntosVolumE 1

Coleção CoVID-19

BrasílIa

2021

SECRETÁRIOS DE ESTADO DA SAÚDE 2021

AC Alysson Bestene PB Geraldo Antônio de Macedo

AL Alexandre Ayres PE André Longo

AM Marcellus Campelo PI Florentino Alves Veras Neto

AP Juan Mendes da Silva PR Beto Preto

BA Fábio Vilas Boas RJ Carlos Alberto Chaves de Carvalho

CE Carlos Roberto Martins Rodrigues Sobrinho RN Cipriano Maia

DF Osney Okumoto RO Fernando Rodrigues Máximo

ES Nésio Fernandes de Medeiros Junior RR Marcelo Lima Lopes

GO Ismael Alexandrino Júnior RS Arita Gilda Hübner Bergmann

MA Carlos Eduardo de Oliveira Lula SC André Motta Ribeiro

MG Carlos Eduardo Amaral Pereira da Silva SE Mércia Feitosa

MS Geraldo Resende SP Jean Gorinchteyn

MT Gilberto Figueiredo TO Luiz Edgar Leão Tolini

PA Rômulo Rodovalho PB Geraldo Antônio de Macedo

DIRETORIA DO CONASS 2020/2021

PRESIDENTE

Carlos Eduardo de Oliveira Lula (MA)

VICE-PRESIDENTES

REgIão CENTRo-oESTE

Gilberto Figueiredo (MT)

REgIão NoRDESTE

André Longo (PE)

REgIão NoRTE

Fernando Rodrigues Máximo (RO)

REgIão SuDESTE

Carlos Eduardo Amaral Pereira da Silva (MG)

REgIão Sul

Beto Preto (PR)

EQUIPE TÉCNICA DO CONASS

SECRETáRIo ExECuTIVo

Jurandi Frutuoso

CooRDENação TéCNICa E aSSESSoRIa DE RElaçõES INTERNaCIoNaIS

Fernando Passos Cupertino de Barros

CooRDENação DE aDmINISTRação E DE FINaNçaS

Antônio Carlos Rosa de Oliveira Junior

CooRDENação DE DESENVolVImENTo INSTITuCIoNal

Ricardo F. Scotti

aSSESSoRIa JuRíDICa

Alethele de Oliveira Santos

aSSESSoRIa PaRlamENTaR

Leonardo Moura Vilela

aSSESSoRIa DE ComuNICação SoCIal

Adriane CruzLígia FormentiMarcus CarvalhoTatiana Rosa

aSSESSoRIa TéCNICa

Carla Ulhoa AndréEliana Maria Ribeiro DouradoFelipe FerréFernando Campos AvendanhoHaroldo Jorge de Carvalho PontesHeber Dobis BernardeJuliane Aparecida Alves Luciana Tolêdo LopesMaria José EvangelistaNereu Henrique MansanoRené José Moreira dos SantosRita de Cássia Bertão CataneliTereza Cristina Lins Amaral

CoNSElho EDIToRIal

Alethele de Oliveira SantosAdriane Cruz Fernando P. Cupertino de BarrosJurandi Frutuoso SilvaMarcus CarvalhoRené José Moreira dos SantosTatiana Rosa

6

Coleção COVID-19

ORGANIZAÇÃO DA COLEÇÃO COVID-19

oRgaNIzação

Alethele de Oliveira SantosLuciana Tolêdo Lopes

REVISão TéCNICa

Alethele de Oliveira SantosCarla Ulhoa AndréEliana Maria Ribeiro DouradoFelipe FerréFernando Campos AvendanhoFernando Passos Cupertino de Barros Haroldo Jorge de Carvalho PontesHéber Dobis BernardeJuliane Aparecida AlvesJurandi Frutuoso SilvaLeonardo Moura VilelaLígia FormentiLuciana Tolêdo LopesMarcus CarvalhoMaria Cecília Martins BritoMaria José EvangelistaNereu Henrique MansanoRené José Moreira dos SantosRita de Cássia Bertão CataneliTereza Cristina Lins Amaral

REVISão oRTogRáFICa

Ana Lucia Brochier KistAurora Verso e Prosa

PRoJETo gRáFICo E DIagRamação

ALM Apoio à CulturaMarcus Carvalho

7

COLABORADORES VOLUME 1 – PRINCIPAIS ELEMENTOS

Adriano Massuda Alana Roriz Rizzo LoboAluisio Augusto Cotrim Segurado Armando Martinho Bardou RaggioBetina Ferraz BarbosaCarmen ZanottoClenio Jair SchulzeDaniel de Mattos HöflingDaniel Wei Liang WangFernando Campos AvendanhoFernando Passos Cupertino de BarrosIsabel Craveiro José Carlos Suárez HerreraJosé Eduardo Martins CardozoLavínia Aparecida Reis FreitasLilian Rose Lemos Rocha Maria Paula Dallari BucciMartha Cecilia Suárez-MutisMicaellem Rodrigues Santos da SilvaMoisés Rodrigues AbdallaNaomar Almeida-FilhoNathan Luiz Gonçalves LeãoNereu Henrique MansanoOtávio Augusto de Paula Mendes TeixeiraPaulo Henrique Pimenta MaranhãoPaulo Marchiori BussPaulo SousaPedro Othon Silva SantosRenato TascaSonia FleuryTania RehemWanderson Kleber de Oliveira Zenewton André da Silva GamaZulmira Hartz

Colaboradores

8

Coleção COVID-19

SUMÁRIO

VOLUME 1 – PRINCIPAIS ELEMENTOS

DESENVOLVIMENTO HUMANO – A DESIGUALDADE NO BRASIL DIANTE DA COVID-19 14

Betina Ferraz Barbosa, Daniel de Mattos Höfling

DEMOCRACIA E SAÚDE 30José Eduardo Martins Cardozo, Lilian Rose Lemos Rocha

O PAPEL DO ESTADO ANTE A PANDEMIA: UMA ANÁLISE À LUZ DA REALIDADE 46Fernando Passos Cupertino de Barros, Lavínia Aparecida Reis Freitas, Micaellem Rodrigues Santos da Silva, Moisés Rodrigues Abdalla, Nathan Luiz Gonçalves Leão, Otávio Augusto de Paula Mendes Teixeira, Paulo Henrique Pimenta Maranhão, Pedro Othon Silva Santos

DIÁLOGOS INSTITUCIONAIS E A COVID-19: O LEGADO DA TRAGÉDIA 66

Clenio Jair Schulze

A RESPOSTA DOS SISTEMAS DE SAÚDE À COVID-19: BREVE ANÁLISE SOBRE O SUS 78Adriano Massuda, Renato Tasca

ATUAÇÃO DO SISTEMA DE JUSTIÇA DURANTE A PANDEMIA DE COVID-19: UMA ANÁLISE DA JURISPRUDÊNCIA DO STF 96Daniel Wei Liang Wang

POLÍTICAS DE ISOLAMENTO NA PANDEMIA: CONFRONTAÇÃO FEDERATIVA, DISPUTAS DISCURSIVAS E CONSEQUÊNCIAS POLÍTICO-SANITÁRIAS 110Sonia Fleury

AS COMPETÊNCIAS FEDERATIVAS NO SISTEMA DE SAÚDE BRASILEIRO EM FACE DAS DECISÕES DO STF DURANTE A PANDEMIA DE COVID-19 126Maria Paula Dallari Bucci

ATUAÇÃO DO PARLAMENTO DURANTE A PANDEMIA DE COVID-19 144Carmen Zanotto

CONASS E CONASEMS: ATUAÇÃO DOS CONSELHOS REPRESENTATIVOS 154Armando Martinho Bardou Raggio

9

META-AVALIAÇÃO EM TEMPOS DE PANDEMIA: PARA QUE SERVEM AS INTERVENÇÕES DA COVID-19? 168

Zulmira Hartz, Tania Rehem, Isabel Craveiro

FORTALECIMENTO DA CAPACIDADE DE VIGILÂNCIA E RESPOSTA ÀS EMERGÊNCIAS DE SAÚDE PÚBLICA POR SÍNDROMES RESPIRATÓRIAS AGUDAS 182Wanderson Kleber de Oliveira

MALÁRIA NA TRÍPLICE FRONTEIRA BRASIL-COLÔMBIA-PERU EM TEMPOS DE PANDEMIA 198Martha Cecilia Suárez-Mutis

PANDEMIA DE COVID-19 NO BRASIL: EQUÍVOCOS ESTRATÉGICOS INDUZIDOS POR RETÓRICA NEGACIONISTA 214Naomar Almeida-Filho

IMPACTO DA CULTURA DE SEGURANÇA DO PACIENTE NA RESPOSTA À COVID-19 226Zenewton André da Silva Gama

QUALIDADE E SEGURANÇA DO PACIENTE: IMPLICAÇÕES E RESILIÊNCIA NO CONTEXTO DA PANDEMIA DE COVID-19 242

Paulo Sousa

INUMERÁVEIS: LUTO E MEMÓRIA EM HOMENAGEM ÀS VÍTIMAS DA COVID-19 256Alana Roriz Rizzo Lobo

NOVO CORONAVÍRUS: IMUNIDADE INDIVIDUAL, IMUNIDADE POPULACIONAL, ONDAS DE INFECÇÃO E POSSIBILIDADE DE REINFECÇÕES 264Aluisio Augusto Cotrim Segurado

IMUNIZAÇÃO CONTRA A COVID-19: DO DESENVOLVIMENTO E PESQUISA À DEFINIÇÃO DAS ESTRATÉGIAS DE VACINAÇÃO 278Nereu Henrique Mansano, Fernando Campos Avendanho

PARTICIPAÇÃO SOCIAL, PANDEMIAS E DESENVOLVIMENTO SUSTENTÁVEL DOS SISTEMAS UNIVERSAIS DE SAÚDE 292José Carlos Suárez Herrera

DIPLOMACIA DA SAÚDE NA GESTÃO DE PANDEMIAS 316Paulo Marchiori Buss

Sumário

10

Coleção COVID-19

PREFÁCIO COLEÇÃO COVID-19

Em dezembro de 2019, o Sars-CoV-2 foi detectado na China, espalhando-se rapidamente pelos demais continentes. As dúvidas iniciais sobre a eficiência da transmissão esvaíram-se no correr dos dias, levando os países a lidarem com a rápida mudança entre a contenção e a mitigação da doença por ele causada, a COVID-19.

Os fatos e os registros acadêmicos revelam que o alcance da pandemia ocorre em mag-nitudes diversas nos territórios e tem provocado afinco inconteste dos cientistas na busca por medicamentos existentes e possivelmente aplicáveis, novas terapias e, principalmente, vacinas eficazes – numa atuação, muitas vezes conjunta - entre o público e o privado.

Passados doze meses, a ausência de eficácia cientificamente balizada dos tratamentos farmacológicos corrobora com a adoção das estratégias de higiene das mãos; do uso de máscaras; distanciamento físico e social adotadas, em maior ou menor medida pelos países, com vistas a evitar que a população seja infectada concomitantemente à sobrecarga das unidades hospitalares, numa tentativa de coibir o colapso dos sistemas de saúde.

No Brasil, o primeiro caso da COVID-19 foi registrado em 26.02.2020 e, o primeiro óbito, em 15.03.2020. A notificação sobre o primeiro paciente infectado deu-se por unidade hospitalar privada, mas a sobrecarga de casos veio para o Sistema Único de Saúde (SUS), respon-sável exclusivo pela assistência à saúde de cerca de 75% dos brasileiros, além das responsabilidades atinentes à saúde pública em todo o território nacional.

O SUS, que se realiza pelos esforços de gestão e de financiamento dos entes fe-derados, tem no respeito à autonomia e às diferenças loco-sanitárias sua força motriz para o modelo de governança pautado pelo diálogo, pelo consenso e por inarredáveis alicerces democráticos. O funcionamento das comissões intergestores (tripartite, bipartite e regional), além de contar com o Ministério da Saúde, Conselho Nacional de Secretários de Saúde (Conass), Conselho Nacional de Secretarias Municipais de Saúde (Conasems) e Conselho de Secretarias Municipais de Saúde (Cosems), apoia-se na atuação dos conselhos de saúde e dos organismos internacionais, onde se inclui mais fortemente a Organização Pan-ame-ricana de Saúde (Opas).

As décadas de existência do SUS têm sido marcadas pelo subfinanciamento; pela ausência de carreiras atrativas para os profissionais da saúde; pelo enraizamento de um modelo de atenção

11

que não tem na atenção primária a ordenação do cuidado; pelos custos e concorrência crescentes da assistência à saúde; por um recrudescimento da administração pública e de controles que não aferem resultados; e, maximamente, pelo decréscimo de apoios político, da mídia e social. Em resumo, a saúde não foi devidamente priorizada pela sociedade e seus governos.

Esse contexto de subsistência foi agravado pela pandemia. O desafio de apresentar à sociedade respostas ao tempo de sua necessidade tanto se deparou com a prevenção, o controle e mitigação da COVID-19, quanto com as dificuldades, limites e potencialidades do sistema público brasileiro.

No esforço de contribuir para a compreensão e avaliação dos diferentes fenômenos que circundam a pandemia da COVID-19, e também para dar cumprimento à sua missão institucional de produzir e difundir conhecimento, o Conass e a Opas convidaram especialistas da academia, dos poderes da República, da imprensa e da sociedade para apresentarem suas perspectivas sobre temáticas sanitárias, econômicas e sociais.

A Coleção COVID-19 está dividida, por ora, em seis volumes: (i) principais elementos; (ii) planejamento e gestão; (iii) competências e regras; (iv) profissionais de saúde e cuidados primários; (v) acesso e cuidados especializados; e, (vi) reflexões e futuro – identificados numa tentativa didática de encadear as opiniões pessoais dos autores, devidamente preservadas em sua totalidade, ainda que possam não guardar compatibilidade com as posições institucionais do Conass e da Opas, cujos agradecimentos pela parceria são ora externados.

Este trabalho foi iniciado em agosto de 2020 e alcança questões relacionadas aos sistemas universais, ao SUS, aos esforços e respostas dadas à pandemia e, especialmente, aos desacertos que porventura tenham ocorrido em desfavor da Ciência, das vidas ceifadas pela COVID-19 e do luto das famílias e amigos. O começo deu-se sob o desejo de que sua entrega, em janeiro de 2021, já ocorresse em cenário mais favorável. Nos dias atuais, lida-se com um recrudescimento do número de infectados e de óbitos, com pesquisas clínicas que ainda avançam em suas fases, com o início da concessão de registros sanitários e a vacinação que ocorre minoritariamente em países que enfrentam o inverno.

Ainda que o futuro permaneça incerto, e sem qualquer pretensão de esgotar os assuntos abordados, que a leitura seja informativa, provocativa e inovadora!

Carlos Lula Presidente do Conass

Prefácio

META-AVALIAÇÃO EM TEMPOS DE PANDEMIA: PARA QUE SERVEM AS INTERVENÇÕES DA

COVID-19?

Zulmira Hartz1

Tania Rehem2

Isabel Craveiro3

RESumo: A pandemia de COVID-19 vem afetando todo o mundo, causando, até o momento, cerca de 33.034.598 casos confirmados, 302.277 novos casos e 996.342 mortes. O Brasil vem investindo em diversas medidas para o enfrentamento da doença, entre as quais um importante investimento em realização de pesquisas. Este ensaio tem como objetivo refletir sobre a realização de meta-avalição trazendo subsídios para a elaboração do estudo, nos diversos cenários, inclusive em situação de pandemia. Trata-se de um ensaio sobre meta-avaliação, em que as bases teóricas e conceituais foram buscadas em livros e artigos. O Brasil contratou 126 pesquisas, sendo 66,6% relacionadas com avaliação, por meio de Chamada Pública. No contexto atual, no qual foi de-mandado um quantitativo importante de pesquisas avaliativas para nortear as melhores estraté-gias no enfrentamento da COVID-19, torna-se de suma importância a realização de estudos de meta-avaliação, a qual pode ser definida como a avaliação da avaliação. O uso da meta-avaliação deve ser incentivado, sendo entendida como uma ferramenta crucial para o aperfeiçoamento e desenvolvimento do SUS, pois a ausência de avaliar as avaliações permite que práticas avaliatórias inconsistentes possam ser consideradas e que possam induzir ou fundamentar decisões equivocadas por parte dos gestores.

PalaVRaS-ChaVE: Meta-Avaliação. Avaliação. Pandemia. Coronavírus. Política de Saúde

1 ProfessoracatedráticaecoordenadoradaUnidadeCurriculardeAvaliaçãoemSaúdenoProgramadeDoutoramentoemSaúdeInternacionaldoInstitutodeHigieneeMedicinadaUniversidadeNovadeLisboa/Portugal. CV: http://lattes.cnpq.br/6658303414466015. ORCID: https://orcid.org/0000-0001-9780-9428. zhartz@ihmt.unl.pt.

2 ProfessoraAssociadadaFaculdadedeCeilândia/UniversidadedeBrasília/DF.CV:http://lattes.cnpq.br/2598099282441568. ORCID: https://orcid.org/0000-0002-4491-1661. taniarehem@unb.br.

3 Investigadora auxiliar e docente no Departamento de Saúde Pública e Bioestatística do Insti-tuto de Higiene e Medicina Tropical da Universidade Nova de Lisboa/Portugal. CV: http://lattes.cnpq.br/8964435648797176. ORCID: https://orcid.org/0000-0003-4348-1986. e Isabelc@ihmt.unl.pt.

1. INTRODUÇÃO

A pandemia de COVID-19 vem afetando fortemente países em todo o mundo, trazendo à tona e exacerbando as desigualdades sociais, econômicas e políticas preexistentes. Entre outros fatores, a pandemia vem se agravando, em função da elevada facilidade e da alta velocidade de transmissão do novo coronavírus, economias e sociedades fortemente integradas e interdependentes em nível global, associadas ao desconhecimento prévio da história natural da doença e do vírus (1-2).

Segundo a Organização Mundial da Saúde (OMS) (3), foi notificado um total de 33.034.598 casos confirmados, 302.277 novos casos e 996.342 mortes. Desse total, o Brasil notificou 4.717.991 casos confirmados; 141.406 mortes, e 28.378 casos novos.

Segundo dados da Jonhs Hopkins (4), considerando 188 países/regiões, o Brasil vem ocupando o terceiro lugar em número de casos (4.745.464) e o segundo em número de mortes (142.058), ficando atrás apenas dos Estados Unidos.

Por meio da Portaria nº 1.565, o Ministério da Saúde (MS) estabeleceu, dentre outras medidas para o enfrentamento da doença, orientações gerais visando à prevenção, ao controle e à mitigação da transmissão da COVID-19, e à promoção da saúde física e mental da população brasileira, de forma a contribuir com as ações para a retomada segura das atividades e o convívio social seguro (5).

Ainda nessa portaria, fica definido que cabem às autoridades e aos órgãos de saúde locais decidir, após avaliação do cenário epidemiológico e capacidade de resposta da sua rede de atenção à saúde, quanto à retomada das atividades.

A equipe técnica do Conselho Nacional de Secretários de Saúde (Conass), do Conselho Nacional de Secretarias Municipais de Saúde (Conasems) e da Organização Pan-Americana da

Artigo também disponível pelo QR code ao lado ou pelo link

https://bit.ly/2XnP6Iz

170

Coleção COVID-19

Saúde / Organização Mundial da Saúde (Opas/OMS) vem apoiando os gestores de estados e municípios na adoção de medidas de saúde pública, no sentido de reduzir a velocidade de propagação da doença, para evitar o esgotamento dos serviços de saúde.

Nesse sentido, foram elaborados e publicados documentos técnicos, denominados série COVID-19, sendo o primeiro referente à “Estratégia de Gestão: instrumento para apoio à tomada de decisão na resposta à Pandemia do COVID -19 na esfera local” (6) , com o objetivo de oferecer instrumento para apoiar a tomada de decisão dos gestores do Sistema Unico de Saúde (SUS) na resposta à COVID-19. Destaca que a estratégia a ser adotada em cada território deve ser adaptada à sua realidade, considerando as informações disponíveis.

No segundo documento, denominado “Guia Orientador para o enfrentamento da Pandemia COVID-19 na Rede de Atenção à Saúde” (7), foram acrescentadas informações consideradas relevantes e atualizadas para subsidiar gestores e profissionais de saúde, nos vários níveis de atenção, no momento atual da pandemia no Brasil.

Entre os aspectos abordados, no guia orientador, estão a proposta de Protocolo Operacional Padrão (POP) para realização de oximetria, o checklist para avaliação da Rede de Urgência e Emergência na Pandemia de COVID-19 e a proposta de Plano de Cuidado Integrado da Alta Hospitalar para a Atenção Primária.

As publicações citadas acima apontam, ainda, para a necessidade de um processo de avaliação contínua, pois esta possibilita identificar melhorias a serem realizadas e fornece uma base de evidências para novas avaliações e respostas a eventos em saúde pública.

Entretanto, para além da necessidade de institucionalização da avalição, é preciso questionar continuamente a capacidade da avaliação em produzir as informações e julga-mentos necessários para ajudar as instâncias decisórias a melhorar o desempenho de suas ações (8). Dessa forma, torna-se fundamental que a própria avaliação seja avaliada.

Diante do exposto, este ensaio tem como objetivo refletir sobre a realização de me-ta-avalição trazendo subsídios para a elaboração do estudo, nos diversos cenários, inclusive em situação de pandemia.

2. MÉTODO

Trata-se de um ensaio sobre meta-avaliação, no qual as bases teóricas e conceituais foram buscadas em livros e artigos, publicados entre 1991 e 2020. Para Silveira (1992), um ensaio busca aprofundar o debate sobre um tema, expondo ideias e pontos de vista, de forma original, sem, contudo, explorá-lo de forma exaustiva (9).

171

Meta-Avaliação em Tempos de Pandemia: para que Servem as Intervenções da COVID-19?

3. RESULTADOS E DISCUSSÃO

3.1 DEMANDA DE PESQUISAS AVALIATIVAS NO BRASIL PARA O

ENFRETAMENTO DA COVID-19

Existe amplo consenso quanto à ideia de que as políticas públicas, incluindo aí as políticas de saúde, devem ser acompanhadas de avaliações sistemáticas, como parte da rotina governamental, adaptando-se continuamente em função dos resultados e recomendações por elas fornecidas (10).

Corroborando com os aspectos referidos acima, foi aprovado, pelo Senado Federal, Pro-jeto de Lei nº 488, de 2017 (complementar) (11), com o intuito de estabelecer normas e diretrizes para encaminhamento de proposições legislativas que instituam políticas públicas, propiciando melhor responsabilidade gerencial na Administração Pública. Ou seja, este projeto altera a Lei da Técnica Legislativa para determinar que as proposições legislativas que instituam políticas públicas contenham a avaliação de impacto legislativo.

No momento atual, em função do insuficiente conhecimento científico sobre o novo coronavírus, sua alta velocidade de disseminação e capacidade de provocar mortes em populações vulneráveis, gerando incertezas sobre quais seriam as melhores estratégias a serem utilizadas para o seu enfrentamento, o Brasil, assim como o mundo, vem investindo em diversos estudos e pesquisas.

Nessa lógica, houve uma Chamada pública MCTIC/CNPq/FNDCT/MS/SCTIE/Decit Nº 07/2020 – “Pesquisas para enfrentamento da COVID-19, suas consequências e outras sín-dromes respiratórias agudas graves” (12) , cujo objetivo é apoiar o desenvolvimento de pesquisas de cunho científico e/ou tecnológico relacionadas com a COVID-19 e outras síndromes respiratórias agudas graves, contribuindo para o avanço do conhecimento, formação de recursos humanos, geração de produtos, formulação, implementação e avaliação de ações públicas voltadas para a melhoria das condições de saúde da população brasileira.

Para essa chamada, foram definidos sete temas relacionados com: (i)tratamento, (ii)vacina, (iii) diagnóstico, (iv) patogênese e história natural da doença COVID-19, (v) carga de doença, (vi) atenção à saúde, e (vii) prevenção e controle, totalizando 12 linhas de pesquisa, sendo que, destas, 8 linhas dizem respeito a estudos de avaliação. Foram aprovados 90 projetos de mais de 2 mil propostas submetidas (12).

Em função do quantitativo de propostas submetidas, o Conselho Nacional de Desen-volvimento Científico e Tecnológico (CNPq) e o Ministério da Ciência e Tecnologia (MCTI) deram um incremento no recurso, de modo a favorecer mais 26 novos projetos apoiados pela chamada pública do enfrentamento da COVID-19. Segundo o CNPq, trata-se de projetos muito meritórios que não puderam ser atendidos no primeiro momento. Eles contemplam cinco das sete linhas previstas na Chamada, quais sejam: (i) Tratamento COVID-19, (ii) Vacinas COVID-19,

172

Coleção COVID-19

(iii) Diagnóstico COVID-19, (iv) Patogênese e História Natural da Doença COVID-19 e (v) Prevenção e Controle COVID-19 (12).

Chama atenção a solicitação feita por essa chamada pública, no sentido de que os resultados dessas pesquisas, inclusive os parciais, sejam informados/enviados aos Ministérios ao longo da execução delas, em tempo real, antes das publicações científicas ou quando requisitados (12). São, portanto, pes-quisas contratadas para fornecer novas evidências e subsídios para o enfrentamento da emergência de saúde pública de importância internacional e nacional, vivenciada neste momento.

Trata-se de um movimento importante no que diz respeito à translação do conhecimento, que consiste na troca e aplicação do conhecimento com vistas a potencializar os benefícios decorrentes de inovações para fortalecer sistemas de saúde e a melhoria da saúde das populações. O conceito refe-re-se ao entendimento de que não basta haver conhecimento novo ou sua divulgação, sendo necessário promover sua utilização, na prática (13).

Esse aspecto reforça o quanto a avaliação vem ganhando uma centralidade, particularmente neste momento no Brasil (na chamada pública Nº 07/2020, das 12 linhas, 66,7% delas tratam de avaliação), onde os desafios são ainda maiores, pois pouco se sabe sobre as características de transmissão da COVID-19.

Somam-se a isso a existência de um contexto de grande desigualdade social e suas consequ-ências, os reconhecidos e persistentes problemas enfrentados pelo SUS, particularmente com relação ao subfinanciamento, comprometendo a sua capacidade em cumprir com os compromissos constitucionais com consequentes impactos sobre a saúde da população, particularmente neste momento.

Nessa perspectiva, considerando o grau de desconhecimento e a gravidade da situação atual ante a pandemia, bem com os recursos investidos em tais pesquisas, considera-se recomendável a reali-zação da avaliação destas pesquisas, tema que será abordado adiante.

3.2 AVALIAÇÃO E META-AVALIAÇÃO

Existem diversas definições de avaliação, entre as quais, aquela que se refere a um julgamento de valor, a respeito de uma intervenção ou sobre qualquer um dos seus componentes, com o objetivo de ajudar na tomada de decisão. Nesse sentido, a avaliação contribui para tornar as políticas e os pro-gramas mais coerentes graças a uma análise sistemática que descreve e explica as atividades, os efeitos, as justificativas e as consequências sociais dessas políticas e programas (14).

Ainda segundo os autores acima, pode-se considerar que a avaliação tem os seguintes objetivos: (i) ajudar no planejamento e na elaboração de uma intervenção; (ii) fornecer informação para melhorar uma intervenção no seu decorrer; (iii) determinar os efeitos de uma intervenção ao seu final para decidir se ela deve ser mantida, transformada de forma importante ou interrompida; (iv) e contribuir para o progresso dos conhecimentos, para a elaboração teórica.

173

Meta-Avaliação em Tempos de Pandemia: para que Servem as Intervenções da COVID-19?

Apesar do crescente interesse pela temática da avaliação, segundo Furtado e Laperriere, ainda há muito a se caminhar para o estabelecimento da avaliação como prática incorporada na gestão e, sobretudo, como forma de prestar contas à sociedade dos recursos investidos na área social. Para que isso ocorra, torna-se fundamental garantir que as avaliações forneçam achados e conclusões confiáveis, que as práticas de avaliação se qualifiquem cada vez mais, e que as instituições administrem sistemas de avaliação eficientes e eficazes (15).

Nesse particular, ganha relevância a realização de meta-avaliação, termo introduzi-do em 1969, por Michael Scriven, para se referir à sua avaliação no Relatório de Produtos Educacionais do seu plano de avaliação (16).

Para Stufflebeam (17), considerando as dimensões apontadas pelo Joint Committee, a me-ta-avaliação é um processo de delinear, obter e aplicar informação descritiva e de julgamento sobre a utilidade, a viabilidade, adequação e precisão de uma avaliação. Deve ser feita com competente conduta, integridade, honestidade, respeitabilidade e responsabilidade social para orientar a avaliação e relatar publicamente seus pontos fortes e fracos.

Segundo Scriven (16), trata-se de um sistema institucionalizado de auxílio à tomada de decisão nos diversos campos, incluído o da saúde, uma vez que as avaliações podem ser falhas por foco inade-quado, critérios inadequados, erros técnicos, custos excessivos, abuso de autoridade, implementação inadequada, relatórios tardios, entre outras questões. Ou seja, a realização de meta-avaliação permite saber se as informações produzidas pela avaliação possibilitam aos atores melhorar suas decisões e efi-ciência do sistema de cuidados (18).

Assim como nas avaliações, a meta-avaliação também pode ser formativa e somativa. De acordo com Stufflebeam, a meta-avaliação formativa é empregada durante o processo de desenvolvimento da avaliação e auxilia avaliadores a planejar, conduzir, melhorar, interpretar e comunicar os seus estudos de avaliação. Já as abordagens somativas ocorrem após o término da avaliação, depois que todo o processo avaliativo já aconteceu. Nesse tipo de abordagem, o meta-avaliador lida com relatórios prontos, poden-do também utilizar bancos de dados coletados, documentação analisada, registros feitos, depoimentos, enfim, todo o material disponível que diz respeito e retrata a avaliação desenvolvida (17).

A literatura apresenta várias possibilidades para a condução de meta-avaliações, tais como a utilização da Lista-Chave de Verificação da Avaliação de Scriven (Key Evaluation Checklist); Critérios Fundamentais de Davidson, Diretrizes para Avaliação para a América Latina e o Caribe; e Joint Com-mittee on Standards for Educational Evatuations (JCSEE) (19).

Entretanto, o marco referencial mais conhecido é o proposto pelo JJCSEE, o qual ofe-rece padrões não só para elaboração e execução de avaliação como também de meta-avaliações. Esses padrões representam um esforço conjunto e prolongado de várias organizações e associações norte-americanas e canadenses, ligadas à educação e à avaliação que inspiraram fortemente as sociedades suíça, africana e alemã (8).

174

Coleção COVID-19

O processo de construção e publicação dos padrões da JCSEE, descrito por Elliot (19), refere que a primeira edição data de 1981, intitulada Standards for Evaluations of Educational Programs, Project, and Materials, tendo como finalidade produzir, em uma linguagem clara e de fácil apreensão, diretrizes que pudessem tanto servir de orientação para a elaboração de projetos avaliativos de programas ou de outros objetos de avaliação, quanto para a execução deles próprios, e até para a meta-avaliação.

Após uma década de uso e de aceitação internacional dos padrões, o JCSEE ampliou o escopo dos padrões, voltando-se para a avaliação de programas em diversas áreas e procedeu a ajustes e acréscimos necessários a essa finalidade.

Em 1994, a segunda edição foi publicada com o título de The Program Evaluation Standards (padrões de avaliação de programas), e em 2004, 10 anos após a publicação da segunda edição dos padrões, foi iniciado o processo de desenvolvimento para a publicação da terceira edição.

Este processo passou por várias etapas, entre outras, envolvendo comentários e suges-tões de mais de 300 stakeholders, mais de 75 revisores nacionais e internacionais, seis audiências nacionais, testes de campo realizados por 50 usuários, validação por um painel em 2008, revisão geral pelo JCSEE em 2009, sendo então considerados prontos para a certificação final como padrões de avaliação de programas concedida pelo American National Standards Institute (Ins-tituto Americano de Padrões Nacionais).

O JCSEE definiu 30 padrões, os quais podem ser adaptados às questões específicas de cada processo avaliativo, contemplando cinco grandes princípios ou atributos, quais sejam: uti-lidade, viabilidade, propriedade, acurácia/precisão e responsabilidade (20).

A escolha dos padrões depende de exigências profissionais e governamentais, da cultura organizacional ou do próprio avaliador, mas todos têm em comum as seguintes características: envolvimento dos atores interessados; manutenção de independência e explicitação dos conflitos de interesse; credibilidade e suficiência das evidências apresentadas para dar suporte aos resul-tados, conclusões e recomendações; proteção de informações confidenciais; uso de processos que garantam qualidade; apresentação de relatórios equilibrados e manutenção dos registros de demonstração do uso apropriado da metodologia (8).

Malta et al. (21), contextualizando a influência das avaliações por meio de um ensaio me-ta-avaliativo, com ênfase na utilidade e responsabilidade, sistematizaram os passos metodológicos a serem seguidos, quais sejam: (i) planejar a meta-avaliação, (ii) levantamento do material a ser meta-avaliado, (iii) avaliar a qualidade dos estudos, (iv) sintetizando as conclusões da avaliação. Em seguida, citam, como exemplo, um estudo de meta-avaliação que foi conduzida na avaliação do Plano de Desenvolvimento Sanitário da República de Guiné-Bissau, concluindo que a meta--avaliação pode ser uma ferramenta útil, em especial em contextos que já avançaram na produção de avaliações prévias.

175

Meta-Avaliação em Tempos de Pandemia: para que Servem as Intervenções da COVID-19?

Os padrões de avaliação originais alcançaram um elevado consenso no conjunto das Américas para os diferentes setores de políticas, entretanto, eles não devem ser considerados uma receita, cabendo a cada meta-avaliador fazer as devidas adaptações. Portanto, é preciso entender o papel da meta-avaliação além da mera aplicação dos padrões e critérios, compartilhando o apren-dizado individual e coletivo ao se privilegiar estratégias coerentes com esta intencionalidade (8).

3.3 A META-AVALIAÇÃO NO BRASIL

Não existem normas nacionais para realização de meta-avaliação. Neste momento, a Rede Brasileira de Monitoramento e Avaliação, de forma pioneira, vem trabalhando na construção de Diretrizes para a prática da Avaliação no Brasil, as quais buscam dialogar com referências, guias, padrões, orientadores, diretrizes e normas.

O Brasil vem realizando estudos de meta-avaliação nas diversas áreas, incluindo a da saúde. Dentre os estudos realizados, podemos citar a Meta-Avaliação da Atenção Básica à Saúde (8), resultando na primeira publicação nacional voltada para a meta-avaliação em saúde e, portanto, de grande interesse para pesquisadores, gestores, estudantes de pós-graduação e profissionais de saúde. Nessa meta-avaliação, foram adotados os padrões de utilidade, exequibilidade, propriedade, precisão ou acurácia.

Outras meta-avaliações foram realizadas, dentre as quais: (i) meta-avaliação de uma extensão universitária: estudo de caso (22) que teve como objetivo refletir sobre quais aspectos da avaliação podiam contribuir para a formação dos estudantes – foram utilizados, como referencial, os padrões de utilidade, viabilidade, propriedade e precisão; (ii) meta-avaliação de auditorias de natureza operacional do Tribunal de Contas da União (23), cujo objetivo foi propor um modelo de meta-avaliação e aplicá-lo à auditoria de natureza operacional (ANOP) do Tribunal de Contas da União, meta-avaliando seus critérios, padrões, validade e confiabilidade dos procedimentos e resultados das ANOPs; (iii) meta-avaliação do programa de melhoria do acesso e qualidade da atenção básica (PMAQ-AB) em Ubirajara-Ce: um estudo de caso (24) utilizando os padrões de Utilidade, Viabilidade, Propriedade e Precisão; e (iv) meta-avaliação de uma avaliação participativa desenvolvida por gestores municipais de saúde com foco no padrão de “utilidade” (25).

Ainda sobre a importância da realização de meta-avaliação, chama atenção a cria-ção de uma disciplina com esse tema, tornando-a obrigatória em curso de pós-graduação em uma instituição brasileira (26). Além dessa iniciativa, essa mesma instituição lançou a “Revista Meta: Avaliação”, passando a ter quatro edições (publicação trimestral) a partir do ano de 2020, dedicada à divulgação da prática e da teoria da avaliação no Brasil e no mundo, dando ênfase especial às áreas de educação, saúde e sociedade, caracterizando sua disciplina multidisciplinar.

176

Coleção COVID-19

Ao analisar os artigos publicados nessa revista, nos últimos três anos, observa-se uma predominância daqueles relacionados com a área de ensino e educação, além de predominância de estudos de avaliação (26).

No ano de 2018, a revista publicou uma edição específica com dez estudos de meta-avaliação, envolvendo as diversas áreas, adotando padrões e critérios referidos anteriormente, sendo dois artigos voltados para a área de saúde, com os seguintes temas: (i) Meta-avaliação do relatório de avaliação de execução de Programas do Governo nº 8: programa de saúde da família (27), no qual foi realizada uma meta-avaliação somativa, embasada nas Diretrizes para Avaliação para a América Latina e o Caribe; e (ii) Meta-avaliação da avaliação do Impacto Socioeconômico do Vírus Zika na América Latina e Cari-be: Brasil, Colômbia e Suriname como estudos de caso (28), com objetivo de meta-avaliar um relatório avaliativo elaborado pelo Programa das Nações Unidas para o Desenvolvimento (PNUD) envolvendo outras parcerias, em que também foram utilizadas as mesmas diretrizes acima.

4. A META-AVALIAÇÃO COMO FERRAMENTA DE GESTÃO

O pressuposto de que as avaliações devem apoiar os processos decisórios parece ser consensual como um princípio geral. Entretanto, como tal, não é suficiente para promover mu-danças na gestão, sendo também evidente o quão distante esse princípio se encontra das atuais práticas dos sistemas de saúde (18).

A chance de utilização dos relatórios de avaliação, para tomada de decisão, está relaciona-da com o valor da verdade e da utilidade (29). O primeiro diz respeito à qualidade do estudo e sua correspondência com o entendimento e experiência prévia de quem potencialmente utilizaria. O segundo diz respeito se a avaliação atendeu à demanda dos interessados. Ou seja: a avaliação foi útil?

A tradução de um material de avaliação em decisões políticas percorre, geralmente, uma longa trajetória, e muitas vezes nem são utilizadas para tal. No contexto atual da pandemia, mais especificamente tratando-se do Brasil, onde foi demandado um quantitativo importante de pes-quisas avaliativas para nortear as melhores estratégias no enfrentamento da COVID-19, torna-se de suma importância a realização de estudos de meta-avaliação. Isto é, avaliar estas avaliações.

Para Hartz e Contandriopoulos (8), existe concordância entre os diversos autores, no sentido de que a meta-avaliação seja introduzida, preferencialmente, com a pesquisa avaliativa ainda em curso, o que se constitui uma meta-avaliação formativa. Dessa forma, buscará trazer contribuições para o aperfeiçoamento do estudo ainda em execução, aumentando a probabilidade, por exemplo, da sua utilidade.

Segundo Pollitt apud Fernandes e Medina (29:104), cinco grupos de variáveis são determinantes da probabilidade de utilização da avaliação pelos gestores: (i) relevância, em relação às preocupações imediatas dos gestores; (ii) comunicação entre produtores da informação e potenciais usuários; (iii) pro-cesso de informação, no que diz respeito ao estilo e clareza; (iv) credibilidade, que consiste na percepção

177

Meta-Avaliação em Tempos de Pandemia: para que Servem as Intervenções da COVID-19?

de como os usuários percebem os produtores de informação; (v) envolvimento do usuário e advocacy – como os gestores se sentem em relação ao processo de produção das informações; em que medida puderam direcioná-la em virtude do atendimento de suas necessidades.

O Brasil, mediante a pandemia do novo coronavírus (SARS-CoV-2), publicou a Lei nº 13.989, de 15 de abril de 2020, que dispõe sobre o uso da telemedicina, sendo entendida como o exercício da medicina mediado por tecnologias para diversos fins, incluindo a pesquisa (30). Esta lei vai ao encontro da Estratégia de Saúde Digital (ESD), que, segundo a OMS, tem como um dos principais objetivos o monitoramento da saúde populacional.

Segundo o MS (32), a ESD compreende o uso de recursos de tecnologia de Informação e Comunicação para produzir e disponibilizar informações confiáveis, particularmente neste momento, no qual a pandemia da COVID-19 evidenciou de forma cristalina a importância da informação oportuna e precisa como instrumento de operação de tomada de decisão para as necessidades de curto, médio e logo prazos em saúde.

Dessa forma, a pandemia ampliou a possibilidade de divulgação de diversos estudos na internet, incluindo os de avaliação, que estão publicizados, mas que não estão publicados nas bases de dados tradicionais, tanto nacionais como internacionais. Esse fato leva a várias consequências, entre as quais, estudos publicizados e que não são do conhecimento da comunidade científica, inclusive dos pesquisadores que trabalham com avaliação; bem como estudos de avaliação que podem ser publicizados sem a qualidade e segurança devidas para adoção das suas conclusões pelos gestores e demais profissionais.

É de fundamental importância, portanto, o estabelecimento de estratégias e metodologias para avaliar os estudos de avaliação (meta-avaliação), que estão disponíveis, considerando este novo momento de produção científica, tornado público por meio da internet.

5. CONSIDERAÇÕES FINAIS

A meta-avaliação se constitui uma ferramenta importante para ajudar, entre outros aspectos, a evitar a aceitação de conclusões avaliativas inválidas, levando os gestores a tomarem decisões equivocadas. Embora tenham sua origem na área de educação, elas são necessárias em todos os tipos de avaliação, conforme referido anteriormente.

Acredita-se que o uso da meta-avaliação deve ser incentivado, sendo esta entendida como uma ferramenta crucial para o aperfeiçoamento e desenvolvimento do SUS, pois a ausência de avaliar as avaliações permite que práticas avaliatórias inconsistentes possam ser consideradas e que possam induzir ou fundamentar decisões equivocadas por parte dos gestores. Tais decisões podem, além de proporcionar o mau uso dos parcos recursos públicos, ter sérias consequências negativas sobre a saúde da população, particularmente neste momento de pandemia no qual existe um desconhecimento prévio da história natural tanto da doença quanto do vírus.

178

Coleção COVID-19

REFERÊNCIAS

1. Medici A. COVID -19 no Brasil. Uma pandemia dentro da outra. Futuribles [Internet]. Número 3- São Paulo – Plataforma Democrática- Setembro de 2020 [acesso 2020 set 29]. Disponível em: http://www.plataformademocratica.org/publicacoes#Futuribles.

2. Commission Statement. Lancet COVID-19 Commission Statement on the occasion of the 75th session of the UN General Assembly. The Lancet COVID-19 Commissioners, Task Force Chairs, and Commission Secretariat. Lancet [Internet]. 2020 [acesso 2020 set 29];396:1102–24. Disponível em: https://www.thelancet.com/journals/ lancet/article/PIIS0140-6736(20)31927-9/fulltext.

3. World Health Organization. Painel WHO Coronavirus Disease (COVID-19) – Brasil [Internet]. WHO; 2020 [acesso 2020 set 29]. Disponível em: https://COVID19.who.int/region/amro/country/br.

4. Johns Hopkins. COVID-19 Dashboard by the Center for Systems Science and Engineering (CSSE) at Johns Hopkins University (JHU) [Internet]. 2020[acesso 2020 set 29]. Disponível em: https;//coronavirus.jhu.edu/map.html.

5. Brasil. Ministério da Saúde. Portaria nº 1.565, de 18 de junho de 2020. Estabelece orien-tações gerais visando à prevenção, ao controle e à mitigação da transmissão da COVID-19, e à promoção da saúde física e mental da população brasileira, de forma a contribuir com as ações para a retomada segura das atividades e o convívio social Seguro. Diário Oficial da União. 19 jun 2020.

6. Brasil. Série COVID-19. Estratégia de Gestão: instrumento para apoio à tomada de decisão na resposta a Pandemia do COVID -19 na esfera local [Internet]. 2020 [acesso 2020 set 29]. Disponível em: http://www.conass.org.br.

7. Brasil. Série COVID-19. Guia Orientador para o enfrentamento da Pandemia COVID-19 na Rede de Atenção à Saúde [Internet]. 2020 [acesso 2020 set 29]. Disponível em: http://www.conass.org.br.

8. Hartz ZM, Felisberto E, Silva LM, organizadores. Meta-avaliação da Atenção Básica à Saúde: Teoria e Prática. Rio de Janeiro: Editora Fiocruz; 2008.

9. Silveira R. Um exame da organização textual de ensaios científicos. Estudos Linguísticos. 1992;21:1244-52. 409 p.

10. Contandriopoulos AP. Avaliar a avaliação. In: Brouselle A, et al., organizadores. Avaliação: conceitos e métodos. Rio de Janeiro: Editora Fiocruz; 2011. 292 p.

11. Brasil. Senado Federal. Projeto de Lei nº 488, 2017. Acrescenta dispositivos à Lei Comple-mentar no 95, de 26 de fevereiro de 1998, com o intuito de estabelecer normas e diretrizes

179

Meta-Avaliação em Tempos de Pandemia: para que Servem as Intervenções da COVID-19?

para encaminhamento de proposições legislativas que instituam políticas públicas, propiciando melhor responsabilidade gerencial na Administração Pública [inter- net]. 2017 [acesso 2020 set 29]. Disponível em: https://legis.senado.leg.br/sdleg-getter/ documento?dm=7327764&t-s=1559276443159&disposition=inline.

12. Brasil. Chamada pública MCTIC/CNPq/FNDCT/MS/SCTIE/Decit Nº 07/2020 – Pesqui-sas para enfrentamento da COVID-19, suas consequências e outras síndromes respiratórias agudas graves [Internet]. 2020 [acesso 2020 out 7]. Disponível em: http://www.cnpq.br/web/guest/chamadaspublicas?p_p_id=resultadosportlet_WAR_resultadoscnpqportlet_INS-TANCE_0ZaM&filtro=encerradas&detalha=chamadaDivulgada&desc=chamadas&idDi-vulgacao=9382.

13. Moraes LH, et al. Impacto das pesquisas do Programa de Apoio ao Desenvolvimento Insti-tucional do Sistema Unico de Saúde. Saúde Debate. 2019;43(spe 2):63-74.

14. Champagne F, et al. A avaliação no campo da saúde: conceitos e método in Avaliação: con-ceitos e métodos. Rio de Janeiro: Editora Fiocruz; 2011. 292 p.

15. Furtado JP, Laperriére H. Parâmetros e paradigmas em meta-avaliação: uma revisão explora-tória e reflexiva. Ciênc Saúde Coletiva. 17(3):695-705, 2012.

16. Sciven M. Evaluation thesaurus. California: SAGE; 1991.

17. Stufflebeam DL. The metaevaluation imperative. Am J Eval. 2001;22(2):183-209.

18. Contandriopoulos AP. Avaliar a avaliação. In: Brouselle A, et al., organizadores. Avaliação: conceitos e métodos. Rio de Janeiro: Editora Fiocruz; 2011. 292 p.

19. Elliot LG. Meta-avaliação: das abordagens às possibilidades de aplicação. Ensaio: Aval Pol Públ Educ. 2011;19(73)941-64.

20. Joint Committee on Standards for Educational Evaluation. The program evaluation standards: a guide for evaluators and evaluation users: a guide for evaluators and evaluation users. 3. ed. Thousands Oaks, CA: Sage; 2011.

21. Malta DC, et al. Contextualizando a influência das avaliações: um ensaio meta-avaliativo com ênfase na utilidade e responsabilidade. An Inst Hig Med Trop, (Lisb). 2019;(suppl. 1):57-70, 2019.

22. Arroio DMP, Rocha MSPML. Meta-avalição de uma extensão universitária: estudo de caso. Avaliação: Avaliação (Campinas). 2010;15(2):135-61.

23. Hedler HC, Torres CV. Meta-avaliação de Auditorias de Natureza Operacional do Tribunal de Contas da União. RAC, Curitiba. 2009;13(3):468-86.

24. Feitoza PS. Meta-avaliação do programa de melhoria do acesso e qualidade da atenção bá-

180

Coleção COVID-19

sica (PMAQ-AB) em Ubirajara-CE: um estudo de caso [dissertação]. Sobral: Universidade Federal do Ceará. 2015. 124 p.

25. Almeida CA, Tanaka OY. Meta-avaliação de uma avaliação participativa desenvolvida por gestores municipais de saúde com foco no padrão “Utilidade”. Cad Saúde Pública. 2017;33(2):e00105615.

26. Fundação Cesgranrio. Mestrado Profi ssional em Avaliação [Internet]. [acesso 2020 out 07]. Disponível em: http://mestrado.cesgranrio.org.br/.

27. Barros LF, Elliot LG. Meta-Avaliação do Relatório de Avaliação da Execução de Programas de Governo nº 8: Programa Saúde da Família. Meta: Avaliação. 2018;(esp. 2):197-224.

28. Khawaja A, Salgueiro LA, Orlando Filho O. Meta-avaliação da avaliação do Impacto Socio-econômico do Vírus Zika na América Latina e Caribe: Brasil, Colômbia e Suriname como estudos de caso. Meta: Avaliação. 2018;(esp. 2):62-78.

29. Fernandes AS, Medina MG. Utilidade da avaliação para gestores de saúde. In. Hartz ZMA, Felisberto E, Silva LMV, organizadores. Meta-avaliação da Atenção Básica à Saúde: Teoria e Prática. Rio de Janeiro: Editora Fiocruz; 2008.

30. Brasil. Lei N. 13.989, de 15 de abril de 2020. Dispõe sobre o uso da telemedicina durante a crise causada pelo coronavírus (SARS-CoV-2). Diário Ofi cial da União. 16 abr 2020.

31. Organização Mundial da Saúde. OMS divulga primeira diretriz sobre intervenções de saúde digital [Internet]. 17 abr 2019 [acesso 2020 out 13]. Disponível em: https://www.paho.org/bra/index.php?option=com_content&view=article&id=5914:oms-divulga-primeira-diretri-z-sobre-intervencoes-de-saude-digital&Itemid=844.

32. Brasil. Ministério da Saúde. A estratégia de saúde digital e a COVID-19 [Internet]. [acesso 2020 out 13]. Disponível em: https://saudedigital.saude.gov.br.