Metodologia de avaliação da qualidade dos dados da imunização

[DQS](Data quality self-assessment ) [1] - [Eduardo S. Ponce Maranhão – o ppt](Grupo de apoio ao PAI-PNI e APS na

Ensp- Fiocruz2004

• A metodologia da avaliação da qualidade dos dados da imunização foi criada pela OMS para avaliar diferente aspectos da imunização “ o sistema de monitoramento”

• O monitoramento da imunização se refere a medida rotineira da cobertura de vacinação e outros indicadores do programa.

• Esta metodologia foi adaptada da metodologia de auditoria da qualidade dos dados ( Data Quality Audit) [DQA] que foi desenvolvida dentro da referencia do GAVI ( Global Alliance for Vaccines and Immunization)

• Os objetivos do DQS são: avaliar a qualidade, a oportunidade e a confiabilidade(accuracy) dos dados produzidos pelo sistema de monitoramento da imunização do país

• O DQS necessita ser flexível. • Ajuda os gerentes a identificar problemas • e propor recomendações para melhoria da informação do programa

• O DQS é para ser usado pelo pessoal que coleta e utiliza os dados de imunização nos níveis central nacional, estadual / provincial, regional, local

2

• O grupo de avaliação define:

• os parâmetros que serão avaliados,

• desenvolvem os questionários,

• conduzem a avaliação em campo[no terreno],

• analisam os achados,

• e propõem as recomendações

• O grupo de avaliação inclui:

• Pessoal de atenção primária de saúde

• Epidemiologistas regionais e locais,

• Enfermeiros de saúde pública,

• Estatísticos,

• Gerentes do programa de imunização,

• Outros gerentes de níveis + altos do sistema

3

• É necessário se descrever o Sistema de Monitoramento de Imunização do país avaliado

• Os 3 componentes gerais do DQS são:

• A qualidade do sistema de monitoramento -- -> é avaliado usando questionários desenhados pelo grupo avaliador

• A confiabilidade(accuracy) dos dados é avaliada comparando os dados disponíveis nos formulários[fichas] de coleta de dados dos diferentes níveis do sistema

• Dados diários das vacinas administradas nas unidades de saúde são comparados com dados agregados notificados do nível local e estadual /provincial e os dados disponíveis no nível central nacional

. A periodicidade do envio dos dados é avaliado verificando quando as unidades notificaram ou receberam os informes de dados registrados, encaminhados e ou recebidos

O sistema de monitoramento de um país [4]

• Geralmente fornece a imunização através do Programa de imunização[PAI / PNI]

• O Programa se realiza através de muitas unidades de saúde[Centros,Postos, Hospitais] que se distribuem nas áreas de saúde e regiões de saúde

• O Programa de imunização usa um sistemas computadorizado( no Brasil o API) para o registro de doses de vacinas administradas

• Este sistema de registro da vacinação tem sido implementado em todas ou em várias regiões ou áreas, e nas unidades primárias de saúde

• O PAI / PNI é o provedor geral das imunizações, ( em alguns países a área materno-infantil ou vigilância epidemiológica ou em saúde é a entidade coordenadora/ regulatória)

• Administrativamente, em geral o programa está organizado em municípios, regiões e áreas de saúde

• Cada área, ou município recebe os dados de imunização de suas unidades de saúde e de instituições privadas .

• A área ou município consolida a informação e conduz a análise adequada

• Toda a informação sobre cobertura está estratificada por distrito ou município de residência

Sistema de monitoramento da qualidade da imunização[5]

• Os aspectos(componentes) avaliados incluem :• A qualidade dos registros e prática de arquivamento• A analise dos dados• O planejamento• A capacitação[treinamento]• A supervisão

• Um formulário[formato] específico é desenhado para cada nível do sistema de saúde( unidades de saúde, hospital, área ou região, município)

• Os questionários são desenhados para respostas dicotômicas e para o escore de acordo com pontos [sistema de pontuação]

• Dividindo o escore obtido para cada local visitado(US) pelo escore máximo possível para cada componente se obtém o Índice de Qualidade

• Para se dispor de Índices de Qualidade, para os componentes avaliados, expressos em porcentagem e facilitar a comparação entre os níveis equivalentes( unidades de saúde,áreas, regiões,municípios). Utilizam-se os gráficos radares[pode-se usar o MS-Excel] apresentar o gráfico

Confiabilidade do dado[Data Accuracy)[6]

• Para avaliar a “acurácia” do dado

• Os dados disponíveis nos níveis local são comparados com os dados encontrados nas áreas de saúde ou municípios [SMSs] com os dados dos níveis regional/estadual[SESs] e do nível central nacional [MS-PNI] quando possível

• A razão de acurácia ( Accuracy ratio), expressa como uma percentagem é usada como medida de acurácia do dado

• Esta razão é : No de doses de vacina, verificadas ou contadas no nível local dividida pelo No de doses de vacina informadas ao nível + alto, multiplicado por cem

• Ex: razão de acurácia[razão de exatidão] de dados enviados por uma unidade de saúde =

No de doses DPT3 ( crianças<1ano) registradas durante um determinado mês / No de doses DPT3(crianças <1ano) encontrada nos informes daquela unidade de saúde da área ou município[SMSs] no mesmo mês X 100

Oportunidade(periodicidade) [ 8 ]

• Dados são coletados para avaliar a oportunidade(periodicidade).

• Para se considerar o informe dentro da oportunidade( periodicidade), se estabelece o momento[deadlines] no mês para informar ao nível superior

• Este componente só pode ser avaliado quando a data de envio ou a data do registro está presente

Confiabilidade dos dados (Data Accuracy) [7]

• Obs:Se verificamos que nem todas as doses informadas ao nível superior podem ser verificadas no nível inferior , o coeficiente de acurácia será <100%,

• Indicando uma sobre-informação(over-reporting)

• Isto seria o caso se + doses são encontradas na região [ou município] do que as registradas nas unidades sanitárias ou na unidade sanitária em questão

• Do mesmo modo , se + doses são encontradas nos informes diários de uma unidade de saúde, que numa área de saúde , região ( ou município), o coeficiente de acurácia será >100% indicando uma sub-informação(under-reporting)

• * Obs: A agregação dos coeficientes de acurácia( no mesmo nível) para se obter um coeficiente de um distrito ou município, província ou estado é possível ponderando[dando o peso] de acordo com o tamanho da população.Entretanto , a agregação deve ser feita com cuidado, pois o resultado pode falsamente sugerir dados de acurácia tendendo simultaneamente p/ sobre e sub-informação

Implementação do DQS[8]

• O DQS está dividido em 3 estágios:

• 1. Oficina inicial O grupo de avaliação dedica os primeiros 3 dias da avaliação para definir o escopo (abrangência) da avaliação

• Desenvolve os questionários ,formulários,formatos[quadros, tabelas] que serão testados em campo( para ver como eles funcionam)

• A metodologia DQS utiliza amostragem aleatória ou seleção de conveniência das unidades locais

• Obs: geralmente os locais selecionados se baseiam em critérios logísticos e outras considerações práticas

Implementação[9]

• 2.Trabalho de campo Durante os 3 dias seguintes, os grupos(times) visitam regiões, ou municípios(SMSs), Unidades Sanitárias[centros, postos de saúde, hospitais, instituições privadas que oferecem vacinação)

• 3.Oficina de Análise Durante os últimos 2 dias, cada grupo(time) analisa os achados e apresentam aos outros grupos(times)

Um resumo dos achados gerais e as recomendações propostas são apresentadas as autoridades nacionais [ estaduais ] no final dos trabalhos

Os resultados[10]

• Um informe final com os resultados detalhados e recomendações é preparado e distribuído a todo o pessoal relevante e para todos os locais visitados.

• Os resultados são apresentados com os aspectos fortes e aspectos fracos de cada nível

Questões padrão para avaliar a qualidade do sistema de monitoramento

• Componentes:

• Registro (distrito/município)• Arquivamento (distrito/município)• Arquivamento computadorizado (distrito/município)• Informe[notificação] ( distrito/ município)• Informação demográfica (distrito/município)• Resultados centrais/ análises ( distrito/município)• Evidencia do uso dos dados para ação (distrito/município)

• Registro ( U.S)• Informe[notificação]( U.S)• Arquivamento (U.S)• Informação demográfica (U.S)• Resultados centrais / análises (U.S)• Evidencia do uso dos dados para ação (U.S)

Países onde foi realizado o DQS

• Congo

• Indonésia

• Tanzânia

• Moçambique

• Bulgária

• Tunísia

• Lao

• Nepal

Na América:

• Costa Rica

• Nicarágua

• Haiti

Referências

• WHO-The immunization data quality self-assessment(DQS)tool . ,2004

• PAHO-Immunization Data Quality Self-assessment: The Costa Rica Experience.; Immunization Newsletter- Vol XXVIII, number 1-Feb 2006

• O. Ronveaux; D.Rickert;S Handler;H.Groom;. Contrôle de la qualité des données de vaccination: vérification de la qualité et de la cohérence de systèmes de vaccinovigilance –Bull.World Health

Organ vol.83 no.7 Genebra July 2005

EX: resultados gerais –Costa Rica[resumo]

• Um informe final com resultados detalhados e com recomendações foi preparado e distribuído para todos os grupos de interesse relevantes( stakeholders) e para todos os locais visitados.

• Os resultados foram apresentados com os aspectos fortes e aspectos fracos de cada nível.

• Entretanto, a consolidação dos resultados foi difícil devido a aspectos fortes encontrados em alguns lugares e fracos em outros

• Também, a seleção dos locais não foi aleatória, restringindo a possibilidade de generalizar o encontrado

• Olhando a qualidade do sistema de monitoramento da imunização, aspectos fortes e fracos foram encontrados em cada nível .

• Em geral, as práticas de registro e arquivamento foram adequadas a todos os níveis, com exceções em alguns hospitais nacionais e instituições privadas.

• A forma de registro primário de doses diárias não inclui a variável “sexo”( embora esta é capturada no sistema computadorizado SISVAC, em muitas USs )

• E os grupos de idade não incluem a categoria de pessoas > 65 anos, limitando a capacidade de monitorar o impacto sazonal da vacinação influenza, no calendário de vacinação desde 2004

Ex:Costa Rica(continuação)

• As áreas para verificar o melhoramento da utilização do SISVAC foram identificadas• Os dados de análise da imunização são produzidos em todos os níveis• Entretanto, a análise é geralmente restrita as vacinas BCG,OPV3,DTP3 e MMR 1 , relacionada ao

uso de indicadores como taxas de abandono é limitado No de crianças que receberam a 1*dose – No de crianças que receberam a 3* dose / No de crianças que recebem 1 dose X 100• Os dados são apresentados em gráficos e mapas • As atividades de imunização são sempre incluídas no planejamento e treinamento/capacitação e

tópicos do sistema de qualidade de dados são considerados• Entretanto, o apoio ao nível + alto de coleta e informe[notificação] assim como o uso do SISVAC, é

fraco • A supervisão do componente informação é incipiente, geralmente limitado a avaliação do período da

data de transmissão dos dados [ oportunidade]• Verificando os dados de acurácia [confiabilidade] a legislação da Costa Rica coloca como

compulsória a notificação das doses de vacina administradas para todos os provedores de vacinas a população

• Entretanto, sub-notificação foi verificada em muitos hospitais e instituições privadas• Em 1 hospital onde foi possível quantificar a notificação incompleta [ sub-notificação]as razões de

exatidão( r. de acurácia) chegaram a, 141% BCG; 143% Hepatite B; representando 41 % e 43% de sub-notificação[notificação incompleta] respectivamente

Ex:Costa Rica(continuação)

• As regiões não recebem informes com a quantidade de todas as doses administradas nas suas áreas de saúde

• Não existe mecanismos padrões para gerenciar a notificação de pessoas que recebem a vacinas fora do seu distrito de residência

• Doses de vacinas administradas a não residentes não puderam ser monitoradas

• Quanto ao período de notificação, muito lugares visitados registram dados e recebem notificação e informes

• Atrasos foram encontrados , a maioria em hospitais

• Dados notificados[informados] tardiamente podem aumentar o risco de sub-notificação