Post on 12-Nov-2018
SECRETARIA ESTADUAL DA SAÚDE DO ESTADO DE SÃO PAULO
FACULDADE DE ODONTOLOGIA DE PIRACICABA - UNICAMP
Manual de Calibração
de Examinadores
São Paulo, Piracicaba - SP
2015
2
Projeto SB-SP 2015
Pesquisador Responsável
Antonio Carlos Pereira (Responsável técnico-científico)
Faculdade de Odontologia de Piracicaba - UNICAMP
Vladen Vieira (Responsável pelo trabalho de campo)
Secretaria de Estado da Saúde
Faculdade de Saúde Pública – USP
Antonio Carlos Frias (Pesquisador Colaborador)
Faculdade de Odontologia da Universidade de São Paulo - FOUSP
Instituição Executora
Secretaria do Estado da Saúde
David Uip
Secretário de Estado da Saúde de São Paulo
Maria Fernanda de Montezuma Tricoli
Coordenadora da Área Técnica de Saúde Bucal da Secretaria de Estado da Saúde (SES-SP)
Instituições Colaboradoras
Faculdade de Odontologia da USP- FOUSP
Julie Silva Martins
Antonio Carlos Frias
Faculdade de Odontologia de Bauru- FOB USP
Silvia Helena de Carvalho Sales Peres
Eliel Soares Orenha
Faculdade de Odontologia de Ribeirão Preto- FORP USP
Marlívia Gonçalves de Carvalho Watanabe
Faculdade de Odontologia de São José dos Campos – FOSJC UNESP
Symone Cristina Teixeira
Faculdade de Odontologia de Araçatuba – FOA UNESP
Suzely Adas Saliba Moimaz
Faculdade de Odontologia de Araraquara – FOAR UNESP
Elaine Pereira da Silva Tagliaferro
Fernanda Lopes Rossel
Silvio Rocha Correa da Silva
Aylton Valsecki Junior
Faculdade de Odontologia de Piracicaba – FOP UNICAMP
Marcelo de Castro Meneghim
Maria da Luz Rosario de Sousa
Fábio Luiz Mialhe
Faculdade de Saúde Pública da USP- FSP USP
Paulo Capel Narvai
Paulo Frazão São Pedro
Comitê Técnico Assessor em Vigilância em Saúde Bucal
Paulo Frazão São Pedro
Paulo Capel Narvai
3
Sumário 1. Introdução .......................................................................................................... 4
2. Alguns conceitos .................................................................................................. 5
3. O Processo de Calibração de Examinadores ............................................................. 6
3.1. Preparação do processo ..................................................................................... 6
3.2. Discussão teórica das variáveis utilizadas, códigos e critérios de exame (4 horas) ...... 7
3.3. Discussão/Calibração Prática (12 horas).................................................................7
3.4. Discussão Final da Calibração ............................................................................. 8
4. Calculando a concordância interexaminador ............................................................ 9
4.1. A Concordância Simples ou Concordância Percentual ............................................. 9
4.2. O Coeficiente Kappa ........................................................................................ 10
4.3. A Concordância por Escore ............................................................................... 11
5. Verificação da reprodutibilidade em campo ............................................................ 11
7. Valores recomendados para a Concordância .......................................................... 11
8. Relatório ............................................................................................................12
9. Bibliografia ........................................................................................................12
Manual adaptado a partir do material didático do projeto SBBrasil 2010 - MS
4
1. Introdução Os levantamentos de condições bucais, também denominados de inquéritos ou estudos
seccionais, são estudos do tipo transversal que tem por objetivo coletar informações
referentes a um determinado problema em uma população, podendo ainda abordar
aspectos referentes a fatores de risco, uso de serviços, consumo de medicamentos,
conhecimentos, atitudes e práticas relacionadas com a saúde, além de dados demográficos
e de outra natureza (Pereira et al, 2009). Estes levantamentos fornecem informações das
condições de saúde bucal e das necessidades de tratamento de uma população, bem
como, podem propiciar condições para controlar as mudanças nos níveis ou padrões da
doença (OMS, 1999). Os quatro grandes levantamentos nacionais realizados em 1986,
1996, 2003 e 2010 foram importantes para o conhecimento do perfil epidemiológico e da
evolução histórica dos principais problemas em saúde bucal.
O último levantamento nacional realizado em 2010 (o qual estamos utilizando como base
teórica para a construção deste projeto), apresentou dados importantes, tais como: a
cárie dentária vem diminuindo nas idades/faixas etárias de 5, 12 e 35-44 anos (esta
última com menos intensidade), contudo na faixa idade idosa os dados continuam
preocupantes, basicamente sem mudanças nas últimas décadas. A doença periodontal
passou a ser um problema ainda maior devido a mudança do perfil epidemiológico,
atingindo em graus leves percentual considerável da população adulta. A má oclusão
atinge em seus estágios mais severos parcela importante de crianças e adolescentes, e é
atualmente um assunto a ser abordado em termos de incorporação de tratamento
ortodôntico em serviços de saúde.
Outro fator importante levantado é que, principalmente a doença cárie, vem se
polarizando, concentrando a carga de doença numa parcela menor e vulnerável da
população, expondo dessa forma a importância dos Determinantes Sociais da Saúde. Além
disso, aspectos como qualidade de vida e saúde bucal e o estudo dos fatores de risco
estão em foco e serão abordados nesse presente projeto.
Contudo, não obstante as importantes informações obtidas pelo SB Brasil 2010, este
apresentou uma amostragem que não permite inferência mais direta ao estado de São
Paulo (estado responsável por 25% da população brasileira) e, especificamente, as suas
regiões, informação esta que os gestores necessitam como estratégia inserida no
componente de vigilância à saúde da Política de Saúde, permitindo um dado mais acurado
sobre a situação de seu território.
Ademais, a reorientação do modelo de atenção à saúde bucal pautada na Política Nacional
de Saúde Bucal – Brasil Sorridente, destaca: (a) “utilizar a Epidemiologia e as informações
sobre o território subsidiando o planejamento” e (b) “centrar a atuação na Vigilância à
Saúde, incorporando práticas contínuas de avaliação e acompanhamento dos danos, riscos
e determinantes do processo saúde doença”. Dessa forma, um melhor conhecimento da
situação epidemiológica das condições de saúde do estado de São Paulo pode permitir
uma melhor atuação no sentido de planejar, executar ações e avaliar o impacto das
mesmas.
Este Manual de Calibração de Examinadores visa subsidiar os instrutores de calibração com
relação às técnicas para a realização do treinamento das equipes de campo,
especificamente no que diz respeito à calibração. A sua base teórica é a proposta da
Organização Mundial da Saúde, de 1993, descrita na publicação Calibração de
Examinadores para Levantamentos Epidemiológicos em Saúde Bucal, de autoria de Stephen
Eklund, Ingolf Möller e Marie-Hélène Leclerq (OMS, 1993). Alguns trechos desse documento,
bem como alguns exemplos, foram transcritos integralmente. Lembramos, também, que as
situações eventualmente não contempladas aqui deverão ser discutidas e resolvidas com as
Coordenações Técnico-científica (FOP Unicamp) e Executiva do projeto (SES SP).
5
2. Alguns Conceitos
Os levantamentos epidemiológicos em saúde bucal envolvem, na maioria das vezes, um
grande número de examinadores. É praticamente impossível realizar estudos abrangendo
grandes amostras e vários índices em diferentes grupos etários, com a participação de
apenas um examinador.
Dadas as características dos índices utilizados em saúde bucal e da subjetividade inerente
ao exame dos tecidos bucais, a manutenção de uma boa reprodutibilidade das observações
é uma condição fundamental para a confiabilidade dos dados. Neste estudo, a extensa
variabilidade dos eventos que serão observados exige o treinamento de calibração dos
examinadores a fim de se conhecer o grau de confiabilidade alcançado durante a coleta dos
dados nos diferentes municípios participantes do estudo.
Calibração
A despeito das críticas que podem ser feitas ao termo calibração (é uma expressão
usada na indústria, ou seja, calibram-se máquinas, não pessoas), pela consagração de
seu uso em epidemiologia bucal, ele será utilizado neste manual como o processo que
visa estabelecer padrões uniformes para o exame epidemiológico em saúde
bucal e determina parâmetros aceitáveis de consistência interna e externa aos
examinadores.
Objetivos da Calibração
Em linhas gerais, pode-se dizer que os principais objetivos da calibração de examinadores em levantamentos epidemiológicos são (WHO, 1993):
• Assegurar uma interpretação, entendimento e aplicação uniformes dos critérios para as doenças e condições a serem observadas e registradas.
• Assegurar que cada examinador possa examinar dentro de um padrão consistente.
• Minimizar variações entre os diferentes examinadores
Ou seja, trata-se de proporcionar consistência aos exames epidemiológicos realizados por
um ou mais examinadores. Para isso, é importante que eles adotem na maioria das
observações o mesmo critério, atuando como se fossem um único examinador.
Concordância Interexaminador
A equipe deve funcionar de modo a examinar sempre a partir de um mesmo critério,
concordando, o máximo possível, em seus diagnósticos. A equipe deve examinar um
mesmo grupo de indivíduos e os resultados devem ser comparados entre si. É sempre
bom lembrar que o objetivo da calibração Inter examinador não é estabelecer quem está
certo e quem está errado, mas verificar quais examinadores estão diferindo de forma
mais significativa, reduzindo a variabilidade entre eles. Uma vez detectadas grandes
discrepâncias, todo o exercício deve ser repetido, permanecendo na equipe apenas
aqueles examinadores que apresentarem um grau de consistência aceitável com a
equipe.
Concordância Intra-examinador
É bastante comum entre os dentistas a argumentação de que seus exames são
consistentes, ou seja, o diagnóstico feito em um paciente num dado momento é sempre
o mesmo em outra ocasião. Os estudos sobre a consistência interna dos exames em
saúde bucal, contudo, não mostram isso. Em função do reconhecido grau de
subjetividade do qual é revestido o diagnóstico das doenças bucais, é comum que um
porcentual dos exames repetidos por um dentista não sejam iguais. Na situação
específica de um estudo epidemiológico, há ainda o agravante de serem feitas várias
observações em um mesmo dia, deste modo a fadiga pode levar a diagnósticos
diferentes em distintos momentos. A verificação da concordância Intra-examinador busca
aferir o quanto o examinador concorda com ele mesmo em diferentes momentos. Ela
deverá ser feita durante a coleta dos dados, no sentido de aferir se a consistência obtida
no treinamento está sendo mantida em campo. O processo de verificação da
concordância intra-examinador durante o processo de trabalho de campo é função do coordenador municipal e/ou supervisor das equipes.
6
Durante o levantamento, a concordância deve ser feita utilizando os exames em
duplicata, ou seja, cada examinador deve reexaminar 5% da amostra (repete um
indivíduo a cada grupo de 20). Na medida do possível, o examinador não deve identificar
o paciente que está sendo reexaminado. O fato de o examinador saber que o indivíduo
foi examinado previamente pode influenciar o grau de atenção e, consequentemente, as
observações. O anotador pode ser convidado para a tarefa de anotar os indivíduos (1 a
cada 20) para o reexame durante o levantamento. Neste estudo é recomendada a
realização de exames em duplicata durante todo o período da pesquisa, organizada pelo
supervisor de campo.
3. O Processo de Calibração de Examinadores
A calibração deve ser realizada para alguns agravos e seus respectivos grupos etários. Uma
recomendação de caráter geral é que se procure reproduzir, ao máximo as condições que
serão encontradas em campo. Com relação aos grupos etários, por razões operacionais,
será utilizada a 15 a 19 anos e de 35 anos ou mais. O quadro a seguir sumariza os agravos
a serem calibrados e as respectivas idades.
Grupo etário Agravo Técnica
15 a 19 anos
Cárie de Coroa
Oclusão
CPI
In vivo
35 anos e mais Cárie de Coroa
CPI In vivo
O processo de calibração deve ser planejado considerando-se um número máximo de 05
(cinco) examinadores por grupo. Números maiores que esse normalmente tornam a prática
de difícil execução, entretanto alternativas diferentes devem ser discutidas com a
coordenação técnica do estudo. Todo o processo de calibração da equipe de examinadores
foi dimensionado para durar pelo menos 16 horas de trabalho (4 turnos de 4 horas), assim
divididas:
3.1. Preparação do processo
Antes de se proceder ao treinamento teórico e prático, a coordenação do levantamento SB
São Paulo no município e da calibração devem organizar toda a infra-estrutura necessária.
Isto inclui um contato prévio com as instituições (preferencialmente UBS/USF) nas quais se
procederá aos exames para efeito de treinamento e calibração. Nessas instituições, deve ser
verificada a existência de pessoas dentro das faixas etárias exigidas para o treinamento,
devendo-se solicitar sua colaboração, explicando-lhes como se dará o processo, obtendo-se
assim o consentimento. Além disso, deve também ser observada a disponibilidade de ambientes bem iluminados e adequados para a realização dos exames.
O instrutor deve também procurar selecionar os voluntários de modo que estes apresentem
uma maior variedade de situações relativas às condições bucais pesquisadas. No caso da
cárie, por exemplo, é importante que existam, em número razoável, casos de dentes cariados, restaurados, restaurados com cárie, dentre outros.
Nestes casos, indivíduos com baixa prevalência de cárie não são adequados para atuarem como voluntários no treinamento de calibração.
Com relação à discussão teórica, é prudente atentar para o espaço onde esta acontecerá, de
modo que apresente condições adequadas, tais como possibilidade de escurecimento da
sala (para a utilização de multimídia), cadeiras que possibilitem fazer anotações, entre
outros aspectos, que facilitem o melhor processo de aprendizagem.
7
3.2. Discussão teórica das variáveis utilizadas, códigos e critérios de exame (4 horas)
Nesta fase deve ser feita exposição teórica e discussão junto à equipe de examinadores, por
parte da equipe de instrutores, sobre todos os índices, códigos e critérios a serem utilizados. Recomenda-se utilizar slides e fazer a leitura prévia do Manual da Equipe de
Campo. O importante é que, neste momento, seja esclarecido o maior número possível de
dúvidas relativas aos critérios e que sejam exercitadas situações em que uma regra de
decisão seja exigida. Convém sempre lembrar que, apesar dos critérios de exame
epidemiológico serem os mais rígidos possíveis, existem situações-limite, que devem ser
amplamente discutidas no grupo para que, durante a coleta dos dados, prevaleça o
consenso da equipe sobre o critério individual de cada examinador. É importante ressaltar
que, ao contrário da clínica, onde o diagnóstico precede a realização de determinada
conduta ou procedimento, em epidemiologia é mais importante o consenso diagnóstico e
que o mesmo seja seguido por todos os examinadores, mesmo que contrário às suas
convicções pessoais.
3.3. Discussão/Calibração Prática (12 horas) Cada participante da equipe deve examinar em torno de 10 pessoas nos seguintes grupos
etários: 15 a 19 anos, 35 anos e mais.
O processo todo se dá a partir da seguinte sequência (ver Figura 1):
a) Formam-se blocos de 5 equipes no máximo (examinador/anotador). Caso tenhamos
10 equipes serão dois blocos de 5 equipes, 8 equipes conformarão dois blocos de 4
equipes e assim por diante.
b) Cada cadeira deve ser identificada por um número (1, 2, 3 etc.)
c) São chamados cinco (se for o caso) voluntários para ocupar as cadeiras.
d) Cada examinador deve passar por cada um dos voluntários e realizar o exame.
e) Ao final da rodada, os voluntários não devem ser dispensados ainda. Os
examinadores, orientados pelo instrutor, deverão examinar suas fichas e observar as discordâncias em cada um dos exames que cada um realizou.
f) Ao serem observadas discordâncias, todas são discutidas exaustivamente de modo a chegar a um consenso sobre o diagnóstico ao qual todos concordam.
g) Ainda mantendo o voluntário em sua cadeira, o instrutor de calibração realiza a aferição das discordâncias entre os exames.
h) Todas as discordâncias são discutidas com as equipes e, se necessário, deve ser
realizado novo exame no voluntário a partir da releitura dos códigos e critérios do índice, expostos no manual.
i) O instrutor preenche uma “Ficha de Consenso” do voluntário, resultado da discussão
com as equipes. Calcula-se a concordância simples (que será explicada adiante, no
item 4 deste manual), entretanto ainda sem preocupação margens de erro aceitáveis,
servindo apenas para orientar as equipes a respeito de sua evolução em todo o processo.
Durante o exame do garoto Marcos, de 15 anos, 3 examinadores divergem a respeito do diagnóstico do dente 25. Um dos examinadores diagnosticou o dente como cariado, outro como hígido e outro como com presença de selante. Ao discutir o caso, os três examinadores podem chegar a um consenso de que o dente, na verdade, tinha um selante. Pode ocorrer, entretanto, que, apenas observando as fichas, não se chegue a um consenso e daí, nestes casos, o instrutor deve orientar para que os códigos e critérios sejam relidos com atenção e a criança deve ser observada novamente.
...
Por exemplo...
8
j) Repete-se este procedimento até que cada equipe tenha examinado 10 pessoas de
cada grupo etário.
Figura 1. Esquema do processo de discussão prática. Exemplo para um bloco de 5 examinadores.
Importante ressaltar que esta é a fase da calibração em que se busca, ao máximo, a
assimilação uniforme de todos os critérios e regras de decisão. Portanto, só deve ser
concluída após os examinadores terem assimilado todos os critérios, pois somente desta
forma se pode passar à próxima fase, onde a concordância entre os examinadores é medida
estatisticamente.
3.4. Discussão Final da Calibração
A última parte do exercício de calibração deve ser usada para se certificar de que a equipe
de examinadores está completamente familiarizada com todos os procedimentos de exame
e de registro, critérios de diagnóstico, formulários de registro e o manejo de instrumentos e
materiais. Também são discutidos os resultados dos cálculos de concordância. No caso de
serem verificados valores altos de discrepância, decide–se pela repetição do exercício e/ou substituição de algum examinador da equipe.
O último turno deve ser dedicado à discussão com a equipe das estratégias a serem
desenvolvidas em campo, tais como o processo de percurso, o preenchimento das fichas,
processo de supervisão, dentre outras.
O resumo de todas estas atividades encontra-se no quadro a seguir.
9
Quadro 1. Resumo das atividades do processo de treinamento e calibração de examinadores.
Atividade N°
Horas Local Índices Idades N°
Voluntários
1° Turno Discussão Teórica 4 Sala de Aula Todos -
2° Turno Discussão/Calibração
Prática
4
UBS Cárie,Oclusão, CPI
e Nec Prótese 15 a 19
anos 10
3° Turno Discussão/Calibração
Prática 4 UBS
Cárie,Oclusão, CPI e Nec Prótese
35 anos e mais
10
4° Turno Discussão/Calibração
Prática 4 UBS
Cárie,Oclusão, CPI e Nec Prótese
35 anos e mais
10
Discussão das estratégias do levantamento em campo
4. Calculando a concordância interexaminador 4.1. A Concordância Simples ou Concordância Percentual
O processo para o cálculo da concordância Inter examinador é relativamente simples. Parte-
se do princípio de que, de um conjunto de diagnósticos dados aos dentes (ou gengivas, ou
esmalte, a depender do índice), por dois examinadores, teremos inevitavelmente alguns
destes diagnósticos que não são coincidentes. O grau de concordância nada mais é do que a razão entre o número de diagnósticos coincidentes e o total de diagnósticos.
De acordo com a técnica preconizada pelo SB São Paulo 2015, será calculada a
concordância de cada examinador com o examinador padrão. Este “examinador” na verdade
não existe, ele é o produto do consenso, obtido nos exames realizados em cada voluntário,
conforme descrito nos itens 3.1 a 3.4. Para cada grupo de (no máximo) cinco examinadores
existirá, portanto, um “examinador-padrão”.
Vejamos como seria o cálculo de concordância realizado de forma manual. Tudo começa
com uma tabela 2 x 2, em que os códigos do índice que está sendo avaliado são colocados
nas linhas e colunas. Se estabelece que o examinador padrão terá seus dados nas colunas e
um determinado examinador (o examinador 1, por exemplo) terá seus dados expressos nas
linhas. Veja na Figura 2, como isso funciona para o Índice de necessidade de prótese.
Examinador 1
Padrão
0 1 2 3 4 X
0
1
2
3
4
X
Figura 2. Esquema de uma Tabela 2 x 2 para cálculo de concordância.
Códigos da Condição
Periodontal
Total de diagnósticos para cada
escore do Padrão
Total de diagnósticos para cada
escore no Examinador 1
Total de diagnósticos
COINCIDENTES nos dois
exames
Total de diagnósticos
DISCORDANTES nos
dois exames
10
Numa situação hipotética em que 30 diagnósticos fossem dados por um examinador e os
mesmos fossem comparados com o padrão, poderíamos ter a situação ilustrada na Tabela
1.
Tabela 1. Exemplo de uma tabela 2 x 2 comparando os diagnósticos de um examinador em relação ao
padrão.
Examinador 1 N=30
Padrão
0 1 2 3 4 X
3 13 5 9 0 0
0 5 2 3 - - - -
1 12 1 10 1 - - -
2 5 - - 3 2 - -
3 8 - - 1 7 - -
4 0 - - - - - -
X 0 - - - - - -
Obs: A concordância do examinador é indicada pelas células na diagonal (em negrito)
Pode-se observar que, dos 30 diagnósticos, 22 foram coincidentes (a soma dos valores da diagonal, 2 + 10 + 3 + 7). A taxa de concordância é dada por 22/30 = 0,73. Em outras
palavras, o examinador 1 concordou em 73% dos diagnósticos com o padrão.
4.2. O Coeficiente Kappa Tem-se admitido que o dado percentual pode mostrar um valor demasiado otimista, isto
porque, se o examinador segue examinando aleatoriamente, de acordo com as
probabilidades das categorias do índice, algum nível de concordância pode se dar devido ao
acaso. Com o propósito de ajustar o percentual de concordância descontando esta
concordância do acaso, utilizam-se as frequências para calcular a faixa de concordância que
seria, em média, uma ocorrência do acaso, “corrigindo” assim a estatística de concordância percentual. É o que se chama de Coeficiente Kappa* o qual é definido como:
Coeficiente Kappa = Concordância observada - Concordância Esperada
N - Concordância Esperada
A vantagem usualmente reconhecida no Coeficiente Kappa é sua capacidade de remover da
concordância percentual aquelas concordâncias que provavelmente foram devidas ao acaso,
trazendo uma distribuição mais global das condições dentro dos indivíduos examinados.
No caso do exemplo ilustrado na Tabela 1, a concordância observada é igual a 0,73 e a
concordância esperada é dada por: [(3 x 5) + (12 x 13) + (5 x 5) + (8 x 9) + (0 x 0) + (0 x 0)]/ (30)2 que é igual a 0,2977 ou 29,78%. O Kappa encontrado, portanto, é igual a 0,62.
Trata-se de um valor menor que o da concordância simples, entretanto mais confiável.
O Coeficiente Kappa pode ser Simples ou Ponderado. No primeiro caso, todas as
discordâncias (entre os códigos 0 e 1 e entre 0 e 2, por exemplo) têm um mesmo peso e contribuem com o mesmo grau de importância para o cálculo do coeficiente.
Esta modalidade do Kappa é mais utilizada quando temos variáveis nominais, ou seja,
quando não existe uma ordenação entre as categorias. No caso dos índices utilizados em
pesquisas epidemiológicas de saúde bucal, a maioria é de natureza ordinal, ou seja, temos uma hierarquia natural (relativa à gravidade do evento) entre as categorias do índice.
Continuando com o exemplo da Condição Periodontal, uma discordância entre o código 1
(Sangramento a Sondagem) e o código 2 (Cálculo) pode ser considerada menos
comprometedora do que uma discordância entre o mesmo código 1 e o código 3 (Bolsa de 4
a 5 mm). Neste caso, o peso da primeira discordância deve ser menor do que o da segunda e, com base neste raciocínio, calculamos o Kappa Ponderado. O Coeficiente Kappa ponderado é
calculado pela mesma expressão do Coeficiente Kappa simples, apresentado acima.
11
Entretanto, o valor de cada célula é multiplicado por um peso estatístico arbitrário que varia
conforme o número de categorias da variável em análise. A Concordância observada então
é calculada: a) Multiplicando-se o número de cada célula pelo correspondente “peso”, b)
somando-se os produtos obtidos e c) dividindo-se pelo total (n= 30 no exemplo da Condição
Periodontal). A concordância esperada é calculada: a) multiplicando-se o total
correspondente das células com o mesmo “peso”, b) Somando-se esses produtos e
multiplicando-se a soma com o “peso” correspondente e, finalmente c) somando-se tudo e
dividindo pelo grande total ao quadrado (n= 30). No exemplo da condição Periodontal o valor do Coeficiente Kappa ponderado é igual 0,765 ou 76,5%.
4.3. A Concordância por Escore Uma extensão recomendada para o percentual de concordância global é o cálculo da
concordância de cada escore em cada índice, como um complemento para a concordância
global do índice. Continuando com o exemplo da Tabela 1, a concordância global é de 0,73,
entretanto, se tomarmos somente o escore “0” por exemplo, veremos que o valor é de
0,33. Ou seja, em termos globais, pode-se considerar como razoável o valor encontrado,
porém, especificamente com relação ao escore “0” o valor da concordância foi bem baixo.
Este tipo de análise é particularmente útil para o instrutor de calibração orientar as equipes em treinamento no que diz respeito a onde estão ocorrendo as discordâncias.
5. Verificação da reprodutibilidade em campo A verificação da reprodutibilidade intra-examinador deverá ser realizada em campo. O examinador deverá reexaminar aproximadamente 5% de toda a amostra, tendo o cuidado de
marcar na ficha que o exame é duplicata. O procedimento é o seguinte:
a) Após examinar cerca de 20 indivíduos, ainda no mesmo setor, o examinador pede
para o anotador escolher, na Ficha do exame, um domicílio e um indivíduo a ser reexaminado.
b) O anotador, ao fazer as escolha, de preferência entre os primeiros do grupo dos 20,
circula a casela do mesmo na Ficha do Exame.
c) A equipe retorna ao domicílio e solicita que seja realizado novo exame no indivíduo escolhido. O novo exame é realizado, tendo o cuidado de colocar o mesmo número de
domicílio que se encontra na Ficha de Exame e marcar exame em “duplicata” em vez de
“original”.
d) Este procedimento deve ser repetido a cada bloco de aproximadamente 20 indivíduos examinados, tendo-se o cuidado de alternar entre as várias idades.
Após todos estes procedimentos, quando da sistematização de todos os bancos de dados, a
verificação da concordância intra-examinador será aferida pelo coordenador municipal ou
pela coordenação executiva do projeto. Caso esta consistência apresente valores globais
abaixo de 85% os dados do examinador serão descartados e uma nova equipe será composta para realizar os exames.
6. Valores recomendados para a Concordância Embora não haja consenso na literatura sobre qual o valor mínimo de concordância
considerado adequado, a grande maioria dos autores reconhece o valor de kappa de 0,60
como o valor mínimo aceitável. Está sendo recomendado para este estudo um limite de
concordância mínimo de 0,65 para o Kappa ponderado. Obviamente, este é um valor limite a
ser considerado para a não aceitação de um examinador como membro da equipe, contudo, deve-se buscar o maior valor de concordância possível para todos os membros da equipe.
(*)Maiores discussões de caráter teórico sobre o Kappa bem como o detalhamento do seu processo de cálculo podem ser
encontrados na versão anterior do Manual de Calibração do Projeto SB2000 (disponível em www.saude.gov.br/bucal) e também na publicação da OMS Calibration of examiners for oral health epidemiological surveys, descrita nas referências.
12
Vale lembrar que o Coeficiente Kappa vai de “0” a “1”, onde “0” significa absoluta
discordância entre os examinadores e o “1” a absoluta concordância entre os mesmos, esta
última uma situação obviamente idealizada, mas na prática impossível quando tratamos com padrões diagnósticos onde a subjetividade é um fator não completamente controlado.
7. Relatório Ao final de todo o exercício de calibração dos examinadores, o instrutor de calibração
deverá elaborar o Relatório de Calibração. Esse documento técnico é fundamental para o
conhecimento do grau de confiabilidade dos dados coletados. Nesse relatório devem constar
todas as dificuldades surgidas durante o processo, bem como as tabelas com os resultados
de concordância inter e intra-examinadores. No anexo encontra-se um modelo de relatório
de calibração.
8. Bibliografia
1. ALTMAN, D. Practical Statistics for Medical Research. London:Chapman and Hall,
1991. p. 406-7.
2. BERQUÓ, E.S., SOUZA, J.M.P., GOTLIEB, S.L.D. Bioestatística. 2ed. São Paulo:EPU, 1981.
3. BULMAN, J.S., OSBORN, J.F. Measuring diagnostic consistency. Br Dent J. v. 166.p. 377-81. 1989.
4. CONS, N. C. et al. Utility of the dental aesthetic index in industrialized and developing countries. J Pub Health Dent. v. 49, n. 3, 1989, p. 163-6.
5. FRIAS, A. C., ANTUNES, J.L.F., NARVAI, P.C. Precisão e validade de levantamentos
epidemiológicos em saúde bucal: cárie dentária na cidade de São Paulo, 2002. Rev. Bras. Epidemiol. v. 7, n. 2, 2004. P.144-154.
6. LANDIS, J.R., KOCH, G.G. The measurement of observer agreement for categorical data. Biometrics. v. 33, p. 159-174. 1977.
7. LUIZ, R.R. Erros de mensuração. In: LUIZ, R.R.; COSTA, A.J.L.; NADANOVSKY,
P.Epidemiologia e bioestatística na pesquisa odontológica. São Paulo: Atheneu, 2005.
Cap.5, p.91-124.
8. PERES, M. A.; TRAEBERT, J.; MARCENES, W. Calibração de examinadores para
estudos epidemiológicos de cárie dentária. Cad. Saúde Pública v.17, n. 1, 2001, p. 153-159.
9. PINTO, V.G. Saúde bucal coletiva. São Paulo: Santos, 2000. 541p.
10. PITTS, N. Diagnostic tools and measuments - impact on appropriate care. Comm Den Oral Epidemiol. v. 25, p. 24-35. 1997.
11. SZKLO, M., JAVIER NIETO F. Epidemiology. Beyond the basics. Sudbury, Massachussets: Jones and Bartlett Publishers, 2004. p363-377.
12. UNIVERSIDADE DE SÃO PAULO, Faculdade de Saúde Pública, Secretaria de Estado
da Saúde de São Paulo. Levantamento das Condições de Saúde Bucal - Estado de São Paulo, 1998. Caderno de Instruções. São Paulo, 1998. [mimeo]
13. VIEIRA, S. Introdução à bioestatística. Rio de Janeiro: Campus, 1981. 293p.14.
WORLD HEALTH ORGANIZATION. Calibration of examiners for oral health epidemiological surveys. Geneva: ORH/EPID, 1993.
15. WORLD HEALTH ORGANIZATION. Oral health surveys: basic methods. 4 ed.Geneva:
ORH/EPID, 1997.