Universidade Federal de Minas GeraisInstituto de Ciências ExatasDepartamento de Estatística

Princípios de Bioestatística

Aula 6 :

Avaliação da Qualidade de Testes de Diagnóstico

Erro !!

PARTE 1: Avaliando um (novo) Teste de Diagnóstico

Condição do paciente

Doente

Positivoresultado

resultado do teste

Positivo

Negativo

Sadio

Negativo

resultado do teste

Qual é a probabilidade do teste avaliado ter:

- resultado correto (+) em um paciente doente ?

- resultado correto (-) em um paciente sadio ?

Sensibilidade

Especificidade

Medidas de Qualidade de um Teste

Sensibilidade (s): probabilidade do teste dar resultado positivodado que o indivíduo está doente.

probabilidade de um resultado falso negativo

Especificidade (e): probabilidade do teste dar resultado negativodado que o indivíduo não está doente.

probabilidade de um resultado falso negativo

probabilidade de um resultado falso positivo

Exemplo: avaliação de um teste rápido de gravidez

Estado realda mulher

Resultado do teste da urinaTotal

Positivo Negativo

Grávida 1188 12 1200

Não-grávida 30 1970 2000

O teste acerta o dignóstico em 99% das mulheres grávidas.99% das mulheres grávidas.

O teste acerta o dignóstico em 98.5% das mulheres não grávidas.

Uma mulher grávida tem 99% de probabilidade de ter resultado positivo no teste.

Uma mulher não grávida tem 98.5% de probabilidade de ter resultado negativo no teste.

A influência do ponto de corte em s e e

Considere um teste que diagnostica a doença pela ocorrência de valoresaltos de uma variável contínua, ou seja, o resultado do teste é positivose o valor desta variável está acima de um dados ponto de corte:

Sensibilidade: proporção de resultados positivos dentre os doentes.

Aumentando o ponto de corte: menos doentes com resultado positivo.sensibilidade diminui.

Especificidade: proporção de resultados negativos dentre os sadios.

Aumentando o ponto de corte: mais sadios com resultado negativo:especificidade aumenta.

Na escolha do ponto de corte, aumentar a sensibilidade implica necessariamente em reduzir sua especificidade (e vice-versa):

menos pessoas doentesterão teste positivo,reduzindo a sensibilidade.

Se o ponto de corte é aumentado:

mais pessoas não doentesterão teste negativo,aumentando a especificidade.

e

Exemplo: Alto valor da Razão Cintura/Quadril (RCQ) como indicativo de hipertensão arterial.

Pessoas hipertensas tender a ter maior gordura abdominal.

Maior gordura abdominal pode ser indicada por uma cintura muito “larga” em relação ao quadril.

RCQ menor: cintura “fina” (menos gordura abdominal);

RCQ maior: cintura “larga” (mais gordura abdominal).

RCQ = CQ

A Razão Cintura/Quadril é a divisão das medidas da circunferência da cintura (C) pela circunferência do quadril (Q):

Um teste de indicação de hipertensão para valores de RCQ altos:

Mas quanto define um RCQ alto? Qual deve ser o ponto de corte?

Estudo com mulheres de 40-50 anos: 59 hipertensas (H) e 326 não hipertensas (NH)

Possíveis pontos de corte

Influência do ponto de corte na sensibilidade e na especificidadeda RCQ no diagnóstico da hipertensão arterial.

A Curva ROC (Receiver Operator Characteristic)

Considere um teste que diagnostica a doença pela ocorrência devalores altos (acima de um ponto de corte) de uma variável contínua.

Vimos que a escolha deste ponto de corte altera os valores desensibilidade e da especificidade do teste.

Ponto Sensibilidade Especificidade

A 80% 50%

B 70% 80%

C 45% 90%

Ponto S E

A 80% 50%

B 70% 80%

C 45% 90%

Ponto S E 100-E

A 80% 50% 50%

B 70% 80% 20%

C 45% 90% 10%

Curva ROC

(escala de 0 a 1)

O teste da Curva 1 é melhor do que o da Curva 2 que é melhor que Curva 3.

Quanto mais perto a curva estiver do canto superior esquerdo,melhor o teste.

Quanto mais perto a curva estiver da linha diagonal, pior o teste.

Área Abaixo da Curva ROC (AUC)

Exemplo: Alto valor da Razão Cintura/Quadril (RCQ) como indicativo de hipertensão arterial.

Ponto mais próximo do canto superior esquerdo

�

Ponto mais distante (J) da linha diagonal:

J = S + E – 1

Escolha do Ponto de Corte

Ponto de corte B: melhor “balanço” entre valores altos de sensib. e espec.

J = S + E – 1

J: índice de Youden�

máximo

A: J = 0.80+0.50-1 = 0.30B: J = 0.70+0.80-1 = 0.50C: J = 0.45+0.90-1 = 0.35

Ex.: Curva ROC da Creatinina Sérica no diagnóstico de Insuficiência Renal Crônica

Erro !!

PARTE 2: Avaliando o Diagnóstico Baseado no Teste

Resultado do teste

Positivo

Doente

Sadio

Estado Real:

Negativo

Resultado do teste

Doente

Sadio

-Doente se o teste deu positivo ?

Qual é a probabilidade do paciente ser realmente:

-Sadio se o teste deu negativo ?

Valor da Predição Positiva

Valor da Predição Negativa

Medidas de Qualidade do Diagnóstico baseado no Teste

Valor da Predição Positiva: probabilidade do indivíduo ser doentedado que o seu teste deu positivo.

Seja p: prevalência da doença na população, ou seja, p = P(D).

Valor da Predição Negativa: probabilidade do indivíduo ser sadiodado que o seu teste deu negativo.

proporção de (diagnósticos) falsos positivos (PFP)

proporção de (diagnósticos) falsos negativos (PFN)

Exemplo: Papanicolau como diagnóstico do câncer de colo do útero.

Considere que o teste Papanicolau tenha s = 0,8375 e e = 0,8136.

p)-0,8136)(1(10,8375p

p 0,8375

p)-e)(1(1sp

sp VPP

−+=

−+=

0,8375)p(1p)-0,8136(1

p)-0,8136(1

s)p(1p)-e(1

p)-e(1VPN

−+=

−+=

Para p = 0,000083 (83 casos em 1 milhão),� Para p = 0,000083 (83 casos em 1 milhão),

0,000370,000083)-0,8136)(1(100083)0,8375(0,0

(0,000083) 0,8375 VPP =

−+=

0,99998000830,8375)0,0(10,000083)-0,8136(1

0,000083)-0,8136(1VPN =

−+=

� Para p = 0,083 (83 casos em mil), VPP=0,2891 e VPN=0,9822.

Influência da prevalência no VPP e no VPN

s = 0,8 e e = 0,7

0,60

0,80

1,00V

PP

e V

PN

VPP

0,00

0,20

0,40

0,60

0 0,2 0,4 0,6 0,8 1

Prevalência

VP

P e

VP

N

VPN

teste + teste - teste + teste –

83 com câncer 999.917 sem câncer

1.000.000 mulheres

p = 0,000083

s = 0,8375 e = 0,8136

Desempenho do Papanicolau como diagnóstico do câncer do colo do útero

teste +70

teste -13

teste +186.385

teste –813.532

VPP = 70/186455 = 0,00037 VPN = 813532/813545 = 0,99998

teste +186.455

teste –813.545

teste + teste – teste + teste –

83.000 com câncer 917.000 sem câncer

1.000.000 mulheres

p = 0,083

s = 0,8375 e = 0,8136

Desempenho do Papanicolau como diagnóstico do câncer do colo do útero

teste + 69.512

teste –13.488

teste +170.929

teste –746.071

VPP = 69.512/240.441 = 0.29 VPN = 746.071/759.559 = 0.98

teste + 240.441

teste –759.559

Exemplo: Diagnóstico de AIDS.Teste ELISA: s = 95,0% e = 99,8% (Lab. ABBOTT)

Prevalê

ncia

c

rescendo

Prevalê

ncia

c

rescendo

VPP

crescendo

VPN

crescendo

Populações com comportamento de alto risco: >5,0% (homossexuais masculinos, usuários de drogas injetáveis e profissionais do sexo)

VPP = 96% e VPN = 99.74%

População em geral (15 a 49 anos): 0,6% (6 em 1000)

Prevalência da Infecção pelo HIV no Brasil*:

População em geral (15 a 49 anos): 0,6% (6 em 1000)

VPP = 74% e VPN = 99.99%

*Ministério da Saúde. Departamento Nacional de DST, Aids e Hepatites Virais. Aids no Brasil. Brasília, DF; Boletim Epidemiológico Aids e DST, ano IX, n°1. Brasília, DF; 2012.

Efeito da sensibilidade e da especificidade no VPP e no VPN

p)-e)(1(1sp

sp VPP

−+=

Para um valor fixo de prevalência (p fixo).

aumenta s � aumenta VPP

aumenta e � aumenta VPP

s)p(1p)-e(1

p)-e(1VPN

−+=

aumenta s � aumenta VPN

aumenta e � aumenta VPN

Mas qual (s ou e) gera um aumento maior no VPP? Especificidade.

Mas qual (s ou e) gera um aumento maior no VPN? Sensibilidade.

Efeito da sensibilidade e da especificidade no VPP

0,32

0,36

0,40

0,44

0,48

0,52

VPP

s = 0,95

s = 0,85

s = 0,75

Efeito do aumento na especificidade de 0,75 para 0,95

0,12

0,16

0,20

0,24

0,28

0,75 0,8 0,85 0,9 0,95

Especificidadep = 0,05

Efeito do aumento na sensibilidade de 0,75 para 0,95

0,30

0,35

0,40

0,45

0,50

VPN

e = 0,95

e = 0,85

e = 0,75

Efeito da sensibilidade e da especificidade no VPN

Efeito do aumento da sensibilidade de 0,75 para 0,95

0,10

0,15

0,20

0,25

0,75 0,8 0,85 0,9 0,95

Sensibilidade

VPN

p = 0,95

Efeito do aumento da especificidade de 0,75 para 0,95

Efeito da sensibilidade e da especificidade no VPP e no VPN

Para um valor fixo de prevalência (p fixo).

Aumento na especificidade gera um aumento maior no VPP.

Aumento na sensibilidade gera um aumento maior no VPN.