Métodos Qualitativos para Determinação de Características ...
Técnicas Estatísticas para Validação de Métodos qualitativos
description
Transcript of Técnicas Estatísticas para Validação de Métodos qualitativos
![Page 1: Técnicas Estatísticas para Validação de Métodos qualitativos](https://reader038.fdocumentos.tips/reader038/viewer/2022110215/56814241550346895dae64d9/html5/thumbnails/1.jpg)
Técnicas Estatísticas para Validação de
Métodos qualitativos
Dorival Leão
![Page 2: Técnicas Estatísticas para Validação de Métodos qualitativos](https://reader038.fdocumentos.tips/reader038/viewer/2022110215/56814241550346895dae64d9/html5/thumbnails/2.jpg)
NecessidadeCausa
Desenvolvimento tecnológico
Teste mais rápidos e efetivos
Aumento da produtividade
Efeito
Substituir as metodologias atuais por metodologias de ensaio mais “eficientes”
Princípios físicos e/ou químicos distintos
![Page 3: Técnicas Estatísticas para Validação de Métodos qualitativos](https://reader038.fdocumentos.tips/reader038/viewer/2022110215/56814241550346895dae64d9/html5/thumbnails/3.jpg)
Validação de Métodos• “A validação deve garantir, através de estudos experimentais,
que o método atenda às exigências das aplicações analíticas, assegurando a confiabilidade dos resultados” (ANVISA).
• “Validação é o processo de definir uma exigência analítica e confirmar que o método sob investigação tem capacidade de desempenho consistente com o que a aplicação requer” (ISO/IEC 17025).
• “A validação de métodos assegura a credibilidade destes durante o uso rotineiro, sendo algumas vezes mencionado como o “processo que fornece uma evidência documentada de que o método realiza aquilo para o qual é indicado para fazer” (USP).
![Page 4: Técnicas Estatísticas para Validação de Métodos qualitativos](https://reader038.fdocumentos.tips/reader038/viewer/2022110215/56814241550346895dae64d9/html5/thumbnails/4.jpg)
Validação de Métodos qualitativos
Métodos qualitativos
Os resultados são expressos em termos de presença ou ausência, assim como os procedimentos de confirmação e identificação
Ensaios para validação
Especificidade
Exatidão e PrecisãoLimite de detecçãoRobustez
![Page 5: Técnicas Estatísticas para Validação de Métodos qualitativos](https://reader038.fdocumentos.tips/reader038/viewer/2022110215/56814241550346895dae64d9/html5/thumbnails/5.jpg)
Ensaios MicrobiológicosEnsaios Presença e ausência de Micro-
organismos
Contagem de Micro-organismos (Quantitativo Discreto);
Tecnologias baseadas
CrescimentoViabilidadeComponentes celularesÁcido nucleico
![Page 6: Técnicas Estatísticas para Validação de Métodos qualitativos](https://reader038.fdocumentos.tips/reader038/viewer/2022110215/56814241550346895dae64d9/html5/thumbnails/6.jpg)
Modelo Logístico• é o valor da variável explicativa; • é a quantidade de replicatas (número de
ensaios); • número de replicatas detectada com
micro-organismos em replicatas;• n é o total de combinações.
𝑃 [𝑌 𝑖=𝑦 𝑖 ]=(𝑚𝑖𝑦 𝑖 )𝜋 𝑖
𝑦 𝑖(1−𝜋 𝑖❑)𝑚𝑖− 𝑦 𝑖
Suponha uma amostra de n observações independentes da terna
Com isso, assumimos que a variável resposta tem distribuição de probabilidade binomial tal que Para adequarmos a resposta média ao modelo linear usamos a função de ligação
que pode ser escrita como
![Page 7: Técnicas Estatísticas para Validação de Métodos qualitativos](https://reader038.fdocumentos.tips/reader038/viewer/2022110215/56814241550346895dae64d9/html5/thumbnails/7.jpg)
Modelo Logístico
Modelo Logístico com negativo
Modelo Logístico com positivo
![Page 8: Técnicas Estatísticas para Validação de Métodos qualitativos](https://reader038.fdocumentos.tips/reader038/viewer/2022110215/56814241550346895dae64d9/html5/thumbnails/8.jpg)
Ensaios
Limite de detecção
Menor quantidade de micro-organismos presentes na amostra, que consegue ser detectada sob condições experimentais estabelecidasrefere-se ao número de micro-organismos presentes na amostra original antes da diluição ou inoculação
![Page 9: Técnicas Estatísticas para Validação de Métodos qualitativos](https://reader038.fdocumentos.tips/reader038/viewer/2022110215/56814241550346895dae64d9/html5/thumbnails/9.jpg)
Experimento 1Realizar o teste com uma baixa concentração de micro-organismos e aumentar a concentração até que pelo menos 50% das amostras sejam detectadas no método tradicional
Teste UFC Replicata DetecçãoAlternativo 2 30 0Alternativo 2,5 30 3Alternativo 3 30 7Alternativo 3,5 30 11Alternativo 4 30 14Alternativo 4,5 30 18Alternativo 5 30 22Alternativo 5,5 30 25Alternativo 6 30 28Alternativo 6,5 30 30Tradicional 2 30 0Tradicional 2,5 30 0Tradicional 3 30 0Tradicional 3,5 30 2Tradicional 4 30 5Tradicional 4,5 30 8Tradicional 5 30 11Tradicional 5,5 30 13Tradicional 6 30 15Tradicional 6,5 30 17
Ensaio Realizado em paralelo.
![Page 10: Técnicas Estatísticas para Validação de Métodos qualitativos](https://reader038.fdocumentos.tips/reader038/viewer/2022110215/56814241550346895dae64d9/html5/thumbnails/10.jpg)
Modelo Logístico
EstimativaDesvio Padrão
Teste de Wald P-Valor
Limite Inferior
Limite Superior
Intercepto -5,02 0,453 -11,08 0 -5,904 -4,129Teste-
Tradicional -2,04 0,249 -8,22 0 -2,531 -1,557UFC 1,22 0,103 11,86 0 1,020 1,424
em que : probabilidade detecção
O método de teste alternativo apresenta um limite de detecção maior que o método de teste tradicional (P-valor abaixo de 0,01%).
![Page 11: Técnicas Estatísticas para Validação de Métodos qualitativos](https://reader038.fdocumentos.tips/reader038/viewer/2022110215/56814241550346895dae64d9/html5/thumbnails/11.jpg)
Ensaio 2Executar o teste em paralelo em três (ou duas) concentrações distintas.
MétodoConcentraç
ão Replicatas Detecção
Alternativo 15 20 16
Alternativo 45 20 20
Tradicional 15 20 12
Tradicional 45 20 19
![Page 12: Técnicas Estatísticas para Validação de Métodos qualitativos](https://reader038.fdocumentos.tips/reader038/viewer/2022110215/56814241550346895dae64d9/html5/thumbnails/12.jpg)
Modelo Logístico
em que : probabilidade detecção
O método de teste alternativo apresenta um limite de detecção similar ao método tradicional(P-valor de 11%).
EstimativaDesvio Padrão
Teste de Wald P-Valor
Limite Inferior
Limite Superior
Intercepto 0,020 0,83 0,02 0,98 -1,61 1,65MetodoT -1,11 0,70 -1,60 0,11 -2,48 0,25
Conc 0,096 0,036 2,68 0,0074 0,026 0,17
![Page 13: Técnicas Estatísticas para Validação de Métodos qualitativos](https://reader038.fdocumentos.tips/reader038/viewer/2022110215/56814241550346895dae64d9/html5/thumbnails/13.jpg)
Teste Qui-Quadrado de homogeneidade
N_Detectou Deteccao
Gráfico da Tabela Cruzada
Pro
porç
ão
0.0
0.2
0.4
0.6
0.8
1.0
1.2
AlternativoTradicional
Tabela Cruzada Ausente Presente
Total
Alternativo 5 25 30Tradicional 17 13 30
Total 22 38 60
Teste Qui-Quadrado Estatistica X² 8,68
Graus de Liberdade 1
P-Valor 0,0032
Teste Exato de Fisher Estimativa Odds 0,16
P-Valor 0,0028
Ensaio 3: • Determinar uma
concentração específica de micro-organismos;
• Executar um ensaio paralelo entre os dois métodos.
Conclusão:• Tanto o teste exato de Fisher quanto o teste
qui-quadrado detectaram diferenças entre os dois métodos;
• O teste alternativo apresenta maior “chance” de detecção;
![Page 14: Técnicas Estatísticas para Validação de Métodos qualitativos](https://reader038.fdocumentos.tips/reader038/viewer/2022110215/56814241550346895dae64d9/html5/thumbnails/14.jpg)
Cálculo do Tamanho da Amostra
Método Detecção Tamanho da Amostra
Alternativo 0,8
13Tradicional 0,4
Alternativo 0,8
26Tradicional 0,6
Alternativo 0,75
38Tradicional 0,87Alternativo 0,8
93Tradicional 0,9
Nível de significância: 0,05Poder: 0,95
![Page 15: Técnicas Estatísticas para Validação de Métodos qualitativos](https://reader038.fdocumentos.tips/reader038/viewer/2022110215/56814241550346895dae64d9/html5/thumbnails/15.jpg)
Crescimento
Capacidade de detectar variedades de micro-
organismos diferentes, que podem estar
presentes na amostra.
Outros
Capacidade de detectar micro-organismos
diferenciando-os de partículas externas,
não deixando com que elas interfiram no resultado do teste.
Especificidade
![Page 16: Técnicas Estatísticas para Validação de Métodos qualitativos](https://reader038.fdocumentos.tips/reader038/viewer/2022110215/56814241550346895dae64d9/html5/thumbnails/16.jpg)
Exatidão e Precisão• A exatidão e a precisão de um
método alternativo pode ser expressa como a razão relativa de resultados falso positivos e falso negativos entre o método alternativo e o método tradicional, utilizando-se inóculos padronizados com uma baixa concentração de micro-organismos.
![Page 17: Técnicas Estatísticas para Validação de Métodos qualitativos](https://reader038.fdocumentos.tips/reader038/viewer/2022110215/56814241550346895dae64d9/html5/thumbnails/17.jpg)
Teste Tradicional / referência
+ -
Teste Alternativo
+ Verdadeiro Positivo Falso Positivo
- Falso NegativoVerdadeiro Negativo
A relação entre Teste Alternativo e Teste Tradicional
![Page 18: Técnicas Estatísticas para Validação de Métodos qualitativos](https://reader038.fdocumentos.tips/reader038/viewer/2022110215/56814241550346895dae64d9/html5/thumbnails/18.jpg)
Teste Tradicional / Referência
TotalPresente Ausente
Teste Alternati
vo
Presente
aVerdadeiro
Positivob
Falso Positivo a+b
Ausente
cFalso
Negativo
dVerdadeiro Negativo c+d
Total a+c b+d a+b+c+d
Sensibilidade e Especificidade
e
![Page 19: Técnicas Estatísticas para Validação de Métodos qualitativos](https://reader038.fdocumentos.tips/reader038/viewer/2022110215/56814241550346895dae64d9/html5/thumbnails/19.jpg)
Sensibilidade
Probabilidade do teste alternativo detectar
dado que o teste tradicional (ou
referência) detecta
Especificidade
Probabilidade do teste alternativo não
detectar dado que o teste tradicional (ou
referência) não detecta
![Page 20: Técnicas Estatísticas para Validação de Métodos qualitativos](https://reader038.fdocumentos.tips/reader038/viewer/2022110215/56814241550346895dae64d9/html5/thumbnails/20.jpg)
Coeficiente Kappa de Cohen• É uma medida estatística da
concordância de dois avaliadores quando ambos classificam a mesma amostra;
𝐾𝑎𝑝𝑝𝑎=(Pr (𝑜 )−Pr (𝑒))
(1−Pr (𝑒))¿¿
![Page 21: Técnicas Estatísticas para Validação de Métodos qualitativos](https://reader038.fdocumentos.tips/reader038/viewer/2022110215/56814241550346895dae64d9/html5/thumbnails/21.jpg)
Tabela Cruzada
Teste Tradicional
TotalPresente Ausente
Teste Alternativo
Presente 20 8 28
Ausente 0 12 12
Total 20 20 40
Grau de Concordância
Tabela de Proporção
Teste Tradicional
TotalPresente Ausente
Teste Alternativo
Presente 0,5 0,2 0,7
Ausente 0 0,3 0,3
Total 0,5 0,5 1
Esperado
Teste TradicionalPresente Ausente
Teste Alternativo
Presente0,35 0,35
Ausente0,15 0,15
![Page 22: Técnicas Estatísticas para Validação de Métodos qualitativos](https://reader038.fdocumentos.tips/reader038/viewer/2022110215/56814241550346895dae64d9/html5/thumbnails/22.jpg)
Tabela Cruzada
Teste Tradicional
TotalPresente Ausente
Teste Alternativo Presente 19 2 28
Ausente 1 18 12
Total 20 20 40
Grau de Concordância
Tabela de Proporção
Teste Tradicional
TotalPresente Ausente
Teste Alternativo
Presente 0,475 0,05 0,525
Ausente 0,025 0,45 0,3
Total 0,5 0,5 1
EsperadoTeste Tradicional
Presente Ausente
Teste Alternativo
Presente0,2625 0,2625
Ausente0,15 0,15
![Page 23: Técnicas Estatísticas para Validação de Métodos qualitativos](https://reader038.fdocumentos.tips/reader038/viewer/2022110215/56814241550346895dae64d9/html5/thumbnails/23.jpg)
Robustez• Consiste em medir a capacidade do
método apresentar resultados “similares” quando submetido a pequenas alterações intencionais;
• Fornece indicação da confiabilidade durante o uso rotineiro.
![Page 24: Técnicas Estatísticas para Validação de Métodos qualitativos](https://reader038.fdocumentos.tips/reader038/viewer/2022110215/56814241550346895dae64d9/html5/thumbnails/24.jpg)
EnsaioExecutar o método com diferentes analistas e temperaturas distintas. Neste caso, realizamos um experimento cruzado totalmente aleatoriazado.
Analista TemperaturaTamanho da
AmostraDetecçã
o
A A 30 25A B 30 23B A 30 27B B 30 22
![Page 25: Técnicas Estatísticas para Validação de Métodos qualitativos](https://reader038.fdocumentos.tips/reader038/viewer/2022110215/56814241550346895dae64d9/html5/thumbnails/25.jpg)
Modelo Logístico
Estimativa Desvio Padrão Teste de WaldP-
Valor Limite Inferior Limite SuperiorIntercepto 1,82 0,44 4,12 0 0,95 2,68AnalistaB 0,11 0,47 0,23 0,81 -0,81 1,03
TemperaturaB -0,77 0,48 -1,60 0,11 -1,72 0,17
AnalistaTemperatu
ra Prob. Ajustada LI LSDesvio Padrão
A A 0,86 0,76 0,96 0,05A B 0,74 0,60 0,88 0,07B A 0,87 0,77 0,97 0,05B B 0,76 0,62 0,90 0,07
Conclusão: Como o P-valor para analistas e temperatura são “grandes”, concluímos que a interferência dos analistas e da temperatura (na faixa de estudo) são desprezíveis.
![Page 26: Técnicas Estatísticas para Validação de Métodos qualitativos](https://reader038.fdocumentos.tips/reader038/viewer/2022110215/56814241550346895dae64d9/html5/thumbnails/26.jpg)
Referências Bibliográficas• PDA, J. of Pharmaceutical Science and
Technology, technical report 3, Evaluation, Validation, and Implementation of New Microbiological Testing Methods.
• Leão JÚNIOR, D. ; AOKI, Reiko ; SILVA, G. F. . Statistical analysis of proficiency testing results under elliptical distributions. Computational Statistics & Data Analysis, v. 53, p. 1427-1439, 2009.