Olho Mágico - Vol. 8 - Nº 1 jan./abr.2001

Avaliação de habilidades clínicas: os métodos tradicionais e o modelo “OSCE”

Luiz Ernesto de Almeida Troncon Professor Associado do Departamento de Clínica Médica,

Faculdade de Medicina de Ribeirão Preto (FMRP), Universidade de São Paulo,

Ex-Presidente da Comissão de Graduação (Coordenador do Curso de Graduação em Medicina) da FMRP.

ledatron@fmrp.usp.br

As habilidades clínicas e a necessidade de avaliá-las

O domínio adequado das habilidades clínicas fundamentais constitui uma meta de importância indiscutível do processo de formação básica do médico. Consequentemente, a avaliação educacional do grau de domínio destas habilidades adquire relevância inequívoca no controle da qualidade daquele processo. Entende-se por habilidades clínicas fundamentais aquelas que envolvem a tomada da história clínica, a realização do exame físico, a interpretação dos achados no raciocínio clínico subsequente e, sobretudo, a interação e a comunicação apropriadas com o paciente. Por sua vez, entende-se por avaliação, a obtenção de informações relevantes sobre o desempenho do educando, que serão empregadas para aperfeiçoar o processo formativo, reforçando os pontos positivos e corrigindo as eventuais deficiências apresentadas.

Avaliações bem feitas fornecem dados que podem subsidiar intervenções voltadas para o crescimento pessoal e profissional do educando, bem como para o aprimoramento do próprio processo educacional. Além disso, contribuem para que as escolas médicas assegurem-se de que estão formando médicos dotados dos atributos minimamente necessários para o desempenho das suas atividades profissionais futuras.

Os princípios, os componentes e as características dos métodos de avaliação

Praticamente, todos os métodos de avaliação de habilidades clínicas existentes têm, como princípios básicos, a observação do desempenho do educando em tarefas clínicas específicas, executadas em pessoas que procuram atenção médica (pacientes), bem como o correspondente juízo de valor sobre a adequação daquele desempenho. A comparação dos comportamentos emitidos pelo educando com os esperados, em cada situação ou contexto, permitirá a avaliação sobre o grau de domínio das habilidades clínicas envolvidas. Assim sendo, o processo de avaliação deve conter os seguintes componentes: 1) o avaliando; 2) o paciente em um contexto ou situação específicos; 3) a(s) tarefa(s) clínica(s); 4) o observador; 5) o instrumento de registro dos comportamentos observados e 6) os padrões de comportamentos esperados, indicativos de domínio das habilidades avaliadas.

A escolha de um método adequado de avaliação de habilidades clínicas não é uma tarefa fácil e representa um desafio para os educadores médicos. Essa escolha deve recair, sempre que possível, em uma técnica que seja, ao mesmo tempo, válida, fidedigna, operacionalmente viável e aceitável para todos os participantes da avaliação. Importa, especialmente, considerar os atributos de validade e de fidedignidade. A validade relaciona-se com o "quê" avaliar, enquanto que a fidedignidade relaciona-se com o "como" fazer a avaliação. A avaliação preenche os critérios de validade quando envolve tarefas clínicas inequivocamente importantes, que devem ser cumpridas em nível de dificuldade compatível com o estágio da

formação do educando, em contexto que bem represente o que é comum na prática médica. Por outro lado, avaliações que demandam o exercício de manobras pouco usuais, ou envolvem “casos” difíceis ou raros, são de pouca validade, independentemente do desempenho observado do educando

A fidedignidade, por sua vez, relaciona-se com a qualidade da medida e os seus requisitos de objetividade e reprodutibilidade. Para que a avaliação preencha os critérios de fidedignidade, deve-se cuidar para que todos os educandos sejam avaliados em condições semelhantes, que o desempenho seja observado com cuidado, bem como providenciar o emprego de instrumento de registro que contenha descrição explícita dos comportamentos indicativos de domínio das habilidades envolvidas. Por outro lado, avaliações em que as ações do avaliando não são observadas com atenção, ou os juízos de valor submetem-se às circunstâncias são de pouca fidedignidade.

Os métodos tradicionais de avaliação de habilidades clínicas

Os diferentes componentes acima descritos dos métodos de avaliação de habilidades clínicas podem ser facilmente reconhecidos nas duas técnicas mais antigas, tradicionais e comuns nas escolas médicas de todo o mundo: a) a observação "em serviço" do educando pelo seu supervisor e b) o exame prático com "caso-longo". Na observação "em serviço", o supervisor detecta pontos negativos e positivos do desempenho do educando, enquanto o observa nas suas atividades rotineiras, que demandam a execução de tarefas clínicas. Já no exame com "caso-longo", o avaliador solicita ao examinando que faça a anamnese e o exame físico de um(a) paciente pré-selecionado(a), tarefas estas que são seguidas pela arguição.

Essas duas modalidades de avaliação são muito usuais, pois não oferecem maiores empecilhos quanto à operacionalização ou à sua aceitação pelos participantes. Além disso, são particularmente propícias à provisão de feedback imediato (avaliação formativa). No entanto, ambas as técnicas apresentam aspectos que as caracterizam como de baixos graus de validade e de fidedignidade (Newble, 1992). Por exemplo, a observação, propriamente dita, quando “em serviço” é , em geral, ocasional e assistemática e o registro dos comportamentos emitidos pelo educando, nesta modalidade de avaliação, não é habitualmente feito em instrumento específico. Na inexistência de explicitação dos comportamentos esperados, é previsível que os juízos de valor expressem dados relativos ao empenho, interesse ou dedicação do avaliando, do que o seu real grau de domínio das habilidades clínicas (“efeito halo”). No exame prático com “caso-longo”, não é incomum a inclusão de “casos” raros ou de dificuldade incompatível com o estágio da formação do avaliando, ou, até mesmo, que o avaliando não seja observado , de fato, nos longos minutos que dispende para tomar a história clínica ou fazer o exame do(a) paciente. Desse modo, o foco da avaliação desloca-se, naturalmente, das habilidades clínicas para os aspectos cognitivos despertados pela arguição. Além disso, não é habitual o emprego de instrumentos estruturados e padronizados de registro, de modo que os juízos de valor passam a depender, fortemente, de particularidades (generosidade ou severidade) da personalidade do examinador.

O modelo "OSCE"

Procurando superar as deficiências de validade e de fidedignidade dos métodos tradicionais de avaliação de habilidades clínicas, foi proposta uma técnica inovadora de exame, conhecida como

O. S. C. E. - Objective, Structured Clinical Examination (Harden et al., 1975), que é, hoje, internacionalmente reconhecida como altamente válida, fidedigna, acurada e eficaz. Em uma “OSCE” típica, os examinandos percorrem, em alternância, várias “estações”, onde devem desempenhar tarefas clínicas diferentes. Em cada uma dessas estações, o desempenho do educando é cuidadosamente observado, permitindo que o domínio de habilidades clínicas possa ser avaliado. As estações podem envolver a execução de tarefas clínicas relativamente simples, como a obtenção de partes da história clínica ou a realização do exame físico focalizado de um órgão ou aparelho, ou podem ser estruturadas de modo a requerer a abordagem “completa” de um(a) paciente, com a realização da anamnese e do exame físico, seguidos pela orientação do paciente quanto ao diagnóstico. Questões ou tarefas escritas podem ser acrescentadas, de modo a permitir a avaliação dos aspectos cognitivos inerentes ao raciocício clínico. Pelas suas características de flexibilidade e de versatilidade, a OSCE tem sido considerada antes um “modelo” de avaliação de habilidades clínicas, do que como método específico.

Para garantir que o exame preencha os requisitos de validade, a estruturação de cada estação é previamente elaborada de modo que contenha situações ou contextos clínicos habituais, em grau apropriado de dificuldade, bem como envolva habilidades clínicas relevantes, no nível adequado de complexidade. A fidedignidade é garantida pela composição de um número mínimo de estações, pelo preparo ou treinamento prévios dos pacientes e dos próprios avaliadores, bem como pela elaboração minuciosa dos protocolos de observação, que devem conter descrições detalhadas dos comportamentos esperados, indicativos do domínio das habilidades que estão sendo avaliadas. Adicionalmente, contribui para maior fidedignidade o fato de todos os examinandos serem avaliados nas mesmas condições. Nesse sentido, adquire importância o preparo ou treinamento do(a) paciente, para que forneça a mesma história, ou se comporte sempre da mesma maneira, ao ser abordado, sucessivamente, por dez ou por cinquenta examinandos.

Para garantir desempenho uniforme e de boa qualidade por parte do(a) paciente, desenvolveu-se a técnica dos “standardized patients”, ou “pacientes padronizados”, que são pacientes reais, ou pessoas sem qualquer doença, que são preparadas para protagonizar “casos” com características adequadas à avaliação. A partir do início do seu desenvolvimento, na década de 1960, este recurso sofreu extraordinária difusão e passou a ser empregado, extensivamente, na avaliação de habilidades clínicas e, sobretudo, no ensino de habilidades de comunicação e de interação médico-paciente (Anderson & Kassenbaum, 1993).

A alta qualidade do modelo OSCE pode ser comprovada pelo seu emprego crescente em inúmeras escolas médicas de todo o mundo, em variados programas de Residência Médica (Petrusa et al, 1990), em exames de certificação de sociedades de especialistas, em exames de qualificação de médicos estrangeiros para exercício nos Estados Unidos da América (Ziv et al, 1998) e de médicos formados em diversas províncias canadenses (Resnick et al, 1992).

Experiência com diferentes aplicações do modelo OSCE

A partir da implantação de um programa institucional de avaliação terminal das competências dos graduandos da Faculdade de Medicina de Ribeirão Preto (FMRP), da Universidade de São Paulo, criaram-se as condições, nessa escola, para aplicações do modelo OSCE em diferentes contextos.

Em sintonia com as diretrizes do citado programa de avaliação terminal do graduando (Troncon et al, 1999), dois exames no modelo OSCE foram introduzidos, sendo um voltado para as habilidades genuinamente clínicas (10 estações) e outro

para habilidades necessárias à realização de procedimentos diagnósticos e terapêuticos (6 estações). No módulo de avaliação das habilidades clínicas, as estações são desenvolvidas com pacientes reais, convenientemente preparados, ou com “pacientes padronizados”, adequadamente treinados. No módulo de procedimentos, empregam-se manequins e modelos em plástico e, em uma estação de drenagem emergencial do tórax, um cão anestesiado.

Com a experiência adquirida no programa de avaliação terminal, cogitou-se da aplicação de exame no modelo OSCE para a avaliação final dos alunos da disciplina ”Semiologia Geral” (Troncon et al, 1996), o que foi efetivamente realizado nos anos de 1995 a 1997. Esse exame (6 a 8 estações) visava a avaliação exclusiva de habilidades relacionadas com a tomada da história clínica em “pacientes padronizados”, a comunicação e a interação com pacientes e a realização do exame físico do tórax e do abdome em pacientes reais.

O envolvimento em aplicações do modelo OSCE, em contextos variados e distintos, em uma iniciativa institucional e no âmbito de uma disciplina específica, permitiu que se adquirisse experiência nos aspectos organizacionais dos exames e no recrutamento e no treinamento de “pacientes padronizados”, bem como que se vivenciasse situações peculiares, relacionadas às percepções de alunos e de membros do corpo docente.

O planejamento e a administração de exames, no modelo OSCE, constituem empreendimentos que consomem muito tempo e energia e demandam o envolvimento de pessoal numeroso. Há que se contar com pessoal médico encarregado da seleção de pacientes reais e com profissionais de apoio para o preparo prévio para a atuação no exame, assim como para a assistência a estes pacientes, antes, durante e após o exame. O recrutamento e o treinamento de “pacientes padronizados” requer, igualmente, pessoal qualificado, familiarizado com a técnica, além de recursos financeiros para cobertura de despesas de alimentação e de transporte das pessoas que, em caráter de voluntariado, desempenham este papel.

A avaliação, no modelo OSCE, demanda área física adequada, como grandes enfermarias ou alas inteiras de um ambulatório, com capacidade para a instalação de inúmeras estações, que vão constituir ambientes isolados uns dos outros e propícios à abordagem do paciente pelo avaliando. A realização, de fato, do exame exige pessoal de apoio para o isolamento e o controle do fluxo de pessoas pela área física utilizada.

A necessidade de familiarizar os educandos com este modelo de avaliação, procurando reduzir o estresse emocional durante o exame, bem como a conveniência de acostumar os avaliandos a trabalhar em uma situação onde o tempo precisa ser controlado, impõe a realização de provas simuladas, que são táticas muito eficientes para atingir estas finalidades, mas que multiplicam o dispêndio de tempo, energia e pessoal. A aceitação, por parte dos educandos, da avaliação conduzida no modelo OSCE aumenta muito se estiverem acostumados com as particularidades do exame e, sobretudo, se for introduzido um componente de avaliação formativa. Isso é fácil e eficientemente conseguido se houver o planejamento para que os minutos finais do tempo, em cada estação, seja dispendido com o fornecimento de feedback ao educando sobre o seu desempenho e discutindo, com ele, outras particularidades da composição da estação. No entanto, esta medida simples, acrescida a cada estação, implica o aumento da duração do exame e o acréscimo de dificuldades operacionais ao controle do tempo.

A participação do corpo docente nas diferentes etapas do trabalho, exige disponibilidade de tempo e níveis de capacitação e de motivação usualmente superiores aos necessários para as atividades didáticas tradicionais. Esses requisitos constituem, em seu conjunto, uma das principais dificuldades a serem superadas, principalmente em instituições com corpo docente pequeno e com diversificados e numerosos encargos de natureza didática, científica, médica ou administrativa.

A introdução de avaliações empregando o modelo OSCE em escolas médicas mais conservadoras pode esbarrar em reduzida aceitação dessa modalidade inovadora, por parte de professores e de estudantes. Muitas dessas barreiras estão ligadas ao que foi denominado de "ausência de uma cultura de avaliação" (Vianna, 1992). Esse estado, por sua vez, associa-se a uma visão distorcida das práticas avaliativas como algo destinado, apenas, a "premiar alguns e punir outros". Assim sendo, a implementação de avaliações empregando o modelo OSCE pode ser, erroneamente, vista como algo excessivamente complexo e trabalhoso para a obtenção de coisas simples, como "dar uma nota ao aluno", que poderia ser conseguida com o emprego dos métodos tradicionais.

A quebra dessas barreiras culturais, bem como a criação das condições materiais e humanas propícias à aplicação do modelo OSCE de avaliação de habilidades clínicas, em condições apropriadas de validade e de fidedignidade, exigem um efetivo compromisso institucional das escolas médicas com práticas educacionais de elevada qualidade.

REFERÊNCIAS BIBLIOGRÁFICAS

1) ADERSON M.B., KASSENBAUN D.G. Proceedings of the AAMC's Consensus Conference in the use of standardized patients. The teaching and evaluation of clinical skills. Academic Medicine. Philadelphia, v.68, n.6, p. 437-483, 1993.

2) HARDEN, R.M. Assessment of clinical competence using objective structured clinical examination. British Medical Journal. London, v.1, n.5955, p. 447-451, 1975.

3) NEWBLE D.J. Assessing clinical competence at the undergraduate level. Medical Education. Chicago, v.26, n.6, p.504-11, 1992.

4) PETRUSA E.R., BLACKWELL T.A., AINSWORTH M.A. Reliability and validity of an objective structured clinical examination for assessing the clinical performance of residents. Archives of Internal Medicine. Chicago, v.150, n.3, p.573-7, 1990.

5) RESNICK R.K. et al. An objective structured clinical examination for the licenciate: report of the pilot project of the Medical Council of Canada. Academic Medicine. Philadelphia, v.67, n.8, p.487-494, 1992.

6) TRONCON L.E.A. et al. Avaliação de habilidades clínicas por exame objetivo estruturado por estacões, com emprego de pacientes padronizados: uma aplicação no Brasil. Revista Brasileira de Educação Médica. Rio de Janeiro, v.20, n.2/3, p.53-60, 1996.

7) TRONCON L.E.A. et al. Implantação de um programa de avaliação terminal do desempenho dos graduandos para estimar a eficácia do currículo na Faculdade de Medicina de Ribeirão Preto. Revista da Associação Médica Brasileira. São Paulo, v.45, n.3, p.217-224, 1999.

8) VIANNA H.M. Avaliação Educacional. Cadernos de Pesquisa. São Paulo v.80, n.1, p.100-5, 1992.

9) ZIV A., et al. Lessons learned from six years of international administration of the ECFMG's SP- based clinical skills assessment. Academic Medicine. Philadelphia, v.73, n.1, p.84-91, 1998.