AVALIAÇÃO DO ESTUDANTE DE MEDICINA

ASSESSMENT OF MEDICAL STUDENTS

Luiz Ernesto de Almeida Troncon

Docente do Departamento de Clínica Médica e Vice-Presidente da Comissão de Graduação da Faculdade de Medicina de RibeirãoPreto da Universidade de São Paulo.Correspondência : Prof.Dr. Luiz Ernesto de Almeida Troncon. Hospital das Clínicas da Faculdade de Medicina de Ribeirão Preto daUniversidade de São Paulo, Departamento de Clínica Médica - CEP: 14048-900 Ribeirão Preto - SP - Telefone: 016 - 633 - 0436FAX: 016-633-1144.

TRONCON LE de A. Avaliação do estudante de medicina. Medicina, Ribeirão Preto, 29: 429-439, out./dez.1996.

RESUMO: A avaliação do estudante de Medicina cumpre um papel central na sua educação econstitui uma das funções mais importantes da escola médica. A avaliação pode ser definidacomo um processo de obtenção de informações, visando à tomada de medidas para o aprimo-ramento do processo educacional e à interferência positiva no aprendizado do estudante. Deveincidir sobre aspectos relevantes e ser conduzida com métodos objetivos, em condições padro-nizadas, em circunstâncias viáveis e de aceitação indiscutível por todos os envolvidos na avalia-ção. A avaliação abrangente do estudante de Medicina deveria cobrir os aspectos cognitivos, ashabilidades e as competências práticas necessárias ao exercício da profissão, bem como asatitudes e as características pessoais dos alunos. Modernos métodos, como o exame clínicoobjetivo, estruturado por estações, o exame de desempenho clínico e o emprego de pacientespadronizados permitem as avaliações válidas, fidedignas e viáveis das principais competênciasclínicas dos estudantes de Medicina. Na maior parte das escolas médicas, a ênfase na avalia-ção dos aspectos cognitivos e a prioridade dada às avaliações somativas, com caráter de prê-mio ou punição aos examinandos, tem contribuído para uma imagem negativa das práticas deavaliação e tem provocado distorções na educação dos estudantes. O uso mais extensivo demodalidades formativas e a escolha judiciosa de métodos mais adequados, válidos e fidedig-nos, podem contribuir para restaurar as funções educacionais mais genuínas da avaliação doestudante de Medicina.

UNITERMOS: Avaliação. Competência Clínica. Estudantes de Medicina. Educação Médica.

429

Medicina, Ribeirão Preto, Simpósio: ENSINO MÉDICO DE GRADUAÇÃO29: 429-439, out./dez. 1996 Capítulo IX

1. INTRODUÇÃO

A avaliação do estudante constitui, possivelmen-te, a etapa de maior relevância em todo o processoeducacional. Permite a obtenção de informações so-bre o aprendizado e subsidia a tomada de decisõesque, muitas vezes, são críticas para a vida do estudan-te. Além disso, a forma e o conteúdo das avaliaçõessão altamente importantes, na medida em que consti-tuem um poderoso determinante de como os alunosestudam e aprendem 1,2,3.

No caso específico do estudante de Medicina,a avaliação reveste-se de importância especial, vistoque deve contemplar não só o conhecimento adquiri-do, mas também habilidades específicas e elementosde ordem afetiva, como as atitudes frente a inúmerosaspectos da prática profissional. O reconhecimentoprogressivo desta importância tem propiciado um gran-de desenvolvimento da área de Avaliação de Compe-tências Médicas, dentro do campo geral da EducaçãoMédica. Esta evolução tem resultado em uma diversi-dade de conceitos e de métodos aplicáveis a situa-

430

LE de A Troncon

ções específicas na avaliação do estudante, bem comono aumento da complexidade e da dificuldade ineren-te à área.

Neste artigo, pretende-se rever alguns concei-tos básicos relativos à avaliação no contexto educaci-onal, apresentar os fundamentos de novos métodos deavaliação objetiva de competências médicas, bem comotecer considerações sobre o uso corrente e as fun-ções ideais da avaliação do estudante de Medicina.

2. CONCEITOS BÁSICOS

2.1. Aspectos Gerais

A avaliação é um processo que encontra lugarem toda e qualquer atividade humana. Pode ser, genericamente, definida como a determinação do valor dealguma coisa para uma certa finalidade4. No contextoeducacional, a avaliação implica em obter informa-ções, por meio da aplicação de métodos específicos,que podem subsidiar a tomada de decisões que inte-ressam tanto ao processo do aprendizado como aoeducando. Ainda neste contexto, a avaliação pode serentendida como “um processo de comparação entreos dados do desempenho do estudante e os objetivosinstrucionais previamente estabelecidos”5. Estas de-finições, ligeiramente diferentes, trazem consigo al-guns componentes básicos indissociáveis do conceitogenérico de avaliação. Entre estes, deve ser ressalta-do o juízo de valor, aplicado sobre os resultados doemprego de métodos apropriados, tendo em vistapadrões pré-estabelecidos. Muito freqüentemen-te, o juízo é estabelecido com base na apreciação demedidas feitas com escalas apropriadas, em com-paração a critérios quantitativos previamente defi-nidos6. Em qualquer caso, a valoração é feita comvistas a finalidades específicas, que justificam enorteiam a avaliação.

Com relação à avaliação do estudante de Me-dicina, pode ser adotado o conceito genérico de queesta é um processo de colheita de informações, reali-zado por meio de atividades sistemáticas e formais,que permite saber o que o estudante conhece, sabefazer e, efetivamente, faz de modo adequado, de ma-neira que se possa interferir no processo educacio-nal, corrigindo distorções e reforçando aspectos posi-tivos. Evidentemente, esta interferência deve reper-cutir sobre o sujeito principal do processo educacio-nal, o estudante de Medicina.

Uma importante decorrência destes conceitosé que a avaliação pressupõe o estabelecimento pré-

vio, com a maior precisão possível, do conjunto dehabilidades que devem ser adquiridas, cujo domínio,demonstrado na avaliação pertinente, permitirá ates-tar a consecução dos objetivos instrucionais.

2.2. Finalidades e momento da avaliação

No desenvolvimento do processo educacional,a avaliação do estudante pode ser efetuada em dife-rentes momentos, com finalidades distintas7. De acor-do com estas variáveis, é possível classificar os pro-cessos de avaliação em 3 diferentes tipos.

A avaliação localizatória é a tomada de infor-mações, efetuada no início do processo educacional,com vistas à verificação do grau de domínio prelimi-nar dos objetivos instrucionais, ou, ainda, daqueles queconstituem pré-requisitos para a aquisição dos conhe-cimentos e habilidades, cujo ensino se seguirá. Porconseguinte, este tipo de avaliação tem forte reper-cussão no planejamento das atividades educacionais.

A avaliação formativa é aquela realizada, re-gular e periodicamente, ao longo do processo educa-cional, para obter dados sobre o progresso consegui-do e, deste modo, efetivar a oportuna correção dasdistorções observadas, preencher as lacunas detecta-das, bem como reforçar as conquistas realizadas. Umaimportante característica deste tipo de avaliação é o“feedback” imediato que deve ser fornecido ao estu-dante, de modo a poder configurar o processo de ob-tenção de dados como genuína atividade educacional.Em determinadas circunstâncias, a aplicação repetidade métodos de avaliação formativa pode fornecer re-sultados indicativos da ocorrência de problemas oudificuldades específicas de aprendizado. Nestes ca-sos, podem ser empregados recursos de avaliaçãodiagnóstica para a detecção, confirmação e carac-terização destes problemas, de modo a se dispor dedados para a sua solução.

A avaliação somativa, também denominadade terminal , incide no final ou após o transcurso doprocesso educacional, ou de suas etapas mais impor-tantes, tendo, como finalidade, a verificação do grauatingido de domínio dos objetivos instrucionais. E, fre-qüentemente, empregada com o propósito de aprova-ção ou reprovação do estudante ou, ainda, de emitirparecer formal sobre a capacitação individual para oexercício de atividades profissionais.

2.3. Características dos instrumentos de avaliação

O instrumento ideal de avaliação deve possuirtrês atributos fundamentais: deve ser válido, fidedignoe viável6,7.

431

Avaliação do estudante de medicina

A validade de um instrumento ou método deavaliação é a sua capacidade de avaliar, efetivamen-te, o “que” deve realmente ser avaliado. O conceitode validade abrange várias modalidades (conteúdo,estatística, preditiva e de construto), cuja discussãoextrapola os limites deste artigo. Vale ressaltar, entretanto, pela sua importância, a validade de conteúdo.Esta se relaciona com a relevância do que é avaliado.Como, em muitas situações, não é possível fazer comque a avaliação incida sobre todos os tópicos de maiorrelevância, a validade da avaliação vai depender, emgrande parte, da representatividade das amostras dositens escolhidos.

A fidedignidade do método de avaliação é umacaracterística que se relaciona à precisão, à acurácia,à objetividade, à reprodutibilidade do instrumento, fa-tores estes que, por sua vez, determinam aconfiabilidade e a consistência dos resultados obtidos.Refere-se, portanto, ao “como” avaliar. Uma avalia-ção fidedigna implica no máximo controle possível deum número de variáveis de três ordens diferentes.Estas são ligadas, respectivamente, ao avaliador (sub-jetividade, fatores afetivos, grau de capacitação paraa função de avaliar, etc...), ao avaliando (estado emo-cional, experiência prévia com o método a ser empre-gado, etc...) e, em especial, aos componentes do pró-prio método, como ambiente, material e situação aserem utilizados na aplicação do instrumento.

A viabilidade ou praticidade do método deavaliação é uma característica que se relaciona a suapossibilidade de execução e a sua aceitação por partede todos os envolvidos no processo de avaliação. Depende de requisitos variados, como condições de espaço, tempo, material de apoio, etc..., que implicamem adequado planejamento, conveniente organizaçãoe apropriado controle de custos.

3. COMPETÊNCIAS, HABILIDADES E ATRI-BUTOS DO ESTUDANTE DE MEDICINA

O estudante de Medicina, assim como os deoutros cursos voltados às profissões da Saúde Huma-na, deve não só adquirir um conjunto de conhecimen-tos fundamentais, como também deve dominar umadiversidade de habilidades de complexidade variável,que nem sempre são de fácil avaliação. Na área daEducação Médica, e, em especial, na de avaliação dosestudantes de Medicina, o foco de atenção tem sedirigido para o que se denomina de competênciasmédicas. A competência é, em geral, definida como

um conjunto de habilidades de natureza intelectual oufísica, relevante para um determinado fim, passível deser ensinada, aprendida e avaliada Numa das taxono-mias de objetivos educacionais de maior aceitação9,as habilidades podem ser descritas como pertencen-tes a três grandes domínios: o cognitivo, o psicomotore o afetivo.

O domínio cognitivo refere-se às habilidades denatureza puramente intelectual, como a aquisição deconhecimento, a compreensão, a análise e a capaci-dade de síntese, entre outras. As habilidades psico-motoras são as que demandam os órgãos do sentido ea efetuação neuromuscular para o desempenho detarefas específicas. Por sua vez, o domínio afetivocompreende as atitudes, as crenças, os valores e osjuízos acerca das coisas, que, por sua vez,funcionamcomo importantes determinantes da emissão de com-portamentos específicos, que são, em geral, favorá-veis, desfavoráveis ou neutros em relação à práticaprofissional.

Na Educação Médica, as competências envol-vidas constituem, quase sempre, habilidades comple-xas e que compreendem interrelações variadas entreos domínios cognitivos, psicomotor e afetivo. Por exem-plo, a comunicação efetiva com os pacientes e seusfamiliares, a obtenção da anamnese e a execução doexame físico envolvem habilidades de todas as mencio-nadas categorias. Do mesmo modo, a interpretaçãoadequada das informações obtidas e a sua análise vi-sando à solução de problemas, bem como a cor res-pondente tomada de decisões, envolvem não só habili-dades cognitivas complexas, como também atitudes ecrenças frente aos padrões de conduta médica.

Além disso, o exercício das habilidades defini-doras de uma competência é influenciado por fatoresdiversos, como, por exemplo, o contexto (crianças,adultos, idosos), o conteúdo envolvido (condições denatureza variada, relacionadas a diferentes órgãos eaparelhos), as circunstâncias de cada situação (gravi-dez, acidentes), bem como as características de per-sonalidade do médico (Ou estudante) e o efeitomodulador de experiências prévias semelhantes.

Um exemplo de um conjunto de competênciasmédicas, baseadas nos Objetivos Educacionais daFaculdade de Medicina de Ribeirão Preto10 é apre-sentado na Tabela I.

Ao lado da aquisição de proficiência nas dife-rentes competências médicas, anteriormente abordadas,é desejável que o estudante de Medicina detenha algunsatributos pessoais de caráter positivo, como a hones-

432

LE de A Troncon

tidade, a integridade, a capacidade de sentir compai-xão pelo próximo, o espírito da iniciativa, a tolerância,etc...11. Do mesmo modo, em uma pro fissão cujo ob-jeto central de atuação é a saúde das pessoas, é alta-mente desejável que o futuro profissional seja despro-vido de características pessoais negativas, como a de-sonestidade, o egoísmo, o espírito preconceituoso, etc.Assim sendo, a avaliação abrangente do estudante deMedicina deveria cobrir todas estas habilidades, com-petências e características pessoais em seus diferen-tes domínios. Isto, obviamente, somente seria possívelmediante o emprego de uma diversidade de métodos ede instrumentos voltados para aspectos específicos.

Tabela I - Exemplos de competências neces-sárias ao exercício da Medicina

1. Compreensão da variabilidade interindividualdos fenômenos biológicos e psicológicos.

2. Compreensão do papel do ambiente e dos fa-tores sociais na manutenção da saúde e naprodução das doenças.

3. Compreensão da inserção do indivíduo na fa-mília, na comunidade e na sociedade.

4. Compreensão do papel do médico na promo-ção da saúde, na prevenção das doenças, nareabilitação das pessoas deficientes e no avan-ço do conhecimento científico.

5. Comunicação adequada com o paciente e seusfamiliares.

6. Obtenção da história clínica e realização do exa-me físico com técnicas adequadas.

7. Aplicação do raciocínio clínico na identificaçãoe na solução de problemas de saúde.

8. Aplicação das medidas necessárias para man-ter a vida em casos de urgência.

9. Comunicação verbal e escrita com seus cole-gas médicos e com outros profissionais dasaúde.

10. Reconhecimento das limitações da sua com-petência e tomada das medidas necessáriaspara o adequado encaminhamento dos paci-entes a seus cuidados.

4. MÉTODOS DE AVALIAÇÕES

Como anteriormente mencionado, existem mé-todos disponíveis para a avaliação de uma variedadede habilidades, incluindo as afetivas, bem como para adeterminação da ocorrência de qualidades pessoaispositivas e negativas. Nesta secção, por razões deespaço, serão tecidas considerações apenas sobre al-

gumas técnicas disponíveis para a avaliação de as-pectos cognitivos e serão descritas as bases de méto-dos, mais modernos, de avaliação das competências ehabilidades clínicas dos estudantes de Medicina.

4.1. Aspectos Cognitivos

A avaliação do conhecimento adquirido peloestudante constitui, possivelmente, a modalidade maisfreqüentemente empregada e sobre a qual se dispõe,provavelmente, de maior experiência acumulada. ATabela II apresenta uma relação dos principais recur-sos disponíveis para a avaliação das habilidadescognitivas. A descrição pormenorizada de cada um,ou a discussão dos seus princípios e as recomenda-ções inerentes a sua aplicação extrapolam os limitesdeste trabalho e encontram-se disponíveis em fontesbibliográficas de maior profundidades6,7.

Cumpre, porém, ressaltar que, na avaliação doestudante de Medicina, a abordagem dos aspectos cog-nitivos deve contemplar não só a retenção do conhe-cimento factual adquirido, mas as habilidades maiscomplexas, relacionadas ao raciocínio clínico e à compreensão dos temas médicos, em profundidade, e, emespecial, à aplicação do conhecimento adquirido, nasolução de problemas concretos. Neste sentido, é deinteresse mencionar as provas orais e os “problemasde manejo de pacientes” que se acoplam aos examesde desempenho clínico, conforme o que será adiantedescrito, e que cumprem, aparentemente, este papelintegrador.

Deve ser, também, salientado o interesse em seavaliar não só o que o estudante aprendeu, mas se ele“aprendeu a aprender”. Este aspecto é da maior atua-lidade, face à rapidez com que os conceitos mudam naMedicina e à enorme velocidade com que o conhecimento médico se acumula. Assim sendo, o estudantedeve ter uma atitude de aprendizado contínuo, comotambém deve dominar as habilidades necessárias àbusca de informações nas fontes adequadas, usandoos re cursos convenientes. Para avaliar apropriada-mente esta competência, desenvolveu-se, na Univer-sidade McMaster, no Canadá, o teste do “salto tri-plo”1,12. Na primeira fase desta modalidade de avalia-ção, é apresentado ao estudante um problema escrito,sobre o qual se baseia uma prova oral. Nesta, o estu-dante não só deve demonstrar o que “sabe”, mas deveidentificar o que “não sabe”, e fazer um planejamentode tarefas voltadas ao aprendizado futuro imediato. Asegunda fase é cumprida exclusivamente pelo estu-dante, na busca do referido aprendizado junto às fon-

433

Avaliação do estudante de medicina

tes apropriadas. Na terceira e última etapa, novamen-te em formato de prova oral, o estudante relata o queaprendeu, reportando, também, em que fontes se ba-seou para adquirir o conhecimento. O teste é encerra-do com uma apreciação crítica, de caráter formativo,do examinador sobre o desempenho do estudante, ten-do como foco o conhecimento adquirido e os meiosutilizados para a consecução das metas anteriormentetraçadas. Deste modo, esta forma de avaliação, quevisa, prioritariamente, medir o conhecimento adquiridoe a proficiência na sua aquisição, contribui, de imedia-to, para o reforço do estudante e para o desenvolvi-mento de uma atitude favorável ao auto-aprendizado.

Tabela II - Principais recursos para avaliação dehabilidades cognitivas

1. Provas escritas- questões com respostas restritas- questões com respostas extensas- ensaio discursivo- exercícios interpretativos

2. Provas objetivas

2.1. Com seleção de respostas fornecidas- tipo falso/verdadeiro- tipo associação- testes de múltipla escolha

2.2. Com fornecimento de respostas pelo aluno- respostas curtas- completar frases- preencher lacunas

3. Formas alternativas- estudo de casos- relatórios- elaboração de projetos- revisões e críticas- provas orais- problemas de manejo de pacientes

4.2. Competências e habilidades clínicas

A avaliação das habilidades e das competênci-as clínicas desempenha um papel central na educa-ção do estudante de Medicina e constitui, possivel-mente, o campo de expansão mais rápida, na área doconheci mento de Avaliação em Educação Médica.

A avaliação das habilidades e das competênci-as clínicas deve recair sobre os aspectos da práticaprofissional mais voltados aos cuidados do paciente,desde a obtenção da história clínica até a orientação

dos familiares e a educação do paciente com relaçãoà sua própria saúde. Dependendo das suas finalida-des, do momento da sua aplicação e do contexto emque se desenvolve, a avaliação pode ser feita, empre-gando-se uma variedade de métodos, conforme seapresenta na Tabela III.

As observações assistemáticas consistem noregistro ocasional dos pontos positivos e negativos dodesempenho do estudante, ao longo de um determina-do período de tempo7. Já as observações sistemáticasempregam um instrumento, previamente definido, quecontém, explicitamente, a relação das habilidades edas competências a serem avaliadas e as respectivasalternativas de preenchimento. Estas, habitualmente,constituem juízos de valor sobre o desempenho doestudante, assinalados em escala que varia do “muitoruim” ao “excelente” ou, alternativamente, registradosem escala binária do tipo “satisfatório” ou “insatisfa-tório”, para cada uma das inúmeras habilidades a se-rem avaliadas. Podem incluir itens relativos a atitudes(por exemplo, a preocupação com o bem-estar dopaciente) e a outros atributos do estudante (por exemplo,o interesse ou o empenho no próprio aprendizado)7,13.Tipicamente, estes métodos são aplicados no decor-rer do desenvolvimento dos estágios clínicos, empre-gando, como avaliadores, os profissionais encarrega-dos da supervisão das atividades dos estudantes. Po-dem prestar-se a qualquer das finalidades gerais deavaliação, anteriormente mencionadas, mas sua fun-ção ideal é, possivelmente, a formativa, visto que ser-vem, com muita propriedade, ao registro dos pontosque devem ser reforçados ou daqueles que constitu-em deficiências a serem sanadas. Por outro lado, nãotêm configuração ideal à função somativa, visto quehá componente de subjetividade muito importante,dependente do contacto contínuo e regular do avali-ando com o avaliado; bem como da necessária intera-ção destas partes no próprio desenvolvimento do pro-cesso educacional ou do treinamento clínico. Alémdisso, as condições, em que a observação dos dife-rentes estudantes se dá, não comportam padroniza-ção apropriada para a função somativa.

Os exames de desempenho consistem na ob-servação dos comportamentos do estudante, indicati-vos do domínio de determinadas habilidades, quandoda execução de tarefas predeterminadas14. Os princi-pais componentes destes métodos são, além do exa-minador e do examinando, o paciente, o instrumentoonde os comportamentos são registrados e as tarefasatribuídas ao examinando. Na modalidade denomina-

434

LE de A Troncon

da “caso longo”, o examinando recebe um conjuntode tarefas que, em geral, compreende todas aquelasque o médico deve cumprir, desde a obtenção da his-tória clínica, a realização do exame físico e a conclu-são da consulta, com a informação do paciente sobreo que pensa da situação e o que será necessário fazerem seguida. Já na modalidade “caso curto”, as dife-rentes tarefas devem ser cumpridas em diferentespacientes. Estes dois tipos de exame são, freqüente-mente, complementados por provas orais em que osestudantes podem explicitar suas impressões diagnós-ticas ou declinar as medidas necessárias à soluçãodos problemas, bem como demonstrar o domínio dosdiferentes aspectos cognitivos relacionados ao casoem questão.

Ainda que estas modalidades mais tradicionaisde avaliação possam fornecer dados relevantes sobreo nível de competência clínica dos estudantes, care-cem-nas de maior objetividade e de padronização. Osresultados obtidos são, é evidente, muito fortementeinfluenciados pelo tipo de paciente disponível para umdeterminado exame e toda a avaliação depende muitodo avaliador. Além disso, cada estudante é avaliadoem condições muito diferentes, o que dificulta a com-paração dos resultados de uns com os dos outros. Estasparticularidades concorrem para que estes métodossejam considerados como de reduzida fidedignidade.Vários estudos mostram que a qualidade do desem-penho do examinando varia muito em diferentes situ-ações, sendo muito dependente dos conteúdos envol-vidos em cada caso Por outro lado, o maior méritodesta modalidade de avaliação é a sua validade, umavez que as situações selecionadas e as tarefas que oaluno deve desempenhar são, de modo geral, bem re-presentativas da prática profissional.

Procurando aumentar a fidedignidade destamodalidade tradicional de avaliação de competênciasclínicas, mantendo sua alta validade, algumas modifi-cações foram recentemente propostas por Gleeson16.na descrição do que se denominou de O.S.L.E.R. -“Objective Structural Long Examination Record”.Nesta proposição, recomenda-se, para cada avalia-ção:a- o emprego de, pelo menos, dois casos longos em

seqüência;b- a atuação simultânea de, pelo menos, dois observa-

dores diferentes;c- e, especialmente, o uso de um instrumento padroni-

zado, no qual o número e o tipo de julgamentos aserem feitos pelos dois examinadores, em cada caso

clínico, é predefinido e compreende conjunto sufi-cientemente amplo de itens relevantes de obser-vação17.

No entanto, as deficiências inerentes ao usodestas modalidades mais tradicionais e habituais deavaliação de habilidades clínicas, tem levado ao de-senvolvimento de técnicas que procuram garantir maiorobjetividade e padronização das condições de exame,resultando, por conseguinte, em níveis mais elevadosde fidedignidade. Vale destacar dois destes métodos,que têm sido crescentemente utilizados e estudadosem países mais desenvolvidos. O primeiro deles éaO.S.C.E. - “Objective Structured ClinicalExamination”18,19 que, recentemente, foi introduzidoem nosso meio com a denominação de “exame clínicoestruturado por estações20. O segundo destes méto-dos é a C.P.E. - “Clinical Performance Examination”21.Ambos os métodos lançam mão de uma outra técnicaespecífica que é a dos S.P. -”Standardized Patients”22,expressão que, em nosso meio, recebeu a denomina-ção de “Pacientes padronizados”20. A alta importân-cia destas modalidades de avaliação de habilidades ede competências clínicas justifica a sua abordagemem separado.

Tabela III - Principais recursos para avaliação decompetências e habilidades clínicas

1. Observações assistemáticas- relato anedótico

2. Observações sistemáticas- escalas de classificação global

3. Exames de desempenho- casos curtos- casos longos- exame objetivo estruturado por estações- exame de desempenho clínico

4.2.1. O exame clínico objetivo estruturado porestações

Este método de avaliação de habilidades clíni-cas foi desenvolvido há mais de 20 anos, na Escócia”,e tem ganhado crescente aceitação e difusão por todoo mundo Nesta técnica de exame, os examinandospercorrem diferentes estações em que são solicitadosa desempenhar tarefas clínicas distintas, como, porexemplo, obter uma história clínica focalizada, reali-zar parte ou todo o exame de um órgão ou aparelho,inspeccionar uma radiografia, analisar um traçado

435

Avaliação do estudante de medicina

eletrocardiográfico, ou instruir um paciente sobre oseu diagnóstico. Em cada estação, permanecem umtempo predeterminado, realizando a tarefa solicitada,sob a observação de um avaliador que emprega uminstrumento de registro pré-elaborado. Este consta deum protocolo de observação, contendo os comportamentos esperados do aluno, cuja ocorrência irá de-monstrar o domínio das habilidades em exame. Aotérmino do tempo previsto, quando se emite um sinalaudível por todos, os estudantes movem-se para a es-tação seguinte, alternando-se na ocupação das váriasestações. Algumas das estações podem incluirsubestações de resposta a questões referentes a tare-fa recém-realizada. Outras estações podem ser, ex-clusivamente, de resposta a questões referentes à es-tação imediatamente precedente.

Esta técnica de avaliação de habilidades clíni-cas apresenta algumas vantagens altamente desejá-veis para a consecução dos seus objetivos. Assim, épossível selecionar o tipo de habilidade a ser avaliada,o nível de complexidade exigido e as circunstânciasda avaliação, sem depender da disponibilidade de ca-sos ou de outros fatores. Isto toma mais fácil preen-cher o requisito de validade da avaliação. Além disto,a atuação do avaliador, trabalhando com protocolo deobservação pré-estabelecido, confere objetividade aoexame. Por fim, todos os examinados são avaliadosexatamente nas mesmas condições. Estas caracterís-ticas permitem preencher, com mais facilidade, os re-quisitos de fidedignidade da avaliação.

4.2.2. O exame de desempenho clínico

O exame de desempenho clínico foi desenvol-vido em escolas americanas, sob a denominação deC.P.E. - “Clinical Practice Examination” corno alter-nativa de solução de possíveis inconveniências damodalidade O.S.C.E., como a artificialidade e a frag-mentação na abordagem dos casos presentes nas suasdiferentes estações.

Esta modalidade de avaliação tem configura-ção geral muito semelhante à da O.S.C.E. Tem, en-tretanto, como principal diferença em relação àquela,o fato de que, em cada estação, o estudante deve cum-prir não uma só tarefa específica, ou um pequeno nú-mero delas, mas todo o conjunto de tarefas necessári-as para que a abordagem do paciente se complete.Tipicamente, em cada situação, o estudante encontraum paciente que deve ser entrevistado, com vistas àobtenção da sua história clínica e à caracterização doproblema de saúde a ser resolvido. Deve ser, tam-

bém, submetido ao exame físico e, em seguida, infor-mado e orientado sobre as medidas diagnósticas e te-rapêuticas necessárias para a solução do referido pro-blema. Se a modalidade O.S.C.E. pode ser compara-da a uma seqüência de exames com casos curtos, amodalidade C.P.E. encontra analogia com uma seqüên-cia de casos longos.

A principal vantagem da modalidade C.P.E. é,deste modo, a abordagem integral do caso, em condi-ções mais próximas da realidade da prática profissio-nal. Isto faz com que se preencham os requisitos devalidade, sem perder os de fidedignidade, garantidospela padronização dos casos e pela objetividade daestruturação dos protocolos de observação e da atua-ção dos examinadores.

Por outro lado, a principal desvantagemdaC.P.E. é de ordem operacional. Cada estação típi-ca dura, pelos menos, vinte minutos. Estudos dereprodutibilidade dos resultados e da sua capacidadede generalização indicaram que o número mínimo deestações deva ser de quinze a dezoito’ Além disso, otrabalho clínico em cada estação é, habitualmente,seguido de avaliação dos aspectos cognitivos envolvi-dos no caso, feita na forma de “problema de manejode paciente”, com duração de, pelo menos, outros vinteminutos. Desta maneira, o tempo total de exame é de,no mínimo, dez horas para quinze estações. Isto de-manda que a avaliação completa tenha que perdurarpor vários dias e implica em que o esforço operacio-nal, para o exame de toda uma turma de estudantes,seja enorme.

4.2.3. O emprego de pacientes padronizados

O emprego de pacientes reais, em atividadesde avaliação, apresenta alguns problemas de reconhe-cida importância. Em primeiro lugar, nem sempre oscasos desejados encontram-se disponíveis à época daavaliação. Além disso, o desempenho dos pacientes,durante uma atividade de avaliação, pode ser muitovariável. Assim, um mesmo paciente pode relatar assuas queixas a dois estudantes diferentes de modoscompletamente distintos. Pode, então, dar níveis vari-ados de detalhamento, esquecer ou, ocasionalmente,omitir dados relevantes ou, ainda, imprimir, ao seu re-lato, tons distintos de emoção. É fato bem conhecido,a partir de estudos empíricos, que muitos pacientestendem, a deliberadamente, “ajudar” os estudantes,enquanto que outros se antipatizam, de imediato, como “médico-examinando”, e procuram atrapalhá-lo Porfim, os pacientes, como qualquer pessoa sem preparo

436

LE de A Troncon

específico para esta finalidade, podem cansar-se deserem inquiridos, repetidamente, sobre sua história clí-nica ou de serem examinados por vários estudantes.Neste ponto particular, ainda que desejosos de coope-rar com atividades educacionais e de avaliação e de-vidamente informados de sua natureza, os pacientessão pessoas com problemas de saúde que podem afe-tar a sua disposição e, portanto, compro meter a qua-lidade do seu desempenho14.

Procurando obviar muitos destes inconvenien-tes, o Professor Howard Barrows iniciou, há mais detrês décadas, trabalho de treinamento de alguns paci-entes para tomar o seu emprego, em atividades edu-cacionais, mais apropriado O aprimoramento destemétodo levou ao conceito atual de paciente padroni-zado, como uma pessoa normal ou doente (pacientereal, estável e em boas condições de saúde) que éadequadamente treinada para protagonizar casos clí-nicos com características específicas; estes podem,então, ser empregados em atividades de ensino ou,particularmente, na avaliação de habilidades clínicas22.

A utilização desta técnica permite superar vári-as das limitações, acima mencionadas, do emprego depacientes reais e obter boas condições de padroniza-ção do exame. Os pacientes padronizados são prepa-rados especificamente para atuar sempre da mesmamaneira em situações de avaliação, envolvendo gran-de número de examinandos. Preferencialmente, po-dem ser aproveitados, como pacientes padronizados,pessoas com:a - problemas de saúde bem conhecidos:b - habilidade para assimilar instruções e para exibir,

com autenticidade e consistência, os atributos de-sejados (informações sobre sintomas, sinais de exa-me físico, situações específicas de vida pessoal ouprofissional, por exemplo), e

c - tempo livre disponível para submeter-se aos programas de treinamento e para atuar nas sessõesde ensino ou de avaliação. Mais freqüentemente,são empregadas pessoas sem qualquer problemade saúde, mas que têm a capacidade de simular,adequadamente, os atributos necessários (“paci-entes simulados”). Neste sentido, podem tambémser em pregados, como pacientes simulados, ato-res, profissionais ou amadores, especialmente quan-do se pretende a simulação de situações que en-volvem alto grau de emotividade ou dramaticidade.

Para as finalidades de avaliação de competên-cias clínicas, os pacientes padronizados podem, tam-bém, ser instruídos para preencher protocolos de ob-

servação, registrando e classificando, em graus deproficiência, o desempenho dos estudantes. Destamaneira, o paciente padronizado pode desempenhar,simultaneamente, os papéis de objeto da avaliação ede examinador.

Vários estudos demonstram que, quando ade-quadamente treinados, os pacientes padronizados não

são distinguidos de pacientes verdadeiros nempelos examinandos (estudantes) nem por examinado-res médicos ou professores22.

E também conhecido que, além de desempe-nhar com eficiência máxima os atributos necessáriosà realização da anamnese e à comunicação médico-paciente, o paciente padronizado pode ser treinadopara simular uma variedade de sinais físicos, comopor exemplo, manifestações neurológicas (tremores,corea, hemi paresia, hiperreflexia, etc.), rigidez abdo-minal, dispnéia, entre outros25.

Enquanto instrumento de avaliação de compe-tências clínicas, os pacientes padronizados apresen-tam algumas qualidades importantes. Entre estas, apossibilidade de permitir a avaliação, sem que haja apresença de uma terceira pessoa (examinador). Des-ta maneira, ficam minimizadas as influências negati-vas ligadas à presença de examinadores. Outra im-portante vantagem do uso de pacientes padronizadosé que permitem que todos os examinandos subme-tam-se à situação de avaliação padronizada, isto é,todos têm contacto com o mesmo caso, nas mesmascondições.

Sendo pacientes verdadeiros, podem, também,dar informações mais fidedignas sobre habilidades decomunicação, em especial sobre aquelas que deman-dam a abordagem, durante a obtenção da história clí-nica, de temas sensíveis, que envolvem a privacidadedos pacientes. Adicionalmente, o emprego sistemáti-co de pacientes padronizados exige o delineamentoconcreto do que é relevante para ser ensinado e ava-liado, o que servirá de base para o treinamento dopaciente padronizado. Exige, ainda, a definição preci-sa dos critérios de avaliação do desempenho clínico, aserem, então, delegados previamente ao próprio paci-ente padronizado.

O emprego desta modalidade de avaliação demanda, entretanto, considerável esforço na sua im-plementação e envolve custo considerável, pertinenteao treinamento e à remuneração dos pacientes padro-nizados. Não obstante, este recurso vem sendocrescentemente utilizado, especialmente nas escolasmédicas americanas26.

437

Avaliação do estudante de medicina

4.3. A escolha dos métodos de avaliação

A seleção do método de avaliação deve ser fei-ta, levando-se em conta, prioritariamente, o “que” deveser avaliado. Este é um requisito fundamental da vali-dade da avaliação. A escolha do método deve, tam-bém, ser norteada pela finalidade da avaliação. Nasavaliações somáticas, destinadas a tomar decisõessérias sobre a vida escolar do estudante, é fundamen-tal a aplicação de métodos de maior objetividade, emcondições adequadas de padronização, de modo agarantir a fidedignidade da avaliação.

Deve-se, ainda, considerar que uma avaliaçãoabrangente, incidindo sobre uma gama variada de com-petências e de habilidades, provavelmente, irá re que-rer a aplicação não de um único método, mas o em-prego de vários instrumentos e técnicas, cujos resul-tados se completarão.

O uso apropriado de qualquer método de avali-ação requer que se tenham presentes as suas vanta-gens e desvantagens e, em especial, as suas limita-ções. Além disso, na interpretação dos resultados ob-tidos, devem ser considerados os fatores que, na apli-cação de um método específico, exercem influênciasobre os resultados verificados. Qualquer que seja atécnica selecionada, independentemente do “que” estásendo avaliado, deve-se ter em conta a questão daamostragem. E absolutamente impossível garantir acobertura de todo o universo de conteúdos ou toda agama de habilidades a serem avaliadas. Deste modo,deve-se cuidar para que se disponha de uma amostra-gem que seja adequada dos pontos de vista quantitati-vo e qualitativo. O uso de pró-formas ou anteprojetosescritos e a sua discussão subseqüente é um procedi-mento útil não só para definir uma amostragemsatisfatória, como também para a rediscussão do quese pretende avaliar, e para a revisão voltada a decidir,definitivamente, se o método escolhido ou o conjuntode técnicas e instrumentos selecionados é, de fato,efetivamente o mais adequado.

Outro conjunto de fatores que deve ser consi-derado na escolha dos métodos de avaliação é de or-dem operacional e relaciona-se com a colocação emprática da técnica selecionada e com a sua aceitaçãopor parte dos examinandos. Este item deve ser har-monizado com os precedentes, relativos à adequação,validade e fidedignidade do método escolhido.

Por fim, deve-se ter presente, como um con-ceito básico, subjacente a qualquer processo de avali-ação, que a escolha e a subseqüente aplicação de um

método para a obtenção de resultados definidos é ummeio para a consecução de determinadas metas queresultam em um aprimoramento da educação do estu-dante, e não um fim em si mesmas.

5. USOS E FUNÇÕES DE AVALIAÇÃO

A avaliação do estudante de Medicina, como jáse considerou anteriormente, é um processo de co-lheita de informações que permite subsidiar interven-ções positivas na sua educação. Idealmente, a avalia-ção do estudante deveria ser parte indissociável doprocesso educacional, sendo aplicada extensivamen-te, a todo o momento, e sendo reconhecida, especial-mente pelo estudante, como um meio eficiente de re-forço do aprendizado e de correção de distorções even-tualmente presentes. Para o professor, deveria, ana-logamente, funcionar como um recurso de grande uti-lidade no controle de qualidade do processo instrucional,bem como constituir oportunidade ímpar de refletirsobre o que está sendo ensinado, em relação ao dese-jável e ao que foi previamente planejado.

O processo de avaliação permite, também, ve-rificar se o estudante está em condições de progredirnas etapas futuras da sua formação. Adicionalmente,a aplicação dos diferentes instrumentos de avaliaçãofornece resultados que possibilitam diferenciar os es-tudantes em graus diversos de conhecimento ou deproficiência em determinadas habilidades. Estes doisúltimos aspectos, têm, infelizmente, predominado so-bre os primeiros, gerando inconvenientes e distorções,que têm sido reconhecidos em todo o mundo3. Acres-ce-se a isto, a tendência negativa do uso da avaliaçãopredominante- mente para detecção e medida da aqui-sição de conheci mento factual e não para apreciaçãode habilidades e de competências mais abrangentes ede ordem mais prática.

O uso inadequado de diferentes práticas deavaliação tem, por conseguinte, gerado inúmeros in-convenientes, com impacto altamente negativo no pro-cesso educacional e nas pessoas nele envolvidas. Umdos inconvenientes mais expressivos é a adoção, pe-los estudantes, de um estilo de aprendizado baseadoforte mente na expectativa de resultado favorável nosexames que se seguirão. Assim, muitos estudantes, atodo o momento, estudam para “passar” nas provas enão para aprender temas de relevância. Mais ainda,restringem o estudo e o aprendizado àquilo que a tra-dição ou o pressentimento indicam que fará parte dosexames do final do curso. No caso específico do estu-

438

LE de A Troncon

dante de Medicina, este fenômeno adquire relevânciaparticular, na medida em que concorre fortemente paraafastar o aluno de atividades práticas em laboratório,enfermarias ou ambulatórios, para se dedicar à me-morização de conhecimentos de importância não rarodiscutível.

Outra distorção notável é o uso, por toda a co-munidade de professores e de estudantes, da avalia-ção somativa como meio de punir os que falham e depremiar os que alcançam as maiores notas Possivel-mente, os que falharam e que, freqüentemente, sãoreprovados, poderiam ter resultado diferente, se hou-vesse aplicação mais extensiva das modalidades deavaliação formativa, que permitem suprir deficiênciase corrigir distorções do aprendizado. Estes estudan-tes, além das conseqüências sempre graves de repro-vação, podem perder a auto-estima e sofrer humilha-ção frente a seus colegas e professores, com eviden-te prejuízo ao seu futuro escolar e profissional. Poroutro lado, a recompensa das maiores notas a algunspoucos estudantes pode reforçar as distorções do es-tilo de aprendizado voltado aos resultados de exames,bem como criar expectativas irreais de sucesso nacarreira e no desempenho profissional futuro. Maisainda, a imagem das práticas de avaliação que se as-sociam ao binômio “prêmio-castigo”, pode estimular acriação, entre os estudantes, de espírito de competiti-vidade, potencialmente destrutivo para os indivíduosenvolvidos, e, certamente, negativo para o ambientede cooperação mútua que favorece o aprendizado eaumenta o rendimento educacional.

Em seu conjunto, estas distorções contribuempara que as modalidades de avaliação somativa, emgeral, e os exames, em particular, tenham adquiridouma conotação francamente aversiva. Conseqüentemente, a perspectiva de submissão a qualquer provaprovoca, nos estudantes, um grau inadequadamentealto de ansiedade que, claramente, funciona como fa-tor de influência negativa em seu desempenho.

A busca de meios para a correção do mau usodas práticas de avaliação, bem como para sanar osinconvenientes a ele associados, deve considerar asfunções básicas da avaliação e algumas recomenda-ções sobre a estrutura de avaliação a ser adotada pelaescola médica3. Deve-se ter presente que a avalia-ção deve servir a:• monitoramento do currículo e controle da eficiência

do ensino e do aprendizado;• provisão de reforço, aos estudantes e aos professo-

res, como agentes principais do processo do ensino

e do aprendizado;

• estímulo e orientação ao aprendizado individual dosestudantes;

• meio de obtenção de consenso sobre o que é impor-tante ensinar e aprender;

• garantia de obtenção de nível adequado de compe-tência e de segurança quanto à obediência a pa-drões mínimos de qualidade do desempenho profis-sional dos estudantes que se graduam; o cumpri-mento desta função pela escola médica é de impor-tância crucial, mormente nos países em que os ór-gãos de controle do exercício profissional se exi-mem deste dever

Na consecução destas metas recomenda-seque:

• todos os procedimentos de avaliação devem ser pla-nejados e utilizados em completa integração com oprocesso educacional;

• para cada um dos procedimentos escolhidos, devemser claramente especificados os seus objetivos e asua relação com as finalidades a que servem.

• para cada um dos métodos selecionados devem serexplicitamente definidos o seu conteúdo e, em es-pecial, o seu efeito potencial sobre o aprendizadodos estudantes;

• todos os métodos de avaliação adotados devem,idealmente, ser providos de altos níveis de validade,fidedignidade e serem viáveis e práticos;

• deve haver um empenho especial na realização fre-qüente e periódica de procedimentos voltados àavaliação formativa, que devem predominar sobreos de avaliação somativa;

• o planejamento e a execução da avaliação devemprivilegiar não só os aspectos cognitivos, mas ashabilidades e competências práticas de maiorabrangência.

Por fim, deve-se considerar que a avaliação,freqüentemente, traz conseqüências para a vida doestudante, o que implica em que haja o maior grau dejustiça na aplicação das técnicas e na interpretaçãodos resultados. Do mesmo modo, a avaliação pode terimportante impacto no planejamento educacional, ra-zão por que é essencial a seleção de métodos de mai-or objetividade e o seu uso em condições de padroni-zação máxima, para que se possa dispor, ao final doprocesso, de informações confiáveis.

439

Avaliação do estudante de medicina

REFERÊNCIAS BILIOGRÁFICAS

1 - LOWRY S. Assessment of students. BMJ 306: 51-54, 1993.

2 - WEATHERALL DJ. Examining undergraduate examinations.Lancet 338: 37-39, 1991.

3 - GODFREY RC. Undergraduate examinations - a continuing tyranny. BMJ 345 :765-767, 1995.

4 - VIANNA HM. A prática da avaliação educacional: algumas colocações metodológicas. Cad Pesq , São Paulo 69: 40-47,1989.

5- TYLER RW. Basic principies of curricuium and instruc-tion . The University of Chicago, Chicago, 1949.

6 - POPHAN WJ. Educacional evaiuation . Prentice Hall.Engleword Cliffs, 1975.

7 - GRONLUND NE. Measurement and evaluation in teach-ing. 5th ed, McMillan Publishing, New York, 1985.

8 - FERREIRA 1. Avaliação de competências básicas. Rev BrasEduc Méd 10 :77-81, 1986.

9 - BLOOM BS. Taxonomy of educational objectives . DavidMckay, New York, 1983.

10- TRONCON LEA et al. Avaliação terminal de competênciasdos graduandos em Medicina: relato da experiência ini-cial da Faculdade de Medicina de Ribeirão Preto, Faculdadede Medicina de Ribeirão Preto, Ribeirão Preto, 118 p, 1996.

11 - The ROBERT WOOD JOHNSON FOUNDATION COMMISIONON MEDICAL EDUCATION. Summary Report. JAMA 268:1144-1145,1992.

12- BLAKE JM; NORMAN GR & SMITH EKM. Report card fromMcMaster: Student evaluation at a problem-based medicalschool. BMJ 345: 899-902, 1995.

13- DAWSON-SAUNDERS B & PAIVA RA. The validity of a clerkship performance evaluation. Med Educ 20: 240-245, 1986.

14- STOKES J. The clinicai examination-assessment ofclinicai skilis . Medical Education Booklet2. Associationforthe Study of Medical Education, Dundee, 1974.

15 - VAN DER VLEUTEN C & NEWBLE Dl. How can we testclinical reasoning? Lancet 345 : 1032-1034, 1995.

16 - GLEESON F. The effect of immediate feed-back on clinicaiskiils using the OSLER. In: ROTHMAN AI & COHEN R, eds.

Proceedings, VI Ottawa Conference on Medical Edu-cation . Univeristy of Toronto Bookstore, Toronto, p. 412-415, 1994.

17- VAN DER VLEUTEN C. Making the best of the “long case”.Lancet 347: 704-705, 1996.

18- HARDEN RM et ai. Assessment of clinical competence usingobjective stwctured ciinicai examination. BMJ 1: 447-451,1975.

19 - HARDEN RM & GLEESON FA. Assessment of clinicai competence using an objective structured clinicai examination(OSCE). Med Educ 13: 39-45, 1979.

20 - TRONCON LEA et ai. Avaliação de habfidades chnicas porexame objetivo estruturado por estações, com emprego depacientes padronizados: primeira aplicação no Brasil (Parte1). Rev Bras Educ Med (Em publicação).

21 - VU NV et al.Six years of comprehensive, clinical, performance-based assessment using standardized patients atthe Southern Illinois University School of Medicine. AcadMed 67: 42-50, 1992

22- VAN DER VLEUTEN CPM & SWANSON DB. Assessment ofclinical skills with standardized patients: State of the art.Teach Learn Med 2: 58-76, 1990.

23 - RESNICK RK et ai. An O.S.C.E. for the licenciate: report of thepilot project of the Medical Councii of Canada. Acad Med67: 487-494, 1992.

24- BARROWS HS; COLLIVER JA & VU NV. The clinical practice examination: six-year summary . Southern IllinoisUniversity School of Medicine, Springfield, 1988.

25 - BARROWS HS. An overview of the uses of standardizedpatients for teaching and evaluating clinical skifls. AcadMed, 68: 443-451, 1993.

26 - SWANSON AG & BROWNELL-ANDERSON M. Educatingmedical students. Acad Med 65 (Suppl): S1-S46, 1993.

27- VIANNA HM. Avaliação educacional nos “Cadernos dePesquisa. Cad Pesq, São Paulo 80: 100-1 05, 1992.

28 - MCMANNUS 1. Examining the educated and the trained.Lancet 345: 1151-1153, 1995.

Recebido para publicação em 23/10/96

Aprovado para publicação em 11/12/96

TRONCON LE de A. Assessmerit of medical students. Medicina, Ribeirão Preto, 29: 429-439, oct./dec. 1996.

ABSTRACT: Assessment of medical students plays a central role in their education and com-prises a key function of medical schools. Assessment may be defined as a process of datagathering aiming at controlling educational procedures and positively influencíng student educa-tion. Assessment should cover ali relevantfeatures and invoive methods of undisputable validity,reliability and feasibility. Comprehensive assessment of medical students must include cognitiveaspects and clinical skilis composing overali medical competence, as well as attitudes andpersonal characteristics. Modern methods, such as O.S.C.E. - Objective Structured Clinical Ex-amination, Clinical Performance Examination and the use o Standardized Patients now permitsvalid, reliable and feasible measurement of clinical competence of medical students. In manymedical schools, excessive emphasis in cognitive aspects and in summative examinations aim-ing at reward some and punish other students have contributed to a negative public image ofassessment procedures. More extensive use of formative modalities of evaluation, together witha more judicious choice of valid and reliable techniques may be instrumental in the replacementof assessment in its more genuinous educational function.

UNITERMS: Evaluation. Clinical Competence. Students Medical. Education, Medical.