Categoría: Docencia/Teaching

Lectura crítica: How to set the bar in competency-based medical education: standard setting after an Objective Structured Clinical Examination (OSCE)

Dwyer, T., Wright, S., Kulasegaram, K. M., Theodoropoulos, J., Chahal, J., Wasserstein, D., … & Ogilvie-Harris, D. (2016). How to set the bar in competency-based medical education: standard setting after an Objective Structured Clinical Examination (OSCE). BMC medical education, 16(1), 1.BMC

  • ESPECIALIDAD   Educación médica, Docencia universitaria, Evaluación por competencias
  • RELEVANCIA      6/7
  • NOVEDAD           6/7

Comentario crítico

Generated by IJG JPEG Library

Este es uno de los papers sobre docencia más técnicos entre los que he escrito un comentario crítico. Versa sobre una cuestión clave para la docencia y el aprendizaje de nuestra profesión clínica: cuál es el nivel competencial que debería exigirse a un estudiante, a un fisioterapeuta novel y a un experto ante un mismo problema clínico dado.

Específicamente, en este estudio se intenta establecer el nivel que un clínico he de demostrar ante un ECOE/OSCE, una de las pruebas habituales para evaluar competencias en Medicina; pero su metodología y conclusiones se pueden extender al mini-CEX y otros tipos de evaluación

Methods should also be supported by a body of published research, be transparent, easy to implement and easy to explain – such methods justify the final result

La conclusión más relevante para mí es la siguiente:

  1. El diseño, el nivel y la reproductibilidad de las pruebas de evaluación por competencias se puede ver estadísticamente refrendado, siempre que se siga un modelo de trabajo adecuado

Otras implicaciones que sugiere el estudio y que pueden ser interesantes para el diseño de este tipo de pruebas:

  1. No existe un solo método de calcular el nivel deseado, aunque parece que el objeto de investigación de este paper era determinar la capacidad del método de Angoff modificado
  2. Para lanzarse a realizar un estudio similar los participantes deben estar bastante familiarizados con el tipo de prueba elegida (OSCE, mini-CEX…)

Puntos fuertes:

  • El artículo nos ofrece un método relativamente sencillo de trabajo para realizar esta tarea docente

The advantages of the modified Angoff method include its relative simplicity, as well as the fact that the pass/fail standard can be set before the OSCE is undertaken

Puntos débiles:

  • No queda suficientemente claro si el método es útil para discriminar niveles competenciales bajos

Futuras investigaciones:

  • Realizarlo con otros Profesionales Clínicos de la Salud

A continuación tienes el Abstract del artículo, pero si pinchas arriba en el logo del distribuidor podrás acceder a la lectura completa. Espero que disfrutes de la lectura del mismo y que estos comentarios ayuden a tu pensamiento crítico.


Abstract

Background

The goal of the Objective Structured Clinical Examination (OSCE) in Competency-based Medical Education (CBME) is to establish a minimal level of competence. The purpose of this study was to 1) to determine the credibility and acceptability of the modified Angoff method of standard setting in the setting of CBME, using the Borderline Group (BG) method and the Borderline Regression (BLR) method as a reference standard; 2) to determine if it is feasible to set different standards for junior and senior residents, and 3) to determine the desired characteristics of the judges applying the modified Angoff method.

Methods

The results of a previous OSCE study (21 junior residents, 18 senior residents, and six fellows) were used. Three groups of judges performed the modified Angoff method for both junior and senior residents: 1) sports medicine surgeons, 2) non-sports medicine orthopedic surgeons, and 3) sports fellows. Judges defined a borderline resident as a resident performing at a level between competent and a novice at each station. For each checklist item, the judges answered yes or no for “will the borderline/advanced beginner examinee respond correctly to this item?” The pass mark was calculated by averaging the scores. This pass mark was compared to that created using both the BG and the BLR methods.

Results

A paired t-test showed that all examiner groups expected senior residents to get significantly higher percentage of checklist items correct compared to junior residents (all stations p < 0.001). There were no significant differences due to judge type. For senior residents, there were no significant differences between the cut scores determined by the modified Angoff method and the BG/BLR method. For junior residents, the cut scores determined by the modified Angoff method were lower than the cut scores determined by the BG/BLR Method (all p < 0.01).

Conclusion

The results of this study show that the modified Angoff method is an acceptable method of setting different pass marks for senior and junior residents. The use of this method enables both senior and junior residents to sit the same OSCE, preferable in the regular assessment environment of CBME.

Keywords

Competency-based medical education, OSCE, Angoff method


Lectura crítica: Medicine’s perception of reality – a split picture: critical reflections on apparent anomalies within the biomedical theory of science

Kirkengen, A. L., Ekeland, T. J., Getz, L., Hetlevik, I., Schei, E., ResearchGateUlvestad, E., & Vetlesen, A. J. (2015). Medicine’s perception of reality–a split picture: critical reflections on apparent anomalies within the biomedical theory of scienceJournal of evaluation in clinical practice.

  • ESPECIALIDAD   Modelo biomédico, Modelo de Salud, Teoría de la Ciencia
  • RELEVANCIA      7/7
  • NOVEDAD           6/7

Comentario críticolabel2

Llevaba mucho tiempo queriendo compartir con vosotros este artículo. Son muchas las conversaciones que mantengo últimamente con Fisioterapeutas, Médicos, Podólogos y otros Profesionales Clínicos de la Salud sobre este tema. El Modelo Biomédico tradicional del, autoconsiderado, mundo occidental no puede seguir haciendo caso omiso a la ingente acumulación de evidencias que lo ponen en jaque. La Evivence-based Practice, que este modelo coge por bandera, no será nunca creible si solo hace caso de la evidencia que mejor le conviene en cada momento. 

The naturalistic framework of biomedicine is reflected in the dominant research methods and the prevailing structures of our health care systems and clinical practice. We assert that the problems and challenges… are the consequences of precisely this foundation and its most prominent criteria for quality: objectivity and value neutrality

Las conclusiones más relevantes para mí son las siguientes:

  1. Debemos revisar de las asunciones básicas que elaboramos hace años para construir el Modelo Biomédico que estamos utilizando. Muchas ya no tienen sentido a la luz de lo que ahora sabemos
  2. Las Ciencias de la Salud no pueden ser soportadas exclusivamente por los mismos principios de las Ciencias Físicas. Los principios lógicos de las Ciencias Físicas no son directamente trasladables a la realidad médica y sanitaria. Nuestros pacientes no son un grupo de electrones o geles en una placa de Petri.

Se nos olvida que muchas de las “innamovibles y ciertas” leyes físicas solo funcionan dentro de un determinado paradigma y marco de referencia, creados ad hoc por los propios físicos y matemáticos

Otras implicaciones que sugiere el estudio y que pueden ser relevantes para la práctica e investigación clínica son:

  1. A pesar de los innegables beneficios que esta forma de entender la Medicina ha traído, debemos adaptar al modelo hacia una medicina más abierta, comprensible, respetuosa con el medio ambiente, solidaria y humana. El escrito enumera algunos de los movimientos que están en marcha en esa dirección
  2. No podemos seguir negando por más tiempo el modelo de la ICF, aunque no como sustituto de la ICD o listado de patologías. Su implantación va más allá de buscar diagnósticos de Fisioterapia y otras disciplinas; va de creérselo y ser consecuentes

Medical thinking needs to be changed, not by ‘bridging the gap’ between human subjectivity and materiality, but by realizing that these two were never separate

Puntos fuertes:

  • El artículo enumera 7 desafíos a los que el modelo tradicional médico no es capaz de entender ni dar respuesta
  • El paper argumenta por qué la EBP no puede ser la única forma de determinar la calidad del trato y de las investigaciones

Puntos débiles:

  • Se me queda corto el artículo. Pienso que estos señores tienen todavía mucho más que contar. Agradezco que no nos digan exactamente lo que tenemos que hacer a los demás, pero me gustaría conocer de manera más profunda sus propuestas (aunque el paper quedara menos académico)

Futuras investigaciones:

  • Creo que todas las profesiones sanitarias tienen algo que decir aquí. Pero sería un error dejar fuera de ello a los sociólogos, filósofos, políticos, antropólogos…

A continuación tienes el Abstract del artículo, pero si pinchas arriba en el logo podrás acceder a la búsqueda del artículo en lectura completa. Espero que disfrutes de la lectura del mismo y que estos comentarios ayuden a tu pensamiento crítico.


Abstract

Escalating costs, increasing multi-morbidity, medically unexplained health problems, complex risk, poly-pharmacy and antibiotic resistance can be regarded as artefacts of the traditional knowledge production in Western medicine, arising from its particular worldview. Our paper presents a historically grounded critical analysis of this view. The materialistic shift of Enlightenment philosophy, separating subjectivity from bodily matter, became normative for modern medicine and yielded astonishing results. The traditional dichotomies of mind/body and subjective/objective are, however, incompatible with modern biological theory. Medical knowledge ignores central tenets of human existence, notably the physiological impact of subjective experience, relationships, history and sociocultural contexts. Biomedicine will not succeed in resolving today’s poorly understood health problems by doing ‘more of the same’. We must acknowledge that health, sickness and bodily functioning are interwoven with human meaning-production, fundamentally personal and biographical. This implies that the biomedical framework, although having engendered ‘success stories’ like the era of antibiotics, needs to be radically revised.

Keywords

Dichotomies; general practice; lived body; medical anomalies; phenomenology


Lectura crítica: Do research findings on schema-based instruction translate to the classroom?

Blissett, S., Goldszmidt, M., & Sibbald, M. (2015). Do research findings on Springerschema-based instruction translate to the classroom?. Perspectives on Medical Education, 1-5.

  • ESPECIALIDAD   Educación médica, Docencia universitaria, Razonamiento
  • RELEVANCIA      6/7
  • NOVEDAD           7/7

Comentario crítico

Este es uno de los primeros papers que conozco que hace una medida directa de la utilización de esquemas para facilitar la inducción dentro del razonamiento diagnóstico médico. El estudio del artículo se aproxima a la evaluación de la utilidad docente de estas herramientas diagnósticas desde el punto de vista de la Teoría de la Carga Cognitiva (TCC). Los operadores gráficos en este estudio son árboles de decisión diagnóstica.

Distractions could have a greater impact on traditional methods of teaching that require more working memory (…) It is unclear how the increased extraneous cognitive load of a classroom environment impacts beneficial effects of schema-based instruction

Las conclusiones más relevantes para mí son las siguientes:

  1. El entrenamiento del razonamiento diagnóstico a través de organizadores visuales dentro del aula ha demostrado ser más efectivo que la enseñanza tradicional, en la que se incide en listados de características más importantes para cada patología
  2. Independientemente de los distractores externos y el tipo de aula en el que se imparta la clase, la efectividad de la instrucción con los esquemas no parece verse disminuida
  3. Ambos métodos de instrucción  evaluados (clase magistral vs. inducción de esquemas) son percibidos de la misma manera en la encuesta de satisfacción del alumnado…

Este último punto puede hacer que los docentes, temerosos de cambiar de manera de enseñar, adopten esta nueva práctica

Otras implicaciones que sugiere el estudio y que pueden ser relevantes para el diseño instruccional de las clases son:

  1. El estudio pone en entredicho las prácticas habituales dentro de la lección magistral. No sugiere que han de abandonarse, pero los resultados del estudio deberían hacernos reflexionar sobre la carga cognitiva a los que éste y otros tipos de instrucción someten a los aprendices
  2. La Investigacional Traslacional es un área de investigación poco entendida y subestimada. En este estudio vemos una manera muy sencilla de llevar un supuesto teórico al mundo real de la enseñanza

Schema-based instruction maintained its beneficial effects in a classroom environment (in order to) reduce intrinsic load and improve diagnostic performance in a real-world classroom setting

Puntos fuertes:

  • El artículo nos da la oportunidad de introducirnos en la TCC y entender sus características clave
  • Los autores se cuidan mucho de igualar ambos grupos en el ECA, hasta dónde es posible…

Puntos débiles:

  • Echo de menos una medida a largo plazo del efecto de ambas intervenciones, además de una evaluación en un entorno real
  • Las limitaciones que enumera el artículo creo que son las justas

Futuras investigaciones:

  • El estudio solo valora habilidades y conocimientos médicos muy específicos: fundamentalmente cognitivo y algo auditivo y visual. Sería interesante saber cómo este tipo de instrucción funciona con otros tipos de conocimientos y aprendizajes relevantes para otras profesiones clínicas, como los fisioterapeutas y los podólogos:
    • Razonamientos no diagnóstico
    • Destrezas manuales para la valoración y el diagnóstico

A continuación tienes el Abstract del artículo, pero si pinchas arriba en el logo del distribuidor podrás acceder a la lectura completa. Espero que disfrutes de la lectura del mismo y que estos comentarios ayuden a tu pensamiento crítico.


Abstract

Introduction

Schema-based instruction has been shown to improve diagnostic performance and reduce cognitive load. However, to date, this has only been studied in controlled research settings. More distractions in classrooms may limit generalizability to real-world settings. We evaluated whether schema-based instruction would maintain its effects on cognitive load optimization and performance in a classroom.

Methods

Focused on the approach of interpreting cardiac auscultation findings, 101 first-year medical students at Western University were randomized to receive a traditional (n = 48) or a schema-based lecture (n = 53). Students completed four written questions to test diagnostic performance and a cognitive load assessment at the end of the lecture. Diagnostic performance and cognitive load were compared with independent t-tests.

Results

Schema-based instruction was associated with increased diagnostic performance on written questions (64 ± 22 % vs 44 ± 25 % p < 0.001) and reduced intrinsic cognitive load (mean difference = 15 %, standard error 3 %, p < 0.001). There was no significant difference in reported extraneous (p = 0.36) or germane (p = 0.42) cognitive load.

Conclusions

Our results demonstrate that schema-based instruction can be used to reduce intrinsic load and improve diagnostic performance in a real-world classroom setting. The results would be strengthened by replication across other locations and topics.

Keywords

Cognitive load theory, Schemas, Translational research


Hablando de Razonamiento Clínico en la Universidad de Salamanca

Con motivo de mis estudios de Doctorado en Neurociencias el miércoles 21 de Octubre del 2015 di una clase magistral en la Escuela de Enfermería y Fisioterapia de la Universidad de Salamanca 30jul 004titulada “¿Vale la pena hacer Razonamiento Clínico en Fisioterapia?”. La doctora en Fisioterapia Ana María Martín Nogueras me abrió una de sus clases para que les hablara de razonamiento clínico en Fisioterapia a sus alumnos de tercer curso del Grado. Para mí tenía un significado especial ya que, como puedes leer abajo, siempre estaré unido sentimentalmente a ese lugar, y era una forma de pagar la infinita deuda que  tengo con la Jero. Además, esos fisioterapeutas en potencia harán prácticas y tratarán a mis familiares que viven en la región, por lo que poder ayudarles en su desarrollo era tambien una obligación moral para mi.

El grupo es estupendo. A pesar de ser un grupo muy numeroso, participaron en todas y cada una de las actividades provocadoras que les propuse y el objetivo que me planteó Ana cuando me llamó creo que se cumplió con creces: sacudirles el cerebro para que razonen pensando en sus pacientes y reflexionen sobre su propia práctica. El tiempo lo dirá.

Dejo aquí la presentación que les prometí a cambio de que “no tomaran muchos apuntes” durante mi charla.

Muchas gracias a esas mentes que interaccionaron con la mía aportando sus impresiones y opiniones para que salieran a la luz algunos temas en los que yo no había pensado. Conseguísteis que la clase fuera mucho mas rica

Os dejo también el post que originalmente se publicó en 2010 en Moving Physiotherapy en el que se cuenta la historia de la Jero.

Nos vemos en la siguiente,

Pablo


Dar clase en la universidad a los 83 años

La Jero dejó la escuela a los 9 años. Entre ella y su hermana Guadalupe gastaban la mañana, trastada tras trastada, haciéndoselas pasar canutas a la maestra y a sus compañeras de una de tantas escuelas rurales de Salamanca, que tan bien retrata María Antonia Iglesias en su libro “Maestros de la República”. 50627940A la sufrida profesora no le quedó más remedio que mandarlas a su casa una mañana de febrero, tras quemarle la falda con las ascuas del brasero en una de las suyas. Después de que los preliminares de la Guerra Civil les dejaran sin padres, sin hermanos, sin tierras y sin hogar al que volver, ambas pasaron a formar parte de la pueril servidumbre que las casas adineradas recogían a regañadientes de los campos debido a un bando de la época. En ese momento terminó su relación formal con los estudios. Aunque eso no significa que dejara aprender nunca. Cualquier papel que caía en sus manos era “leído de cabo a rabo para no olvidar lo estudiado antaño”.

Tras años de servir y de labor en los campos, funda una familia y marcha a Madrid siguiendo a su Paco, en busca de una vida mejor para tres hijos que tenían. Desde su llegada a la capital mantuvo una lucha diaria para poder ofrecer a sus hijos todas aquellas oportunidades de formación que a ella se le negaron. Con un genio inquebrantable no cejó de inculcarles las enseñanzas de la vida, esa inteligencia emocional tan de moda en estos días y tan obligatoria si uno quiere defender su humilde estatus en los madrileños barrios de Villaverde y San Fermín de la época. Tampoco dejó de trasmitirles las costumbres, los dichos, los recuerdos y las historias de esa tierra castellana heredera de los libros de D. Miguel Delibes. No solo las más dulces; también las más duras. Era el mejor legado que podía entregarles. Porque

la Jero pensaba que el mayor peligro que se cierne sobre la tolerancia es el olvido, que el arma más efectiva contra los totalitarismos es la educación

La Jero fue una adelantada a su época. Siempre creí que de haber nacido unos años antes o unos años después podría haber sido una Clara Campoamor o una Margarita Salas. Hace unos años pensó que el lugar perfecto para seguir enseñando a sus ochenta-y-tantos era la universidad. Ella, que siempre soñó con los libros que nunca pudo leer en la escuela, a día de hoy comparte apuntes y clases magistrales con los alumnos y el cuerpo docente de la Universidad de Salamanca: médicos, fisioterapeutas, enfermeros…

IMG_20151023_102109 (1)Tras ver una entrevista en televisión a Eduardo Haro Tecglen decidió qué, ya que sus órganos no iban a poder ser trasplantados a otras personas, quería también donar su cuerpo a la Ciencia. Con la complicidad necesaria de su hijo y su nieto mayor preparó en secreto la documentación. Y tras fallecer el día 21 de diciembre de 2009, tanto su marido como sus hijos respetaron su decisión de no ser enterrada y de poder seguir siendo útil de alguna manera. Gracias a su inmensa bondad de la Jero su cuerpo fue donado a la Facultad de Medicina de Salamanca, para que fuera utilizado como esta institución tuviera a bien desear. Es duro para la familia renunciar a tener una tumba donde llorar su ausencia, por la extraña sensación de imaginar qué será de ella allá dónde esté… Pero era lo que ella quería. En el fondo, pienso que su ejemplo fue el último regalo que nos hizo.

Sin esta desinteresada y a menudo incomprendida acción de personas anónimas, la formación científica y por ende, nuestros futuros cuidados, se verán duramente mermados.

Espero que los próximos sanitarios que se doctoren en esa escuela de Ciencias de la Salud sean dignos de tan loable legado.

¿Qué le llevó a la Jero a tomar esta decisión? No tengo ninguna duda: su infinito amor al prójimo; a los suyos y a los demás

¡Quién se lo iba a decir a la Jero… a sus años y dando clase en la universidad.

Pablo