Categoría: Lectura crítica/Critical reading

Lectura crítica: How to set the bar in competency-based medical education: standard setting after an Objective Structured Clinical Examination (OSCE)

Dwyer, T., Wright, S., Kulasegaram, K. M., Theodoropoulos, J., Chahal, J., Wasserstein, D., … & Ogilvie-Harris, D. (2016). How to set the bar in competency-based medical education: standard setting after an Objective Structured Clinical Examination (OSCE). BMC medical education, 16(1), 1.BMC

  • ESPECIALIDAD   Educación médica, Docencia universitaria, Evaluación por competencias
  • RELEVANCIA      6/7
  • NOVEDAD           6/7

Comentario crítico

Generated by IJG JPEG Library

Este es uno de los papers sobre docencia más técnicos entre los que he escrito un comentario crítico. Versa sobre una cuestión clave para la docencia y el aprendizaje de nuestra profesión clínica: cuál es el nivel competencial que debería exigirse a un estudiante, a un fisioterapeuta novel y a un experto ante un mismo problema clínico dado.

Específicamente, en este estudio se intenta establecer el nivel que un clínico he de demostrar ante un ECOE/OSCE, una de las pruebas habituales para evaluar competencias en Medicina; pero su metodología y conclusiones se pueden extender al mini-CEX y otros tipos de evaluación

Methods should also be supported by a body of published research, be transparent, easy to implement and easy to explain – such methods justify the final result

La conclusión más relevante para mí es la siguiente:

  1. El diseño, el nivel y la reproductibilidad de las pruebas de evaluación por competencias se puede ver estadísticamente refrendado, siempre que se siga un modelo de trabajo adecuado

Otras implicaciones que sugiere el estudio y que pueden ser interesantes para el diseño de este tipo de pruebas:

  1. No existe un solo método de calcular el nivel deseado, aunque parece que el objeto de investigación de este paper era determinar la capacidad del método de Angoff modificado
  2. Para lanzarse a realizar un estudio similar los participantes deben estar bastante familiarizados con el tipo de prueba elegida (OSCE, mini-CEX…)

Puntos fuertes:

  • El artículo nos ofrece un método relativamente sencillo de trabajo para realizar esta tarea docente

The advantages of the modified Angoff method include its relative simplicity, as well as the fact that the pass/fail standard can be set before the OSCE is undertaken

Puntos débiles:

  • No queda suficientemente claro si el método es útil para discriminar niveles competenciales bajos

Futuras investigaciones:

  • Realizarlo con otros Profesionales Clínicos de la Salud

A continuación tienes el Abstract del artículo, pero si pinchas arriba en el logo del distribuidor podrás acceder a la lectura completa. Espero que disfrutes de la lectura del mismo y que estos comentarios ayuden a tu pensamiento crítico.


Abstract

Background

The goal of the Objective Structured Clinical Examination (OSCE) in Competency-based Medical Education (CBME) is to establish a minimal level of competence. The purpose of this study was to 1) to determine the credibility and acceptability of the modified Angoff method of standard setting in the setting of CBME, using the Borderline Group (BG) method and the Borderline Regression (BLR) method as a reference standard; 2) to determine if it is feasible to set different standards for junior and senior residents, and 3) to determine the desired characteristics of the judges applying the modified Angoff method.

Methods

The results of a previous OSCE study (21 junior residents, 18 senior residents, and six fellows) were used. Three groups of judges performed the modified Angoff method for both junior and senior residents: 1) sports medicine surgeons, 2) non-sports medicine orthopedic surgeons, and 3) sports fellows. Judges defined a borderline resident as a resident performing at a level between competent and a novice at each station. For each checklist item, the judges answered yes or no for “will the borderline/advanced beginner examinee respond correctly to this item?” The pass mark was calculated by averaging the scores. This pass mark was compared to that created using both the BG and the BLR methods.

Results

A paired t-test showed that all examiner groups expected senior residents to get significantly higher percentage of checklist items correct compared to junior residents (all stations p < 0.001). There were no significant differences due to judge type. For senior residents, there were no significant differences between the cut scores determined by the modified Angoff method and the BG/BLR method. For junior residents, the cut scores determined by the modified Angoff method were lower than the cut scores determined by the BG/BLR Method (all p < 0.01).

Conclusion

The results of this study show that the modified Angoff method is an acceptable method of setting different pass marks for senior and junior residents. The use of this method enables both senior and junior residents to sit the same OSCE, preferable in the regular assessment environment of CBME.

Keywords

Competency-based medical education, OSCE, Angoff method


Lectura crítica: Medicine’s perception of reality – a split picture: critical reflections on apparent anomalies within the biomedical theory of science

Kirkengen, A. L., Ekeland, T. J., Getz, L., Hetlevik, I., Schei, E., ResearchGateUlvestad, E., & Vetlesen, A. J. (2015). Medicine’s perception of reality–a split picture: critical reflections on apparent anomalies within the biomedical theory of scienceJournal of evaluation in clinical practice.

  • ESPECIALIDAD   Modelo biomédico, Modelo de Salud, Teoría de la Ciencia
  • RELEVANCIA      7/7
  • NOVEDAD           6/7

Comentario críticolabel2

Llevaba mucho tiempo queriendo compartir con vosotros este artículo. Son muchas las conversaciones que mantengo últimamente con Fisioterapeutas, Médicos, Podólogos y otros Profesionales Clínicos de la Salud sobre este tema. El Modelo Biomédico tradicional del, autoconsiderado, mundo occidental no puede seguir haciendo caso omiso a la ingente acumulación de evidencias que lo ponen en jaque. La Evivence-based Practice, que este modelo coge por bandera, no será nunca creible si solo hace caso de la evidencia que mejor le conviene en cada momento. 

The naturalistic framework of biomedicine is reflected in the dominant research methods and the prevailing structures of our health care systems and clinical practice. We assert that the problems and challenges… are the consequences of precisely this foundation and its most prominent criteria for quality: objectivity and value neutrality

Las conclusiones más relevantes para mí son las siguientes:

  1. Debemos revisar de las asunciones básicas que elaboramos hace años para construir el Modelo Biomédico que estamos utilizando. Muchas ya no tienen sentido a la luz de lo que ahora sabemos
  2. Las Ciencias de la Salud no pueden ser soportadas exclusivamente por los mismos principios de las Ciencias Físicas. Los principios lógicos de las Ciencias Físicas no son directamente trasladables a la realidad médica y sanitaria. Nuestros pacientes no son un grupo de electrones o geles en una placa de Petri.

Se nos olvida que muchas de las “innamovibles y ciertas” leyes físicas solo funcionan dentro de un determinado paradigma y marco de referencia, creados ad hoc por los propios físicos y matemáticos

Otras implicaciones que sugiere el estudio y que pueden ser relevantes para la práctica e investigación clínica son:

  1. A pesar de los innegables beneficios que esta forma de entender la Medicina ha traído, debemos adaptar al modelo hacia una medicina más abierta, comprensible, respetuosa con el medio ambiente, solidaria y humana. El escrito enumera algunos de los movimientos que están en marcha en esa dirección
  2. No podemos seguir negando por más tiempo el modelo de la ICF, aunque no como sustituto de la ICD o listado de patologías. Su implantación va más allá de buscar diagnósticos de Fisioterapia y otras disciplinas; va de creérselo y ser consecuentes

Medical thinking needs to be changed, not by ‘bridging the gap’ between human subjectivity and materiality, but by realizing that these two were never separate

Puntos fuertes:

  • El artículo enumera 7 desafíos a los que el modelo tradicional médico no es capaz de entender ni dar respuesta
  • El paper argumenta por qué la EBP no puede ser la única forma de determinar la calidad del trato y de las investigaciones

Puntos débiles:

  • Se me queda corto el artículo. Pienso que estos señores tienen todavía mucho más que contar. Agradezco que no nos digan exactamente lo que tenemos que hacer a los demás, pero me gustaría conocer de manera más profunda sus propuestas (aunque el paper quedara menos académico)

Futuras investigaciones:

  • Creo que todas las profesiones sanitarias tienen algo que decir aquí. Pero sería un error dejar fuera de ello a los sociólogos, filósofos, políticos, antropólogos…

A continuación tienes el Abstract del artículo, pero si pinchas arriba en el logo podrás acceder a la búsqueda del artículo en lectura completa. Espero que disfrutes de la lectura del mismo y que estos comentarios ayuden a tu pensamiento crítico.


Abstract

Escalating costs, increasing multi-morbidity, medically unexplained health problems, complex risk, poly-pharmacy and antibiotic resistance can be regarded as artefacts of the traditional knowledge production in Western medicine, arising from its particular worldview. Our paper presents a historically grounded critical analysis of this view. The materialistic shift of Enlightenment philosophy, separating subjectivity from bodily matter, became normative for modern medicine and yielded astonishing results. The traditional dichotomies of mind/body and subjective/objective are, however, incompatible with modern biological theory. Medical knowledge ignores central tenets of human existence, notably the physiological impact of subjective experience, relationships, history and sociocultural contexts. Biomedicine will not succeed in resolving today’s poorly understood health problems by doing ‘more of the same’. We must acknowledge that health, sickness and bodily functioning are interwoven with human meaning-production, fundamentally personal and biographical. This implies that the biomedical framework, although having engendered ‘success stories’ like the era of antibiotics, needs to be radically revised.

Keywords

Dichotomies; general practice; lived body; medical anomalies; phenomenology


Lectura crítica: Do research findings on schema-based instruction translate to the classroom?

Blissett, S., Goldszmidt, M., & Sibbald, M. (2015). Do research findings on Springerschema-based instruction translate to the classroom?. Perspectives on Medical Education, 1-5.

  • ESPECIALIDAD   Educación médica, Docencia universitaria, Razonamiento
  • RELEVANCIA      6/7
  • NOVEDAD           7/7

Comentario crítico

Este es uno de los primeros papers que conozco que hace una medida directa de la utilización de esquemas para facilitar la inducción dentro del razonamiento diagnóstico médico. El estudio del artículo se aproxima a la evaluación de la utilidad docente de estas herramientas diagnósticas desde el punto de vista de la Teoría de la Carga Cognitiva (TCC). Los operadores gráficos en este estudio son árboles de decisión diagnóstica.

Distractions could have a greater impact on traditional methods of teaching that require more working memory (…) It is unclear how the increased extraneous cognitive load of a classroom environment impacts beneficial effects of schema-based instruction

Las conclusiones más relevantes para mí son las siguientes:

  1. El entrenamiento del razonamiento diagnóstico a través de organizadores visuales dentro del aula ha demostrado ser más efectivo que la enseñanza tradicional, en la que se incide en listados de características más importantes para cada patología
  2. Independientemente de los distractores externos y el tipo de aula en el que se imparta la clase, la efectividad de la instrucción con los esquemas no parece verse disminuida
  3. Ambos métodos de instrucción  evaluados (clase magistral vs. inducción de esquemas) son percibidos de la misma manera en la encuesta de satisfacción del alumnado…

Este último punto puede hacer que los docentes, temerosos de cambiar de manera de enseñar, adopten esta nueva práctica

Otras implicaciones que sugiere el estudio y que pueden ser relevantes para el diseño instruccional de las clases son:

  1. El estudio pone en entredicho las prácticas habituales dentro de la lección magistral. No sugiere que han de abandonarse, pero los resultados del estudio deberían hacernos reflexionar sobre la carga cognitiva a los que éste y otros tipos de instrucción someten a los aprendices
  2. La Investigacional Traslacional es un área de investigación poco entendida y subestimada. En este estudio vemos una manera muy sencilla de llevar un supuesto teórico al mundo real de la enseñanza

Schema-based instruction maintained its beneficial effects in a classroom environment (in order to) reduce intrinsic load and improve diagnostic performance in a real-world classroom setting

Puntos fuertes:

  • El artículo nos da la oportunidad de introducirnos en la TCC y entender sus características clave
  • Los autores se cuidan mucho de igualar ambos grupos en el ECA, hasta dónde es posible…

Puntos débiles:

  • Echo de menos una medida a largo plazo del efecto de ambas intervenciones, además de una evaluación en un entorno real
  • Las limitaciones que enumera el artículo creo que son las justas

Futuras investigaciones:

  • El estudio solo valora habilidades y conocimientos médicos muy específicos: fundamentalmente cognitivo y algo auditivo y visual. Sería interesante saber cómo este tipo de instrucción funciona con otros tipos de conocimientos y aprendizajes relevantes para otras profesiones clínicas, como los fisioterapeutas y los podólogos:
    • Razonamientos no diagnóstico
    • Destrezas manuales para la valoración y el diagnóstico

A continuación tienes el Abstract del artículo, pero si pinchas arriba en el logo del distribuidor podrás acceder a la lectura completa. Espero que disfrutes de la lectura del mismo y que estos comentarios ayuden a tu pensamiento crítico.


Abstract

Introduction

Schema-based instruction has been shown to improve diagnostic performance and reduce cognitive load. However, to date, this has only been studied in controlled research settings. More distractions in classrooms may limit generalizability to real-world settings. We evaluated whether schema-based instruction would maintain its effects on cognitive load optimization and performance in a classroom.

Methods

Focused on the approach of interpreting cardiac auscultation findings, 101 first-year medical students at Western University were randomized to receive a traditional (n = 48) or a schema-based lecture (n = 53). Students completed four written questions to test diagnostic performance and a cognitive load assessment at the end of the lecture. Diagnostic performance and cognitive load were compared with independent t-tests.

Results

Schema-based instruction was associated with increased diagnostic performance on written questions (64 ± 22 % vs 44 ± 25 % p < 0.001) and reduced intrinsic cognitive load (mean difference = 15 %, standard error 3 %, p < 0.001). There was no significant difference in reported extraneous (p = 0.36) or germane (p = 0.42) cognitive load.

Conclusions

Our results demonstrate that schema-based instruction can be used to reduce intrinsic load and improve diagnostic performance in a real-world classroom setting. The results would be strengthened by replication across other locations and topics.

Keywords

Cognitive load theory, Schemas, Translational research


Lectura crítica: (How) Do research and administrative duties affect university professors’ teaching?

García-Gallego, A., Georgantzís, N., Martín-Montaner, J., & Pérez-Amaral, T. (2015).miralo en Taylor(How) Do research and administrative duties affect university professors’ teaching?. Applied Economics, (ahead-of-print), 1-16.

  • ESPECIALIDAD   Docencia universitaria, Economía, Calidad
  • RELEVANCIA      6/7
  • NOVEDAD           6/7

Comentario crítico175138177

Un buen paper de investigación sobre la influencia de la investigación y las tareas administrativas en la calidad de la docencia de los profesores universitarios. El enfoque es socioeconómico, pero las conclusiones deberían poder guiar a los administradores universitarios en su toma de decisiones.

Although researchers teach roughly 20% more than nonresearchers, their teaching quality is also 20% higher. Instructors with no research are 5 times more likely than the rest to be among the worst teachers

Las conclusiones más relevantes para mí son las siguientes:

  1. Las prácticas investigadoras en el propio campo asociadas a la docencia tienen un impacto muy positivo en la calidad percibida por los alumnos en las encuestas de evaluación
  2. El acúmulo de tareas administrativas tiene un coste en la calidad de la docencia universitaria
  3. El estudio no propone cuál es el equilibrio ideal entre docencia-investigación-cargas administrativas, pero concluye que, cuando la investigación y la administración se maximiza, la calidad de la docencia sale mal parada si no se adapta de manera real el equilibrio entre tareas

Otras implicaciones que sugiere el estudio y que pueden ser relevantes para las decisiones de los profesores en su carrera docente y sus administradores:

  1. No hay un reflejo directo de la mejora docente por realizar cursos de formación pedagógica. El estudio sugiere que el impacto de los mismos podría observarse más adelante; pero en sí mismo este dato debería analizarse en profundidad debido a los elevados recursos que las universidades suelen dedicar a estos programas de formación
  2. No está claro que la práctica investigadora realizada simultáneamente a la docencia en un mismo curso impacte directamente en la calidad docente de ese mismo año. Es probable que el mayor impacto docente se perciba de 2 a 4 años después, pero es algo que el estudio no se planteó analizar y que requiere de mayor análisis
  3. El estudio NO concluye que ha de incrementarse la carga docente a aquellos que no investigan o solo administran. Solo es capaz de detectar cierta relación entre las variables mencionadas

Puntos fuertes:

  • Tiene una buena exposición sobre el estado de la docencia y la relación sobre la calidad en las universidades españolas. Entender el funcionamiento interno y cómo es valorado el profesor por su universidad ayuda a comprender mejor la cuestión
  • Aunque hay veces que no detalla cómo los elimina, los sesgos del estudio son muy limitados

Puntos débiles:

  • No puede desecharse la posible influencia en las evaluaciones de los alumnos de la notoriedad del profesor evaluado. La percepción previa por parte del alumno del docente que investiga y publica en los medios relacionados, puede influir positivamente en sus evaluaciones frente a aquellos que no lo hacen
  • El estudio no cuenta como variables el grado de motivación del docente frente a sus obligaciones ni el grado de decisión/elección a la hora de elegir el reparto de las mismas
  • El estudio no está hecho en carreras sanitarias y se realiza en universidad pública. Aunque se pueden extrapolar los datos a otros campos y universidades privadas, esto habría que hacerlo con cautela

 

Abstract

We analyse the interaction between university professors’ teaching quality and their research and administrative activities. Our sample is a high-quality individual panel data set from a medium-size public Spanish university that allows us to avoid several types of biases frequently encountered in the literature. Although researchers teach roughly 20% more than nonresearchers, their teaching quality is also 20% higher. Instructors with no research are 5 times more likely than the rest to be among the worst teachers. Over much of the relevant range, we find a nonlinear and positive relationship between research output and teaching quantity on teaching quality. Our conclusions may be useful for decision-makers in universities and governments.

Keywords