Rivera JJ, Flores HF, Alpuche HA, Martínez GA

Idioma: Español
Referencias bibliográficas: 25
Paginas: 8-15
Archivo PDF: 193.94 Kb.

RESUMEN

Introducción: La adecuada elaboración de los reactivos de un examen constituye una evidencia de validez del mismo. A pesar de existir un consenso general sobre las recomendaciones en la elaboración de un buen reactivo, hay diferentes estudios publicados que reportan una alta incidencia de fallas en el apego a las mismas. Se propone un instrumento para evaluar la calidad en la elaboración de reactivos de opción múltiple y se describe el proceso de obtención de evidencias de validez.
Método: Se obtuvo evidencia de validez de un instrumento dise˜nado ex profeso para evaluar las características de los reactivos de opción múltiple, de acuerdo con las fuentes propuestas por los Standards for Educational and Psychological Testing, atendiendo a aquellas fuentes relacionadas con el contenido, el proceso de respuesta y la estructura interna. Se calculó el índice Kappa (por el modelo propuesto por Fleiss) y la correlación punto-biserial de Pearson para medir la concordancia en los diferentes criterios que evalúa el instrumento. Se realizó un análisis factorial exploratorio para identificar las dimensiones del instrumento y se calculó el alfa de Cronbach como estadístico de consistencia interna.
Resultados: La concordancia entre múltiples jueces tuvo un valor mayor de 0.8 (acuerdo casi perfecto) para 12 de los 21 criterios, y de 0.19 para el nivel taxonómico. El análisis factorial definió 4 dimensiones con un KMO = 0.666, (p ‹ 0.01), una varianza total explicada de 49.979%, y un α de Cronbach de 0.627.
Conclusión: Este instrumento puede ser aplicado para la evaluación de reactivos de opción múltiple, ya que cuenta con evidencia de validez relacionada con el contenido, el proceso de respuesta y estructura interna y los indicadores psicométricos son adecuados para su instrumentación.

REFERENCIAS (EN ESTE ARTÍCULO)

1. Krathwohl DR. A revision of Bloom’s taxonomy: An Overview.Theory Pract. 2002;41:212---8.

2. Miller GE. The assessment of clinical skills-competenceperformance.Acad Med. 1990;65:S63---7.

3. Wass V, van der Vleuten C, Shatzer J, Jones R. Assessment ofclinical competence. Lancet. 2001;357:945---9.

4. Haladyna TM, Downing SM, Rodriguez MC. A review ofmultiple-choice item-writing guidelines for classroom assessment.2002;15:309---34.

5. American Educational Research, Association, American PsychologicalAssociation, National Council on Measurement inEducation. The standards for educational and psychologicaltesting. Washington, D.C.:American Educational Research Association,2014.

6. Downing SM. Validity: on meaningful interpretation of assessmentdata. Med Educ. 2003 Sep;37:830---7.

7. Tarrant M, Knierim A, Hayes SK, Ware J. The frequency of ítemwriting flaws in multiple-choice questions used in high stakesnursing assessments. Nurse Educ Pract. 2006 Dec;6:354---63.

8. Jozefowicz RF, Koeppen BM, Case S, Galbraith R, Swanson D,Glew RH. The quality of in-house medical school examinations.Acad Med. 2002;77:156---61.

9. Masters JC, Hulsmeyer BS, Pike ME, Leichty K, Miller MT, VerstAL. Assessment of multiple-choice questions in selected testbanks accompanying text books used in nursing education. JNurs Educ. 2001 Jan;40:25---32.

10. Pate A, Caldwell DJ. Effects of multiple-choice item-writing guidelineutilization on ítem and student performance. Curr PharmTeach Learn. 2014 Jan;6:130---4.

11. Jurado-Nu˜nez AG, Flores-Fernandez F, Delgado-Maldonado L,Sommer-Cervantes H, Martínez-González A, Sánchez-MendiolaM. Distractores en preguntas de opción múltiple para estudiantesde Medicina ¿Cuál es su comportamiento en un examen dealtas consecuencias? Inv Ed Med. 2013;2:202---10.

12. Downing SM. The effects of violating standard ítem writing principleson test and students: The consequences of using flawedtest ítems on achievement examinations in medical education.Adv Heal Sci Educ. 2005;10:133---43.

13. Naeem N, van der Vleuten C, Alfaris EA. Faculty developmenton item writing substantially improves item quality. Adv HealthSci Educ Theory Pract. 2012 Aug;17:369---76.

14. Tarrant M, Ware J. A framework for improving the quality ofmultiple-choice assessments. Nurse Educ. 2012;37:98---104.

15. Moreno R, Martínez RJ. Directrices para la construcción de ítemsde elección múltiple. Psicothema. 2004;16:490---7.

16. Downing SM, Haladyna TM. Manual para el desarrollo de pruebasa gran escala. México, D.F: Centro Nacional de Evaluación parala Educación Superior; 2012.

17. Buckwalter JA, Schumacher R, Albright JP, Cooper RR. Use of aneducational taxonomy for evaluation of cognitive performance.J Med Educ. 1981;56:115---21.

18. Case SM, Swanson DB. Cómo construir preguntas de selecciónmúltiple para ciencias básicas y ciencias clínicas. Philadelphia:National Board of Medical Examiners; 2014.

19. Dirección General de Evaluación Educativa UNAM. Lineamientosgenerales para la elaboración de reactivos [Internet].[citado 4 Abr 2015]. Disponible en: http://www.inb.unam.mx/ensenanza/lineamto gral elabora reactivo.pdf.

20. Fleiss JL. Measuring nominal scale agreement among manyraters. Psychol Bull. 1971;76:378---82.

21. Landis JR, Koch GG. The measurement of observer agreementfor categorical data. Biometrics. 1977;33:159---74.

22. Cunnington JPW, Norman GR, Blake JM, Dauphinee WD, BlackmoreDE. Applying learning taxonomies to test items: is a factan artifact? Acad Med. 1996;71:31---3.

23. Kibble JD, Johnson T. Are faculty predictions or ítem taxonomiesuseful for estimating the outcome of multiple-choice examinations?AJP: Adv Physiol Educ. 2011;35:396---401.

24. Thompson E, Luxton-Reilly A, Whalley JL, Hu M, Robbins P.Bloom’s taxonomy for CS assessment. Conf Res Pract Inf TechnolSer. 2008;78:155---61.

25. Moreno R, Martínez RJ, Mu˜niz J. New guidelines for developingmultiple-choice items. Methodology. 2006;2:65---72.