The Relationship of Difficulty Index, Discrimination Index and Non-Functioning Distractor in One Best Answer Questions for Undergraduate Medical Program in Universiti Kebangsaan Malaysia
Item Analysis of One Best Answer Questions in UKM
Abstract
Creating high-quality one best answer (OBA) questions is crucial for valid medical student assessments, yet it presents a challenge. Issues like inappropriate difficulty index (D), poor discrimination index (R), and non-functional distractors (NFDs) can compromise assessment integrity. This study aimed to investigate the relationship between D, R, and NFD in OBA questions at Universiti Kebangsaan Malaysia (UKM) to improve item quality and assessment effectiveness. Using a quantitative approach, 499 OBA questions from the 2022/2023 academic session were analysed, including pre-clinical (Years 1 and 2) (393 questions) and clinical (Year 5) (106 questions), using the Smart Question Bank (SQB). We observed significant correlations and regressions in pre-clinical, items with more NFDs demonstrated a strong positive correlation with excessively easy items (D > 0.75) with (r = 0.81, p < 0.001) and yielded a statistically significant regression outcome (F = 279.86, p < 0.001). However, for the clinical had higher number of items with poor discrimination (R < 0.15) at 45.28% (n = 106), this indicated an inability of the item to differentiate between high and low-achieving students, and showed no significant correlation (r = 0.24, p = 0.059) and regression (F = 3.24, p = 0.059) with NFD. By identifying weaknesses via item analysis, this study provides insights for improving OBA question quality and guiding future item construction at UKM and other institutions.
Keywords :
Difficulty index; discrimination index; non-functioning distractor,
Abstrak
Mencipta soalan satu jawapan terbaik (One Best Answer, OBA) berkualiti tinggi adalah penting untuk penilaian pelajar perubatan yang sah, namun ia menimbulkan cabaran. Isu seperti 'difficulty index' (D) yang tidak sesuai, 'discrimination index' (R) yang lemah, dan 'non-functioning distractor' (NFD) boleh menjejaskan integriti penilaian. Kajian ini bertujuan untuk menyiasat hubungan antara D, R, dan NFD dalam soalan OBA di Universiti Kebangsaan Malaysia (UKM) untuk meningkatkan kualiti item dan keberkesanan penilaian. Menggunakan pendekatan kuantitatif, kami menganalisis 499 soalan OBA dari sesi akademik 2022/2023, termasuk pra-klinikal (Tahun 1 dan 2) (393 soalan) dan klinikal (Tahun 5) (106 soalan), menggunakan 'Smart Question Bank'. Kami mendapati terdapat korelasi dan regresi yang signifikan dalam pra-klinikal, di mana item yang mempunyai lebih banyak NFD menunjukkan korelasi positif yang kuat dengan item yang terlalu mudah (D > 0.75) dengan (r = 0.81, p < 0.001) dan menghasilkan keputusan regresi yang signifikan secara statistik (F = 279.86, p < 0.001). Manakala, untuk klinikal mempunyai lebih tinggi bilangan item dengan diskriminasi yang lemah (R < 0.15) pada 45.28% (n = 106), ini menunjukkan item tersebut tidak berupaya untuk membezakan antara pelajar berprestasi tinggi dan rendah, dan tidak menunjukkan korelasi yang signifikan (r = 0.24, p = 0.059) dan regresi (F = 3.24, p = 0.059) dengan NFD. Dengan mengenal pasti kelemahan melalui analisis item, kajian ini memberikan pandangan untuk meningkatkan kualiti soalan OBA dan membimbing amalan pembinaan item masa hadapan di UKM dan institusi lain.
Kata Kunci :
Distraktor tidak berfungsi; indeks diskriminasi; indeks kesukaran,
Correspondance Address
Muhammad Nazim Othman, Department of Medical Education, Faculty of Medicine, Universiti Kebangsaan Malaysia, Jalan Yaacob Latif, Bandar Tun Razak, 56000, Kuala Lumpur, Malaysia. Tel: +6013 2569072 Email: muhdnazim@ukm.edu.my
