تمكن برنامج الذكاء الاصطناعي من تحقيق درجات النجاح في الامتحان، والذي يتطلب عادةً سنوات من التدريب الطبي، وفقًا لدراسة أجراها تيفاني كونغ وفيكتور تسينج وزملاؤه في AnsibleHealth، والتي نُشرت في 9 فبراير 2023 في مجلة الوصول المفتوح PLOS Digital Health.

ChatGPT هو نظام ذكاء اصطناعي جديد (AI)، يُعرف باسم نموذج اللغة الكبيرة (LLM)، مصمم لإنشاء كتابة شبيهة بالبشر من خلال توقع تسلسل الكلمات القادمة، على عكس معظم روبوتات الدردشة، لا يمكن لـ ChatGPT البحث في الإنترنت، بدلاً من ذلك، يقوم بإنشاء نص باستخدام علاقات الكلمات التي تنبأت بها عملياته الداخلية.

اختبر Kung وزملاؤه أداء ChatGPT على USMLE، وهي سلسلة موحدة ومنظمة للغاية من ثلاثة اختبارات (الخطوات 1 و 2 CK و 3) المطلوبة للترخيص الطبي في الولايات المتحدة، ويأخذ طلاب الطب والأطباء تحت التدريب، USMLE بتقييم المعرفة التي تغطي معظم التخصصات الطبية، بدءًا من الكيمياء الحيوية، إلى التفكير التشخيصي، إلى أخلاقيات البيولوجيا.

بعد الفحص لإزالة الأسئلة القائمة على الصور، اختبر المؤلفون البرنامج على 350 سؤالاً من 376 سؤالاً متاحًا من إصدار يونيو 2022 USMLE، وفقاً لموقع scitechdaily.

أظهر ChatGPT أيضًا توافقًا بنسبة 94.6٪ في جميع ردوده وأنتج فكرة مهمة واحدة على الأقل (شيء كان جديدًا وغير واضح وصالح إكلينيكيًا) لـ 88.9٪ من ردوده، والجدير بالذكر أن ChatGPT قد تجاوز أداء PubMedGPT، وهو نموذج نظير تم تدريبه حصريًا على أدبيات المجال الطبي الحيوي، والذي سجل 50.8٪ على مجموعة بيانات قديمة لأسئلة على غرار USMLE.

في حين أن حجم المدخلات الصغير نسبيًا حد من عمق ومدى التحليلات، لاحظ المؤلفون أن النتائج التي توصلوا إليها تقدم لمحة عن إمكانات ChatGPT في تعزيز التعليم الطبي، على سبيل المثال، أضافوا أن الأطباء في AnsibleHealth يستخدمون بالفعل ChatGPT لإعادة كتابة التقارير ذات المصطلحات الثقيلة لتسهيل فهم المريض.

يقول المؤلفون: "إن الوصول إلى درجة النجاح في اختبار الخبراء المعروف بصعوبة هذا الاختبار، والقيام بذلك دون أي تعزيز بشري، يمثل علامة بارزة في النضج السريري للذكاء الاصطناعي".