دانشمندان و پزشکان دانشگاه هاروراد دست به آزمایش جسورانهای زدند؛ آنها به بررسی عملکرد پزشکها در مقایسه با مدلهای OpenAI پرداختند.
براساس گزارش تکرانچ تیم پژوهشگران هاروارد نتیجه تحقیقات جالبی را این هفته در مجله Science منتشرکردند و جزئیاتش از این قرار است:
محققان روی 67 بیمار اورژانس بیمارستان بث ایزریل (Beth Israel) آزمایشها را آغاز کردند. تشخیصهای ارائهشده توسط دو پزشک متخصص داخلی با تشخیصهای مدلهای o1 و 4o شرکت OpenAI مقایسه شدند. جالب اینجاست که بررسیها توسط دو پزشک متخصص دیگر هم ارزیابی شدند که حتی نمیدانستند کدام تشخیصها برای پزشک و کدام متعلق به AI است. هیچ تبعیضی بین مدل و انسانها قائل نشد؛ مدلهای هوش مصنوعی دقیقاً با همان اطلاعاتی مواجه شدند که در زمان هر تشخیص در پروندههای پزشکی الکترونیکی موجود بود.
در مراحل تشخیص، خصوصا بررسی ابتدایی (تریاژ اولیه اورژانس) زمانی که کمترین اطلاعات از بیمار هست و لحظه طلایی برای تصمیمگیری محسوب میشود، مدل o1 عملکردی نسبتا بهتر یا برابر با دو پزشک متخصص و مدل 4o داشت.
درصد موفقیت پزشکها و O1 تقریبا بهم نزدیکاند:
| پزشک 1 | پزشک 2 | مدل O1 |
| 55% | 50% | 67% |
این تحقیق مدعی است که هوش مصنوعی در حال حاضر آماده تصمیمگیری واقعی درباره مرگ و زندگی در اورژانس نیست؛ اما باید ارزیابیهایی این چنین برای مراقبت از بیمار صورت بگیرد.
با این اوصاف محدودیتهایی در این تحقیق مطرح شده است:
- محققان تنها عملکرد مدلها را با ارائه اطلاعات متنی بررسی کردهاند.
- مطالعات موجود نشان میدهند که مدلهای پایه کنونی در استدلال بر روی ورودیهای غیرمتنی (مانند تصاویر یا علائم بصری) محدودیت بیشتری دارند.
- چارچوب رسمی برای پاسخگویی و مسئولیتپذیری هوش مصنوعی وجود ندارد.
- بیماران مایلاند در تصمیمات مرگ و زندگی و موقعیتهای چالشبرانگیز انسانها راهنماییشان کنند.
یکی از پزشکهای متخصص طب اورژانس با این تحقیق انتقاد کرد:
اگر قرار است ابزارهای هوش مصنوعی را با توانایی بالینی پزشکان مقایسه کنیم، باید کار را با مقایسه با پزشکانی که واقعاا در آن تخصص کار میکنند شروع کنیم. من تعجب نمیکنم اگر یک مدل زبانی بزرگ بتواند یک متخصص پوست را در آزمون بورد جراحی اعصاب شکست دهد، اما دانستن این موضوع کاربرد چندانی ندارد.
به عنوان یک پزشک اورژانس که برای اولین بار بیماری را ویزیت میکنم، هدف اصلی من حدسزدن تشخیص نهایی نیست. این است که تعیین کنم آیا به وضعیتی مبتلا هست که خطر مرگ به همراه داشته باشد یا خیر.
نه تنها در حوزه پزشکی، بلکه AI در هالیوود هم دردسرساز شده است، بهطور که آکادمی اسکار قوانین جدیدی برای دریافت جایزه توسط هوش مصنوعی وضع کرد.
