خانواده یک دانشجوی ۱۹ ساله که پس از مشورت با ChatGPT برای توصیه‌های پزشکی بر اثر اوردوز جان باخته است، از شرکت OpenAI شکایت کرده‌اند. آن‌ها می‌گویند که پیشنهادهای دارویی این چت‌بات مسئول مرگ فرزندشان بوده است.

براساس گزارش سایت Futurism، این شکایت که صبح امروز در کالیفرنیا ثبت شده است، نشان می‌دهد که سم نلسون (Sam Nelson)، دانشجوی دانشگاه کالیفرنیا، ابتدا از چت‌جی‌پی‌تی برای انجام تکالیف و مشکلات کامپیوتری خود استفاده کرده است. اما با افزایش اعتماد او به این هوش مصنوعی، برای دریافت راهنمایی درباره مصرف ایمن داروهای غیرقانونی نیز به آن مراجعه کرده است.

تبدیل هوش مصنوعی به مشاوری خطرناک

اگرچه این چت‌بات در ابتدا مقاومت نشان داده است، اما با گذشت زمان به یک همراز برای این نوجوان تبدیل شده است. چت‌جی‌پی‌تی نکات شخصی‌سازی شده‌ای برای مصرف مواد به او پیشنهاد داده است. طبق اسناد شکایت، این هوش مصنوعی حتی در پاسخ‌های خود از ایموجی استفاده کرده است و در نهایت مقادیر و ترکیبات بسیار خطرناکی از داروها را پیشنهاد داده است.

در ساعات اولیه ۳۱ می ۲۰۲۵، نلسون پس از مصرف دوز بالایی از ماده کراتوم (kratom)، به چت‌جی‌پی‌تی گفته است که احساس تهوع دارد و پرسیده است که آیا مصرف داروی زاناکس (Xanax) به او کمک می‌کند یا خیر. این ربات اشاره کرده است که ترکیب این دو ماده خطرناک است، اما هرگز به نلسون نگفته است که این ترکیب کشنده و مرگبار است.

هوش مصنوعی نه‌تنها دوزهای مصرفی را پیشنهاد داده است، بلکه ترکیب کردن داروی بنادریل (Benadryl) را نیز توصیه کرده است. چت‌بات در نهایت از نلسون خواسته است به یک اتاق تاریک و ساکت برود و او را برای مراجعه به پزشک تشویق نکرده است.

واکنش خانواده و درخواست توقف سرویس سلامت چت‌جی‌پی‌تی

نلسون پس از مصرف این ترکیب مرگبار جان خود را از دست داده است. مادر او در بیانیه‌ای اعلام کرده است: «اگر چت‌جی‌پی‌تی یک انسان بود، امروز پشت میله‌های زندان قرار داشت. سم به این چت‌بات اعتماد کرده است، اما این ابزار نه‌تنها اطلاعات غلط داده است، بلکه خطرات فزاینده را نادیده گرفته است و او را برای دریافت کمک پزشکی راهنمایی نکرده است.»

این پرونده، شرکت OpenAI را به سهل‌انگاری در تولید محصول متهم کرده است. وکلای خانواده درخواست کرده‌اند که دسترسی عمومی به سرویس ChatGPT Health که به تازگی معرفی شده است، متوقف شود.

وکلای این پرونده معتقدند که OpenAI یک محصول معیوب را بدون تست‌های ایمنی دقیق در اختیار کاربران سراسر جهان قرار داده است؛ درحالی‌که می‌دانسته است مردم از آن به عنوان یک سیستم تریاژ پزشکی استفاده می‌کنند.

شرکت OpenAI در واکنش به این شکایت اعلام کرده است که تعاملات این کاربر با نسخه قدیمی‌تری از چت‌جی‌پی‌تی (GPT-4o) انجام شده است که دیگر در دسترس نیست. این شرکت تاکید کرده است که هوش مصنوعی جایگزین مراقبت‌های پزشکی نیست و آن‌ها به صورت مداوم در حال بهبود سیستم‌های ایمنی خود با کمک متخصصان بالینی هستند. با این وجود، خود این شرکت پیش‌تر اعتراف کرده است که دریافت توصیه‌های سلامتی، یکی از رایج‌ترین کاربردهای چت‌جی‌پی‌تی در میان میلیون‌ها کاربر است.