تصور کنید از هوش مصنوعی برای بکاپگیری از سیستم خود کمک میخواهید، اما این ابزار به جای ذخیره فایلها، تمام اطلاعات شما را در چند ثانیه از بین میبرد!
این دقیقا همان اتفاقی است که بهتازگی برای یک توسعهدهنده رخ داده است؛ وقتی که هوش مصنوعی Claude Opus 5 در یک اشتباه عجیب، کل پوشه پروفایل سیستم او را حذف کرد و در نهایت تنها نوشت: «ببخشید، اشتباه تایپی بود!»
بر اساس گزارش وبسایت Tom’s Hardware، تنها چند روز پس از عرضهی مدل opus 5 شرکت آنتروپیک، یک توسعهدهنده در شبکه اجتماعی ردیت (Reddit) با نام کاربری u/Ecstatic-Big5126، یک خطای بزرگ و مخرب از سوی ابزار هوش مصنوعی خود را به اشتراک گذاشته است.
چگونه این اتفاق افتاده است؟
طبق گفتهی او، این کاربر از هوش مصنوعی Claude Opus 5 خواسته است تا از سیستم او یک نسخه پشتیبان (بکاپ) تهیه کند. هوش مصنوعی کار را شروع کرده است؛ اما در میانه راه تصور کرده که بکاپ را در مسیر اشتباهی ساخته است.
برای جبران این اشتباه، تصمیم گرفته است فرمان مخرب «rm -rf» را روی پوشه بکاپ فرضی اجرا کند؛ اما متاسفانه به اشتباه تمام پوشه پروفایل کاربر را پاک کرده است.
به نظر میرسد این مدل زبانی در حال اجرای یک محیط شبیهساز لینوکس (Unix-style shell) روی سیستمعامل ویندوز بوده است. در این فرآیند، Claude Opus 5 مسیر یونیکسی /c/Users/ را با یک پوشه موقت اشتباه گرفته است؛ زیرا انتظار داشته است مسیر استاندارد ویندوزی یعنی C:\Users\ را مشاهده کند.
وقتی انتظارات هوش مصنوعی با واقعیت همخوانی نداشته است، این ابزار تصمیم گرفته است فرمان حذف کامل را برای مسیر پروفایل کاربر اجرا کند و تمام فایلها و پوشهها را از بین ببرد.
این کاربر در پست خود نوشته است:
«من از Claude Opus 5 خواستم یک بکاپ بسازد. در عوض، او فایلها را در مسیر اشتباهی کپی کرد و سپس فرمان “rm -rf” را برای کل درایو من اجرا کرد. بعد از اینکه همه چیز را پاک کرد، خیلی ساده پاسخ داد: “ببخشید، اشتباه تایپی بود.” انگار هیچ اتفاقی نیفتاده است.»
او در ادامه افزوده است: «این همزمان خندهدارترین و دردناکترین تجربهای بود که با هوش مصنوعی داشتهام.»
در خبر دیگری امروز خواندیم که شرکت openai توسعهی مدل Astra را بهعلت آنچه رسیدن به سطح بحرانی سایبری عنوان میکند، متوقف کرده است.
چرا دسترسی کامل دادن به هوش مصنوعی خطرناک است؟
درس مهمی که از این اتفاق میگیریم این است که مدلهای زبانی بزرگ (LLM) با وجود قدرت بالا، هرگز نباید دسترسی نامحدود و کنترلنشدهای به سیستمهای مهم داشته باشند. قبلا هم موارد متعددی از این دست گزارش شده بود؛ مثلا یک پلتفرم کدنویسی هوش مصنوعی تمام دیتابیس یک شرکت را در زمان فریز بودن کدها پاک کرد یا یک دستیار هوشمند گوگل فایلهای درایو یک کاربر را بدون اجازه از بین برد.
با وجود اینکه مقصر اصلی این خطاها خود ابزار هوش مصنوعی است، اما کاربران نیز تا حدی مقصر هستند که تصور میکنند هوش مصنوعی همیشه منظور آنها را به درستی متوجه میشود. نباید هرگز اجازه اجرای دستورات حساسی مانند حذف فایلها را به صورت کاملا آزادانه به هوش مصنوعی داد.
