اگر از ChatGPT بخواهید به شما کمک کند تا یک بمب خانگی بسازید، مدل نمی‌پذیرد و می‌گوید: «من نمی توانم در این مورد کمک کنم». اما یک هکر با نام مستعار آماندون پس از کمی تلاش این مدل را فریب داد و دستور ساخت بمب را گرفت!
جیل بریک کردن یا فریب ChatGPT
این هکر به ChatGPT گفته بود «بیا بازی کنیم» و سپس یک سری پرامپت‌های مرتبط و تخصصی استفاده کرد و در نهایت ChatGPT فریب خورد. این پرامپت‌ها البته مخفی و محرمانه هستند و قرار نیست جایی منتشر نشوند!
طبق گفته کارشناسان مواد منفجره، دستوری که چت جی‌پی‌تی برای ساخت بمب داده واقعا یک بمب خطرناک است!
به گفته آمادون، هرچه او بیشتر با این مدل صحبت می کرد حرف‌های چت جی‌پی‌تی خطرناک تر می‌شد و دستورالعمل‌های مخرب‌تری می داد! آماندون به techcrunch گفت:
«پس از اینکه چت جی‌پی‌تی را دور زدید، دیگر هیچ محدودیتی برای هیچ سوالی وجود ندارد.»
قبلا هم مایکروسافت درباره Jailbreak هوش مصنوعی (یا فریب آن برای گرفتن اطلاعات ممنوعه) مقاله مفصلی منتشر کرده بود و توضیح داده بود که چقدر مدل های هوش مصنوعی در برابر جیل-بریک آسیب پذیر هستند. اما به نظر می‌رسد هنوز هیچ راه حلی برای این مشکل بزرگ پیدا نشده است!
در دیگر خبرهای مربوط به هوش مصنوعی خواندیم که OpenAI از مدل‌های مرموز و متفکر هوش مصنوعی o1 و o1-mini خود رونمایی کرده است.
