تزریق پرامپت- دستورات پنهان مخرب-کابوس این روزهای کمپانی OpenAI برای مرورگر Atlas است؛ بااینحال تقویت امنیت این مروگر هوش مصنوعی بهطور جدی در حال بررسی است.
جدیدترین اخبار تکنولوژی هوش مصنوعی و شبکههای اجتماعی را در نامبرلند بخوانید.
به نقل از OpenAI تزریق پرامپت، مثل کلاهبرداریها و مهندسی اجتماعی در وب، بعید است که بهطور کامل برچیده شود. میزان تهدیدها در agent mode مرورگر اطلس بسیار بالاست زیرا در مدت کوتاهی پس از انتشار این Browser، پژوهشگران امنیتی شروع به انتشار دموهایی کردند که نشان میداد میتوان با نوشتن چند کلمه در Google Docs، رفتار مرورگر را تغییر داد.
تزریق پرامپت چیست؟ نوعی حمله که با دستکاری عاملهای هوش مصنوعی و وادار کردن آنها به اجرای دستورات مخرب (که اغلب بهصورت پنهان در صفحات وب یا ایمیلها قرار داده میشوند) انجام میشود.
مرکز ملی امنیت سایبری بریتانیا (NCSC) اوایل ماه دسامبر هشدار داد که حملات تزریق پرامپت علیه اپلیکیشنهای هوش مصنوعی مولد «ممکن است هرگز بهطور کامل قابل مهار نباشند» و این موضوع میتواند وبسایتها را در معرض خطر قرار دهد.
اوپنایآی میگوید: «ما تزریق پرامپت را یک چالش بلندمدت در امنیت هوش مصنوعی میدانیم و باید بهطور مداوم دفاعهای خود را در برابر آن تقویت کنیم.»
راهحل Open برای تزریق پرامپت چیست؟
واکنش سریع و پیشدستانه در مواجه با تزریق پرامپت در شناسایی بسیار موثر است. باید از دفاعهای لایهای استفاده کرد و آنها را بهطور مداوم تحت فشار و آزمون قرار داد. برای مثال، تمرکز اخیر گوگل روی کنترلهای معماری و سیاستگذاری در سیستمهای عاملمحور (agentic) بوده است.
مهاجم خودکار مبتنی بر LLM یکی دیگر از راهحلهاست. این مهاجم یک ربات است که نقش یک هکر را بازی میکند درحالیکه با یادگیری تقویتی آموزش دیده است. این بات میتواند حمله را ابتدا در محیط شبیهسازیشده آزمایش کند؛ عامل مخرب چگونه رفتار میکند؟ و بر این مبنا واکنش میدهد.
گزارش سالانه با ChatGPT خود را انجام دادهاید؟ chaygpt recap اطلاعات جالبی درباره خودتان بازگو میکند.
