گوگل برنامه‌ی جدیدی را برای شکار باگ در محصولات هوش مصنوعی خود راه‌اندازی کرده است؛ برنامه‌ای که بیشترین پاداش آن به ۳۰ هزار دلار می‌رسد و هدف آن، جلوگیری از «اقدامات مخرب» احتمالی توسط هوش مصنوعی است.
جدیدترین اخبار تکنولوژی هوش مصنوعی و شبکه‌های اجتماعی را در نامبرلند بخوانید.
براساس گزارش The Verge، طرح جایزه 30 هزار دلاری که به‌صورت رسمی از دوشنبه آغاز شده است، این طرح از پژوهشگران امنیتی دعوت می‌کند تا حفره‌های خطرناک در سیستم‌های هوش مصنوعی گوگل را شناسایی کنند. این باگ‌ها شامل سناریوهایی است که در آن‌ها مدل‌های هوش مصنوعی بتوانند دستورات غیرمجاز را اجرا کنند؛ مثل باز کردن قفل در از طریق Google Home یا دسترسی غیرمجاز به داده‌های شخصی از طریق Prompt Injection.
گوگل در این برنامه توضیح داده است که باگ‌های مرتبط با هوش مصنوعی شامل مواردی هستند که در آن یک مدل زبانی بزرگ (LLM) یا سیستم مولد (Generative AI) می‌تواند موجب آسیب، نشت داده یا دستکاری حساب کاربر شود.
برای نمونه، یکی از نقص‌های امنیتی پیش‌تر کشف‌شده اجازه می‌داد از طریق یک رویداد تقویمی آلوده در Google Calendar، تجهیزات هوشمند خانه مانند پرده‌ها یا چراغ‌ها کنترل شوند.
در دو سال گذشته، پژوهشگران امنیتی بیش از ۴۳۰ هزار دلار از گوگل بابت کشف باگ‌های مربوط به هوش مصنوعی دریافت کرده‌اند.
گوگل تأکید کرده است که ایرادهای مربوط به محتوای تولیدشده توسط مدل‌ها—مثل تولید گفتار نفرت‌انگیز یا محتوای نقض‌کننده‌ی کپی‌رایت—در این طرح مشمول پاداش نمی‌شوند. این موارد باید از طریق سیستم بازخورد داخلی محصولات گزارش شوند تا تیم‌های ایمنی گوگل بتوانند با آموزش مدل، رفتار آن را اصلاح کنند.
معرفی ابزار جدید امنیتی CodeMender
هم‌زمان با این برنامه، گوگل ابزار تازه‌ای به نام CodeMender معرفی کرده است؛ یک عامل هوش مصنوعی که کدهای آسیب‌پذیر را به‌طور خودکار ترمیم می‌کند. این سیستم تاکنون ۷۲ باگ امنیتی در پروژه‌های متن‌باز را پس از بررسی انسانی، برطرف کرده است.
- بالاترین جایزه‌ی ۲۰ هزار دلاری برای کشف باگ در محصولات اصلی گوگل مثل Search، اپ‌های Gemini و اپلیکیشن‌های Workspace مانند Gmail و Drive تعیین شده است.
- گزارش‌هایی که کیفیت بالا یا ایده‌های نوآورانه داشته باشند می‌توانند تا سقف ۳۰ هزار دلار دریافت کنند.
- برای محصولات کوچک‌تر مانند Jules یا NotebookLM، پاداش‌ها کمتر خواهد بود.
کمپانی Open AI با معرفی قابلیت AgentKit مسیر آموزش و طراحی ایجنت‌ها را به کلی تغییر و آسان کرد؛ جزئیات مربوط به این خبر را از دست ندهید.
