محققان دانشگاه ملی استرالیا، دانشگاه آکسفورد و دانشگاه مصنوعی بیجینگ یک سیستم هوش مصنوعی جدید به نام “3D-GPT” توسعه داده‌اند که قادر است به سادگی مدل‌های سه‌بعدی را از توصیف‌های متنی کاربر تولید کند.
این سیستم، که در یک مقاله منتشر شده در arXiv توصیف شده است، یک روش کارآمدتر و بصری برای ایجاد دارایی‌های سه‌بعدی نسبت به جریان‌های کاری مدلسازی سه‌بعدی سنتی ارائه می‌دهد. در این مقاله 3D-GPT می تواند وظایف مدلسازی سه‌بعدی رویه‌ای به بخش‌های قابل دسترسی را تجزیه و تحلیل کند و عامل مناسبی برای هر وظیفه انتصاب دهد. چندین عامل هوش مصنوعی در این سیستم مورد استفاده قرار میگیرند که هرکدام روی یک بخش از درک توصیف متنی تمرکز دارند و وظایف مدل سازی را انجام می دهند.
طبق گفته محققان، 3D-GPT قادر است نقش مدل‌های زبان بزرگ به عنوان حل‌کنندگان ماهر مسائل مواجهه شده را با تجزیه و تحلیل وظایف مدلسازی سه‌بعدی رویه‌ای به بخش‌های قابل دسترسی و انتصاب عامل مناسب برای هر وظیفه تعیین می‌کند.
عوامل کلیدی شامل ارسال وظیفه، عامل تصور و عامل مدلسازی هستند. عانل ارسال وظیفه دستورات متنی را تجزیه و تحلیل می کند، عامل تصور جزئیاتی را مطرح می کند که در توصیف اولیه وجود ندارد و عامل مدلسازی پارامترهایی را تعیین می کند و کدهایی برای کنترل نرم افزارهای سه بعدی مانند Blender ایجاد می کند. 3D-GPT قادر به تفسیر دستورات متنی، افزایش جزئیات توصیفات با اطلاعات اضافی و در نهایت ایجاد دارایی‌های سه‌بعدی است که با تصویر کاربر همخوانی دارد.
این سیستم توصیف های مختصر اولیه صحنه ها را بهبود می دهد و آن ها را به شکل جزئی تکمیل می کند، در حالیکه متن را بر اساس دستورات بعدی تغییر می دهد. 3D-GPT قادر به ایجاد صحنه‌های سه‌بعدی کامل با گرافیک واقع‌گرایانه بود که عناصری که در متن توصیف شده بودند را به دقت بازتاب می‌داد. نمونه ای از آن را در زیر می توانید ببینید. در این دستور توضیحاتی درمورد صبح مه آلود بهاری، گل هایی که روی چمن قرار دارند و درختان جوان صحبت شده است.
محققان نوشتند: “بررسی‌های تجربی ما تایید می‌کند که 3D-GPT نه تنها دستورات را تفسیر و اجرا می‌کند و نتایج قابل اعتمادی ارائه می‌دهد بلکه به طور مؤثر با طراحان انسان همکاری می‌کند.”
محققان به این نتیجه رسیده‌اند که سیستم آن‌ها “ظرفیت مدل‌های زبان بزرگ در مدلسازی سه‌بعدی را برجسته می‌کند و یک چارچوب اساسی برای پیشرفت‌های آتی در تولید صحنه و انیمیشن ارائه می‌دهد.”
این هوش مصنوعی می تواند صنعت مدلسازی سه بعدی را با تغییر و تحول بزرگی روبرو سازد و دسترسی را آسانتر کند. اهمیت ابزارهایی مانند 3D-GPT آنجایی مشخص می شود که برای بازسازی و واقعیت مجازی تا سینما و تجربیات چندرسانه ای در دوران متاورس و تولید محتوای سه بعدی، به آن نیاز داریم.
چارچوب 3D-GPT هنوز در مراحل ابتدایی خود قرار دارد و محدودیت‌هایی دارد، اما توسعه آن یک گام مهم به جلو در مدلسازی سه‌بعدی مبتنی بر هوش مصنوعی است و امکانات جذابی برای پیشرفت‌های آتی به وجود می‌آورد.
