استارت آپ هوش مصنوعی OpenAI، که توسط ایلان ماسک بنیانگذار است و بیشتر به دلیل معرفی مدل DALL-E که متن را به تصویر تبدیل می کند، شناخته شده است، از انتشار جدیدترین ژنراتور تجسمی خود به نام POINT-E خبر داد که می تواند بر اساس کاربران باشد. ‘ پیام های متنی. ، تولید مدل های سه بعدی (به صورت نقاط ابری). در حالی که سیستم‌های موجود مانند DreamFusion گوگل معمولاً به چندین ساعت زمان و یک GPU برای تولید تصاویر خود نیاز دارند، Point-E کار خود را تنها با یک GPU در یک یا دو دقیقه انجام می‌دهد. مدل سازی سه بعدی در صنایع و کاربردهای مختلف مورد استفاده قرار می گیرد. جلوه‌های CGI بلاک‌باسترهای مدرن، بازی‌های ویدیویی، VR و AR، مأموریت‌های نقشه‌برداری دهانه ماه ناسا و همچنین چشم‌انداز متا برای Metaverse همگی به قابلیت‌های مدل‌سازی سه‌بعدی متکی هستند. با این حال، حتی با وجود تلاش‌های انویدیا برای خودکارسازی تولید اشیا و اپلیکیشن موبایل Epic Games RealityCapture، که به کاربران اجازه می‌دهد اشیاء دنیای واقعی را به‌عنوان تصاویر سه‌بعدی با تلفن iOS خود اسکن کنند، ایجاد تصاویر سه‌بعدی فوتورالیستی هنوز یک فرآیند زمان‌بر است. نحوه عملکرد مدل Point-E AI سیستم‌های هوش مصنوعی متن به تصویر مانند DALL-E 2 و Craiyon OpenAI در سال‌های اخیر به سرعت محبوبیت پیدا کرده‌اند. تبدیل متن به مدل های سه بعدی نیز یکی از شاخه های این تحقیق محسوب می شود. برخلاف سیستم‌های مشابه که از مجموعه بزرگی از گره‌ها (متن، تصویر) استفاده می‌کنند و به آن‌ها اجازه می‌دهند دستورات متنوع و پیچیده را دنبال کنند، POINT-E بر روی مجموعه داده‌های کوچک‌تری از گره‌ها (یک تصویر سه بعدی) آموزش داده می‌شود. تیم OpenAI توضیح می دهد که برای تولید یک شی سه بعدی از یک متن، ابتدا یک تصویر با استفاده از مدل متن به تصویر نمونه برداری می شود و سپس یک شی سه بعدی بر اساس تصویر نمونه تهیه می شود. هر دوی این مراحل را می توان در چند ثانیه انجام داد و به روش های بهینه سازی گران قیمت نیاز ندارد. برای مثال، اگر یک پیام متنی مانند “گربه در حال خوردن یک بوریتو” به سیستم بدهید، Point-E ابتدا یک رندر سه بعدی مصنوعی از یک گربه در حال خوردن یک بوریتو ایجاد می کند. سپس تصویر تولید شده را از طریق یک سری مدل های انتشار اجرا می کند تا یک ابر نقطه سه بعدی و RGB از تصویر اصلی ایجاد کند. در این فرآیند ابتدا یک مدل ابر درشت 1024 نقطه و سپس یک مدل ابر 4096 نقطه ریزتر به کاربران ارائه می شود. اگر دوست دارید این مدل هوش مصنوعی را امتحان کنید، OpenAI کد منبع باز پروژه خود را در Github منتشر کرده است.