معرفی هوش مصنوعی پیشرفته برای ساخت آواتارهای سخنگو واقعگرا از یک عکس, تیمی از محققان چینی در حوزه هوش مصنوعی، مدلی نوآورانه به نام را معرفی کردهاند که قابلیت تولید ویدیوهای واقعگرایانه و قابل کنترل از چهرههای در حال سخنگفتن را تنها با استفاده از یک عکس پرتره ثابت فراهم میآورد.
این سیستم بر پایه یک معماری پیشرفته مبتنی بر توسعه یافته و با بهرهگیری از تکنیکهای همگامسازی صوتی-تصویری، تطابق دقیقی بین حرکات لب، حالات چهره، حرکات بدن و صدای ورودی برقرار میسازد. مکانیزم دو مرحلهای همگامسازی صوت و تصویر در فرآیند تولید در این مدل بر اساس یک استراتژی دو مرحلهای محوری طراحی شده است.
صی اصلاح میشوند تا تطابق کامل با صدا حاصل گردد.
یکی از چالشهای اصلی در گرافیک کامپیوتری و بینایی ماشین، متحرکسازی آواتارهای واقعگرا از یک تصویر ثابت بوده است. اکثر راهحلهای پیشین برای حفظ واقعگرایی و همگامسازی با صدا، از مدلهای سهبعدی میانجی مانند 3DMM یا FLAME استفاده میکردند؛ اما این روشها در بازتولید حرکات ظریف صورت و انیمیشنهای طبیعی ناتوان بودند.
در ویدیوی زیر میتوانید مقایسهای از خروجیهای این مدل با سایر مدلهای موجود را مشاهده کنید از یک ماژول اختصاصی برای کنترل شدت حرکات بهره میبرد که امکان تنظیم میزان انیمیشن حالات چهره و بدن را فراهم میآورد.
برخلاف بسیاری از مدلهای رقیب، این سیستم برای حفظ هویت چهره از یک مکانیزم مبتنی بر تشخیص چهره استفاده میکند که نتایج طبیعیتر و یکپارچهتری ارائه میدهد. سایر قابلیتهای برجسته این مدل شامل تولید ویدیوهای سخنگفتن با زوایای متنوع (کلوزآپ، نیمتنه، همهقد، روبرو یا زاویهدار)، پشتیبانی از سبکهای گرافیکی گوناگون (فوتو رئال و کارتونی) و حتی متحرکسازی حیوانات میباشد.
در مقایسه با راهحلهای پیشرفته و بسته مانند، مدل کیفیت بالاتری از نظر واقعگرایی، حفظ هویت، انسجام حرکتی و دقت همگامسازی صوتی-تصویری ارائه میدهد.
