كل ما تحتاج معرفته عن Dream Machine لتحويل النصوص إلى فيديو

أطلقت شركة Luma AI نموذجها لتحويل النص إلى فيديو باستخدام الذكاء الاصطناعي Dream Machine، ويمكن للنظام إنشاء مقاطع فيديو تصل مدتها إلى خمس ثوانٍ من خلال مطالبات نصية بسيطة أو وصفية.

ويمكن لنموذج الذكاء الاصطناعي إنشاء مقاطع فيديو بأنماط مختلفة مثل السينمائية والرسوم المتحركة والواقعية والمزيد، وتدعي شركة الذكاء الاصطناعي أن Dream Machine تم تدريبها بالكامل على مقاطع الفيديو، وأنها قادرة على إنتاج "لقطات دقيقة ومتسقة ومليئة بالأحداث"، النظام الأساسي حاليًا مجاني للوصول والاستخدام، ولكن من المحتمل أن يكون له حد للجيل اليومي.

وبحسب الموقع، فإن نموذج Dream Machine AI مبني على نموذج محول وتم تدريبه مباشرة على مقاطع الفيديو، عادة، يتم تدريب نماذج اللغات الكبيرة (LLMs) على النصوص والصور ثم يتم نقلها إلى مقاطع الفيديو، لأنها تتطلب فهمًا مكانيًا وحركيًا أعمق، وأضافت الشركة: "إن Dream Machine هي خطوتنا الأولى نحو بناء محرك خيال عالمي".

تنضم Dream Machine إلى منصات توليد الفيديو مثل Runway AI وPika 1،0 المتوفرة أيضًا في النطاق العام وتوفر إمكانية إنشاء الفيديو في مدة تتراوح بين ثلاث إلى خمس ثوانٍ، قامت Gadgets 360 بتجربة النظام الأساسي ووجدت أن الالتزام الفوري بالمنصة دون المستوى، إنه يكافح مع أحرف متعددة أو عندما يكون الموجه معقدًا للغاية، ومع ذلك، بالمقارنة مع الاثنين الآخرين، فهو قادر على إنتاج مقاطع فيديو سينمائية ذات جودة أعلى.

تستغرق منصة الذكاء الاصطناعي 120 ثانية لإنشاء مقطع فيديو تدعي الشركة أنه سيحتوي على 120 إطارًا مختلفًا، يقال أيضًا أن Dream Machine تفهم كيفية تفاعل الأشخاص والحيوانات والأشياء مع العالم المادي وإنشاء مقاطع فيديو ذات فيزيائية دقيقة واتساق الشخصية.

ومع ذلك، سلط Luma AI الضوء أيضًا على العديد من القيود في الوضع الحالي مثل الحركة والنص والتحول ومشكلة يانوس الشهيرة، حيث بدلاً من عرض مخرجات ثلاثية الأبعاد متسقة، يعرض نموذج الذكاء الاصطناعي طرق عرض أساسية متعددة لكائن ما في اتجاهات مختلفة.

لم تشارك Luma AI أي تفاصيل فنية حول نموذج الذكاء الاصطناعي، لذا فإن المعلومات حول حجم المعلمة والمعايير والهندسة المعمارية وطرق التدريب غير معروفة، كما لم تشارك الشركة أي تفاصيل حول شراء بيانات التدريب، والجدير بالذكر أن Gadgets 360 تمكنت من إنشاء العديد من مقاطع الفيديو التي تحتوي على شخصيات محمية بحقوق الطبع والنشر.

لتجربة المنصة، يمكن للمتحمسين الذهاب إلى الموقع والنقر على زر "جرب الآن"، سيتعين على المستخدمين التسجيل في النظام الأساسي قبل أن يتمكنوا من إنشاء مقاطع فيديو.