Black Forest Lab的FLUX3可一次性生成20秒音频和视频

Black Forest Labs推出了FLUX3，一种新的多模态基础模型，现已开放早期访问。与之前仅关注图像或视频的模型不同，FLUX3同时处理图像、视频和音频。它采用统一的架构，基于名为Self-Flow的自监督流匹配框架构建，该框架同时训练视频、图像和音频。这扩展了公司的FLUX.1和FLUX.2系列，进入完整的多模态生成和理解。

原生音频和长视频

FLUX3的突出特点之一是能够一次性生成长达20秒的视频，并从一开始就同步原生音频。它支持多种创作模式：文本到视频、图像到视频、视频到视频、视频和音频续写、关键帧到视频、多语言对话以及多镜头视频拼接。在对10秒720p有声视频的人工评估中，FLUX3对Grok Imagine Video的胜率为69%，对Seedance 2.0和Gemini Omni Flash的胜率为52%，显示出明显优势。

超越视频：图像和机器人

FLUX3不仅限于视频。它还提供全面的图像能力，并且公司正在探索其在机器人行为预测中的应用。这表明该模型可应用于机器人领域，帮助机器理解和预测真实环境中的动作。

关键点

• FLUX3可一次性生成长达20秒的带原生音频的视频。
• 在直接对比测试中优于Grok Imagine Video和Seedance 2.0。
• 该模型支持多种创作模式，并扩展到图像任务和机器人领域。