跳转到主要内容

字节跳动Bernini框架开源:好莱坞级视频剪辑技术触手可及

字节跳动开源Bernini:AI视频剪辑新时代

字节跳动技术团队揭开了其视频生成核心技术的面纱。新开源的Bernini框架可能终结创作者们对传统AI模型的烦恼——那些在遵循复杂指令时产生的闪烁和画面不一致问题。

Image

Bernini工作原理:先构思后呈现

该框架的精髓在于两阶段处理流程。首先,多模态AI像分镜师般分析输入素材,勾勒出创意的'语义蓝图'。然后——仅在此之后——渲染引擎才会用稳定连续的帧画面实现这一构想。

这种分工意味着创作者首次获得精准控制权。想把阳光海滩改成暴风雪场景?Bernini可无缝切换。需要中途调整摄像机角度或焦点?轻松实现。

超越文本:视觉创作乐园

Bernini突破纯文本限制,同样支持图像和视频作为参考素材。这意味着您可以插入特定海报或片段,并确保完美融合——没有奇怪的变形或生硬边缘。

对于全新视频生成,模型支持单张图像或多角度参考,从关键帧构建完整序列。团队还通过定制位置编码系统,解决了片段衔接时的'视觉混淆'难题。

核心亮点:

  • 开源框架解决AI视频不稳定问题
  • '先理解后生成'的两阶段流程
  • 精准控制特效、角度和动作
  • 兼容文本、图像及视频参考
  • 完整版即将发布

项目详情:https://bernini-ai.github.io/