跳转到主要内容

字节跳动Vidi2 AI以类人理解力革新视频编辑

字节跳动颠覆性AI将视频编辑推向新高度

想象将原始假期素材导入手机,几分钟后就能获得专业剪辑的精彩集锦——包含完美剪辑和字幕。随着字节跳动推出迄今最先进的视频理解AI Vidi2,这个未来已近在咫尺。

像人类一样理解视频

Vidi2的与众不同不仅在于其庞大的1200亿参数,更在于它理解视频内容的方式。"传统AI可能只能识别场景中的狗",字节跳动研究员李伟解释道,"而Vidi2能理解这条狗在3分42秒时正在画面左角追球——并能跨镜头追踪这一动作"。

突破来自其细粒度时空定位(STG)能力:

  • 精确定位特定动作发生的精确时刻
  • 在整个场景中为相关物体绘制数字框
  • 在长达数小时的视频中保持上下文而不丢失细节

Image

说明一切的基准测试

独立测试显示Vidi2碾压竞争对手:

  • 48.75整体IoU分数(比商业对手高17.5分)
  • 32.57 vIoU复杂场景空间准确度
  • 处理长内容速度比前代模型快60%同时保持精度

秘诀?升级的Gemma-3主干网络搭配自适应令牌压缩技术,即使在压缩信息时也能保留关键细节。

从实验室到智能手机

该技术已在改变TikTok:

  • 智能分割自动将冗长片段转为适合病毒传播的短视频
  • AI大纲根据基本提示生成吸引人的标题和故事结构
  • 所有功能都能在日常设备上流畅运行——无需超级计算机

"我们本质上把好莱坞剪辑室装进了创作者口袋",TikTok产品负责人Maria Chen表示。早期测试者报告制作时间从数小时缩短至几分钟。

更广阔的图景

凭借超10亿日活用户产生的海量视频数据,字节跳动创造了AI飞轮:更多使用改进模型,进而吸引更多用户。这种良性循环给难以匹配如此庞大训练资源的独立AI公司带来严峻挑战。

研究论文现已发布,公开演示预计很快推出。有一点可以肯定——我们创作和消费视频内容的方式将彻底改变。

关键点:

  • Vidi2利用先进STG技术上下文理解视频
  • 在长内容分析方面显著优于竞争对手
  • 已为TikTok智能分割等实际工具提供支持
  • 为主流创作者普及专业级视频编辑

喜欢这篇文章?

订阅我们的 Newsletter,获取最新 AI 资讯、产品评测和项目推荐,每周精选直达邮箱。

每周精选完全免费随时退订

相关文章

智谱与华为联合发布完全基于国产技术的突破性AI图像模型
News

智谱与华为联合发布完全基于国产技术的突破性AI图像模型

中国AI企业智谱与华为合作推出GLM-Image,这是一款完全基于国产硬件训练的革命性多模态模型。这一创新系统结合了文本与图像生成能力,尤其在汉字渲染和复杂视觉任务方面表现优异。现已作为开源软件发布,有望使先进的AI图像创作更加普及。

January 14, 2026
AI创新国产技术计算机视觉
MIT自动化'运动工厂'赋予AI物理直觉
News

MIT自动化'运动工厂'赋予AI物理直觉

来自MIT、NVIDIA和加州大学伯克利分校的研究人员攻克了视频分析领域的一大难题——教会AI理解物理运动。他们的自动化'FoundationMotion'系统无需人工干预即可生成高质量训练数据,帮助AI系统以惊人准确度掌握轨迹与时机等概念。初期测试显示其性能超越更庞大模型,标志着机器真正理解物体运动规律的进展。

January 12, 2026
计算机视觉AI训练运动分析
中国研究人员教会AI在图像生成中自我纠错
News

中国研究人员教会AI在图像生成中自我纠错

中国高校取得突破性进展,解决了AI的'视觉读写障碍'——图像系统能理解概念却难以正确呈现的问题。他们的UniCorn框架如同内部质检团队,能在创作过程中捕捉并修正错误。早期测试显示其在空间准确性和细节处理方面有显著提升。

January 12, 2026
AI创新计算机视觉机器学习
News

科技行业资深人士创立liko.ai,推出更智能的隐私保护家用摄像头

美团前硬件负责人李瑞安(Ryan Li)的新创企业liko.ai已获得商汤科技和科大讯飞关联公司的投资。这家初创公司旨在通过基于边缘的人工智能技术革新家用安防摄像头——该技术在本地而非云端处理视频,既解决了日益增长的隐私担忧,又增添了更智能的检测功能。他们的首批产品预计将于2026年年中面市。

January 7, 2026
智能家居计算机视觉边缘计算
News

字节跳动DouBao AI眼镜即将限量发售

字节跳动正准备推出备受期待的DouBao AI眼镜,但有个特别之处——首批10万台将仅限现有DouBao App用户购买。这款搭载高通Snapdragon AR1芯片的轻量化眼镜主打音频功能,并未配备显示屏。虽然公司对更广泛的销售计划守口如瓶,但业内人士透露第二代机型已在开发中。

January 6, 2026
可穿戴技术人工智能字节跳动
News

智能家居初创公司liko.ai获得边缘AI视觉技术融资

人工智能初创企业liko.ai已获得首轮融资,投资方包括商汤国香资本和东方财富海等知名机构。这家由智能硬件资深人士Ryan Li领导的公司,旨在通过基于边缘的视觉语言模型(在本地而非云端处理数据)来改变家庭自动化。其AI家庭中心承诺提供更智能、更私密的智能家居体验。

January 6, 2026
边缘计算智能家居计算机视觉