跳转到主要内容

字节跳动Vidi2 AI以类人理解力革新视频编辑

字节跳动颠覆性AI将视频编辑推向新高度

想象将原始假期素材导入手机,几分钟后就能获得专业剪辑的精彩集锦——包含完美剪辑和字幕。随着字节跳动推出迄今最先进的视频理解AI Vidi2,这个未来已近在咫尺。

像人类一样理解视频

Vidi2的与众不同不仅在于其庞大的1200亿参数,更在于它理解视频内容的方式。"传统AI可能只能识别场景中的狗",字节跳动研究员李伟解释道,"而Vidi2能理解这条狗在3分42秒时正在画面左角追球——并能跨镜头追踪这一动作"。

突破来自其细粒度时空定位(STG)能力:

  • 精确定位特定动作发生的精确时刻
  • 在整个场景中为相关物体绘制数字框
  • 在长达数小时的视频中保持上下文而不丢失细节

Image

说明一切的基准测试

独立测试显示Vidi2碾压竞争对手:

  • 48.75整体IoU分数(比商业对手高17.5分)
  • 32.57 vIoU复杂场景空间准确度
  • 处理长内容速度比前代模型快60%同时保持精度

秘诀?升级的Gemma-3主干网络搭配自适应令牌压缩技术,即使在压缩信息时也能保留关键细节。

从实验室到智能手机

该技术已在改变TikTok:

  • 智能分割自动将冗长片段转为适合病毒传播的短视频
  • AI大纲根据基本提示生成吸引人的标题和故事结构
  • 所有功能都能在日常设备上流畅运行——无需超级计算机

"我们本质上把好莱坞剪辑室装进了创作者口袋",TikTok产品负责人Maria Chen表示。早期测试者报告制作时间从数小时缩短至几分钟。

更广阔的图景

凭借超10亿日活用户产生的海量视频数据,字节跳动创造了AI飞轮:更多使用改进模型,进而吸引更多用户。这种良性循环给难以匹配如此庞大训练资源的独立AI公司带来严峻挑战。

研究论文现已发布,公开演示预计很快推出。有一点可以肯定——我们创作和消费视频内容的方式将彻底改变。

关键点:

  • Vidi2利用先进STG技术上下文理解视频
  • 在长内容分析方面显著优于竞争对手
  • 已为TikTok智能分割等实际工具提供支持
  • 为主流创作者普及专业级视频编辑

喜欢这篇文章?

订阅我们的 Newsletter,获取最新 AI 资讯、产品评测和项目推荐,每周精选直达邮箱。

每周精选完全免费随时退订

相关文章

News

豆包AI手机在MWC引发隐私争议

字节跳动新款豆包AI手机凭借突破性的系统级自动化技术在巴塞罗那MWC抢尽风头。但当科技领袖们对其深度安卓权限提出质疑时,我们不禁要问:更智能的技术是否意味着更安全的用户?该设备能像人类助手般跨应用操作的能力既带来了激动人心的可能性,也引发了严重的隐私担忧。

March 9, 2026
AI手机移动隐私字节跳动
小红书发布升级版AI图片编辑器,速度大幅提升
News

小红书发布升级版AI图片编辑器,速度大幅提升

中国生活方式平台小红书近日推出FireRed-Image-Edit v1.1版本,全面增强AI图片编辑能力。此次更新带来更智能的面部识别、更流畅的多元素融合处理,性能显著提升——处理时间缩短近半。令人意外的是,该公司将公开全部代码和技术规格,为全球开发者提供这套专业级工具。

March 9, 2026
AI图片编辑小红书计算机视觉
微软发布Phi-4:一款能像人类一样观察与思考的敏捷AI
News

微软发布Phi-4:一款能像人类一样观察与思考的敏捷AI

微软推出了突破性的开源AI模型Phi-4-Reasoning-Vision-15B,该模型将视觉感知与深度推理能力相结合。与传统模型不同,Phi-4能在理解上下文的同时主动分析图像,使开发者能够从数据分析到UI自动化创建更智能的应用程序。其独特的双模式操作可根据需要在快速响应和深思熟虑的分析之间切换。

March 5, 2026
微软AI计算机视觉多模态模型
Ant Digital推出颈挂式改造方案,智能手机变身为AI数据采集器
News

Ant Digital推出颈挂式改造方案,智能手机变身为AI数据采集器

Ant Digital的天矶实验室将日常智能手机改造成强大的AI训练数据采集工具。其创新的颈挂支架系统以传统成本的一小部分捕捉第一人称视频,解决了具身智能领域的重大挑战。早期测试显示显著提升——当补充这一新数据源时,机器人任务成功率从45%跃升至95%。

March 3, 2026
具身智能AI训练计算机视觉
News

Anthropic通过收购Vercept为Claude赋予视觉能力

人工智能初创公司Anthropic收购了计算机视觉公司Vercept,为其Claude AI配备了先进的视觉理解能力。这笔交易带来了超越竞争对手的前沿UI识别技术,标志着在创造能够像人类一样真正驾驭数字环境的AI助手方面迈出了重要一步。通过此次收购,Anthropic巩固了其在开发实用AI代理竞赛中的领先地位。

February 27, 2026
人工智能计算机视觉科技并购
字节跳动在与迪士尼版权纠纷后调整AI视频工具
News

字节跳动在与迪士尼版权纠纷后调整AI视频工具

字节跳动在迪士尼等公司提出版权投诉后,更新了其Seedance 2.0视频生成服务。该AI模型因生成包含奥特曼等流行角色的未授权内容而遭到抵制。日本AI大臣警告可能的法律后果,凸显了创意AI工具与知识产权之间日益紧张的矛盾。

February 26, 2026
AI版权字节跳动生成视频