跳转到主要内容

Lightricks推出开源AI,数秒内生成带声音的视频

Lightricks凭借LTX-2 AI视频生成器开辟新天地

Lightricks将其尖端LTX-2系统开源,这一举措或将 democratize 视频创作。该AI能在短短数秒内生成带有同步音频的高质量视频。这一突破性技术通过同时而非顺序处理画面与声音,对传统方法提出了挑战。

工作原理:视听同步处理

关键在于LTX-2精密的双流架构。大多数系统会先生成画面再添加声音,而该模型通过并行处理两个数据流来模拟现实世界的感知方式。总计190亿参数(视频14亿,音频50亿)的非对称设计反映了人类自然优先处理听觉信息的特点。

Image

开发团队解释道:“传统方法造成了人为割裂。我们的大脑不会先视觉后听觉地处理车祸——我们是瞬间同时体验两者的。”

惊人速度与实际应用

性能测试显示出惊人效率:

  • 每秒1.22步的速度生成720p内容
  • 运行速度比同类系统快18倍
  • 可处理20秒序列——超越谷歌基准测试 该系统在表现因果关系场景时尤为出色,比如将玻璃破碎声与画面碎裂时刻精确匹配。

Image

开源的重要意义

创始人Ziv Faberman强调可及性:“创作者应该掌控自己的工具,而非依赖企业守门人。”公开发布LTX-2的决定与竞争对手的封闭生态系统形成鲜明对比。

该模型确实存在一些局限:

  • 对罕见方言或多说话人对话偶现故障
  • 超过20秒后保持同步存在挑战 但与它的变革潜力相比,这些障碍似乎微不足道。

完整框架现已在线提供,并为消费级GPU优化——这意味着任何拥有中等硬件设备的人都能尝试专业级视听内容生成。

关键要点:

  • 同步处理音频与视觉数据流模拟人类感知
  • 开源模式优先考虑创作者控制权而非围墙花园
  • 非凡速度:比竞争对手更快生成高清片段
  • 实际应用:适合需要快速高质量视频制作的内容创作者

喜欢这篇文章?

订阅我们的 Newsletter,获取最新 AI 资讯、产品评测和项目推荐,每周精选直达邮箱。

每周精选完全免费随时退订

相关文章

News

智谱与华为联手推出基于国产芯片的开源图像模型

智谱AI与华为联合发布GLM-Image,这一突破性多模态模型完全运行在中国昇腾芯片上。这标志着国产AI发展的重大进展,将尖端图像生成技术与完全自主的硬件体系相结合。混合架构融合了语言建模与扩散技术,有望为中国开发者提供更智能的内容创作工具。

January 14, 2026
AI自主化中国科技多模态模型
News

AI赋能故事新生命:阅道与生数科技携手打造下一代影视技术

中国娱乐产业迎来技术升级,阅道集团与生数科技达成合作,彻底改变IP可视化方式。双方将生数的Vidu视频生成模型整合至阅道创作平台,实现文本到动态画面的革命性转换。除技术突破外,两家企业还通过专项教育计划解决行业人才缺口,构建从创作到生产的完整生态体系。

January 13, 2026
AIGC数字叙事AI视频生成
News

斯坦福研究揭示:中国在开源AI发展中领先

斯坦福大学一项突破性分析显示,中国已在开源权重AI开发领域超越美国,其中阿里巴巴的通义千问模型系列领跑全球下载量。尽管中国科技巨头和初创企业推动创新,但随着这些模型获得国际采用,安全问题依然存在。

January 12, 2026
人工智能中国科技开源AI
中国电信凭借自研TeleChat3模型实现AI飞跃
News

中国电信凭借自研TeleChat3模型实现AI飞跃

中国电信最新发布完全自主开发的AI模型TeleChat3,实现从芯片到框架的全链路国产化。该模型基于中国自主计算基础设施训练,数据规模达150万亿token,并创新性引入透明推理的'思维模式'。此次开源标志着中国在AI自主可控道路上迈出重要一步。

January 5, 2026
AI创新中国科技开源AI
字节跳动StoryMem为AI视频注入记忆增强能力
News

字节跳动StoryMem为AI视频注入记忆增强能力

字节跳动与南洋理工大学研究人员开发的StoryMem系统创新性地解决了AI视频生成的持续性难题。通过模拟人类记忆机制,该系统保持了跨场景的角色一致性——即便是Sora和Kling等模型也面临的挑战。该方案巧妙地将关键帧存储为参考,同时保持计算成本可控。早期测试显示在视觉连贯性和用户偏好评分方面均有显著提升。

January 4, 2026
AI视频生成字节跳动计算机视觉
字节跳动StoryMem为AI生成视频带来一致性
News

字节跳动StoryMem为AI生成视频带来一致性

字节跳动与南洋理工大学研究人员联合开发了StoryMem系统,这一突破性技术解决了AI视频生成中的角色一致性问题。通过智能存储和引用关键帧,该技术实现了跨场景的视觉连续性——比现有模型提升28.7%的一致性表现。尽管在叙事应用上前景广阔,该系统仍面临复杂多角色场景的处理挑战。

January 4, 2026
AI视频生成字节跳动计算机视觉