跳转到主要内容

Lightricks推出开源AI,数秒内生成带声音的视频

Lightricks凭借LTX-2 AI视频生成器开辟新天地

Lightricks将其尖端LTX-2系统开源,这一举措或将 democratize 视频创作。该AI能在短短数秒内生成带有同步音频的高质量视频。这一突破性技术通过同时而非顺序处理画面与声音,对传统方法提出了挑战。

工作原理:视听同步处理

关键在于LTX-2精密的双流架构。大多数系统会先生成画面再添加声音,而该模型通过并行处理两个数据流来模拟现实世界的感知方式。总计190亿参数(视频14亿,音频50亿)的非对称设计反映了人类自然优先处理听觉信息的特点。

Image

开发团队解释道:“传统方法造成了人为割裂。我们的大脑不会先视觉后听觉地处理车祸——我们是瞬间同时体验两者的。”

惊人速度与实际应用

性能测试显示出惊人效率:

  • 每秒1.22步的速度生成720p内容
  • 运行速度比同类系统快18倍
  • 可处理20秒序列——超越谷歌基准测试 该系统在表现因果关系场景时尤为出色,比如将玻璃破碎声与画面碎裂时刻精确匹配。

Image

开源的重要意义

创始人Ziv Faberman强调可及性:“创作者应该掌控自己的工具,而非依赖企业守门人。”公开发布LTX-2的决定与竞争对手的封闭生态系统形成鲜明对比。

该模型确实存在一些局限:

  • 对罕见方言或多说话人对话偶现故障
  • 超过20秒后保持同步存在挑战 但与它的变革潜力相比,这些障碍似乎微不足道。

完整框架现已在线提供,并为消费级GPU优化——这意味着任何拥有中等硬件设备的人都能尝试专业级视听内容生成。

关键要点:

  • 同步处理音频与视觉数据流模拟人类感知
  • 开源模式优先考虑创作者控制权而非围墙花园
  • 非凡速度:比竞争对手更快生成高清片段
  • 实际应用:适合需要快速高质量视频制作的内容创作者

喜欢这篇文章?

订阅我们的 Newsletter,获取最新 AI 资讯、产品评测和项目推荐,每周精选直达邮箱。

每周精选完全免费随时退订

相关文章

昆仑万维开源视频AI将创意推向新高度
News

昆仑万维开源视频AI将创意推向新高度

中国科技公司昆仑万维近日发布了开源视频生成模型SkyReels-V3,在AI界引起轰动。这款多功能工具集图像转视频、电影风格延伸和逼真虚拟形象于一体。早期测试显示其在视觉质量和一致性上优于商业竞品。最惊喜的是?目前完全免费使用。

January 29, 2026
AI视频生成开源AI多模态模型
字节跳动发布Seedance 2.0:AI视频创作的颠覆性突破
News

字节跳动发布Seedance 2.0:AI视频创作的颠覆性突破

字节跳动Seed团队推出的Seedance 2.0通过统一的多模态架构彻底革新了AI视频生成技术。本次升级能在短短五秒内实现音画无缝融合,为创作者提供前所未有的控制能力。从复杂运动场景到沉浸式音效设计,这项技术势将变革工业级视频制作。

February 12, 2026
AI视频生成字节跳动创意科技
News

火山引擎在情人节前夕重磅推出豆包2.0

字节跳动旗下火山引擎在这个情人节为其创意工具带来重大升级。焦点落在具备专业级视频生成能力的豆包2.0上。随着Seedance 2.0的工业级视频交付能力与Seedream 5.0预览版带来的实时信息检索和更深层意图理解——这些革新势将彻底改变数字内容创作。

February 12, 2026
火山引擎AI视频生成数字内容创作
蚂蚁集团最新AI模型在多模态技术领域取得突破性进展
News

蚂蚁集团最新AI模型在多模态技术领域取得突破性进展

蚂蚁集团开源发布了前沿多模态AI模型Ming-Flash-Omni 2.0。这款强大模型在视觉理解和音频生成方面超越了Gemini 2.5 Pro等竞争对手,并引入了统一音轨创建等突破性功能。开发者现在可以利用这些先进能力打造更集成的AI应用。

February 11, 2026
AI创新多模态技术开源AI
Kling AI 3.0震撼发布:触手可及的电影级魔法
News

Kling AI 3.0震撼发布:触手可及的电影级魔法

Kling AI最新3.0版本通过智能分镜和长达15秒的片段扩展彻底改变视频创作。本次更新引入电影级光照技术,呈现惊艳的4K画质,并简化多图像风格融合功能。目前黑金会员可优先体验,这些工具将助力大众轻松实现专业级叙事效果。

February 5, 2026
AI视频生成创意工具数字叙事
Yuchu新型AI模型赋予机器人常识
News

Yuchu新型AI模型赋予机器人常识

中国科技公司Yuchu开源了突破性AI模型UnifoLM-VLA-0,该模型能帮助人形机器人像人类一样理解物理交互。不同于仅处理文本和图像的普通AI,该模型能掌握空间关系和现实世界动态——使机器人能够执行从抓取物体到抵抗干扰等复杂任务。基于现有技术构建但仅用340小时机器人数据训练,它已在空间推理测试中超越竞争对手。

January 30, 2026
AI机器人开源AI人形机器人