跳转到主要内容

NVIDIA Lyra 2.0:将单张图片转化为广阔3D世界

NVIDIA在3D世界生成领域的飞跃

想象将单张照片输入系统后获得整个可探索的3D宇宙——这正是NVIDIA全新Lyra 2.0框架实现的功能,标志着AI空间计算技术的重大进步。该技术通过Hugging Face平台发布,解决了数字世界构建中长期存在的两大难题:生成内容中的空间记忆缺失和时间扭曲问题。

Image

解决虚拟世界中的记忆问题

传统AI模型往往会"遗忘"已生成区域的细节——研究者称之为"空间遗忘"现象。同时存在"时间漂移"问题,即物体位置或外观会随时间逐渐变化。这些缺陷使得创建连贯的大规模环境极具挑战性。

Lyra 2.0通过两项创新方法应对这些问题:

  • 空间记忆机制:系统不存储每个细节,而是保留足够的3D几何信息来建立帧间关联,同时依赖生成式AI处理实际视觉输出。这有效防止了传统方法中随时间累积的质量退化问题。
  • 自我纠正训练:模型在训练过程中学习识别并修正自身错误,避免误差进一步传播。

从静态图像到虚拟游乐场

操作流程异常简洁:

  1. 从任意图像开始(可选添加文字提示)
  2. 通过交互式浏览器规划相机路径
  3. 观看Lyra沿路径生成的视频序列
  4. 系统将其转换为3D模型(点云、高斯泼溅或网格)
  5. 直接导出至Unity或Unreal Engine等平台

早期测试显示,Lyra在场景规模和一致性上超越现有方法,能创建横跨数十米且区域复访时仍保持稳定的环境。潜在应用令人惊叹——从虚拟仿真训练机器人到快速原型化游戏世界。

开放获取推动创新

NVIDIA已将Lyra 2.0以Apache 2.0许可协议免费发布在Hugging Face(nvidia/Lyra-2.0)和GitHub(nv-tlabs/lyra)平台。该系统融合了Wan-14B等强大扩散模型与Depth Anything V3等重建工具,确保专业级输出质量。

主要应用场景包括:

  • 为具身AI和机器人创建逼真训练环境
  • 加速游戏开发和沉浸式内容创作
  • 优化从概念到成品的3D资产生产流程

虚拟空间的未来图景

此次发布不仅是技术突破,更展示了开放生态如何推动全行业进步。随着Lyra等工具的普及,我们或将见证从自动驾驶测试到元宇宙开发等各领域的应用爆发。

对于亟欲尝试的开发者,项目页面、研究论文和模型权重均已公开。由AI生成、易于获取的3D世界时代或许才刚刚拉开帷幕。

核心要点:

  • Lyra 2.0可从单张图像生成持久稳定的3D环境
  • 解决AI生成中的"空间遗忘"与"时间漂移"难题
  • 创建适合导航的大规模环境(数十米范围)
  • 开源框架已在Hugging Face和GitHub发布
  • 在游戏、机器人和虚拟世界开发中具有广阔应用前景

喜欢这篇文章?

订阅我们的 Newsletter,获取最新 AI 资讯、产品评测和项目推荐,每周精选直达邮箱。

每周精选完全免费随时退订

相关文章

News

NVIDIA Lyra 2.0:从单张快照创建广阔3D世界

NVIDIA研究团队发布了Lyra 2.0,这是一款先进的3D场景生成系统,仅需一张照片即可构建庞大的虚拟环境。该技术能创建连贯的90米数字景观,同时解决传统失真问题。基准测试显示Lyra 2.0在图像质量和相机控制方面优于竞争对手,其快速版本效率提升13倍。该系统与Nvidia Isaac Sim等物理引擎无缝集成,为机器人训练和AI开发开辟了新可能。

April 17, 2026
NVIDIA3D生成AI创新
阿里巴巴的Happy Oyster进军交互式AI体验领域
News

阿里巴巴的Happy Oyster进军交互式AI体验领域

阿里巴巴ATH团队近日发布了Happy Oyster,这是一个能赋予实时交互环境生命力的开放世界AI模型。继其排名第一的视频编辑工具HappyHorse之后,此举展现了该公司从静态内容向动态数字世界的突破。目前早期用户可通过happyoyster.cn申请体验,标志着阿里巴巴正抢占交互式AI技术的制高点。

April 16, 2026
阿里巴巴AI交互技术数字创新
蚂蚁集团羚搏科技开源突破性3D建图工具
News

蚂蚁集团羚搏科技开源突破性3D建图工具

蚂蚁集团旗下羚搏科技宣布开源其革命性产品LingBot-Map,该系统仅需普通摄像头即可实现实时3D场景重建。与需要专业设备或后期处理的前沿技术不同,这项创新能在视频拍摄过程中即时运算,达到惊人的20帧/秒处理速度。该技术有望通过降低高质量空间建图门槛,彻底改变从机器人到增强现实等多个领域。

April 16, 2026
三维重建计算机视觉蚂蚁集团
腾讯视频技术突破:生成速度提升11.8倍
News

腾讯视频技术突破:生成速度提升11.8倍

腾讯混元团队通过全新DisCa技术攻克了视频生成速度慢的难题,在不损失画质的情况下实现了惊人的11.8倍速度提升。这项被顶级计算机视觉会议CVPR 2026收录的开源方案,引入了智能特征预测技术,彻底改变了AI生成视频的方式。该团队还改进了MIT的方法,使其更适用于复杂视频任务,成果已应用于其最新视频生成模型。

April 16, 2026
AI视频生成腾讯研究计算机视觉
京东发布用于下一代机器人技术的尖端AI训练摄像头
News

京东发布用于下一代机器人技术的尖端AI训练摄像头

京东推出了创新性数据采集设备JoyEgoCam,旨在通过真实世界观察来训练AI系统。这款工业级摄像头能以每秒60帧的速度拍摄超高清画面,使机器能够学习细微动作和环境变化。此次发布是京东雄心勃勃计划的一部分,目标是在两年内收集1000万小时的视频数据,有望彻底改变仓储自动化和物流机器人技术。

April 16, 2026
AI训练机器人技术计算机视觉
谷歌AI重大突破:让机器像人类一样观察世界
News

谷歌AI重大突破:让机器像人类一样观察世界

Google DeepMind通过其新推出的TIPSv2系统攻克了AI视觉领域的一大难题。当前模型虽能大致描述图像内容,但在精确定位细节(如熊猫左后腿位置)时仍显不足。这项突破源于一个意外发现:在分割任务中,小型模型有时反而胜过大型模型。通过优化训练方法并减少计算开销,TIPSv2在减少42%参数量的同时,分割准确率提升了14%。这一进展可能为从医学影像到自动驾驶等多个领域带来革命性变化。

April 16, 2026
计算机视觉机器学习AI研究