跳转到主要内容

港大与美团携手CodePlot-CoT突破AI数学能力

港大与美团重大突破:AI通过代码可视化解决数学难题

尽管大型语言模型在文本任务中表现出色,但历来难以应对数学几何问题。香港大学(HKU)与美团的最新合作研究提出了CodePlot-CoT——一种通过代码驱动视觉推理填补这一空白的创新方案。

核心挑战

当面对需要几何可视化或函数绘图的问题时,GPT-4.1和Gemini-2.5-Pro等传统AI模型表现欠佳。虽然这些模型擅长文本推理链,但对于必须遵循严格几何约束的角度、比例和位置等数学图形需求,它们缺乏必要的精确度。

Image

CodePlot-CoT解决方案

研究团队实现了范式转变:

  1. 代码生成:不再尝试直接创建图像,而是编写可执行的绘图代码(如Python的Matplotlib)
  2. 精确渲染:代码在Python环境中执行以生成准确图表
  3. 整合推理:模型将这些代码生成的视觉元素重新纳入问题解决链

该方法利用了AI现有的编程优势,同时避免了不可靠的像素级图像生成。

关键技术组件

该项目引入两项关键创新:

  1. Math-VR数据集:包含178,000道双语数学题(81%聚焦几何),需在推理同时进行主动绘图
  2. MatplotCode转换器:将数学图形转化为精确绘图代码的专业工具,在保真度测试中超越商业模型

Image

性能突破

结果显示出显著改进:

  • 在Math-VR基准测试中比基础模型性能提升21%
  • 若无此方法,即便是Gemini-2.5-Pro等先进闭源模型仍有三分之一测试题失败 研究表明仅扩大模型规模无法解决视觉数学推理——精确的代码驱动方法不可或缺。

对AI发展的启示

CodePlot-CoT的成功意味着:

  • 未来多模态系统应优先考虑程序化精确度而非拟人化可视化
  • 应用可延伸至工程设计和科学计算等精度至关重要的领域 团队已开源全部数据集、代码和预训练模型以加速后续研究。

核心要点:

  • 传统AI难以处理数学问题中的几何精度要求
  • CodePlot-CoT用可执行绘图代码替代不可靠的图像生成
  • 新型Math-VR数据集要求解题时同步进行主动绘图
  • 相较传统方法带来21%的性能提升
  • 开源发布促进AI社区广泛采用

喜欢这篇文章?

订阅我们的 Newsletter,获取最新 AI 资讯、产品评测和项目推荐,每周精选直达邮箱。

每周精选完全免费随时退订

相关文章

News

北京大学与OceanBase在长视频搜索技术领域取得突破性进展

北京大学与OceanBase的研究人员联合开发了LoVR——一个针对长视频检索的突破性基准测试系统,解决了行业关键挑战。这项被WWW 2026会议收录的创新技术通过先进的语义分析,实现了对整个视频或特定片段的精准搜索。该系统包含超过40,000个精细标注的视频片段,有效解决了长内容中语义漂移等实际问题。

March 2, 2026
视频检索人工智能研究多模态技术
News

腾讯AI布局再添强援:顶尖科学家田雨鹏加入混元团队

腾讯在人工智能人才争夺战中再下一城,聘请田雨鹏担任混元多模态团队首席研究科学家。这位清华大学博士、前Sea AI Lab研究员将专注于提升腾讯旗舰AI模型的强化学习能力。此举彰显了腾讯持续领跑多模态AI前沿研发的决心。

February 3, 2026
腾讯人工智能研究强化学习
News

AI领军人物彭天宇执掌腾讯混元多模态研究

AI研究新星彭天宇,这位与清华大学渊源深厚的学者,已加入腾讯混元部门担任首席研究科学家。这位机器学习专家将引领多模态强化学习的创新,融合视觉与语言AI能力。拥有包括顶级会议奖项和论文发表在内的卓越履历,彭的加入彰显了腾讯在生成式AI技术前沿突破的决心。

January 30, 2026
AI研究腾讯混元多模态学习
清华AI精英加盟腾讯,助力多模态学习加速发展
News

清华AI精英加盟腾讯,助力多模态学习加速发展

腾讯的人工智能雄心因清华大学机器学习新星彭天佑的加入而获得重大提升。这位31岁的天才将他在强化学习和多模态系统方面的专长带到通义团队,此前他刚结束在新加坡Sea AI Lab的工作。这是继近期挖角OpenAI研究员后,腾讯的又一战略人才引进。

January 30, 2026
腾讯人工智能研究机器学习
上海研究人员推出专攻光学突破的AI系统
News

上海研究人员推出专攻光学突破的AI系统

上海交通大学研发了专为光学研究定制的AI模型Optics GPT。与通用AI系统不同,该工具如同虚拟光学专家,能理解复杂原理并协助科学家进行设计与诊断。这款轻量级的80亿参数模型在光学物理、量子光学及工程应用中表现优于大型通用AI,同时确保数据隐私。

January 26, 2026
人工智能研究光学技术科学创新
机器人获得触觉感知:突破性数据集架起视觉与触感的桥梁
News

机器人获得触觉感知:突破性数据集架起视觉与触感的桥梁

科学家发布了全球最全面的机器人视觉与触觉结合数据集Baihu-VTouch。该集合涵盖60,000多分钟不同类型机器人的交互记录,以惊人精度捕捉细微接触细节。这一突破或将彻底改变机器人执行精细任务的方式——想象一下机器能真正'感知'自己在做什么。

January 26, 2026
机器人技术人工智能研究触觉传感器