AIGCode的L3编程模型将算力利用率提升至65%
AI编程领域正在发生变革。当许多供应商仍在L2级代码补全上竞争时,一个名为AIGCode的两年技术团队正试图通过全栈解决方案实现跨越。他们的核心产品AutoCoder.cc旨在超越L2的“辅助驾驶”阶段,进入L3的“自动驾驶”阶段。
AIGCode的关键见解是,大模型的短板往往不在于微调,而在于基础模型本身。他们的目标是创建一个能够基于自然语言需求完成整个开发周期(前端、后端和数据库)的系统,甚至处理运维和部署。
为了实现这一目标,AIGCode构建了一个正反馈循环:通过实际使用L3级产品产生高质量样本,然后利用这些样本训练更强的基座模型。这一概念被称为“3No范式”——不依赖NVIDIA单一路径、超越L2辅助、拒绝盲目扩大规模——这使得算力利用率成为关键的竞争壁垒。
在算力方面,AIGCode走了一条不同寻常的道路。在资源紧张的情况下,该团队通过极致的软件优化和深入的工程实践,在国产芯片集群上实现了MoE架构65%的算力利用率(MFU)。这一成就不仅展示了他们在高性能优化方面的专长,也证明了在先进软件的支持下,国产硬件生态系统可以缩小与主流硬件的差距。
除了算力的“苦活”,基础研究是另一个重点。经过18个月开发的树状位置编码(TPE)在处理长文本和外推能力方面表现出优于行业标准RoPE方法的性能。TPA(无损线性注意力机制)和PLE(专家解耦架构)等创新进一步丰富了他们的技术矩阵。这些研究成果已获得顶级学术会议的认可,并在商业应用中展示了实际效率,使开发者能够在几分钟内构建复杂应用。
关键点
- AIGCode的L3级编程模型旨在自动化整个开发周期。
- 该公司在国产芯片上实现了65%的算力利用率。
- 创新包括树状位置编码(TPE)和“3No范式”。