腾讯将翻译模型压缩至440MB,质量几乎无损
腾讯混元团队完成了一项了不起的壮举:将庞大的翻译模型压缩到原始大小的一小部分,同时几乎不损失准确性。这个1.8B参数的模型,原本需要3.3GB内存,现在仅需440MB。这对边缘设备来说是一个巨大的胜利,并且它已经被用于实时翻译B站直播弹幕。
挑战:大模型与小设备
基础模型Hy-MT2-1.8B是腾讯混元翻译系列的一部分。它支持33种语言的双向翻译,并且在FLORES-200基准测试中,其性能已经超过了几个商业翻译API。但有一个问题:在传统的FP16精度下,它需要3.3GB内存。即使使用4位量化,它仍然需要超过1GB。这对边缘设备来说太重了,尤其是当您需要同时运行多个任务时。
两个巧妙的解决方案
为了解决这个问题,腾讯引入了两种超低位量化方案。
面向高端设备的2位量化
第一种是面向高端设备的2位模型。它使用一种称为可伸缩弹性量化(SEQ)的技术将参数量化为特定的离散值。结合量化感知蒸馏(QAD),该模型在缩小到574MB的同时实现了近乎无损的翻译质量。不错,但他们想更进一步。
面向所有人的1.25位量化
第二种方案更为激进:一种超低位1.25位解决方案,适用于所有设备系列。这基于腾讯自己的Sherry稀疏高效三元量化技术,该技术被选为ACL 2026的Oral论文。其核心思想是一种细粒度的稀疏机制:每四个参数中有三个以特定值存储,其余设为零。这平均下来每个参数1.25位。通过为CPU设计的自定义STQ内核,他们将原始3.3GB模型压缩到440MB。
在英特尔芯片上运行
为了超越移动ARM架构,英特尔团队介入,将模型适配到x86生态系统。他们优化了向量化、权重重排序和量化矩阵运算中的VNNI指令融合。因此,低比特模型现在在英特尔主流设备上运行速度显著提高,包括最新的第三代酷睿Ultra和酷睿处理器。这将超低位解决方案从手机扩展到PC和其他边缘设备。
实际影响:B站直播翻译
B站已经将这种超低位模型集成到其直播弹幕翻译中。整个资源下载量约为600MB,运行期间内存占用保持在500至700MB之间。单条弹幕翻译大约需要500至800毫秒,对于常规弹幕流来说足够流畅。它甚至能准确处理网络俚语。
在设备本地运行意味着无需云服务器调用,从而降低了成本和带宽。此外,数据永远不会离开设备,因此用户隐私得到保护。
关键要点
- 模型压缩: 使用1.25位量化从3.3GB压缩到440MB。
- 质量保持: 借助SEQ和QAD等技术,翻译质量近乎无损。
- 广泛兼容性: 适用于ARM和x86平台,包括英特尔最新的处理器。
- 实际部署: 已为B站直播弹幕翻译提供支持,具有低延迟和隐私优势。
这一突破表明,通过巧妙的量化,即使是大型语言模型也能在小设备上愉快地运行。这对任何想要在移动中快速、私密且经济实惠的翻译的人来说都是个好消息。