27B模型在iPhone上运行！苹果的AI压缩突破

苹果正在大力提升其设备端AI能力。据科技媒体The Information报道，该公司正与加州理工学院衍生公司PrismML洽谈，探索在iPhone上直接运行更大AI模型的可能性。如果成功，你的下一部iPhone可能无需云端就能处理复杂的AI任务。

秘密武器：1位压缩

PrismML的突破在于原生1位模型压缩技术。传统量化降低了精度，但仍使用多位权重。PrismML更进一步：它仅用-1和+1表示权重，并结合组缩放因子。这将模型体积缩小至全精度版本的约十四分之一，内存使用减少超过90%。

值得注意的是，这种方法不依赖“高精度逃生通道”——一种常见技巧，即关键层保留高精度以补偿性能损失。尽管全面使用1位权重，PrismML声称其模型仍保持接近FP16模型的精度。推理速度最高可提升8倍，能耗降低75%至80%。这对移动设备来说是一个颠覆性的改变。

实际验证：iPhone 17 Pro上的27B模型

最有力的证据来自现场演示。PrismML压缩了阿里巴巴的开源Qwen 3.6模型——一个270亿参数的庞然大物——并完全在iPhone 17 Pro上运行。正常情况下，如此大的模型不可能在智能手机上流畅运行。但压缩后，它不仅运行了，还保持了接近原始的推理质量。

据报道，苹果对这一能力印象深刻，并将其视为增强本地AI模型推理性能的途径。对苹果而言，更强的设备端AI意味着更强大的Apple Intelligence生态系统。目前，iPhone的AI模型受限于内存和功耗。借助PrismML的技术，iPhone无需硬件升级即可运行更大的模型，实现复杂的多轮对话、图像理解和智能任务编排。

这对未来意味着什么

如果苹果整合PrismML的压缩技术，设备端与云端AI的平衡将发生巨大变化。旗舰级大模型在智能手机上运行将减少对云服务器的依赖，提升隐私性和响应速度。这是迈向真正便携式高级AI的大胆一步。

关键点

• 苹果正与PrismML洽谈，将大AI模型引入iPhone。
• PrismML的1位压缩将模型体积缩小至1/14，内存使用减少90%以上。
• 推理速度提升高达8倍，能耗降低75-80%。
• 一个270亿参数的Qwen模型已在iPhone 17 Pro上运行。
• 这可能在设备端实现复杂AI任务，减少云端依赖。