Liquid AI的新模型本地运行，无需云端

在一个AI常常感觉与云端紧密相连的时代，Liquid AI正在开辟一条不同的道路。8月5日，这家初创公司发布了LFM2.5-2.6B，一个专为设备端代理工作流设计的紧凑而强大的模型。拥有26亿参数，它可以在智能手机和其他终端设备上本地运行，完全绕过对云API的需求。对于开发者来说，这意味着更低的成本、更低的延迟以及对用户隐私更强的掌控。

是什么让这个模型如此出色？Liquid AI在惊人的34万亿个令牌上训练了LFM2.5-2.6B，将其词汇量扩展到128K。但真正的魔力在于其训练后的方案，它融合了四个阶段：监督微调、教师专业化、多领域策略蒸馏和代理强化学习。这种组合赋予了模型敏锐的规划能力、可靠的工具调用以及处理复杂多步骤任务的技巧。在基准测试中，它能够与近四倍于其规模的模型相抗衡——这证明了其效率。

硬件兼容性是其另一大亮点。在苹果的M5Max芯片上，它每秒可生成220个令牌，而移动设备仍能实现每秒30个令牌的不错表现。这不仅快，而且对于响应速度至关重要的实际应用来说非常实用。

Liquid AI也拥抱了开放性。LFM2.5-2.6B及其基础版本现在都可以在Hugging Face上获取，并原生支持llama.cpp、MLX和vLLM等流行的推理框架。这一举措降低了开发者尝试边缘AI的门槛。

那么，这对更广泛的AI格局意味着什么？它标志着向更自主、更注重隐私的应用转变。想象一下，一个永远不会将你的查询发送到服务器的语音助手，或者一个在手机上分析数据而无需上传的健康应用。这些场景正在逐渐成为现实。

当然，挑战依然存在。边缘模型有时会为了速度和效率而牺牲一些准确性，LFM2.5-2.6B也不例外。但对于许多用例来说，这种权衡是值得的。随着Liquid AI不断完善其方法，我们可能会看到一个AI不仅智能，而且谨慎且响应迅速的未来——就在你的掌中。

关键要点

• 本地执行：LFM2.5-2.6B完全在设备上运行，消除了对云API的依赖。
• 性能：在指令遵循和工具使用方面优于四倍于其规模的模型。
• 速度：在M5Max上达到220令牌/秒，在移动设备上达到30令牌/秒。
• 开源：完全在Hugging Face上提供，支持llama.cpp、MLX和vLLM。
• 隐私与成本：为边缘应用提供低延迟和增强的隐私保护。