Zhipu AI Unveils Open Source GLM-Edge Model Series
Zhipu AI Unveils Open Source GLM-Edge Model Series
Zhipu Technology 已宣布开源发布其边缘侧大型语言和多模态模型系列，GLM-Edge。这一举措代表了公司在实现边缘设备实际应用方面的重要进展，满足对高效 AI 解决方案日益增长的需求。
Overview of GLM-Edge Models
GLM-Edge 系列由四个不同的模型组成：
- GLM-Edge-1.5B-Chat
- GLM-Edge-4B-Chat
- GLM-Edge-V-2B
- GLM-Edge-V-5B 这些模型经过优化，适用于各种平台，包括智能手机等移动设备和汽车系统，以及个人电脑等传统桌面环境。这种广泛的兼容性旨在促进高级 AI 功能在多种用例中的部署。
Technological Advancements
基于 GLM-4 系列的技术基础，Zhipu 的研究团队重新构建和调整了模型，以实现性能、实时推理能力和部署便捷性之间的最佳平衡。公司与合作伙伴进行了广泛的合作，以优化推理过程，从而在选定的边缘平台上获得了令人印象深刻的运行速度。
特别值得注意的是，在 Qualcomm Snapdragon 8 Elite 平台上的性能，这些模型利用 NPU 计算能力 以及混合量化方法。 1.5B 聊天模型 和 2B 多模态模型 的解码速度超过 60 个 token 每秒。此外，借助 推测抽样技术 的应用，解码速度可超过 100 个 token 每秒。
Impact on Edge AI Applications
GLM-Edge 系列的开源特性不仅突出展现了 Zhipu 在人工智能领域的技术专长，还为开发者和研究人员提供了强大的工具和资源。这些资源旨在推动边缘 AI 应用的发展与创新，促进更易于实验和开发的环境。
Conclusion
通过推出 GLM-Edge 系列，Zhipu Technology 旨在对边缘 AI 领域做出重大贡献。通过向公众提供这些模型，公司旨在鼓励在真实世界应用中推进 AI 技术的合作方式。
GLM-Edge Collection:
Key Points
- Zhipu AI 已推出开源 GLM-Edge 模型系列。
- 该系列包括针对各种平台优化的四个模型。
- 模型展示了令人印象深刻的解码速度，增强了实时应用。
- 开源可用性促进了边缘 AI 开发中的创新。
