跳转到主要内容

RISC-V迎来专属离线AI：deepin 25在SpacemiT K3上运行大模型

RISC-V 初尝端侧 AI 滋味

想象一台桌面电脑，无需联网就能运行大型 AI 模型，而且芯片并非出自 Intel 或 AMD。这已不再是遥远的梦想。国产操作系统 deepin 25 刚刚完成了与进迭时空新一代 RISC-V 芯片 SpacemiT K3 的深度适配。结果如何？RISC-V 桌面平台首次能够开箱即用地处理离线大模型推理。

SpacemiT K3 有何过人之处

K3 并非普通芯片。它为 AI 时代而生，采用 RISC-V 异构融合计算。内部有三种核心协同工作：8 个 X100 通用核心，主频高达 2.4 GHz，负责日常任务；8 个 A100 AI 核心，搭载自定义矩阵扩展（IME），可输出约 60 TOPS 的 AI 算力；以及 2 个 RT24 实时核心，用于系统管理。此外还有 3D GPU 和视频编码引擎。典型功耗在 15 到 25 瓦之间，高效且多能。

运行 300 亿参数模型时，K3 能保持每秒超过 10 个 token——流畅度足以满足交互使用。

deepin 25 的秘诀

为充分利用这一硬件，deepin 25 的开发者并非只调整了几个驱动。他们引入了 Next 仓库，全面启用针对 riscv64 架构的 RVA23 优化。核心工具链现已原生支持 GCC 15/16、Binutils 2.46、Glibc 2.42、LLVM 21/22 以及带汇编级优化的 OpenSSL 3.5。这一更高基准的运行环境为挖掘芯片全部指令潜力奠定了基础。

但真正的魔力在于 AI 栈。内置的“小悟”助手通过 deepin-modelhub，自动为芯片架构选择最佳算子。而 llama.cpp 使用的流行 GGML 库，现已支持 SpacemiT 的指令集，加速向量和矩阵计算。运行本地模型时，系统会智能地将任务分派给 8 个 A100 核心。

这对你意味着什么

如果你是开发者或开源爱好者，适用于 K3 的最新 deepin 25 RISC-V 镜像已在 deepin-ports 镜像列表中提供。你可以通过官方渠道下载并刷写。这一突破不仅关乎离线运行模型——更是迈向繁荣的国产开源软硬件生态的重要一步。随着 Next 仓库的成熟，RISC-V 桌面有望成为 AI 竞赛中的有力竞争者。

要点

  • RISC-V 桌面首次实现离线大模型推理，由 deepin 25 与 SpacemiT K3 共同达成。
  • SpacemiT K3 配备 8 个 X100 通用核心、8 个 A100 AI 核心（60 TOPS）和 2 个 RT24 实时核心。
  • deepin 25 的 Next 仓库带来 RVA23 优化和更新的工具链（GCC 15/16、LLVM 21/22 等）。
  • 本地 AI 栈集成小悟和 GGML，可在 A100 核心上高效推理。
  • 镜像现已提供，供开发者下载测试。