跳转到主要内容

字节跳动考虑训练5万亿参数模型,或成中国最大

字节跳动正在悄然为可能成为中国最大AI模型的项目奠定基础。据蓝点LatePost报道,这家科技巨头正在讨论训练一个超过5万亿参数的大语言模型。如果推进,该模型将远超目前的纪录保持者——阿里巴巴的通义千问Qwen3.8-Max(2400亿参数)和月之暗面的Kimi K3(2800亿参数)——成为国内已知最大的模型。

但先别急着开香槟。该项目仍处于初期阶段,无法保证能最终实现。知情人士称,该计划由字节跳动Seed Foundation负责人项亮牵头,负责大语言模型预训练数据的沈科也扮演关键角色。Seed团队已经在进行组织调整——重新定义研发职责并重新分配资源——以支持这一雄心勃勃的事业。

项亮和沈科都是字节跳动核心“搜索、广告和推荐”技术系统的资深人士。项亮拥有中国科学技术大学学士学位和中国科学院自动化研究所博士学位,于2016年加入字节跳动。他曾领导机器学习平台AML团队,后担任抖音大模型Foundation团队负责人。沈科是清华大学毕业生,2018年加入,目前专注于大语言模型的预训练数据。

此举正值全球AI玩家竞相扩大模型规模,在训练数据、计算能力和基础设施上激烈竞争。对于字节跳动而言,涉足超大规模模型标志着其押注基础能力而非仅应用层创新的战略决策。这明确表明,中国AI霸主之争正在升温——下一个前沿可能是谁能构建最大的“大脑”。

关键要点

  • 字节跳动正在讨论一个超过5万亿参数的模型,这将成为中国最大的模型。
  • 该项目由项亮和沈科领导,两人均来自字节跳动的搜索和推荐背景。
  • 该模型仍处于早期阶段,尚未确认发布。
  • 这反映了中国科技巨头投资基础模型能力的更广泛趋势。