金枪鱼之夜:开元-2B:全流程开源的端侧模型预训练实践
时间: 2025-12-20 19:00-21:00 地点: 三教 1102 tunight llm
清华 PACMAN 实验室近期联合鹏城实验室发布了基于全国产算力训练的端侧模型——鹏城脑海-2.1-开元-2B(PCMind-2.1-Kaiyuan-2B,简称开元-2B),它的一大特点是保证了包括训练数据在内的全流程开源。TUNA 很荣幸邀请到了 PACMAN 实验室的罗开荣同学为我们介绍开元-2B 模型及其训练过程中使用的框架,欢迎大家一起学习!
开元-2B依托鹏城实验室“脑海2”集群进行模型预训练,主要特点包括:
- 全流程开源:不同于一般仅开源模型权重的“开源”模型,开元-2B 完全基于符合开源许可的数据进行训练,并开源了处理后的训练数据、数据处理框架及训练框架;
- 全国产算力训练:数据处理基于鲲鹏 920 集群,模型训练基于昇腾 910A 集群,并通过模型结构调整适配国产硬件的数值精度;
- 高效训练:综合改进数据处理和训练策略,使用 2.2T 数据、20 亿总参数、14 亿非嵌入参数进行训练,最终模型在全开源系列模型中实现了参数-性能的帕累托最优。
具体细节可参见技术报告: https://arxiv.org/pdf/2512.07612
活动信息:
- 主讲人:罗开荣
- 时间:2025/12/20(校历第十四周周六) 19:00 UTC +08:00
- 活动形式:线下 + 线上会议 + 直播