又一国产大模型来了，超对称联合复旦大学发布120亿参数语言模型BBT-2， 已开源

InfoQ获悉，近日，超对称联合复旦大学发布并开源120亿参数语言模型BBT-2。

2022年5月超对称技术公司发布了大语言模型Big Bang Transformer【乾元】的第一版BBT-1，10亿参数预训练语言模型，在中文金融语料上训练而成。近期，超对称公司再推出BBT-2，120亿参数的通用大语言模型，并在BBT-2的基础上训出代码，金融，文生图等专业模型。

据悉，Big Bang Transformer【乾元】12B大模型的开发基于英伟达的DGX算力，超对称公司主导大模型的预训练，并联合复旦大学知识工场实验室完成指令微调和评测工作。

超对称技术公司将发布基于BBT-2的系列模型（模型Index见于https://bbt.ssymmetry.com"）

BBT-2-12B-Text：120亿参数的中文基础模型BBT-2.5-13B-Text: 130亿参数的中文+英文双语基础模型BBT-2-12B-TC-001-SFT  经过指令微调的代码模型，可以进行对话BBT-2-12B-TF-001 在120亿模型上训练的金融模型，用于解决金融领域任务BBT-2-12B-Fig：文生图模型BBT-2-12B-Science 科学论文模型

另外，通过与UCloud在开源方面的合作，超对称还将3个大模型开源到官网、Github和UCloud，后续用户可直接在UCloud官方平台通过GPU云主机的行业镜像或算力平台直接开箱使用这些模型：

BBT-1-0.2B：2亿参数金融模型，包括三个不同预训练方式进行训练的模型, 训了600亿Tokens：

（1）BBT-1-0.2B-001：2亿参数，金融模型，T5 Decoder+Encoder架构

（2）BBT-1-0.2B-002: 2亿参数，金融模型，T5+GPT

（3）BBT-1-0.2B-003: 2亿参数，金融模型，T5+UL2

BBT-1-1B：10亿参数金融模型，T5 Encoder+Decoder架构，使用金融中文语料库1000亿tokens进行预训练，包含社交媒体，财经新闻，券商研报，公司公告财报等数据

BBT-2-12B-Text：120亿参数基础模型，GPT Decoder-Only 架构，未经指令微调，完成2000亿token预训练，模型性能还有较大提升空间，开发者可在通用模型上继续训练或进行下游任务微调

BBT-2.5-13B-Text: 130亿参数基础模型，GPT Decoder-Only 架构，未经指令微调，完成2000亿中文+英文tokens预训

开源下载链接：

模型：

官网：https://bbt.ssymmetry.com/model.html"Github：https://github.com/ssymmetry"

语料库，开源了接近1000亿tokens的预训练语料，包括通用语料和金融语料，详见：

https://bbt.ssymmetry.com/data.html"

评测数据集，开源了8个中文金融大模型的评测数据集，详见：

https://bbt.ssymmetry.com/evaluation.html"

论文链接：

https://arxiv.org/abs/2302.09432"

via InfoQ 话题 - AI (author: 刘燕)