“仁文伏羲”中文大模型

随着计算能力的提升和大规模文本数据的积累，研究者发现模型规模和预训练数据量对于模型性能具有至关重要的作用。大语言模型通常包含数十亿甚至上千亿的参数，其训练数据涵盖了来自不同领域的大量语料，如书籍、新闻、社交媒体等。这使得大语言模型不仅具备较强的语言理解能力，还能够在许多任务中展现出强大的生成能力。以ChatGPT为代表的大语言模型不仅可以进行对话，还能够写作、编程、回答专业问题，在不同任务中展现了强大的灵活性和高效性，为自然语言处理领域带来了革命性的突破。

大语言模型的主要模型架构为Transformer ，通过自回归语言模型的方式进行训练。训练过程通常包括两部分：预训练和对齐训练。预训练是大语言模型的基础，旨在让模型从无标注的大规模语料库中学习语言内在规律与世界知识。对齐训练使大语言模型生成的输出更符合人类的期望，避免出现道德伦理问题，主要包括监督微调和基于人类反馈的强化学习两个阶段。

然而大语言模型的广泛应用也引发了一系列安全问题，主要体现在内容生成的准确性、伦理问题、隐私泄露以及模型滥用等方面。因此，还需要进行特定的安全对齐训练，防止模型在处理敏感话题时生成有害内容，并增强其在伦理方面的可靠性。

仁文伏羲是由研发团队实验室自主研制的，与中国人文伦理价值对齐的中文大模型。目前1.0版本模型拥有67亿参数，进行了海量中文数据的“自监督学习” (预训练)及大规模指令数据的“模仿学习”(微调)，展现了强大的问答、生成、对话、意图捕获、价值对齐等能力。

模型采用自主研制路线，在数据、基座模型、对齐训练、大模型评测等方面进行了探索和深入研究，取得了多个创新突破：

(1)建设了TB级大规模中文数据库，研制算法对互联网中文数据进行了深度治理，取其精华，去其糟粕；

(2)从零开始预训练中文ChatGPT类大模型基座，自研了高效的分布式训练算法和通信机制，提出了结构化的混合专家系统模型；

(3)研制了面向中国人文伦理价值的对齐训练数据集及相关算法；

(4)构建了多个中文大模型能力评测及价值对齐评测基准数据集。