大模型的软硬件协同优化和高效部署技术

1. 痛点问题

随着人工智能技术的快速发展，特别是近年来深度学习算法和计算机软硬件系统的进步，使得大规模预训练模型成为可能。这类大模型能够执行更为复杂的任务，在文本、图像、视频的生成和理解方面展现出了前所未有的能力，并在多个领域展现出了巨大的应用潜力。然而，大模型的训练和推理需要庞大的算力资源作为支撑，这对于我国人工智能领域的持续高质量发展提出了新的挑战。

当前，国产人工智能大模型的训练和推理部署仍面临着严峻的算力瓶颈。一方面，国产高性能计算平台相较于国际先进水平仍存在一定差距，尤其是在芯片设计与制造领域，高端GPU等关键硬件设备的自主研发能力不足，导致国产算力难以满足日益增长的大模型计算需求；另一方面，由于美国商务部的高端芯片出口禁令等国际贸易环境的不确定性，进一步加剧了国内算力资源的短缺问题。在当前国内外环境下，国内大模型产业链面临的部署成本高、国产芯片替代难、算力缺口大、解决方案不成熟等问题使得人工智能产业的持续高质量发展受到了严重制约，不仅影响了前沿技术的研发进度，也限制了AI技术在各行各业中的广泛应用。

2. 解决方案

本项目提出面向大模型的软硬件协同优化和高效部署技术，利用模型、算法、系统与硬件的跨层协同优化，实现面向异构算力的大模型训练和推理流程的全栈式优化，具体包括：

1）模型层：提出面向大模型训练的参数自动化搜索方法，构建面向大语言模型的文本评测基准，实现大语言模型的高效微调训练系统，显著提高大模型的预训练和微调效率；

2）算法层：提出面向大模型的高效压缩方法，通过稀疏注意力机制、混合精度量化和动态猜测解码方法，降低大模型的计算量和显存代价，在保证算法准确率的前提下提高系统吞吐性能；

3）系统层：提出面向异构硬件的分布式任务动态发现方法，通过基于k8s容器的虚拟化系统实现多用户的大模型分布式高效推理；

4）硬件层：提出面向大模型推理的高效FPGA硬件实现方案，通过指令动态压缩、层归一化协同计算、混合精度稀疏计算架构，实现高能效、高吞吐的大模型推理计算。

预期形成针对算法到芯片、芯片集群到模型、模型到应用的三阶段“M×N”中间层，开发一系列大模型软硬件协同的云-边-端一体化解决方案。

图1. 面向大模型的软硬件协同优化技术，通过降低工作负载、提高峰值性能、提升资源利用率，可实现大模型训推约20——80倍的性能和能效提升