基于知识图谱的智能制造系统与多模态具身智能

1. 痛点问题

当前智能制造系统中的数字化和自动化程度较高，但是如何应用前沿的生成式人工智能技术去提高系统的智能化程度和逐步提升制造系统的经济效益是个痛点问题。制造自动化学科的本质是以物理因果关系作为基础，输入变量判别决策时间短并且对输出执行结果的准确性要求高；人工智能学科是以统计相关关系和数据作为基础的学科。智能制造产业作为制造自动化与人工智能两类学科的融合应用，在工程架构设计，项目实现和运营上如何来解决学科哲学（方法论）上的冲突，是行业的痛点。

2. 解决方案

针对智能技术的多模态特点（语音，文字，图像和多媒体），结合人机共融和知识图谱，设计面向机器人和机床制造等设备的系统框架，对于多模态的输入信息模拟人脑的分层认知和处理机制进行感知决策控制的经典行为控制。该解决方案构建的信息物理系统能够提升智能制造系统的智能水平并节省传统自动化的制造成本（例如人力，设备，通信和能源成本）从而有明显的经济效益。

图1 采用多模态具身智能的智能制造系统的原理简图

针对当前已经普遍应用的自动化制造设备与系统，利用知识图谱去规划智能系统的感知决策控制层级，并且对系统中的相关信息采集和数据学习自适应的进行规划和调整，以达到优化决策和运行的目的。该知识图谱的建立是基于产业界多年的知识经验进行知识点的抽取得到的，具有较强的普适性，并且可以进行迭代和更新，将会帮助大语言模型进行垂类小模型的Prompt Tuning微调（或者LoRA微调），从而让智能技术真实地进入制造的物理世界，即物理具身，最终实现智能制造系统的具身智能。

图2 智能制造产业的典型知识图谱

当前智能制造系统的车间环境与具身智能的典型设计框架如下图所示，做下是工业机器人在装配车间固定的工作场景，右下是经过改造后接收多模态信息输入的协作机器人的工作场景。

图3 典型的智能制造车间和机器人接收多模态具身智能升级改造

图4 基于知识图谱的具身智能制造系统中的协作机器人与工业机器人

应用领域：本项技术主要适用于各类制造业企业的数字化转型升级，特别是大型企业开展的智能制造升级转型的创新项目，也适用于培养人才和工程师的高等院校和职业院校做智能制造前沿技术的工程实践教学。

预期市场规模：根据中国报告大厅网的数据，2024年我国智能制造的市场规模在3.4万亿元人民币，这其中预计至少会有5%的市场业务收入（1700亿）将会专门投入智能前沿技术的应用与研发（包括大语言模型，人形机器人，数字孪生和工业互联网），预计年均增长速度在15%。

综上所述，本项技术具有广阔的应用前景，市场需求较大且发展迅速。

该技术方案的应用采取由点到面，从重点行业向制造行业逐步推广的方法。首先面向已经采用较多机器人设备和智能系统的大型制造企业，针对特定车间的复杂制造工艺，进行技术方案的部署和推广；同时也可以面向企业，高校和高职院校的技术研发人员开展相关实践教学培训工作，对知识图谱的修订调整，相关模型的学习和数据的生成，和智能系统中的具身应用同步进行；计划在2025年有上百家企业和单位参与此项智能制造技术的应用，对于其中的标杆工程将会支持实施单位参加世界灯塔工厂和国家示范智能工厂的评选。

成本优势：该方案是基于已有产业设备和系统的平滑升级方案，升级改造比较简单，不需要大规模增加硬件成本（包括人形机器人和GPU计算资源与无线通信资源），后期维护和使用简单。

成熟度优势：本方案的有效性已经不仅通过仿真验证和实验测试，并且技术已在多个实际工程中得到应用，具有较高的可实施性和实用性。

知识产权优势：已经取得相关的专利和软件著作权，其知识产权成果对于大型制造类和自动化类企业应用类似的系统架构有较强的约束力。