基于多模态学习的复杂产品装配精度预测技术研究及应用

人工智能

技术成熟度：理论突破

提出了基于多模态学习的复杂产品装配预测方法，借助工程图和公差信息，利用工程图纸规范的特点，建立简单的patch embeding的方法，将工程图纸转化为一种特化的语言，降低图像编码器用于提取图像特征的神经网络层数。对数据中公差信息进行规范性编码，降低了文字编码器的要求，进而解决了一般多模态学习中部署难度大，训练数据量大和需要人工筛选有毒信息的问题，这将为工程领域与人工智能结合方向提出一种新的思路。成果应用于军工企业，北方导航控制技术股份有限公司的智能零部件选配系统上。