面向无人移动端视觉分析的场景自适应系统

随着传感器等硬件、5G等通信技术以及人工智能等技术的发展，无人移动端的概念得以落地，并在各行各业得到广泛应用，如无人机和无人车等。无人机包含了图像分类、目标检测、语义分割等计算机视觉分析应用；无人车功能包含了目标检测、异常检测、可驾驶区域分割等计算机视觉分析应用。卷积神经网络(简称为模型)是这些计算机视觉分析应用背后的代表性技术，其通过大量的卷积层、归一化层、池化层和激活层等对输入数据进行特征提取和降维 (这一过程称为推理)，最后将人类可读的图像数据转化为抽象的数据表示，如图像中物体的所属类别及位置坐标、视频中物体运动的轨迹等。在确定卷积神经网络的结构后，利用先前收集到的相关场景数据对网络进行训练，然后将网络部署到无人移动端上，即可实现卷积神经网络在无人移动端上的运行。

然而，部署后无人移动端所在的线上环境存在着各种挑战，使得卷积神经网络的准确性和可用性受到限制。无人移动端所在地理位置和环境的不固定，可能处于一个动态持续演变的场景中，无人移动端所在场景“持续变化”，该现象使得无人移动端采集到的图像数据所在分布持续变化，且与训练数据有较大的差异；卷积神经网络在面对从未见过的数据分布时，其准确率会大幅度下降。因此，无人移动端所在场景持续迁移会大大影响无人移动端的可用性，甚至威胁到人类的安全，解决该问题的关键在于，当场景持续迁移时，其中的卷积神经网络也需要利用不断采集到的数据来训练自己，使之能不断适应迁移的场景，这一过程称之为场景自适应。另一个挑战是无人移动端通常可用资源少、算力低下和能量有限，传统的场景自适应技术通常需要大量的时间和极高的算力，难以满足无人移动端对于快速场景自适应的要求，上述挑战使得对于面向无人移动端视觉分析的场景自适应系统迫在眉睫。

本成果通过无人移动端中的场景知识提取模块对原始模型结构进行调整，使之具有产生场景知识的能力，然后该模块将模型中每个卷积层所产生的场景知识聚合起来，最终产生轻量、具有代表性的场景知识；无人移动端中的场景知识累积模块首先对知识累积模型进行调优，使其提取场景知识的能力持续得到增强，然后将新场景中提取到的场景知识存储起来，在持续的场景变化过程中能够避免遗忘过去场景中的知识，且能够加速后续适应新场景的过程，持续提升无人移动端中的模型精度，保证无人移动端的功能可用性。同时，系统通过无人移动端中的场景知识提取模块提取的场景知识轻量、体积小，在持续的场景变化中场景知识可持续被提取累积，成本低；轻量的场景知识降低了模型调优的成本和时间，并帮助判断模型中卷积层对于场景变化的敏感性，调优时可仅调优最敏感的部分卷积层，进一步降低场景自适应的资源占用，保证了无人移动端中进行场景自适应的可行性。

图1. 面向无人移动端场景自适应的大小模型协同训练系统

图2. 面向Transformer基座大模型的无人的场景自适应系统实现