面向产品概念设计的多模态融合智能交互系统

概念设计作为决定产品创新程度的关键阶段，具有典型的重创意外形、弱尺寸约束等特征，需要用户自由表达其设计意图。作为其核心支撑工具，现有的计算机辅助设计软件（Computer Aided Design，CAD）所采用的“鼠标+键盘”式传统交互模式在使用的自然性和友好性方面存在很大局限性，难以支撑产品概念设计阶段设计思维的自然表达以及创新方案的生成。因此，探索一种可自然表达用户设计意图的智能交互模式将成为增强CAD产品设计能力的重要途径之一。

考虑到通过用户的脑电、眼动、手势等多模态原始信号读取用户的产品设计意图是一种更为直接、自然的设计意图表达方式，具有替代传统操作模式的潜力。因此，本系统结合产品设计对智能人机交互技术的发展需求，以多模态信号的采集与数据融合分析为主线，利用机器学习等人工智能技术实现对用户设计意图的精准分析与判别，搭建了脑、眼、手信号融合的多模态智能交互系统，为新一代面向产品概念设计的多模态智能交互技术提供了一种全新的思路和技术手段。

系统演示视频链接：

图1.CAD指令操控精度不低于95%用时

随着智能设备的普及和人工智能技术的发展，广大用户们对于更加智能、便捷交互方式的需求不断增加。脑机接口技术、手势识别、眼动追踪等技术的不断进步，为多模态融合智能交互技术的发展提供了坚实的技术基础。多模态融合智能交互技术能够更好地理解用户意图，提供个性化、智能化的服务，从而显著提升用户的交互体验，具有广阔的发展前景和极大的市场潜力。

面向产品概念设计的多模态智能交互，可以采集用户的手势、眼动等多模态生理数据，为CAD软件的操作优化提供更加全面、深入的用户行为分析，提高设计师的工作效率，大幅降低软件优化成本。

目前本技术已经运用于多模态智能交互原型系统，可实现模型的生成、选择、缩放、旋转、平移、删除、视图导航等常用CAD设计建模指令。用户测试实验的结果表明，原型系统在实际应用中表现出色。

图2.多模态融合的几何模型自然操控系统应用场景

图3.手眼融合的自由形体建模过程