SmartOp数据库智能管家

数据库是数字经济的基础设施，是IT产业基础软件三驾马车之一。当今世界，数字化建设与数据智能发展如火如荼，数据库的稳定与高效是保障高科技产业顺利发展的重要因素，数据库相关技术也成为新时代背景下大国之间竞争的制高点。目前，数据库管理系统是美国对华禁运的35项“卡脖子”技术之一，而保障数据库稳定运行的智能运维技术是数据库技术皇冠上的明珠。传统人工运维方式已经越来越难以维护功能复杂的数据库系统在庞大业务与复杂负载下的稳定性与高效性。但随着数据业务的上升，对数据库运维的需求却日渐高涨，如何解决其中的内在矛盾，已成为学术界与工业界共同关心的议题。

人工运维存在下列问题：

·成本高：数据库管理员（DBA）年薪普遍在50万以上

·效率低：资深工程师进行一次维护调参需要6小时以上

·门槛高：DBA培养周期长，非资深DBA调参效果难以满足需求

针对上述问题，SmartOp团队提出SmartOp数据库智能管家，运用人工智能技术对数据库进行智能调参和索引推荐，大大提高数据库性能。团队的技术方案目前达到国际领先水平，是唯一可落地的商业化解决方案。本项目主要功能分为两部分：

① 数据库自动调参

依托机器学习技术高效完成数据库参数调优，降低现阶段数据库参数调优人力和时间成本。该功能使用长短期融合奖励函数，在综合考虑吞吐量和延迟的基础上，结合短期收益和长期收益对调参过程进行弹性控制，解决了智能调参不能很好适应负载动态变化和工作状态动态变化的难题；开发在线训练方式，利用后台克隆和并行化技术同时试错多种调参方向，辅以机器学习技术对数据库参数个数和维度进行压缩降低调优成本，解决了自动调参中参数数量多、相关性复杂、空间大等难题。

② 数据库智能索引推荐

针对数据库中因索引不合理导致的慢请求，以智能化方式推荐合理的索引结构，提高云服务厂商的服务质量和数据库购买用户的使用体验。该功能使用端到端训练技术，以向量化方式统一管理工作负载和索引，杜绝人为干预，真正做到端到端训练；使用代价估计模型，利用深度学习神经网络进行代价估计，快速评估索引性能，提升学习索引推荐效率。

图1 数据库自动调参

图2 数据库智能索引推荐

①数据库自动调参

·调参效果在业内首次超过具有12年经验的数据库管理员手工调参

②数据库智能索引推荐

普通DBA推荐一次索引需要1-2小时，二智能索引推荐只需要1-3分钟。同时，智能推荐的索引相比DBA推荐的索引可以使数据库相应时间降低34%，空间消耗减少25%。