|
华中科技大学
华中科技大学 教育部
  • 74 高校采购信息
  • 3405 科技成果项目
  • 0 创新创业项目
  • 0 高校项目需求

SmartOp数据库智能管家

2024-03-04 17:36:55
云上高博会 https://heec.cahe.edu.cn
点击收藏
所属领域:
新一代信息技术
项目成果/简介:

数据库是数字经济的基础设施,是IT产业基础软件三驾马车之一。当今世界,数字化建设与数据智能发展如火如荼,数据库的稳定与高效是保障高科技产业顺利发展的重要因素,数据库相关技术也成为新时代背景下大国之间竞争的制高点。目前,数据库管理系统是美国对华禁运的35项“卡脖子”技术之一,而保障数据库稳定运行的智能运维技术是数据库技术皇冠上的明珠。传统人工运维方式已经越来越难以维护功能复杂的数据库系统在庞大业务与复杂负载下的稳定性与高效性。但随着数据业务的上升,对数据库运维的需求却日渐高涨,如何解决其中的内在矛盾,已成为学术界与工业界共同关心的议题。

人工运维存在下列问题:

·成本高:数据库管理员(DBA)年薪普遍在50万以上

·效率低:资深工程师进行一次维护调参需要6小时以上

·门槛高:DBA培养周期长,非资深DBA调参效果难以满足需求

解决方案

针对上述问题,SmartOp团队提出SmartOp数据库智能管家,运用人工智能技术对数据库进行智能调参和索引推荐,大大提高数据库性能。团队的技术方案目前达到国际领先水平,是唯一可落地的商业化解决方案。本项目主要功能分为两部分:

① 数据库自动调参

依托机器学习技术高效完成数据库参数调优,降低现阶段数据库参数调优人力和时间成本。该功能使用长短期融合奖励函数,在综合考虑吞吐量和延迟的基础上,结合短期收益和长期收益对调参过程进行弹性控制,解决了智能调参不能很好适应负载动态变化和工作状态动态变化的难题;开发在线训练方式,利用后台克隆和并行化技术同时试错多种调参方向,辅以机器学习技术对数据库参数个数和维度进行压缩降低调优成本,解决了自动调参中参数数量多、相关性复杂、空间大等难题

② 数据库智能索引推荐

针对数据库中因索引不合理导致的慢请求,以智能化方式推荐合理的索引结构,提高云服务厂商的服务质量和数据库购买用户的使用体验。该功能使用端到端训练技术,以向量化方式统一管理工作负载和索引,杜绝人为干预,真正做到端到端训练;使用代价估计模型,利用深度学习神经网络进行代价估计,快速评估索引性能,提升学习索引推荐效率。

图1 数据库自动调参

图2 数据库智能索引推荐

性能指标

①数据库自动调参

运维手段

吞吐量

延迟

调优时间

SmartOp

7K TPS

72ms

2h

人工运维

6.1K TPS

85ms

6h

OtterTune卡内基梅隆大学

6.2K TPS

90ms

61h

BestConfig中科院

6K TPS

94ms

52h

·调参效果在业内首次超过具有12年经验的数据库管理员手工调参

②数据库智能索引推荐

普通DBA推荐一次索引需要1-2小时,二智能索引推荐只需要1-3分钟。同时,智能推荐的索引相比DBA推荐的索引可以使数据库相应时间降低34%,空间消耗减少25%

项目阶段:

研发阶段

效益分析:

①SmartOp 相比于市面上的其他技术和产品,真正解决了自动调参实际落地的难点问题,性能调优结果首次全面超越DBA专家,大幅提高数据库运维效率。基于多种不同负载和不同类型数据库的大量实验证明,自动调参系统性能优化结果明显优于目前已有数据库调优工具和 DBA 专家。即使在弹性云环境下,即用户购买数据库内存或磁盘大小发生变化,或负载发生变化(类型不变) 的情况下,实验证明自动调优系统依然保持了较好的适应能力。

②调优时间和调优结果可控,极大缩短调优时间并能够保证数据库性能的提升,相比于国际领先的技术 0tterTune,SmartOp 的性能要高出 20%

会员登录可查看 合作方式、专利情况及联系方式

扫码关注,查看更多科技成果

取消