借力AI,OtterTune希望让数据库调优更简单|早期项目

CMU七年科研成果落地,希望打破现有DBA人力运维现状。

文:Ray

编辑:真梓

随着现代数据库功能的日益强大,数据库的参数配置让数据库管理员(DBA)越来越头疼。如果把数据库比作船只,数据库的各种参数则是船只仪表盘上大大小小的按键和旋钮,而DBA则是出海远行的水手,负责调整各种按钮,同时监控数据库的整体表现。清一色财经日前接触到的"OtterTune",就是一家旨在利用人工智能,帮助DBA自动化调优数据库的公司。

谈到OtterTune成立的背景,OtterTune的联合创始人张伯翰表示,业界最常见的MySQL数据库有超过500个可配置参数,PostgreSQL也有超过300个参数,这些参数对数据库的性能至关重要。以PostgreSQL为例,它的参数包括资源配置(如共享缓存以及临时缓存的内存大小),统计信息(如数据的分布情况),数据备份等方面。其中,合理的资源配置对数据库的性能非常关键,如果给数据库某一部分分配的内存过少,有可能导致数据库命令执行失败或者执行极度缓慢,而内存分配过多又会带来巨大的硬件成本。当业务发生变化,如遇到双十一等流量峰值时,内存的分配策略又需要及时调整。

同时,不同数据库用户面对的场景也不相同,就如大船和小船会有不同的参数配置,数据库的最佳参数也因场景而异,如电子商城会需要对订单数据进行准确及时的更新,而物联网企业则较少更新历史数据,反而对数据吞吐量的要求极高,因此两者的数据库配置会有差异。此外,这数百个参数彼此关联,经常需要对多个参数同时调整,才能达到总体最优。这也使得数据库潜在的调整方案数量极大,需要合理选择。

在以往,DBA会以自身经验为主,对这些参数进行手动配置,然而现代数据库的复杂程度已经超出人力范围,每个新版本的数据库又会带来新的参数。因此,使用人工智能,借用统计学的力量,对数据库进行自动化配置成为一种方案。这在一方面可以减少DBA的工作量,为企业节省人力成本,另一方面又能改善数据库的综合性能,为企业节省硬件成本。

对于市场前景,据统计,仅在美国就有12万在职DBA,平均年薪7.9万美元。也就是说,每年DBA的工资成本就有近百亿美元,如果自动化调优工具能节省1%的人力成本,那对OtterTune这类公司来说,每年也是上亿美元的市场规模。另一方面,云数据库依然处于高速发展的阶段,这又是每年几百亿美元的新兴市场,1%的性能提升也会节省数亿美元的硬件成本。张伯翰相信,OtterTune有足够的理由对未来的市场保持乐观。

谈及目标客户,张伯翰介绍,大、中、小公司都能成为OtterTune的潜在客户。他解释,小公司通常没有全职DBA,遇到数据库性能瓶颈时也缺少相应的知识储备与解决途径,因而更需要自动化工具。对大公司而言,互联网公司根据项目的不同,内部可能会部署几十、上百套的数据库,每一套数据库都存在调优的问题,因而也需要统一的解决方案。谈起市面上的云数据库,张伯翰认为,虽然有些云数据库为了易用性,减少了可供用户配置的参数数量,但这只是把调优问题隐藏在云数据库内部,而非真正解决,云厂商也需要相应的调优技术。在当前,数据库调优公司与云数据库厂商更多是合作关系,大家一起努力向用户提供更具性价比的数据库服务。

目前,OtterTune支持MySQL和PostgreSQL两种数据库的调优。如果用户的数据库是在Amazon Aurora或Amazon RDS云平台上,调优过程就会简单快捷,用户可以在OtterTune的网站上关联AWS数据库的账号,之后,OtterTune会结合自身人工智能库中的历史数据,在监控数据库表现的同时,对相关参数进行调整。大约通过六七次的调整迭代,数据库的表现就会达到最优。张伯翰分享到,一般调优后数据库性能会有20%左右的提高,而当用户业务发生显著变化之后,可能会需要再次对数据库调优。基于此,OtterTune会根据调优数据库的数量进行收费。将来,OtterTune也将提供对更多类型数据库的支持。

以数据库参数调优作为切入点,OtterTune也在扩展业务范围。张伯翰提到,OtterTune的愿景是提供一整套数据库智能调优解决方案,其中还会包括索引调优和查询调优等方面。索引调优会根据数据库的实际使用情况,建议用户建立更高效的索引,而查询调优则会针对具体的查询语句进行优化,比如将慢查询进行智能改写,使其执行效率更高。

在底层技术支持上,基于统计学和人工智能,OtterTune有时能发现人类肉眼无法发觉的调优机会。张伯翰举例表示,某客户曾有一个跑得特别慢的查询命令,其在三个月的时间里翻阅资料、发贴提问,都没有解决,直到试用OtterTune,发现将PostgreSQL的autovacuum的频率进行调整之后,相关查询语句的耗时就从一小时降低到了一分钟以内。张伯翰表示,案例中的这位客户可能没有那么资深的数据库背景,而OtterTune恰好能帮助此类用户大幅降低数据库调优门槛。

当前,使用人工智能技术的公司通常会面临数据隐私方面的顾虑。关于这个问题,张伯翰说,OtterTune使用的是机器数据,如数据库每秒读取的字节数、CPU和内存的使用率等,并不涉及用户的具体数据。对大部分客户来讲,可以接受将这些机器数据用于人工智能模型训练。

说起OtterTune的优势,张伯翰介绍,OtterTune起源于美国卡内基梅隆大学(CMU)的同名科研项目,至今已经有七年时间。OtterTune的联合创始人之一,Andy Pavlo教授深耕数据库领域多年,产品的技术壁垒较高。同时,OtterTune公司在业界也广受关注,其早期投资人包括Snowflake、Databricks、Cockroach Labs、PingCAP等多家知名数据库公司的创始人。并且,OtterTune在今年5月刚完成共计1200万美元的A轮融资,由Intel Capital、Race Capital领投,Accel跟投。目前,OtterTune的同业主要有Akamas, Unravel Data等,但这些公司更专注于如云主机等云资源的优化,对数据库的专注度相对较低。

关于OtterTune下一步的打算,张伯翰告诉清一色财经,公司拿到融资后主要想扩张团队规模。目前OtterTune有13位工程师,员工总数不到20人,之后想扩招到30名工程师,总共40人左右的规模。同时,OtterTune希望候选人同时有数据库与人工智能相关的背景。而对于数据库调优这个细分领域的未来趋势,张伯翰认为,在未来几年,这个市场也许会出现一两家独角兽。同时,市场也有可能会进一步细分,如出现针对数据分析OLAP型数据库调优的相关公司。总而言之,他认为目前数据库调优市场的规模足够大,厂商有足够的空间有所作为。

—————————

注:清一色财经正在关注数据库等基础软件领域,欢迎相关领域从业者添加作者真梓(WeChat:315159284)和Ray(WeChat:raylazy)交流。

©本文为清一色官方代发,观点仅代表作者本人,与清一色无关。清一色对文中陈述、观点判断保持中立,不对所包含内容的准确性、可靠性或完整性提供任何明示或暗示的保证。本文不作为投资理财建议,请读者仅作参考,并请自行承担全部责任。文中部分文字/图片/视频/音频等来源于网络,如侵犯到著作权人的权利,请与我们联系(微信/QQ:1074760229)。转载请注明出处:清一色财经

(0)
打赏 微信扫码打赏 微信扫码打赏 支付宝扫码打赏 支付宝扫码打赏
清一色的头像清一色管理团队
上一篇 2022年5月30日 08:02
下一篇 2022年5月30日 08:02

相关推荐

发表评论

登录后才能评论

联系我们

在线咨询:1643011589-QQbutton

手机:13798586780

QQ/微信:1074760229

QQ群:551893940

工作时间:工作日9:00-18:00,节假日休息

关注微信