从MogDB 6.0功能演进看云和恩墨的数据库创新之道 原创

近日,openGauss Summit 2023在京成功召开,在主题为“耕获菑畬,创变未来”的云和恩墨数据库技术创新与应用实践分论坛上,云和恩墨分享了他们对于数据库产业的思考和实践。

“技术创新背后是宏大的历史背景。中国蓬勃发展的数字经济带来自主创新的历史机遇,数据库是数字经济发展的底座和基石,云和恩墨抓住产业机遇,实现中国创造。”——云和恩墨创始人兼总经理、鲲鹏MVP盖国强

国际和国内环境的变化让我国信息产业自主创新更具时代意义,而基础软件的国产化是重点,数据库则又是重中之重。

数据库领域又以openGauss开源社区为典型代表,其打造了一个高性能、高安全、高可靠、高智能的开源数据库产品以及蓬勃发展的生态体系。

近日,openGauss Summit 2023在京成功召开,在主题为“耕获菑畬,创变未来”的云和恩墨数据库技术创新与应用实践分论坛上,云和恩墨分享了他们对于数据库产业的思考和实践。

持续技术创新,打造让用户真正用起来的产品

作为openGauss社区的首批理事单位之一,云和恩墨以其在商业数据库领域的深厚积累而著称,通过提炼自身的技术储备和抽象数据库领域的前沿洞察,云和恩墨致力于“将商业数据库的能力带入社区”,而这一努力的结晶就是MogDB数据库。

MogDB是云和恩墨基于openGauss开源内核进行增强提升,推出的一款“安稳易用”的企业级关系型数据库。

伴随openGauss三年多的开源历程、1000多个日夜,MogDB达成了超过1001项优秀品质,这其中包括超过1000项的特性增强和1套一体机解决方案。

  • 1000多个特性增强包括兼容性改进、内核特性增强、可靠性增强等;
  • 1套一体机方案,通过存算分离、多节点并发写入,结合云和恩墨的优势产品zData X和zCloud,能够为用户提供了一体化的极致性能、极致易用性的应用体验。

配合行业客户的数字化转型升级步伐,为了让MogDB在用户中真正用起来,云和恩墨还围绕实际应用场景配备整套工具链,方便用户进行新系统部署或者国产化替代。

从MogDB 6.0功能演进看云和恩墨的数据库创新之道

云和恩墨·本原数据技术合伙人、数据库产品事业部总经理张皖川在演讲中介绍说,在替代场景中,MogDB提供了完整的迁移工具链,包括兼容性评估、离在线迁移以及最后的数据一致性校验,形成覆盖数据库迁移全生命周期的稳健支持。而在迁移后,MogDB提供包括高可用组件、安装部署工具和监控图形化工具等套件帮助用户实现安全、便捷的数据库管理。

为简化用户因不同应用场景而产生的大量改造工作,云和恩墨针对不同的应用场景特点和数据类型,推出了多样化的产品形态和部署模式。比如针对客户私有云容器化场景,云和恩墨推出了容器化部署的产品形态;针对物联网场景,云和恩墨在openGauss内核基础上进行了多模的拓展,开发了时序引擎和超融合时序数据库Uqbar,打造一站式物联网数据处理平台。

张皖川表示,经过三年多的研发,MogDB不仅继承了openGauss“四高”(高性能、高可用、高安全、高智能)特性,同时面向客户痛点并结合自身对成熟商业数据库的理解与技术洞察,围绕极致高可用、高性能密度、兼容能力增强、易用性提升等核心产品价值点,推出了大批创新特性并积极回馈社区。

今年年中,MogDB 6.0将正式推出。张皖川介绍道,新版本将提供全新迁移工具,在效率方面大幅提升——全量数据迁移峰值可达到每小时600GB,并做到不停机;增量迁移实现每秒三万条;通过采用更高效的校验算法,校验效率可以达到一小时500GB,使整个迁移过程更短、更加平滑,同时也支持断点续传的能力。

MogDB 6.0还将进一步完善异构数据库迁移割接长周期双轨并行,支持Oracle、MySQL等多种异构数据库到MogDB之间的双向结构与数据同步。在业务割接期间以及割接后,提供双轨并行能力,让异构迁移更安全,用户更放心。

Oracle兼容性在MogDB 6.0中将获得大幅增强,形成从上层客户端工具、驱动协议到底层内核的一套完整的端到端能力,具体表现在:

  • 客户端工具层面,支持SQLPlus、SQLLoader、Pro*C;
  • 驱动协议层面,大幅增强Python,ODBC、JDBC以及SQL API的兼容性;
  • 语法接口层面,实现包括PLSQL在内的大量的语法适配和功能兼容;
  • 内核层面,实现DDL和DML的行为兼容,DDL会自动提交,DML行为也会表现得跟Oracle完全一致。

“从可见的语法接口到不可见的行为机制,MogDB致力于全面保障业务的平滑迁移和正确运行。”张皖川做了强调。

在查询优化方面,MogDB 6.0中新增的扫描预读能力消除了IO延迟,扫描效率等同于全缓存扫描,达成最高2倍提升;哈希算子的优化则利用CPU缓存预取达成3倍加速,哈希连接端到端提升2倍,效率可比肩国外大型商业数据库。

在架构升级方面,MogDB 6.0将推出资源池化/存算分离的A-A(多活)架构。此架构将在极致高可用(RTO<10s),高性能密度(100T 级别OLTP核心系统)及系统弹性扩展方面极大提升产品竞争力,结合前面提到的兼容能力升级和查询优化增强,使MogDB具备了在大型核心系统场景平替国外商业数据库的能力。

从MogDB 6.0功能演进看云和恩墨的数据库创新之道

目前,MogDB正加速在各行业中落地和普及。例如四川天府银行在现有容器平台上部署MogDB Container (MogDB容器版)集群来承载当前业务,同时配合MogDB集群统一运维管控平台MogDB Stack,形成覆盖数据库全生命周期的管理和监控能力;在此基础上与上层应用对接,构建出一套自主创新的“全栈容器化数据库管理新模式”,即:容器平台+MogDB container+MogDB Stack+APP container,实现全栈资源的统一调度、分配与管理。

不管是功能更新还是行业实践,MogDB在兼容性与性能优化方面的持续迭代,彰显了中国数据库技术持续突破的蓬勃生命力。

张皖川总结道,驱动创新的关键是找到并利用变量因素,比如硬件更新、算法换代、资源模型变更、用户应用需求拓展等。“硬件革新推动了向量化查询及无锁并发等算法换代以提升资源利用率,资源云化催生了云原生弹性架构,大模型及用户应用的多元化推动了多模数据库的发展和关系型数据库的能力拓展。”MogDB在数据库创新的路上让人充满期待。

认真看未来,云和恩墨走了一条与众不同的道路

图灵奖获得者James Gray曾说过,“如果你有眼光,就一定要追求有远见的研究。尽可能花时间去做自己引以自豪的事情,尽量不做无意义的事情。”

如果着眼于未来,我们能够洞察多久远的未来?云和恩墨创始人兼总经理、鲲鹏MVP盖国强说,当我们认真看未来的时候,我们真的可以看得很远。

从MogDB 6.0功能演进看云和恩墨的数据库创新之道

云和恩墨投身到openGauss生态里面,融合学术和产业积累,深入数据库领域,做让自己自豪的事情。

例如云和恩墨的智能算法团队正在进行智能化相关探索,基于大模型进行DB-GPT训练,实现基于知识库体系的智能问答,并通过开放API和外部应用对接,满足数据库运维、DBA诊断等工作需要。而基于MogDB知识库训练的DB-GPT实践,能够解答关于数据库特性的具体问题,而不需要翻阅文档。

盖国强表示,AI和大模型,智能化和数据库,我们需要在精确性和模糊性之间寻找平衡。大模型智能代理(LLM Agent)能够持续助力提高问答精准性。例如,提供精确证据(Precise Evidence)是一种有效的方法;其次,引入外部知识库进行信息补充或确认也是一种可行的方式。

传统情形下,数据是以存储为中心的,而非面向用途。存储模型决定了数据如何被使用。而当模型更换时,模型之间的巨大差异可能导致之前的工作需要推倒重来。那么有没有更好的方法,能让开发者声明数据使用的意图而非数据存储的格式,然后让数据库根据应用场景生成匹配的数据格式和API?

数据意图语言(DIL,Data Intent Language)应运而生,用来描述数据的用途和格式,可以转变数据应用模式。SQL域是一种属于模式的字典对象,它封装了一组可选属性和约束,用于常见值。SQL域提供约束、显示、排序和注释属性。在定义一个SQL域之后,你可以定义与该域关联的表列,从而显式地将该域的可选属性和约束应用于这些列。因此,SQL域用于向存储的列(JSON或关系型)提供附加信息,并因此用于定义和验证数据。

受此启发,云和恩墨在数据库的可观测性、自动化运维、智能运维等方面进行了增强,将自身对于行业的洞察、理解和来自于用户的需求变成产品力。例如MogDB内置了时间模型,支持活动会话输出的负载模型;基于zCloud实现的MogDB运行监控可视化,支持实时预警,将可观测性提升到和国外大型商业数据相当的能力水平;在自治智能方面,基于故障树的智能诊断和基于机器学习的智能基线,实现从简化运维到DBAless。

在公司发展模式上,盖国强谈到,云和恩墨走了一条与众不同的道路。从数据库管理服务切入,扩展到数据库管理软件,进而打造核心产品MogDB,然后围绕MogDB构建完整的生态矩阵。

从MogDB 6.0功能演进看云和恩墨的数据库创新之道

目前,云和恩墨与硬件/整机、云基础架构、芯片、操作系统、中间件、备份存储、应用软件厂商展开广泛的生态合作,公司多款产品陆续完成与众合作伙伴产品的兼容适配,为客户构建全方位的解决方案。在分论坛现场,云和恩墨与百信完成战略合作签约,并推出全栈国产数据库一体机解决方案。

“未来的世界是智能世界,智能世界的驱动力是数据。我们将自己定位成智能的数据技术提供商,助力用户实现数据驱动的智能未来。在这个愿景下,云和恩墨正在加倍努力,一步一步将智能的数据技术带到我们的产品中来,助力用户数字化建设和智能化演进。”盖国强最后说。

来源:至顶网软件与服务频道

0赞

好文章,需要你的鼓励

2024

01/09

10:14

分享

点赞

邮件订阅