湖仓一体：揭秘数据湖架构现代化之道

作者：Hebert W. Pereyra，IBM 杰出工程师，Hybrid Data Management首席架构师

译者：刘俊 ，IBM watsonx.data开发架构师

        （2023年7月17日，北京）数据湖诞生至今已有十多年的历史，为全球一些最大的企业提供了数据分析的支持。然而，也有人认为，绝大多数数据湖部署已经演变成为“数据沼泽”。不论你站在哪一边，现实情况是，这些系统中仍然承载着大量的数据。这些数据规模庞大，使得移动、迁移或对其进行现代化都变得异常困难。

数据湖的巨大挑战：单一结构的架构问题

        从较高层次来看，数据湖是一个大规模的单一数据存储库。数据可以以原始形式存储，也可以经过优化，采用适合专用引擎使用的不同格式。

        就Hadoop而言，它是最受欢迎的数据湖之一，通过使用开源软件实现该存储库，并在通用硬件上运行，可以以非常低的成本在系统中存储大量数据。数据可以以开放的数据格式进行持久化，从而实现了数据消费的民主化，并通过自动复制提供了高可用性的支持。默认的处理框架具备从故障中恢复的能力。这无疑是与传统分析环境有着显著差异的重要转变，传统数据分析环境往往意味着供应商锁定以及无法处理大规模数据。

        另一个出乎意料的挑战是将Spark引入作为大数据处理框架。由于其支持数据转换、流式处理和SQL，它迅速获得了广泛的认可。然而，它并未能与现有的数据湖环境友好共存，因此通常需要额外的专用计算集群才能运行Spark。

        我们将时间前移15年回到当下，现实已经清楚地表明了这项技术所涉及的权衡和妥协。其快速的采用意味着客户很快失去了对数据湖中数据的追踪。同样具有挑战的是，他们无法确定数据的来源、获取方式以及在处理过程中的转换方式。数据治理仍然是这项技术中尚未探索的领域。虽然软件可能是开源的，但需要有人学习如何使用、维护和支持它。仅依赖社区支持并不能持续满足业务运营所需的响应时间。高可用性通过复制实现则意味着需要更多磁盘上的数据副本，增加存储成本，并导致故障更加频繁。而高可用的分布式处理框架则意味着不得不在性能方面做出妥协，以换取弹性（这将导致交互式分析和商业智能的性能严重下降）。

为何要对数据湖进行现代化？

        数据湖在特定的使用场景中已经被证明是成功的。然而清楚的是，企业迫切需要对这些部署进行现代化，保护基础设施、技能和存储在这些系统中的数据的投资。

        在寻找答案的过程中，行业研究了现有的数据平台技术及其优势。很明显，有效的方法是将传统的（或者说是遗留的）数据仓库或数据集市的关键特性与数据湖的优势结合起来。以下几个关键要素迅速浮出水面：

• 具备弹性和可扩展的存储，能够满足日益增长的数据规模需求。
• 采用开放的数据格式，使数据对所有人都可访问，同时针对高性能进行优化，并具备良好定义的结构。
• 开放的元数据（可共享），能够支持多个消费引擎或框架。
• 支持数据更新（ACID特性）和事务并发处理。
• 综合的数据安全和数据治理（如数据血缘、完整的数据访问策略定义和执行，包括地理分布）。

        上述要素导致了湖仓一体的出现。湖仓一体是一种数据平台，是将数据仓库和数据湖的优点融合在一起，形成统一、协调的数据管理解决方案。

利用watsonx.data来现代化数据湖的好处

        站在当下数据分析的十字路口，IBM的回应是为企业提供watsonx.data解决方案，这是一个用于大规模数据管理的新型开放式数据存储，允许企业在无需迁移的情况下围绕、增强和现代化其现有的数据湖和数据仓库。它支持开放式的多云与混合云，可以在客户管理的基础设施（本地或者私有云）和公有云上运行。它建立在湖仓一体架构之上，并嵌入了一整套解决方案（以及通用软件堆栈），适用于所有形态。

        与市场上的竞品相比，IBM的方法基于开源堆栈和架构。这些组件并不是新的，而是业界已经广泛使用的成熟组件。IBM关注它们的互操作性、共存性和元数据交换。用户可以快速入门，从而大大降低了入门和使用的成本，因为其上层架构和基础概念是大家熟悉且直观的：

• 通过对象存储实现开放的数据（和表格格式）
• 通过S3进行数据访问
• 使用Presto和Spark进行查询计算（SQL、数据科学、转换和流处理）
• 通过Hive和兼容结构实现开放的元数据共享

         Watsonx.data为企业提供了一种保护他们在数据湖和数据仓库数十年投资的方式，使企业可立即扩展并逐步现代化其安装，将每个组件专注于对企业最重要的使用场景。

         一个关键的差异化因素是多引擎 策略，允许用户在统一的数据平台上根据实际情况选择适合的技术。watsonx.data使客户能够实现完全动态的分层存储（以及相关的计算）。随着时间的推移，这可以带来非常显著的数据管理和处理的成本节省。

         如果最终企业的目标是通过湖仓一体架构来现代化现有的数据湖部署，那么watsonx.data则通过选择计算方式来最小化数据迁移和应用迁移，从而简化了任务。

接下来可以做什么？

        在过去的几年里，数据湖在大多数企业的数据管理策略中发挥了重要作用。如果企业的目标是对其数据管理策略进行演进并现代化为真正的混合分析云架构，那么IBM基于湖仓一体架构构建的新型数据存储watsonx.data，则是值得企业考虑的技术选择。

相关资料：

1. 点击下载电子书：《为 AI而设的数据存储》：https://www.ibm.com/account/reg/us-en/signup?formid=urx-52131
2. 点击阅读 IBM watsonx.data 解决方案简介：https://www.ibm.com/downloads/cas/4Z1YXEBO
3. 浏览 watsonx.data 的产品页面了解更多：https://www.ibm.com/products/watsonx-data