Denodo预测2023年数据管理和分析的未来

虽然新冠肺炎疫情加速推进了企业的数字化转型，但普遍的共识是，数字业务模式已经在很多企业（以传统企业为主）一劳永逸地建立起来。即便传统企业已全面恢复生产经营，其大量业务交易仍将以数字方式进行。事实上，数字和数据驱动的业务创新可能会使领先者从竞争中脱颖而出。

数据是数字业务的核心，通过实施适当的策略和规划来管理数据及相关基础设施，将是企业成功的关键。正因如此，我们可以看到，在与数据管理基础设施和架构相关的领域内出现了很多创新。以下是Denodo认为将在 2023 年产生最大影响的五大趋势，这些趋势与数据和分析有关。

趋势 1：随着经济即将进入衰退周期的风险升高，公司将寻求优化基础设施成本

无论北美地区目前是否处于衰退，各公司都在积极削减成本，减少 IT 基础设施。这些措施对于首席执行官而言都已经习以为常。虽然可以通过使用云继续降低计算和存储成本，但由于在数据和分析基础设施方面投入巨大，向云端迁移仍有可能给组织带来高昂的成本和支出。部分得益于存储、计算和应用程序方面的广泛选择，公司通常采用淘汰并更换的策略来实现数据和分析工作的现代化。这种方法不仅成本高昂，而且通常会导致 IT 部门运营中断。

Denodo认为2023 年，更多公司的 IT 部门将专注于以现代化、无中断的方式来更新其 IT 基础设施，无论其数据是完全驻留在单个云、多个云中，还是驻留在包括本地在内的混合环境中。

趋势 2 – 数据治理将更加重视对业务而言最重要的数据

随着数据量的增长、行为数据等新数据类型的出现以及数据环境的分布式趋势日益增强，企业数据治理仍然是企业面临的首要挑战。在跨整个企业管理数据标准和访问策略的同时，确保用户能够访问可靠且与目标相符的业务数据，正变得越来越复杂和具有挑战性。最近多起数据泄露事件引发了关于应该保留多少数据以及应该保留哪些数据的思考，并凸显了监控企业数据使用情况的必要性。

很多组织都依赖技术和数据治理平台帮助他们解决这些数据管理难题。他们希望找到的解决方案能在异构和碎片化的数据生态系统中提供集中管理和控制，同时支持数据的发现、访问和理解。“数据公民”希望确保数据值得信赖并与业务目标相符，而组织则希望更好地了解数据使用模式，以便更好地满足业务部门对提供数据智能的数据需求。

在接下来的一年中，很多组织将开始关注对业务而言最重要的数据，并将采用适当的治理级别。

趋势 3：加速采用数据编织和数据网格

在过去二十年间，数据管理经历了集中化与分散化的循环，其中涉及的技术包括数据库、数据仓库、云数据存储、数据湖等。虽然在哪种方法最好的争论中，支持者和反对者势均力敌，但过去几年已经证明，对于大多数组织而言，数据更加分散而非集中。部署企业数据架构有多种选择，但在 2022 年，为了更好地管理和访问分布式数据，两种数据架构方法（数据编织和数据网格）的采用速度明显加快。虽然两者之间存在固有差异，数据编织是多种数据管理技术组成的可组合体系，而数据网格是流程导向，旨在让一组分布式团队在他们适合的领域管理企业数据。但对于希望更好地管理数据的企业而言，二者都至关重要。轻松访问数据并确保其受到治理和安全保护，对于每个数据利益相关者（从数据科学家一直到高管）来说都很重要。毕竟，它对于仪表板和报告、高级分析、机器学习和 AI 项目都至关重要。

如果通过部署正确的数据基础设施进行适当构建，数据编织和数据网格都可以在企业范围的数据访问、集成、管理及交付中发挥关键作用。因此，Denodo预计在 2023 年，大中型企业对这两种架构方法的采用将迅速增加。

趋势 4：随着基于 AI 的决策在商业领域的采用增加，符合伦理要求的 AI 将变得至关重要

各行各业的很多公司都在加速使用 AI 进行基于数据的决策，无论是社交媒体平台控制帖子、帮助医疗保健专业人员与患者建立联系，还是大型财富管理银行向其最终消费者提供信贷。然而，当最终结果由人工智能决定时，目前尚无办法抑制算法中的固有偏差。正因如此，拟议中的《欧盟人工智能法案》和《加拿大 C-27 法案》（如果颁布，可能会成为《人工智能和数据法案》）等新兴法规开始围绕人工智能在商业组织中的使用建立监管框架。这些新法规将人工智能应用程序的风险分为“不可接受”、“高”、“中”或“低”风险，并相应禁止或管控这些应用程序的使用。

在 2023 年，组织需要能够遵守这些拟议中的法规，包括关于隐私和数据治理、算法透明、公平和无歧视、问责制及可审核性的规定。考虑到这一点，组织必须实施自己的框架，为符合伦理要求的 AI 提供支持，例如可信赖 AI 的指导方针、同行评审框架，以及 AI 伦理委员会。随着越来越多的公司开始使用 AI，符合伦理要求的 AI 在未来一年必将变得比以往任何时候都更加重要。

趋势 5： 增强数据质量、数据准备、元数据管理和分析

虽然很多数据管理工作的最终结果是为高级分析提供数据并支持 AI 和 ML，但适当的数据管理本身对于组织的成功至关重要。数据常被称为新石油，因为基于数据和分析的见解能够不断推动业务创新。随着组织使用数据的速度不断提高，公司密切关注数据治理、数据质量和元数据管理也变得至关重要。然而，随着数据量、种类以及产生和使用速度的持续增长，数据管理的方方面面也变得非常复杂，为大规模管理造成严重困难。您可以思考一下数据科学家和数据工程师在开始利用数据之前查找和准备数据所花费的时间。正因如此，各种数据管理供应商最近开始采用增强型数据管理方法，通过使用 AI，众多组织能够自动完成很多数据管理任务。

根据一些顶级分析公司的说法，数据编织的每一层（即数据摄取、数据处理、数据编排、数据治理等）均应将 AI/ML 融入其中，以实现数据管理过程每个阶段的自动化。在 2023 年，增强型数据管理将获得强大的市场牵引力，帮助数据管理专业人员专注于提供数据驱动的见解，而不是被日常管理任务所阻碍。

这些是Denodo认为的最重要的五个趋势，数据和分析实践的其他领域也对数字业务在 2023 年及以后的生存和蓬勃发展有所影响。过去两到三年的经验明确告诉我们，线下模式也并非一直可行，因此数字业务并非后备选项，而是未来所在。