未来数据生态系统架构是什么模样?
Gartner认为,未来的数据生态系统应该利用分布式数据管理组件,可以在多个云和/或本地运行,但应被视为具有高度自动化的紧密的整体,像集成、元数据和治理功能将各个组件粘合在一起。
企业中不同的角色会关心不同的数据架构和方法论,数据网格(Data Mesh)、数据编织(Data Fabric)、湖仓一体(Data Lakehouse)是所有角色都会关注的三个数据框架和方法论。Cloudera则提供了适用于数据编织、数据湖库、数据网格和未来数据生态系统架构要求的混合数据平台。
构建未来数据生态系统架构
数据网格(Data Mesh)是数据与产品思维的融合。其是一种范式转变,数据由业务中的不同域拥有和管理,数据由最了解数据的域拥有,随时可供企业内的任何其他域使用。ThoughtWorks公司的工程师Zhamak Dehghani提出了数据网格的四个原则,分别是领域所有权原则、数据即产品原则、自助数据平台原则、联合计算治理原则。
数据编织(Data Fabric)各家评测机构都有自己的框架,Cloudera看来,数据编织的管控流程和之前所有数据管控方法一样,现在要做的不光要对人工的方式、手动数据管理进行服务,也要对未来的机器学习、自动的发现方式、对外进行服务,这个框架比以前要求更高。
湖仓一体(Data Lakehouse)集成并统一了数据仓库和数据湖的功能,在支持单一平台上的AI、BI、ML和数据工程。新技术能力支撑下,由上至下和由下至上的融合,适用于数据分析和机器学习工作负载。
Cloudera大中华区技术总监刘隶放表示,在企业内部针对不同的角色,要讲不同的数据架构和方法论,这之间并不矛盾。
Cloudera大中华区技术总监刘隶放
CEO、CIO、CDO关注如何在管理成本和维护人员规模的同时进行扩展,也就是数据你网格;CTO、CSO关注用什么技术方案保持一致性并构建标准模式,也就是数据编织;领域从业者关注在具体项目上的优化,也就是湖仓一体。
混合数据平台能做些什么
作为一家混合数据企业,Cloudera提供适用于数据网格、数据编织、数据湖仓和未来数据生态系统架构要求的混合数据平台,允许客户在多个公共和私有云以及本地访问和分析数据,使企业能够做出由数据驱动的明智决策,帮助企业建立由数据驱动的未来。
为什么说Cloudera是未来数据生态系统架构要求的混合数据平台,这主要源于三点,第一,开放数据编织、湖仓一体和数据网络,可以在任何地方提供大规模数据;第二,多云和本地数据管理和分析;第三,一次编写,随处运行的数据分析可移植性;第四,使用开放的云原生存储格式统一安全和治理,SDX能够真正帮助客户在新的形势下跨云,包括云原生、不同的存储中,做到数据统一的安全管控和治理。
“从产品构建角度,Cloudera数据平台可以支持现代数据架构。”刘隶放指出,Cloudera拥有三大核心优势,首先以更灵活且简单的方式帮助客户建立数据驱动型文化,其次以性能和成本效益驱动价值,最后与大量合作伙伴做开放性认证,支持开放的标准和互操作性,以速度和控制拉动企业增长。
从算力的角度来说,边缘计算非常重要,一些问题可以通过机器学习的处理模型在边缘进行处理,这对于数据安全性有要求的企业,可以实现数据要脱敏和过滤。
未来数据平台一定存在跨云模式,选择同一个平台,同一个计算引擎,到另外一个平台也可以使用,不需要改造,这是一个非常重要的考量的点。
好文章,需要你的鼓励
AWS通过升级SageMaker机器学习平台来扩展市场地位,新增观测能力、连接式编码环境和GPU集群性能管理功能。面对谷歌和微软的激烈竞争,AWS专注于为企业提供AI基础设施支撑。SageMaker新功能包括深入洞察模型性能下降原因、为开发者提供更多计算资源控制权,以及支持本地IDE连接部署。这些更新主要源于客户需求,旨在解决AI模型开发中的实际问题。
南洋理工大学研究团队开发了WorldMem框架,首次让AI拥有真正的长期记忆能力,解决了虚拟世界模拟中的一致性问题。该系统通过记忆银行存储历史场景,并使用智能检索机制,让AI能准确重现之前的场景和事件,即使间隔很长时间。实验显示在Minecraft和真实场景中都表现出色,为游戏、自动驾驶、机器人等领域带来广阔应用前景。
AI虽具备变革企业洞察力的潜力,但成功依赖于数据质量。大多数AI项目失败源于数据混乱分散而非算法局限。谷歌BigQuery云数据AI平台打破数据孤岛,简化治理,加速企业AI应用。通过AI自动化数据处理,实现实时分析,并与Vertex AI深度集成,使企业能够高效处理结构化和非结构化数据,将智能商业转型从愿景变为现实。
MTS AI研究团队提出RewardRanker系统,通过重排序模型和迭代自训练显著提升AI代码生成质量。该方法让13.4B参数模型超越33B大模型,在多种编程语言上表现优异,甚至在C++上超越GPT-4。通过引入困难负样本和PPO优化,系统能从多个代码候选中选出最优方案,为AI编程助手的实用化奠定基础。