至顶网软件频道消息:Hortonworks将转售IBM Data Science Experience with HDP(主要Hadoop发行版),采用该平台作为战略数据科学平台,让开发者可以快速获得数据科学能力,包括机器学习、高级分析和统计。此外,Hortonworks和IBM将打造新的解决方案捆绑包,将HDP与IBM Big SQL(用于Hadoop的IBM SQL引擎)进行集成,给Hortonworks的客户和用户提供一种熟悉的数据管理方法。
IBM正在Hadoop分发版中采用HDP,并将其与Data Science Experiece和机器学习全面集成。因此,这个解决方案将为客户提供HDP丰富的数据安全性、监管和操作功能,以及Data Science Experience的高级分析和管理功能。IBM将把现有的IBM BigInsights用户迁移到HDP。
“IBM正在HDP上实现标准化,这一点都不奇怪,因为这些发行版都是基于Open Data Platform Initiative标准,而且BigSQL对于IBM来说是一个重要的差异点,”Constellation研究副总裁、首席分析师Doug Henschen表示。
“这对Hortonworks来说是一个重要的机会,因为IBM在BigInsights上有数百家客户,不管是本地部署还是在云中。如果Hortonworks能够得到哪怕其中半数客户——因为IBM开始提供HPE用于本地部署——作为自己云产品的基础,那么Hortonworks就会在大数据平台市场获得重要的份额。”
除了获得IBM现有客户之外,Hortonworks还将从IBM更庞大的销售团队以及与大型企业客户的长期关系中受益。
值得注意的是,BigSQL和DSX不会是Hortonworks开源HDP的一部分,相反是作为可选的捆绑包,提供了针对HDP的重要新功能。“BigSQL为Hortonworks提供了一个兼容ANSI-SQL的SQL-on-Hadoop选项,类似Cloudera Impala产品,不过它还处理关系源和对象存储,而DSX与Cloudera最近发布的Data Science Workbench相当。”
“在高速发展的开源大数据市场,Hortonworks和IBM找到了彼此,他们的数据库和数据科学平台相互补充,”Constellation Research副总裁、首席分析师Holger Mueller表示。这对双方的共同客户来说也许是个好事,但是对于其他Hadoop发行版的客户来说,有一个值得关注的问题:他们要把数据迁移到HDP还是保留原状?
有人可能还想知道微软将对这个消息做出怎样的反应,因为它自己针对Azure的HDInsight服务是基于Hortonworks的。
尽管如此,这对Hortonworks和IBM都是发展的必然一步,考虑到他们现有的合作伙伴关系以及都是ODPi的创始成员。Mueller还指出IBM与Hortonworks的另一个关键合作伙伴关系,是关于在IBM Power Systems上支持Hortonworks的Data Flow流式引擎。
“流数据是一个性能关键的用例,可能流数据厂商——这种情况下就是Hortonworks HDF——可以通过与IBM这样的硬件厂商合作获得性能和TCO方面的优势。”
好文章,需要你的鼓励
亚马逊云服务部门与OpenAI签署了一项价值380亿美元的七年协议,为ChatGPT制造商提供数十万块英伟达图形处理单元。这标志着OpenAI从研究实验室向AI行业巨头的转型,该公司已承诺投入1.4万亿美元用于基础设施建设。对于在AI时代竞争中处于劣势的亚马逊而言,这项协议证明了其构建和运营大规模数据中心网络的能力。
Meta FAIR团队发布的CWM是首个将"世界模型"概念引入代码生成的32亿参数开源模型。与传统只学习静态代码的AI不同,CWM通过学习Python执行轨迹和Docker环境交互,真正理解代码运行过程。在SWE-bench等重要测试中表现卓越,为AI编程助手的发展开辟了新方向。
当今最大的AI数据中心耗电量相当于一座小城市。美国数据中心已占全国总电力消费的4%,预计到2028年将升至12%。电力供应已成为数据中心发展的主要制约因素。核能以其清洁、全天候供电特性成为数据中心运营商的新选择。核能项目供应链复杂,需要创新的采购模式、标准化设计、早期参与和数字化工具来确保按时交付。
卡内基梅隆大学研究团队发现AI训练中的"繁荣-崩溃"现象,揭示陈旧数据蕴含丰富信息但被传统方法错误屏蔽。他们提出M2PO方法,通过改进数据筛选策略,使模型即使用256步前的陈旧数据也能达到最新数据的训练效果,准确率最高提升11.2%,为大规模异步AI训练开辟新途径。