至顶网软件频道消息: 大数据管理公司Hortonworks今天宣布推出其核心Hortonworks Data Platform的第三代版本,并与包括谷歌、微软和IBM等云计算领导厂商扩大合作伙伴关系。
Hortonworks在加州圣何塞举行的DataWorks峰会上宣布推出了HDP 3.0,让企业能够跨不同计算环境更轻松地运行应用,无论是在云中还是在本地数据中心。
HDP 3.0计划在第三季度上市,它是基于最新版本的开源Apache Hadoop平台,Hortonworks称这将让自己的Hadoop发行版与其他公司的区分开。
Hortonworks首席技术官Scott Gnau表示:“我们看到向现代数据架构的巨大迁移,这种架构中包含了比以往更多的云相关的内容。这意味着客户的数据将在数据中心、云端和这时间的任何地方。所以,要打造一种无缝的体验。”
特别是HDP 3.0增加了几项新功能。首先,是能够使用容器跨不同计算环境快速部署应用,打包应用使其可以在云中或各种数据中心中运行。Gnau说:“如果你在Google、AWS或Azure上运行HDP 3.0,那么应用运行的方式也是一样的。”
其次是对深度学习应用的支持,这些应用采用人工神经网络来识别图像和语音,以及其他数据密集型人工智能任务。HDP 3.0让数据科学家能够使用GPU共享对服务器的访问,GPU作为一种高度并行的芯片已经广泛用于训练和运行机器学习模型。
Hortonworks表示,新平台还通过使用一种实时数据库提供改进的查询优化,因此无论是在云端还是在本地,都可以获得更多数据并加快处理速度。这项功能可由开源Hadoop数据仓库Apache Hive启用。
此外,HDP 3.0还支持所有主要的云数据存储库,包括AWS S3、微软Azure Storage Blob和Google Cloud Storage。Gnau表示,这让企业能够将数据迁移到使用效率最高的地方,例如将数据从S3迁移回Hadoop分布式文件系统,以为某些应用实现更高的性能。
此外,Hortonworks还宣布扩大与多家云提供商的合作关系,包括优化HDP和针对Google Cloud Platform(GCP)的Hortonworks DataFlow(HDF)分析平台。“我们与Hortonworks的合作伙伴关系将使客户能够在GCP中快速运行数据分析、机器学习和流式分析工作负载,同时实现与混合或云本地数据架构的桥接”,Google Cloud产品管理总
监Sudhir Hasbe在声明中表示。
与微软扩大合作伙伴关系将让客户能够部署HDP、HDF和Hortonworks DataPlane Service(DPS),从而可以在Azure云平台上本地管理不同类型和来源的数据。这些都已经在AWS上提供。
IBM宣布将提供一个名为IBM Hosted Analytics with Hortonworks的新服务,作为IBM Cloud上的一项集成服务。更具体地说,它结合了HDP、IBM Db2 Big SQL数据库和IBM数据科学体验。IBM Analytics总经理Rob Thomas在一篇博客文章中将IBM对数据的使用比喻为州际公路系统的演变。
而且,HDP 3.0改进了安全性和治理,以符合欧盟最近实施的“通用数据保护条例”和其他数据治理规则,这意味着正在使用中的数据可以追溯到最初所驻留的数据湖。
由于一些广为人知的数据泄露事件和数据滥用问题(如Cambridge Analytica公司未经授权使用2016年美国总统大选期间的Facebook数据),导致最近那些能够使用大量数据的公司处于被严密监管的状态。Gnau提出,Hortonworks可以在其平台上提供集中式控制,让企业能够避免这类问题。
“我们可以提供共同的数据治理。我们知道数据在哪里,谁在复制数据,以及数据到达这个位置都发生了什么。21世纪数据是财富的创造者,”如果不对数据加以控制的话那就是“疯了”
好文章,需要你的鼓励
本文评测了六款控制台平铺终端复用器工具。GNU Screen作为老牌工具功能强大但操作复杂,Tmux更现代化但学习曲线陡峭,Byobu为前两者提供友好界面,Zellij用Rust编写界面简洁易用,DVTM追求极简主义,Twin提供类似TurboVision的文本界面环境。每款工具都有各自特点和适用场景。
韩国汉阳大学联合高通AI研究院开发出InfiniPot-V框架,解决了移动设备处理长视频时的内存限制问题。该技术通过时间冗余消除和语义重要性保留两种策略,将存储需求压缩至原来的12%,同时保持高准确性,让手机和AR眼镜也能实时理解超长视频内容。
网络安全公司Snyk宣布收购瑞士人工智能安全研究公司Invariant Labs,收购金额未公开。Invariant Labs从苏黎世联邦理工学院分拆成立,专注于帮助开发者构建安全可靠的AI代理工具和框架。该公司提供Explorer运行时观察仪表板、Gateway轻量级代理、Guardrails策略引擎等产品,并在工具中毒和模型上下文协议漏洞等新兴AI威胁防护方面处于领先地位。此次收购将推进Snyk保护下一代AI原生应用的使命。
纽约大学研究团队通过INT-ACT测试套件全面评估了当前先进的视觉-语言-动作机器人模型,发现了一个普遍存在的"意图-行动差距"问题:机器人能够正确理解任务和识别物体,但在实际动作执行时频频失败。研究还揭示了端到端训练会损害原有语言理解能力,以及多模态挑战下的推理脆弱性,为未来机器人技术发展提供了重要指导。