本周对数据分析领域来说是重要的一周,因为Gartner在美国德克萨斯州Grapevine的数据与分析峰会、在圣何塞的Strata Data大会正在举行,很多厂商参加并参展。
今天拉开序幕的Strata Data大会对厂商来说更像是一个发布公告的平台,而今天,大数据领域的三大公司Cloudera、MapR和AtScale都有新版本发布,我们来看看这三家厂商的公告内容,还有其他厂商的公告摘要(大部分是昨天发布的)。
由于Cloudera是Strata Data背后的两家公司之一(O'Reilly是另一家公司),所以我们从Cloudera的发布开始说起也许是挺合适的。为了削减成本,Cloudera发布了Altus云服务的新版本,其中带有一项关键新功能,另外一个新功能将在不久的将来发布。
Altus是Cloudera的大数据管道即服务云产品。发布的时候,Altus包括能够在无集群/无服务器的Cloudera实例上运行预定作业的功能。本质上,Altus作为Hadoop作业服务启动,不需要用户担心集群、存储等细节。然后,在后续版本中,还将添加基于Impala的Altus Analytic DB。
今天,Cloudera增加了对Altus for Cloudera Shared Data Experience (SDX)的支持。该工具允许对多个群集进行统一管理,包括本地和基于云的集群混合和匹配。Cloudera表示,将在今天发布这个新增功能。
此外,Cloudera还宣布了一个新组建,但是尚未正式发布:Altus Data Science,它将基于Cloudera的Data Science Workbench。与其他托管的Hadoop和Spark机器学习服务(包括来自Qubole和Databricks的服务)一样,Altus Data Science将允许数据科学家和精通数据科学的数据工程师构建和调度数据/机器学习管道,无需专门的Hadoop或Spark集群和运行。和其他厂商一样,Cloudera现在把数据科学和其他增值工作负载看作是交付成果中的真正价值所在。售卖普通Hadoop集群的日子似乎结束了,现在需要更多的交钥匙方案。
MapR在容器上再迈一步
从技术角度来说,MapR也是Hadoop发行商之一。但该公司一直将自己视为企业数据平台提供商。今天,MapR宣布支持使用MapR Converged Data Platform在主流容器编排平台Kubernetes下运行的容器应用。
使用Kubernetes Volume Driver,容器应用只需要通过寻址容器的本地存储来读取以及写入MapR-XD数据库。然后,MapR Kubernetes Volume Driver负责将这些读写操作转交给在MapR-XD下管理的任何持久性存储介质,从而绕过通常分配给Kubernetes容器的临时存储缓存。
MapR表示,Kubernetes支持在本地以及受管理的Kubernetes云服务(如Amazon、微软和谷歌的云服务)中运行。MapR还解释说,与先前宣布的需要使用特定Docker镜像的Persistent Application Client Container(PACC)技术不同,这个新功能将与任何此类镜像兼容,因为MapR-XD的连接由Kubernetes Volume Driver提供的。
这是相当不错的进展,证明了数据和分析容器的变革,虽然很安静地进行中,但在慢慢赢得胜利。
AtScale实现自动化、优化和精简
AtScale在Hadoop和Spark之上运行的类似微软SQL Server Analysis Services(SSAS)的BI平台,该平台的6.5版本已经宣布推出,主要有三项新功能。
首先,AtScale新增了自动建模功能。这意味着,以前要求用户从头开始创建整个通用语义层模型,而现在该产品可以通过查看已经构建在基础数据之上的现有分析资产,来体现其中的某些结构。
具体来说,该产品可以检查Tableau工作簿中包含的资产,并根据这些资产确定哪些表中的哪些列可能包含度量和维度。它还可以通过查看Tableau工作簿以及其中的数据模型来确定表关系。这意味着AtScale现在正在做一些动态建模,正如某些BI-on-Hadoop竞争对手已经做了一段时间的事情一样。
其他新功能包括在服务器端执行n-tile计算和Perspectives功能,该功能可为你的模型提供简化或受众特定的过滤视图。n-tile计算和预估不同计数计算一起,作为正在服务器端的一项重要访问级工作。
AtScale Perspectives功能非常类似于同名的SSAS功能。但是,SSAS Perspective只是一个便利功能,并不会阻止访问Perspective中没有呈现出来的模型中的数据。与此同时,AtScale Perspectives充当了一种安全机制,AtScale团队这样表示。因此,任何概念用户都可能会忽略Perspectives并直接连接到模型的做法,显然是不正确的。
其他新闻
昨天还有其他一些新的发布消息:
- Mapbox发布了Mapbox Visual for Microsoft Power BI,使微软的自助BI平台能够访问映射功能,超越了其内置映射可视化和ESRI ArcGIS Maps for Power BI提供的功能。
- Salesforce宣布向其Einstein Analytics平台中添加“对话式查询”。
- Host Analytics宣布推出其“Project Orion”技术Beta版,该技术让企业用户以及其他没有重要财务/会计背景的人员可以访问企业绩效管理(EPM)。
- Datawatch发布了面向团队的数据准备和分析的Monarch Swarm产品新版本——这次是通过“Personalized Machine Learning”来推动详细的排名和数据推荐。
今天的另一个发布是StreamSets Data Protector产品,该产品可识别数据中的个人身份信息(PII),然后对其设置相应的数据安全性和更广泛的数据治理。
趋势和总结
如此多的新产品和发布声明与整体行业趋势是保持一致的。容器技术的重要性日益增加;无服务器的、基于云的数据技术实现;增加对机器学习和人工智能的支持;数据保护和GDPR(欧盟通用数据保护条例)的重要性;一方面BI的复杂性增加,而另一方面使用和操作的简化。
这些趋势将解决客户真正的痛点,我们将会在未来的活动和发布中看到更多信息。
好文章,需要你的鼓励
OpenAI在最新博客中首次承认,其AI安全防护在长时间对话中可能失效。该公司指出,相比短对话,长对话中的安全训练机制可能会退化,用户更容易通过改变措辞或分散话题来绕过检测。这一问题不仅影响OpenAI,也是所有大语言模型面临的技术挑战。目前OpenAI正在研究加强长对话中的安全防护措施。
北航团队推出VoxHammer技术,实现3D模型的精确局部编辑,如同3D版Photoshop。该方法直接在3D空间操作,通过逆向追踪和特征替换确保编辑精度,在保持未修改区域完全一致的同时实现高质量局部修改。研究还创建了Edit3D-Bench评估数据集,为3D编辑领域建立新标准,展现出在游戏开发、影视制作等领域的巨大应用潜力。
谷歌宣布计划到2026年底在弗吉尼亚州投资90亿美元,重点发展云计算和AI基础设施。投资包括在里士满南部切斯特菲尔德县建设新数据中心,扩建现有设施,并为当地居民提供教育和职业发展项目。弗吉尼亚州长表示这项投资是对该州AI经济领导地位的有力认可。此次投资是谷歌北美扩张战略的一部分。
宾夕法尼亚大学研究团队开发出PIXIE系统,这是首个能够仅通过视觉就快速准确预测三维物体完整物理属性的AI系统。该技术将传统需要数小时的物理参数预测缩短至2秒,准确率提升高达4.39倍,并能零样本泛化到真实场景。研究团队还构建了包含1624个标注物体的PIXIEVERSE数据集,为相关技术发展奠定了重要基础,在游戏开发、机器人控制等领域具有广阔应用前景。