云巨头AWS已经选择通过表格式Apache Iceberg将自家Redshift数据仓库向数据湖延伸,IBM旗下的Netezza上周也做出了相同的决定。
AWS透露称正对Netflix几年前推出的Iceberg表格式提供支持预览,允许用户通过Redshift对外部数据湖中的Apache Iceberg表执行分析查询。
“您现在可以使用Amazon Redshift查询AWS Glue数据目录中的Apache Iceberg表,而其他用户或应用程序可以使用Amazon EMR、Amazon Athena和AWS Glue等符合ACID原则的服务,以安全方式对表进行数据操作。”
但随附的用户指南在细则部分也提出了相关警告,称“仅限新的Iceberg表——不支持对由Apache Parquet表转换为Apache Iceberg表的分区进行查询,也不支持在查询中包含分区列。”
AWS随后又对如何使用该系统查询其云平台以外的数据做了进一步澄清。
“Amazon Redshift允许从AWS(包括Amazon S3)中的数据湖对指向Apache Iceberg的查询提供事务一致性。要对外部数据源(包括Google BigQuery或Google Cloud Stoarge等)运行分析,AWS客户可以使用Amazon Athena的预构建数据源连接器。”
AWS还表示,相关价格将根据Redshift Spectrum或Redshift Serverless的具体使用量而定。
Iceberg阵营迎来的另一位新成员是IBM Netezza,这是一款最初基于PostgreSQL且几乎已经被市场遗忘的数据仓库。我们最后一次听到Netezza的消息,还是在IBM于2010年收购Netezza并将该系统迁移至云端的时候。
IBM软件工程师Mike DeRoy在本周的博文中表示,用户可以使用IBM的watsonx.data智能湖仓技术创建Apache Iceberg格式的表,“允许任何兼容的引擎访问该数据,能够防止您对任何特定引擎产生供应商锁定”。
“IBM正将一流智能湖仓集成引入Netezza引擎,使您能够通过watsonx.data平台及其他数据湖平台查询Iceberg。”
目前,各大主流科技厂商似乎在支持哪种表格式方面存在严重分歧。面对将分析引擎引入任意位置数据这个共同的目标,Snowflake、Cloudera、谷歌,以及如今的AWS和Netezza明显站在了Iceberg一边。而微软、SAP和Databricks则选择了由Databricks创建,Linux基金会负责管理的开源表格式项目。
各家厂商都坚称,自己选择的格式更能反映客户的核心需求,借此证明其决定的合理性。他们还表示,将在未来时机成熟时支持更多格式选项,包括Apache Hudi。
唯一没有明确表态的就只剩下甲骨文了。本月早些时候,甲骨文方面表示正扩展其MySQL HeatWave以查询对象存储中保存的数据。当然,这里指的还是甲骨文自己的对象存储方案。但甲骨文也提到,有计划在未来支持更多开放表格式,可能会从Iceberg和Delta Lake起步。
好文章,需要你的鼓励
AI实验室不再与企业签署昂贵的数据合同,而是通过Mercor平台招募前员工获取行业知识。Mercor为投资银行、咨询公司和律所的前员工与OpenAI、Anthropic等AI实验室搭建桥梁,向行业专家支付高达每小时200美元来训练AI模型。该公司年化经常性收入达5亿美元,估值100亿美元,每天向承包商支付超150万美元。
ServiceNow等机构联合研究团队提出了RULER和I-MROPE两项创新技术,解决GUI自动化中AI难以准确定位界面元素的核心问题。RULER技术为AI提供明确空间参考系统,I-MROPE技术平衡位置编码的频率分配。实验显示在高分辨率界面上定位准确率从31.1%提升至37.2%,为GUI自动化的实际应用铺平道路。
作为AI热潮的最大受益者,英伟达成为首家市值突破5万亿美元里程碑的上市公司。受特朗普总统表示将与习近平主席讨论该公司Blackwell芯片消息推动,公司股价周三上涨超过5.6%。英伟达CEO黄仁勋预计AI芯片销售额将达5000亿美元,并为美国建设七台新超级计算机。该公司还投资10亿美元于诺基亚,用于AI原生5G和6G网络开发。这一里程碑距离突破4万亿美元仅三个月。
上海交大团队开发SurveyBench评估体系,系统检验AI学术综述写作能力。研究发现,虽然AI在语言流畅度等表面指标上接近人类水平,但在内容深度、技术细节和抽象总结方面仍有显著差距,平均比人类综述低21%。研究揭示AI写综述面临深度理解不足、缺乏关联思维、抽象能力有限三大挑战,建议未来采用人机协作模式。