今天,在拉斯维加斯举行的Inspire合作伙伴会议上,微软发布了更多与数据相关的公告,包括该公司自己在Azure上的数据仓库服务以及Power BI服务。
在数据仓库方面,微软为其Azure SQL Data Warehouse(SQL DW)服务宣布了一项名为Instant Data Movement的新功能。通过在一个大的逻辑服务器中将多个服务器(节点)联合在一起,数据仓库平台获得了更高的速度。当在这个逻辑服务器上运行查询时,数据通常要在节点之间进行移动,数据仓库执行此操作的速度对于其性能来说至关重要,SQL DW只是让这样的操作变得更快。
该产品使用了一种被称为数据移动服务(Data Movement Service ,DMS)的功能来处理这项任务,它一直表现良好,因为它基于一种长期以来一直很高效的SQL Server技术,这种技术被称为批量复制协议(Bulk Copy Protocol,BCP)。但是,BCP的问题在于它采用了单线执行模式,在单个处理器内核上使用SQL Server的单线程操作模式。
但是,SQL Server Gen2存储的用户现在可以利用即时数据移动(Instant Data Movement ,IDM),它可以在多个CPU内核上执行,并使用SQL Server新的批处理模式(基于矢量处理)。结果是数据能够更快地移动,因此当查询没有进行物理排列的连接表时,查询性能更高。事实上,微软表示,结合其新的Azure Accelerated Networking,SQL DW可以以每个节点每秒高达1GB的速度移动数据。
在IDM和由于SQL DW Gen2存储和缓存带来的性能提升之间,微软对于该产品的性能非常有信心。事实上,这种信心是如此之强大,以至于该公司委托了分析公司GigaOm Research在SQL DW上进行同Amazon Redshift比对的TPC-H基准测试,而且看起来似乎结果非常乐观。
信息披露:我自己为GigaOm Research做分析师的工作。我没有参与SQL DW TPC-H基准测试项目,不过我知道它正在进行。
微软对TPC-H基准测试工作的讨论将在博客文章中进行介绍,GigaOm的报告也可以点击这里在线获取。
增强了的Power BI
在Power BI方面,微软已在云Big Data和Enterprise上都加强了流行的商业智能(Business Intelligence)服务。
对于前者,微软强化了Power Query自助服务数据准备工具(也嵌入在Windows版本的Excel中),以处理存储在Power BI云服务中的数据,而不是将其功能限制在存储在桌面电脑中的Power BI模型中。
根据Power Query云功能的实现方式,它可以为微软的Azure数据工厂(Azure Data Factory)服务提供一个非常有趣的伴奏,其主要改进是6月27日公告的一部分。此外,Power BI正在与Azure Data Lake Storage Gen2(也于6月27日发布并且目前处于预览阶段)集成,对Azure Blob Storage的改进消除了文件大小限制,并且增加了一个访问接口,使其与Hadoop Distributed File System (HDFS)——这种经典的大数据存储技术兼容。
Power BI基于微软长期的SQL Server Analysis Services(SSAS)技术,而从现在开始,Power BI集成了许多SSAS功能。包括与XML for Analysis(XMLA)的兼容性,这是SSAS的本地协议。XMLA兼容性带来了与为SSAS协同工作而构建的一系列工具的兼容性,使Power BI能够更好地针对企业。
Power BI还与微软的企业报告技术——SQL Server Reporting Services(SSRS)进行了集成。现在,除了Power BI报告和面板之外,Power BI云服务还将能够托管和呈现SSRS报告。
这为与本身就是SSRS内部部署的报表服务器扩展集的Power BI Report Server提供了良好的对称性,它允许本地提供的Power BI报告以及SSRS资产。现在,微软的客户将能够在本地和云端两种环境中都能够合并SSRS和Power BI报告。
为了提升Enterprise的实力,Power BI现在将提供对微软通用数据模型(Microsoft Common Data Model,CDM))的支持,并且正在增加多个地区的合规性,允许客户将Power BI Premium(非Professional)部署到全球特定的区域。 这有助于遵守数据驻留要求,增强数据局部性,从而减少数据的加载时间。
微软知道技术几乎总是通过数据和分析来实现,而且该公司正在这个领域的多款产品上加倍下注,特别是在云端更是如此。微软现在面临的问题是让市场相信该公司可以在数据领域打败亚马逊网络服务(Amazon Web Services)。虽然该公司现在正在前进,但是要想在数据领域赢得市场的民心,微软还有很多工作要做。
好文章,需要你的鼓励
CoreWeave发布AI对象存储服务,采用本地对象传输加速器(LOTA)技术,可在全球范围内高速传输对象数据,无出口费用或请求交易分层费用。该技术通过智能代理在每个GPU节点上加速数据传输,提供高达每GPU 7 GBps的吞吐量,可扩展至数十万个GPU。服务采用三层自动定价模式,为客户的AI工作负载降低超过75%的存储成本。
IDEA研究院等机构联合开发了ToG-3智能推理系统,通过多智能体协作和双重进化机制,让AI能像人类专家团队一样动态思考和学习。该系统在复杂推理任务上表现优异,能用较小模型达到卓越性能,为AI技术的普及应用开辟了新路径,在教育、医疗、商业决策等领域具有广阔应用前景。
谷歌DeepMind与核聚变初创公司CFS合作,运用先进AI模型帮助管理和改进即将发布的Sparc反应堆。DeepMind开发了名为Torax的专用软件来模拟等离子体,结合强化学习等AI技术寻找最佳核聚变控制方式。核聚变被视为清洁能源的圣杯,可提供几乎无限的零碳排放能源。谷歌已投资CFS并承诺购买其200兆瓦电力。
上海人工智能实验室提出SPARK框架,创新性地让AI模型在学习推理的同时学会自我评判,通过回收训练数据建立策略与奖励的协同进化机制。实验显示,该方法在数学推理、奖励评判和通用能力上分别提升9.7%、12.1%和1.5%,且训练成本仅为传统方法的一半,展现出强大的泛化能力和自我反思能力。