至顶网软件频道消息: 微软在公布预览的时候将这个第二代版本称为“不折不扣的数据湖”。据悉,Azure Data Lake是微软用于云中大数据分析工作负载的存储库。

Azure Data Lake Storage Gen2将第一代Azure Data Lake的核心功能与兼容Hadoop的文件系统端点(直接集成到Azure Blob Storage)进行了统一。
微软在一篇博客文章中解释说:“这些增强功能将对象存储的规模和成本优势与通常只和本地文件系统相关联的可靠性及性能相结合。这个新的文件系统包括一个完整的分层命名空间,让文件和文件夹优先级最高,转化为更快速、更可靠的分析任务执行。”
Gen2还为客户带来“无限存储”以及与Azure Active Directory的本地集成。
微软在2015年宣布了Azure Data Lake Service的初始计划。第一代Azure Data Lake旨在与HDInsight配合,这是微软针对Windows和Linux的Hadoop-onAzure服务。 最初Azure Data Lake是建立在微软内部“Cosmos”大数据存储和分析服务基础之上的。
除此之外,微软还宣布推出了Azure Data Factory V2的几项新功能,包括支持控制流数据管道结构;无码数据迁移和编排设计;灵活调度。
据悉,Azure Data Factory是一种混合数据集成(ETL)服务。将通过与世纪互联的合作在中国现有两个Azure区域基础上再增加两个。
好文章,需要你的鼓励
CPU架构讨论常聚焦于不同指令集的竞争,但实际上在单一系统中使用多种CPU架构已成常态。x86、Arm和RISC-V各有优劣,AI技术的兴起更推动了对性能功耗比的极致需求。当前x86仍主导PC和服务器市场,Arm凭借庞大生态系统在移动和嵌入式领域领先,RISC-V作为开源架构展现巨大潜力。未来芯片设计将更多采用异构计算,多种架构协同工作成为趋势。
苏州大学研究团队提出"语境降噪训练"新方法,通过"综合梯度分数"识别长文本中的关键信息,在训练时强化重要内容、抑制干扰噪音。该技术让80亿参数的开源模型在长文本任务上达到GPT-4o水平,训练效率比传统方法高出40多倍。研究解决了AI处理长文档时容易被无关信息干扰的核心问题,为文档分析、法律研究等应用提供重要突破。
Vast Data与云计算公司CoreWeave签署了价值11.7亿美元的多年期软件许可协议,这标志着AI基础设施存储市场的重要转折点。该协议涵盖Vast Data的通用存储层及高级数据平台服务,将帮助CoreWeave提供更全面的AI服务。业内专家认为,随着AI集群规模不断扩大,存储系统在AI基础设施中的占比可能从目前的1.9%提升至3-5%,未来五年全球AI存储市场规模将达到900亿至2000亿美元。
清华大学团队首次揭示了困扰AI训练领域超过两年的"幽灵故障"根本原因:Flash Attention在BF16精度下训练时会因数字舍入偏差与低秩矩阵结构的交互作用导致训练崩溃。研究团队通过深入分析发现问题源于注意力权重为1时的系统性舍入误差累积,并提出了动态最大值调整的解决方案,成功稳定了训练过程。这项研究不仅解决了实际工程问题,更为分析类似数值稳定性挑战提供了重要方法论。