微软宣布开源Azure数据压缩技术Zipline

来源:siliconANGLE    2019-03-15 14:36:47

关键字: 数据压缩 开源 微软

为了减轻基础设施带来的压力,微软开发了一种用于压缩数据的尖端系统。今天上午,微软在一个名为Zipline的开源项目下发布了该系统的规范。

至顶网软件频道消息: 据IDC预测,全球数字信息总量将从现在的33ZB增长到2025年的175ZB。数据的快速增长引发了微软等云厂商的密切关注,这些厂商不仅有自己的数据,还有无数其他企业组织的数据。

 微软宣布开源Azure数据压缩技术Zipline

为了减轻基础设施带来的压力,微软开发了一种用于压缩数据的尖端系统。今天上午,微软在一个名为Zipline的开源项目下发布了该系统的规范。

微软称,这项技术要比目前业界的常用的压缩软件强大得多。微软Azure硬件基础设施团队总经理Kushagra Vaid在博客文章中,把当下主流的Zlib工具作为对比参考。

Zlib是一个行业标准的压缩库,目前Linux内核、iOS和其他基础软件平台都采用了Zlib。Vaid表示,Zipline的数据压缩率高达是Zlib的2倍,而且,该系统的吞吐量也要高于其他主流压缩工具,并且延迟更低。

这就意味着Zipline可以将工作负载缩小到只是其大小的一部分。微软称,该系统把Azure上的应用程序存储量压缩了92%。对于其他类型的数据——例如来自联网设备的机器数据,Zipline的压缩率会更高。

微软将开源该系统的压缩算法,以及该算法设计运行定制硬件的规范,其中就包括Zipline表现数据操作的低级寄存器传输语言。

“我们预计,随着时间的推移,Project Zipline压缩技术被用于多个市场细分领域,以及网络数据处理、智能SSD、归档系统、云设备、通用微处理器、物联网和边缘设备等使用模式中,”Vaid这样写道。

Zipline并不是微软为开源社区贡献第一个Azure组件。此前,微软曾发布了用于一个人工智能引擎的代码,该引擎被用于支持Azure平台的一些服务。此外,微软开公开了自主研发的Cerberus芯片的原理图,该芯片可保护服务器固件防止被篡改。

    扫一扫

    分享文章到微信


    北京第二十六维信息技术有限公司(至顶网)版权所有. 京ICP备15039648号-7 京ICP证161336号京公网安备 11010802021500号
    举报电话:010-62641208-5060 举报email:jubao@zhiding.cn 安全联盟认证