科技行者

行者学院 转型私董会 科技行者专题报道 网红大战科技行者

知识库

知识库 安全导航

至顶网软件频道微软计划用即将推出的“Pendleton”工具解决“数据清洗”问题

微软计划用即将推出的“Pendleton”工具解决“数据清洗”问题

  • 扫一扫
    分享文章到微信

  • 扫一扫
    关注官方公众号
    至顶头条

微软方面正在测试一款面向数据科学家的专用工具,代号“Pendelton”,其目标在于实现高效数据筹备与清理。

作者:孙博 来源:至顶网软件频道 【编译】 2017年9月8日

关键字:人工智能 Pendleton 微软

至顶网软件频道消息:随着愈发强调AI技术的重要意义再配合其作为工具供应商的角色定位,微软公司此次在传统程序员之外、决定面向数据科学家开发工具的决策可谓毫不令人意外。

 微软计划利用即将推出的“Pendleton”工具从数据中提取有价值信息

根据微软研究部门在今年早些时候发布的声明,数据科学家们目前将80%的工作时间用于数据的信息提取与清理工作——即“数据清洗”。微软公司希望帮助其解决这一难题。

Pendleton项目由此诞生。

一年之前,我第一次听说微软公司正在开发一款代号为Pendleton项目的新型机器学习相关工具。不过在此之后,由于缺少充分的背景信息,我们一直无法对Pendleton作出深入解析。

不过根据最近发布的Pendleton“入门介绍”文档,我们得知Pendleton项目在微软心目中的具体定位:

“Pendleton项目提供一套灵活且具备可扩展性的工具集,旨在帮助您探索、发现、理解数据内容并修复其中的问题。其允许用户以多种形式实现数据消费,并将数据转换为更适合您实际用例的新形式。”

Pendleton是一款客户端应用,面向Windows与OS X/MacOS平台。其运行时利用Python设计,且依赖于多种Python库。

根据一位知情人士的说明,Pendleton项目是一款面向数据科学家的工具,专门用于进行数据筹备与清理。该工具能够实现错误列删除、列格式更改以及丢失数据处理等。另外,其还提供各类分析工具,可帮助数据科学家获取数据集中包含的具体内容。Pendleton项目可以从SQL Server、Azure Blob以及数据湖当中读取数据,亦可与本地PC文件内读取信息。

微软公司已经在内部对Pendleton项目测试了近一年时间——实际周期可能更长。我还没有听说软件巨头打算如何发布这款工具,但似乎其确实在酝酿相关计划。

在我看来,微软研究部门的PROSE(即项目综合使用示例)团队可能负责为Pendleton项目“开发数据清洗的项目综合技术,并将其纳入实际产品”,或者说至少有参与其中。

与此同时,在数据科学与大数据集方面,微软公司与Facebook则于今天公布了其共同开发的新型模型格式,其可确保各类深度学习模型在不同框架之间实现往来转移。

这项新标准被称为开放神经网络交换(简称ONNX),其允许开发人员在微软Cognitive Toolkit、Facebook Caffe2以及PyTorch等AI框架之间将模型往来迁移。ONNX代码的初始版本及相关说明文档目前已经以开源项目形式公布在GitHub之上。

综合评分:8.285 分
云能力:8.6 分
营业额:737亿美元[2012]
云服务:Windows Azure

查看更多 >>

邮件订阅

如果您非常迫切的想了解IT领域最新产品与技术信息,那么订阅至顶网技术邮件将是您的最佳途径之一。

重磅专题
最新文章
推荐文章