大数据的爆炸时代

“智能时代的根本是什么?我认为在于数据,大数据是智能世界的土壤。
07
------ 阿里巴巴副总裁 涂子沛  
本期导读
文章配图

9月5日,国务院发布关于《促进大数据发展行动纲要》,探索大数据与传统行业协同发展的新业态、新模式、促进传统产业转型升级和新兴产业发展,培育新的经济增长点。形成一批满足大数据重大应用需求的产品、系统和解决方案,建立安全可信的大数据技术体系,大数据产品和服务达到国际先进水平,国内市场占有率显著提高。

如何把数据变成黄金,是许多企业在寻求升级转型路上的核心要点。数据的重要性在互联网+时代被视为核心要素。据国家金融信息中心指数研究院发布报告显示,2010年我国大数据市场规模为32亿元,到2016年预计将达238亿美元。有分析称,在未来5到10年,大数据产业将可能迎来黄金增长期。

- 延伸阅读《促进大数据发展行动纲要》发布 部署三大任务助力经济转型

《纲要》指出,目前我国在大数据发展和应用方面已具备一定基础,拥有市场优势和发展潜力,但也存在政府数据开放共享不足、产业基础薄弱、缺乏顶层设计和统筹规划、法律法规建设滞后、创新应用领域不广等问题,亟待解决。《纲要》认为,坚持创新驱动发展,加快大数据部署,深化大数据应用,已成为稳增长、促改革、调结构、惠民生和推动政府治理能力现代化的内在需要和必然选择。

文章配图

《纲要》指出,立足我国国情和现实需要,推动大数据发展和应用在未来5—10年逐步实现以下目标:打造精准治理、多方协作的社会治理新模式;具体来说就是,2017年底前,形成跨部门数据资源共享共用格局;2018年底前建成国家政府数据统一开放平台,率先在信用、交通、医疗等重要领域实现公共数据资源合理适度向社会开放。建立运行平稳、安全高效的经济运行新机制;构建以人为本、惠及全民的民生服务新体系;开启大众创业、万众创新的创新驱动新格局;培育高端智能、新兴繁荣的产业发展新生态。

《纲要》部署了三大任务,首先提及的就是要加快政府数据开放共享,推动资源整合,提升治理能力。其次,推动产业创新发展,培育新兴业态,助力经济转型。第三,强化安全保障,提高管理水平,促进健康发展。

《纲要》还明确七方面政策机制。一是建立国家大数据发展和应用统筹协调机制。二是加快法规制度建设,积极研究数据开放、保护等方面制度。三是健全市场发展机制,鼓励政府与企业、社会机构开展合作。四是建立标准规范体系,积极参与相关国际标准制定工作。五是加大财政金融支持,推动建设一批国际领先的重大示范工程。六是加强专业人才培养,建立健全多层次、多类型的大数据人才培养体系。七是促进国际交流合作,建立完善国际合作机制。

依据《纲要》的规划,到2020年,我国将形成一批具有国际竞争力的大数据处理、分析、可视化软件和硬件支撑平台等产品。

- 延伸阅读工信部正制定大数据“十三五”规划

据新华社电 9月10日,工信部信息化和软件服务业司司长陈伟透露,工信部正在制定《大数据产业“十三五”发展规划》,支持大数据技术和产业创新发展,提升大产业支撑能力,培育新业态新模式。

文章配图

除制定《大数据产业“十三五”发展规划》外,工信部还将出台促进大数据产业发展的推进计划,促进规划、标准、技术、产业、安全、应用协同发展。其中,在标准化方面,正在研制的10项国家标准中,8项已完成草案。下一步将重点开展数据格式接口、开放共享等标准体系建设。工信部将组织实施“大数据关键技术及产品研发与产业化工程”,通过相关项目和资金引导和支持关键技术产品研发及产业化,同时开发面向工业、电信、金融、交通、医疗等数据密集型行业的大数据应用解决方案。

围绕落实中国制造2025,支持开发工业大数据解决方案,利用大数据培育发展制造业新业态,开展工业大数据创新应用试点。陈伟称,“目前包括北京、上海、贵州等先行先试的地方大数据产业和应用发展已初见成效。”

- 延伸阅读大数据分析平台Hadoop与Spark之争

对于大数据来说,最重要的还是对于数据的分析,从里面寻找有价值的数据帮助企业作出更好的商业决策。而如何利用大数据分析,少不了大数据分析的平台,Hadoop被公认为是新一代的大数据处理平台,EMC、IBM、Informatica、Microsoft以及Oracle都投入了Hadoop的怀抱。

文章配图

这样的平台是复杂的,具有相当技术的门槛,但是每个行业都少不了黑马。Spark从2009年诞生到如今的成熟,不过短短几年。Spark的核心RDD(resilient distributed datasets),以及流处理,SQL智能分析,机器学习等功能。Spark提供的基于RDD的一体化解决方案,将MapReduce、Streaming、SQL、Machine Learning、Graph Processing等模型统一到一个平台下,并以一致的API公开,并提供相同的部署方案,使得Spark的工程应用领域变得更加广泛。

对于Hadoop与Spark两者之间的合作与竞争,在业内不比大数据本身的热度少多少。

据预测,Spark将会在五年以后全面替代Hadoop的MapReduce。由此可见,大数据领域技术更迭十分迅速。那么,在日新月异的大数据领域,Spark又能主导分布式计算多久呢?之后,又是那种技术替代Spark呢?

- 延伸阅读大数据与分析是企业创新的核心

当我们谈论大数据时往往会形成很多的误区,IBM大中华区大数据与分析事业部数据平台方案总经理刘胜利认为,Hadoop系统的确是大数据有代表性的平台,但是大数据并不等于Hadoop。近2年Spark很热门,是大数据非常火的平台,但是也不意味着大数据就是Spark。

文章配图

IBM非常强调大数据的分析和挖掘能力,数据多并不是价值,只有把数据里面的商业流程挖掘出来才是大数据的价值。

毋庸置疑,大数据是当前的潮流,在互联网的应用层出不穷,企业管理决策也越来越受预测性分析和大数据分析的影响,依靠直觉做决定的情况将会被彻底改变。那么,企业级的客户会关心如何应用技术来实现创新?会关心用应用大数据分析系统以后,如何实现高可用性、稳定性、可靠性?

企业使用大数据和互联网的企业使用大数据显然有非常明显的不一样,企业级的客户非常关注流程。刘胜利解释,“就是说大数据来了,企业原有的业务流程需要整合。会关注数据的挖掘,而不是堆积数据。更重要的是如何用大数据,不是说技术如何先进,而是技术对于行业创新有什么样的帮助,这是客户最关注的核心。”

- 延伸阅读大数据落地决胜的关键——百分点BASIC模型

对大多数企业来说都在思考和探索如何”+大数据“?企业在面对海量、异构、实时的大数据时,往往因为没有足够的技术能力和经验,进行复杂的大数据处理,并支撑多元化的应用。而且,目前的大数据技术和应用能够帮助企业落地大数据的少之又少。

文章配图

近日,百分点发布针对企业级的企业级(BD-OS),意味着企业可以快速、低成本地使用成熟的大数据技术和应用服务,中国企业在“互联网+”时代可以获得大数据能力并转化为生产力。

BD-OS是一款全流程、可视化、智能化的企业级大数据操作系统,具有可视化的操作界面,系统化的数据处理流程,智能化的操作向导以及协同化的作业平台,用户不必再陷入繁琐的代码操作和流程细节,即可轻松实现大数据处理。

“它填补了从繁复的底层技术到便捷的大数据操作之间的空白,帮助企业管理数据资产并创造商业价值。”百分点创始人/董事长苏萌博士对此表示。

百分点提出让大数据落地的五大要素,即“+大数据”百思可(BASIC)模型。顾名思义,这个模型由BASIC五个字母组成。

往期回顾
作者文章

作者:邓晓蕾
deng.xiaolei@zhiding.cn

© 北京第二十六维信息技术有限公司版权所有.
京ICP备15039648号-7 京ICP证161336号 京公网安备 11010802021500号