科技行者

行者学院 转型私董会 科技行者专题报道 网红大战科技行者

知识库

知识库 安全导航

至顶网软件频道NoSQL:开发人员如何应对大数据

NoSQL:开发人员如何应对大数据

  • 扫一扫
    分享文章到微信

  • 扫一扫
    关注官方公众号
    至顶头条

目前大数据是高性能计算领域最热门的趋势。大数据处理的特点是:我们需要实时采集、分析、传递海量的信息,数据集以PB甚至ZB(1百万PB)为单位,大数据为开发人员带来了新挑战,谈到了大数据,就不能不说hadoop和NoSQL。

作者:张德东 来源:开发者在线 2012年4月16日

关键字: NoSQL Hadoop 大数据 QCon 开发

  • 评论
  • 分享微博
  • 分享邮件

ZDNet至顶网软件频道消息 (文/张德东)目前大数据是高性能计算领域最热门的趋势。大数据处理的特点是:我们需要实时采集、分析、传递海量的信息,数据集以PB甚至ZB(1百万PB)为单位,大数据为开发人员带来了新挑战,谈到了大数据,就不能不说hadoop和NoSQL。

NoSQL是当今非关系型数据库的宠儿

NoSQL是一个分布式的、面向海量数据管理的数据库系统,在互连网的海量数据管理上,有很好的表现。现如今,企业对互连网的海量数据的要求越来越高,高可用、大吞吐、低延迟、数据安全性高等,并且业务的低峰时段越来越短,对存储的扩容、停机调整时间很难接受,对平滑扩容、故障自动切换的要求也随着而来。企业IT开发人员通过深度开发NoSQL系统,可以应对并解决这些矛盾。

NoSQL:开发人员如何应对大数据
NoSQL(NoSQL = Not Only SQL ),意即反SQL运动,是一项全新的数据库革命性运动,早期就有人提出,发展至2009年趋势越发高涨。NoSQL的拥护者们提倡运用非关系型的数据存储,相对于目前铺天盖地的关系型数据库运用,这一概念无疑是一种全新的思维的注入。
现今的计算机体系结构在数据存储方面要求具备庞大的水平扩展性,而NoSQL致力于改变这一现状。目前Google的 BigTable 和Amazon 的Dynamo使用的就是NoSQL型数据库。

NoSQL项目的名字上看不出什么相同之处,但是,它们通常在某些方面相同:它们可以处理超大量的数据。

这场革命目前仍然需要等待。的确,NoSQL对大型企业来说还不是主流,但是,一两年之后很可能就会变个样子。在NoSQL运动的最新一次聚会中,来自世界各地的150人挤满了CBS Interactive的一间会议室。分享他们如何推翻缓慢而昂贵的关系数据库的暴政,怎样使用更有效和更便宜的方法来管理数据。

“关系型数据库给你强加了太多东西。它们要你强行修改对象数据,以满足RDBMS (relational database management system,关系型数据库管理系统)的需要,”在NoSQL拥护者们看来,基于NoSQL的替代方案“只是给你所需要的”。

NoSQL 是非关系型数据存储的广义定义。它打破了长久以来关系型数据库与ACID理论大一统的局面。NoSQL 数据存储不需要固定的表结构,通常也不存在连接操作。在大数据存取上具备关系型数据库无法比拟的性能优势。该术语在 2009 年初得到了广泛认同。

Hadoop是海量数据分析的最佳解决方案

Hadoop的发展基本上经历了这样一个过程:从一个开源的Apache基金会项目,随着越来越多的用户的加入,不断地使用、贡献和完善,形成一个强大的生态系统,从2009年开始,随着云计算和大数据的发展,Hadoop作为海量数据分析的最佳解决方案,开始受到许多IT厂商的关注,从而出现了许多Hadoop的商业版以及支持Hadoop的产品,包括软件和硬件。

Hadoop 是一个能够对大量数据进行分布式处理的软件框架。但是 Hadoop 是以一种可靠、高效、可伸缩的方式进行处理的。Hadoop 是可靠的,因为它假设计算元素和存储会失败,因此它维护多个工作数据副本,确保能够针对失败的节点重新分布处理。Hadoop 是高效的,因为它以并行的方式工作,通过并行处理加快处理速度。Hadoop 还是可伸缩的,能够处理 PB 级数据。此外,Hadoop 依赖于社区服务器,因此它的成本比较低,任何人都可以使用,从而应用到各种行业中。

2012 QCon全球软件开发大会

2012年4月18日至20日,由InfoQ中文站主办的2012 QCon全球软件开发大会(北京站)将会聚焦讨论NoSQL和大数据等开发人员所涉及的焦点问题。 
 
QCon全球顶级技术盛会,每年在伦敦、北京、东京、纽约、圣保罗、杭州、旧金山召开。自2007年3月份首次举办以来,已经有包括传统制造、金融、电信、互联网、航空航天等领域的近万名架构师、项目经理、团队领导者和高级开发人员参加过QCon大会。

    • 评论
    • 分享微博
    • 分享邮件
    邮件订阅

    如果您非常迫切的想了解IT领域最新产品与技术信息,那么订阅至顶网技术邮件将是您的最佳途径之一。

    重磅专题
    往期文章
    最新文章