Sybase卢东明：列式数据库更好驾驭大数据

ZDNet至顶网软件频道（文/蒋湘辉）2012年一季度，Sybase公司正式在国内推出了集成Hadoop和MapReduce
的列式数据库Sybase IQ 15.4。Sybase中国公司技术总监卢东明在接受ZDNet采访时表示，面对大数据分析的全新需求，Sybase IQ的列式数据库更能驾驭大数据浪潮。“Sybase IQ这些技术革新使得Sybase IQ一直以来位于列式分析服务器市场的领跑地位。目前，全球已有2000多名用户采用了Sybase IQ创新的列式处理方法，为其关键的分析和报表系统提供支持。在过去3年，每年都有大约200个新客户加入Sybase IQ用户阵营。新的API帮助开发人员快速、安全地实施数据库内算法，实现优于现有方法10倍以上的性能加速。

据IDC统计，2011年数据总量将达到1.8ZB（万亿GB） ，对这些海量数据的分析已经成为企业和机构非常重要且紧迫的需求。面临着占据不到15% 的传统标准化、结构化的信息，企业已经无法捕捉正确的、全部的市场信息，剩下的85% 非结构化数据则广泛存在于社交网络、互联网和电子商务之中。面对席卷而来的大数据浪潮，企业更需要一种全新的技术，帮助他们实时处理海量的复杂性信息，挖掘大数据分析的价值。

列式数据库更适合高扩展分析

Forrester研究机构曾在大数据相关报告指出，大数据的应用关键在于可高度扩展的分析，包括处理海量、高速、种类繁多以及无法预测的数据类型等极端情况，在大数据分析中，传统的数据库部署已经不能很好地承载TB级数据，也不能更好地支持高级别数据分析。

卢东明介绍，相比于传统的“行式存储”的关系型数据库，Sybase IQ使用了独特的列式存储方式，在进行分析查询时，仅需读取查询所需的列，其垂直分区策略不仅能够支持大量的用户、大规模数据，还可以提交对商业信息的高速访问，其速度可达到传统关系型数据库的百倍甚至千倍。

卢东明表示，根据Gartner的评价，Sybase IQ不断在分析应用POC测试中拔得头筹，逐渐成为从数据集市到企业数据仓库架构最令人心动的DBMS（数据库管理系统）。

根据Sybase列数据库和行数据库的测试对比显示，在数据加载方面，列数据库不到行数据库的十分之一，存储占用空间不到六分之一。（如图）

Sybase IQ 15.4集成Hadoop和MapReduce

在大数据分析领域，Hadoop和MapReduce越来越受到关注。Hadoop是一个开放源码的分布式数据处理系统架构，主要面向存储和处理结构化、半 结构化或非结构化等真正意义上的大数据（通常成百上千的TB甚至PB级别数据）应用。MapReduce能将大数据问题分解成多个子问题，将它们分配到成 百上千个处理节点之上，然后将结果汇集到一个小数据集当中，从而更容易分析得出最后的结果。

“Sybase IQ 15.4采用MPP列式数据库和数据库内分析技术，并集成了MapReduce与Hadoop，以应对大数据时代的分析挑战。”卢东明介绍，Sybase IQ提供了一个统一的DBMS平台，可使用各种算法分析不同类型的数据，这包括结构化数据和半结构化数据。此外，该版本还做了以下的扩充：扩大了对数据库 内分析功能的支持，包括MapReduce API、预测模型标记语言（PMML）支持、与Hadoop的集成以及基于Sybase IQ PlexQ大规模并行处理（MPP）技术的统计和数据挖掘算法的扩展库。新的API帮助开发人员快速、安全地实施数据库内算法，实现优于现有方法10倍以 上的性能加速。

卢东明表示，自2009年推出以来，Sybase陆续发布了Sybase IQ 15.1、15.2、15.3以至最新的Sybase IQ 15.4版本，每个版本都着力于增加新的核心能力以促进更深入的高级分析。Sybase IQ 15.3在内置分析、全文检索等功能基础上，采用PlexQ 技术的全共享MPP 架构，扩展后可支持实时访问数千个用户、多个混合工作负载和大规模数据集，将性能、分析、灵活性提高前所未有的高度，从而重新定义企业级业务分析。 Sybase IQ 15.4已将Sybase IQ 的性能、分析、灵活性提升到了更高的级别，推动了其在商业智能领域的应用。

Sybase中国公司技术总监卢东明在平板电脑上展示该公司的产品，企业可以通过Sybase IQ 15.4快速地将海量数据转变成可操作的信息，管理海量增长的半结构与非结构化数据、实现复杂数据环境下高效的大数据分析。（蒋湘辉 摄）

SAP目标成为全球第二大数据库厂商

据悉，SAP成功收购Sybase后，旗下已经有五大数据库和数据仓库品牌：行式数据库Sybase Adaptive Server Enterprise（简称ASE）、列式数据库Sybase IQ、小型嵌入式数据库Sybase SQL Anywhere、可进行实时分析的SAP内存数据库HANA，而数据流分析软件Sybase ESP也可以看成数据库的一个变种。2015年SAP的目标是希望通过HANA和Sybase原有的几大数据库产品线，成为全球第二大数据库厂商。而HANA和Sybase IQ都是增长最快的列式数据库。

据悉，根据SAP 2012年4月中旬发布的数据库发展战略，未来所有的Sybase数据库产品都将正式打上SAP的标签，如：Sybase IQ正式改为SAP Sybase IQ Server, Sybase ESP(Event Stream Processor)正式改为SAP Sybase Event Stream Processor，Sybase ASE正式改为SAP Sybase ASE。而SAP HANA和IQ都将进一步支持以Hadoop为代表的大数据数据源，SAP Sybase SQL Anywhere将成为HANA的前端数据库。SAP Sybase PowerDesigner将成为HANA实时数据平台的模型设计管理工具。