IBM卢伟权详解DB2 BLU加速器四大关键技术

ZDNet至顶网软件频道消息（文/蒋湘辉）： 大数据时代的来临，使企业级用户更加关注数据分析的有效性和速度是否能跟上数据增长和基础架构的牵制。作为业界主流的三大数据库之一的IBM DB2，在2013年推出了带有BLU加速技术的DB2 10.5版本，它在分析工作负载处理方面结合列式数据存储功能，以及先进的压缩和硬件开发技术，可实现对各种在线分析工作负载进行更快速的分析查询处理。

IBM软件集团大中华区信息管理软件总经理卢伟权2013年底在接受ZDNet采访时表示，带有BLU加速器的DB2 10.5可以兼具OLTP和OLAP的处理特性，BLU加速技术有四大关键的技术特点：一是动态的内存技术可以把整个的数据尽可能利用内存来存放；二是通过列式的压缩的方式减少数据处理量，提高处理效率并降低存储的能耗；三是通过并发性加速整个分析过程；四是通过数据忽略技术叫做Data  Sleeping技术，能够在海量数据里寻找相关性，减少不必要处理的时间。“BLU Acceleration增加了一个额外的存储引擎，并在运行时直接集成到核心DB2引擎中，以支持对按列组织的表进行存储和分析。该处理与基于行的传统表处理可并行运行，使DB2可以在同一系统中处理基于行和基于列的表。潜在的结果包括显著提高的性能、大量节省的存储空间，以及可轻松地对事务性和分析性这两种数据工作负载进行实施和管理。”

动态内存中处理大幅提高性能且不增加成本

卢伟权介绍，DB2采用了优秀的存储管理方法，它提供内存中处理的所有优点，但没有在其他系统中耗尽内存时所发生的性能问题。DB2使用为其提供的所有服务器内存，并根据需要使用磁盘阵列和其他资源来扩展这些资源。例如，如果一个表超出了所分配的内存，系统会继续处理，但没有在RAM和存储磁盘之间交换数据的开销——这提供了出色的性能。

利用列式和编码的数据压缩可提升10倍压缩率

内存中、列式和压缩技术在DB2中的结合可帮助企业实现更快的查询速度，让用户可以提出更多问题，并获得比以往任何时候都更为深入的洞察。先进的编码实现了最大限度的压缩，同时保留编码的顺序，以便能够快速分析压缩后的数据，并且没有解压缩的开销。这样可高效使用CPU和RAM，并且减少了I/O——这又转化为更快的性能和更低的存储成本。

测试表明，相比于使用全压缩的DB2 10.1，使用DB2 with BLU Acceleration可以获得1.6倍到2.6倍的存储空间节省，并且客户已报告，与未压缩的表相比，DB2 with BLU Acceleration的压缩率是10倍。

利用并行矢量处理实现更快的处理速度

卢伟权介绍，DB2在硬件中融入了最新的发展(如SIMD)，只需一个指令就可以执行多个任务，从而有助于提高处理效率。可以将工作分布在多个处理器核心上，这极大地加快了性能，从而帮助决策者迅速地获得他们所需的答案。

利用数据忽略高效地处理数据

卢伟权还表示，带有BLU加速器的DB2 10.5版本可以自动检测并跳过大段不符合查询条件的数据，从而消除了不必要的处理。这实现了更高效的数据处理和更高的性能。

“综合以上四大创新技术，IBM观察到，带有BLU加速器的DB2 10.5典型的分析工作负载性能可提高8到25倍。”

图注：IBM BLU加速技术原理图