特殊架构的数据仓库、NoSQL数据库,这些是数据管理人员最近比较关注的技术。而IBM近期推出DB2 BLU加速器功能之后,再次将用户的目光聚焦在旗舰级关系型数据库之上。
IBM信息管理部门的主打产品DB2关系型数据库管理系统(RDBMS)最新版中,添加了许多功能,包括内存数据处理、数据忽略(data skipping)、深度压缩以及列式分析等等。其中一些功能让推崇新时代关系型分析引擎以及NoSQL技术的粉丝也刮目相看。
谈到列式处理人们首先会想到压缩功能,它是分析引擎中常用到的技术,业界也有不少厂商使用了这种方式,包括AsterData(Teradata)、Vertica(HP)、ParAccel(Actian)、SybaseIQ(SAP)等等。而近几年来,很多主流的数据库厂商,如IBM、微软等也都提供了列式功能的增强。
列式处理往往更关注于需要普通查询的数据集,它由诸多好处,包括减少I/O并改善缓存的使用。
北柏林顿铁路公司(BNSF)的数据库工程师Kent Collins 表示,DB2 10.5中添加了新的BLU加速器功能,它支持高速的“I/O”操作同时还可以利用内部的RDBMS能力。增强的数据压缩能力对于降低内存需求有着极大的帮助。
“这对我们很有帮助,我们刚刚迁移了400GB的数据库,DB2 10.5将它压缩到只有80GB。而使用BLU功能在一些查询上的性能甚至提升了一百倍。”Kent Collins说。
大数据和大型查询对于BNSF公司来说是非常重要的,他们会针对广泛的操作收集越来越多种类的数据。在2012年,他们承载了超过100万的农业货物运输车辆,220万的煤炭运输车、470万的拖车运输车辆以及170万的工业货物运输车。
Kent Collins表示,BNSF的数据包括了文本信息、无线电信息以及视频等,非结构化数据在公司内部蔓延。他迅速重新调整了数据管理策略,基于列式的数据处理也可以使用成熟的SQL方式进行编程,它在驾驭非结构化数据方面起到了重要作用。
RDBMS的新游戏
IBM数据库软件系统战略营销总监Bernie Spang表示:“原来是先找到你的数据问题,然后决定使用哪种关系型数据库。现在则是决定使用哪种数据技术。即使在关系型数据库领域,也有旧时代与新时代的技术之分。这就像是一场激烈的球赛一样。”
IBM在最新的DB2 BLU中运用了一些顶尖的数据技术。IBM杰出工程师Sam Lightstone表示,新的压缩技术能够根据处理数据类型的不同而做出相应的改变。它能够在压缩的数据上直接运行分析,而不用再进行解压缩步骤,降低了处理时间。
Sam Lightstone说:“BLU是一个压缩优化、内存优化的基于列式的数据库产品。它支持数据忽略(忽略无关数据)、并行处理和向量处理扫描。这些独特功能的组合让DB2实现了巨大的飞跃。”
填平分析的沟壑
业界著名的数据库咨询顾问、博主Curt Monash表示,近几年来有许多数据技术的发展都围绕着分析型数据库管理系统。而许多旗舰级的关系型数据库正在填平这部分的“沟壑”。
Monash表示,DB2 BLU可以被视为重要的一步,而未来还有很大的发展空间。比如在第一个版本的BLU中,它是基于单一服务器的产品,内存单一服务器绝对是一个限制。另外它针对10TB数据库进行了优化,而BLU实际上能增加到20TB。
Monash提醒,IBM除了DB2 BLU之外还有其他的分析型RDBMS,即Netezza数据仓库一体机。而除了IBM之外,还有很多厂商在不断加强RDBMS的功能。随着数据相关的挑战越来越多,传统的数据库技术也得到了更多的关注。
我们一直都在努力坚持原创.......请不要一声不吭,就悄悄拿走。
我原创,你原创,我们的内容世界才会更加精彩!
【所有原创内容版权均属TechTarget,欢迎大家转发分享。但未经授权,严禁任何媒体(平面媒体、网络媒体、自媒体等)以及微信公众号复制、转载、摘编或以其他方式进行使用。】
微信公众号

TechTarget
官方微博

TechTarget中国
翻译
相关推荐
-
【IBM观察文章】人工智能如何重新定义计算系统与架构
人工智能时代的到来,使得数据及计算能力的重要性再次升级,以往x86架构下以CPU为核心的计算性能提升到达瓶颈,呼唤计算力的重构。
-
Spark尚未“成熟” 用户仍需“专业”
虽然Spark的应用对企业而言已经并不陌生,但对于一些企业来说,这项技术可能还是比较“前沿”。
-
【对话Teradata高管】我们很幸运,这是一个“大I小T”的时代
Teradata天睿公司近日在上海举办的“2017 Teradata大数据峰会”上,Teradata天睿公司高管们分享了Teradata在开源技术方面的观点和举措。
-
乘风破浪!拥抱数据洪流
全球产生的数据量达到惊人的地步,2013年生成的数据总量约为3.5 ZB。到2020年,保守估计,全球年数据量将达到44 ZB。企业该如何在大数据的时代取胜?