由于运行在廉价服务器集群当中,Hadoop架构为用户提供了接近云计算的扩展能力。通过提供低成本数据处理能力,Hadoop将潜移默化地减缓企业数据仓库增长的速度。同时它还会对大型机现代化领域造成不小影响。
大多数企业都希望限制大型机处理的数据量,从而控制IT成本。同时他们也希望将大型机的运营数据与其他非结构化,半结构化数据联系起来,作为分析使用。举个例子,将酒店房间预约数据与社交媒体评论进行匹配,或者将客户账户数据与呼叫中心客服电话数据匹配。Hadoop在其中能够扮演非常重要的角色,包括控制数据量与数据匹配场景。
在上周举行的Strata + Hadoop World 2013大会上,聚集了大量来自华尔街的数据管理者。能够让他们从繁忙的工作中抽身参加会议的一个重要原因,就是本次大会的议题是如何利用Hadoop来实现大型机的现代化。这些用户不会考虑完全撤掉大型机,因为业务不能有中断。他们要寻找一个应对数据增长的解决方案,如果Hadoop能证明,那么将是不错的选择。
近期,Hadoop领导厂商Cloudera与大型机数据集成厂商Syncsort宣布了合作关系,将大型机数据与Hadoop集群更紧密地联系起来,从而进行大数据分析。此外,MetaScale也宣布推出咨询服务,包括大型机到Hadoop的应用迁移以及使用Pig查询平台运行海量数据查询应用等。MetaScale是西尔斯控股集团的子公司,据西尔斯介绍,他们已经将部分负载迁移到Hadoop平台上,从而成功去除了两台大型机。
Hadoop对遗留应用的意义何在
上述的应用场景对金融、保险行业非常具有吸引力,因为它们是大型机的“重度用户”。在Strata活动的采访当中,Syncsort总裁Josh Rogers表示,将大型机负载逐渐迁移到Hadoop集群当中,这将是未来Hadoop在企业中的一个主要应用场景。
Rogers表示,在数据仓库应用当中,减少ETL操作是迫在眉睫的需求。但事实上有很大一部分的处理任务都会涉及到ETL,大概超过30%。而这些工作负载正是Hadoop的目标负载,能够将加载步骤放到转换之前,将ETL变为ELT。这样做将减少预先的处理过程,当进行转换的时候,Hadoop能够适应高速的数据转换。
与大型机和数据仓库相比,Hadoop集群中的数据存储成本更小。Rogers表示,如果说大型机的每TB存储成本是10万美元的话,那么Hadoop的成本只有1000美元而已。在谈到与Cloudera的合作时,Syncsort CEO Lonne Jaffe表示:“我们为客户提供了一个按钮,你只需要轻轻一按就能摆脱昂贵的负载。”
Jaffe指出,一些大型机现代化项目无疾而终的主要原因是风险和成本太高。即使项目最终成功,用户最终得到的也不过是把应用从一个平台迁移到另一个平台。而在这其中,Hadoop的机会很大。
Hadoop加速大型机现代化
讽刺的是,将一些大型机任务迁移到Hadoop平台上,还能为遗留系统带来新的活力。IT分析师John Webster表示:“用户希望从传统大型机数据源中提取数据,特别是客户数据和交易数据,然后与其他类型的数据进行匹配。这其中Hadoop将起到关键作用。”
因此,客户开始寻找Hadoop发行商来支持大型机数据的重新加载,以便与其他类型数据进行组合。
在大数据时代,数据处理架构每天都在发生变化。因此大型机技术也在经受冲击。面向服务的架构(SOA)将大型机应用包装成Web服务和XML,这是近些年大型机现代化的一个重要发展。Hadoop创新将接过SOA的大旗,进一步加速大型机现代化进程。
我们一直都在努力坚持原创.......请不要一声不吭,就悄悄拿走。
我原创,你原创,我们的内容世界才会更加精彩!
【所有原创内容版权均属TechTarget,欢迎大家转发分享。但未经授权,严禁任何媒体(平面媒体、网络媒体、自媒体等)以及微信公众号复制、转载、摘编或以其他方式进行使用。】
微信公众号

TechTarget
官方微博

TechTarget中国
翻译
相关推荐
-
Spark尚未“成熟” 用户仍需“专业”
虽然Spark的应用对企业而言已经并不陌生,但对于一些企业来说,这项技术可能还是比较“前沿”。
-
关于如何选择混合云,你不得不知的几件事
近年来,提升云计算能力一直是IT决策者和企业对于未来规划的着重点,随着云计算的不断发展,混合云渐渐成为关键词。
-
【对话Teradata高管】我们很幸运,这是一个“大I小T”的时代
Teradata天睿公司近日在上海举办的“2017 Teradata大数据峰会”上,Teradata天睿公司高管们分享了Teradata在开源技术方面的观点和举措。
-
乘风破浪!拥抱数据洪流
全球产生的数据量达到惊人的地步,2013年生成的数据总量约为3.5 ZB。到2020年,保守估计,全球年数据量将达到44 ZB。企业该如何在大数据的时代取胜?