批处理本是大型机时代的主题,近十年来随着Hadoop MapReduce的关注度逐渐增加,批处理现在又重新成为热门主题。但是 Hadoop分布式供应商的高级管理人员认为,Apache Spark和其它流处理架构正在改变现状。 Jack Norris是MapR公司前任首席营销官及现任数据和应用高级副总裁,他认为,随着Apache Spark加入Hadoop,我们将看到更多实时应用和批处理架构,事件流与大数据存储是配套的。 MapR公司与Hortonworks公司、Cloudera公司一起共同打造Hadoop并带来了商业价值。
而现在,Spark Streaming和其它相关技术的出现给大数据应用带……
我们一直都在努力坚持原创.......请不要一声不吭,就悄悄拿走。
我原创,你原创,我们的内容世界才会更加精彩!
【所有原创内容版权均属TechTarget,欢迎大家转发分享。但未经授权,严禁任何媒体(平面媒体、网络媒体、自媒体等)以及微信公众号复制、转载、摘编或以其他方式进行使用。】
微信公众号

TechTarget
官方微博

TechTarget中国
批处理本是大型机时代的主题,近十年来随着Hadoop MapReduce的关注度逐渐增加,批处理现在又重新成为热门主题。但是 Hadoop分布式供应商的高级管理人员认为,Apache Spark和其它流处理架构正在改变现状。
Jack Norris是MapR公司前任首席营销官及现任数据和应用高级副总裁,他认为,随着Apache Spark加入Hadoop,我们将看到更多实时应用和批处理架构,事件流与大数据存储是配套的。
MapR公司与Hortonworks公司、Cloudera公司一起共同打造Hadoop并带来了商业价值。而现在,Spark Streaming和其它相关技术的出现给大数据应用带来了变化,这似乎刺激了Hadoop生态系统新一轮的变革。
Spark已经成为了原生Hadoop组件特别有用的补充。 Norris估计MapR的Hadoop分布式用户有一半正在使用Spark,可能用于生产环境的不同场景。
他表示,Spark引发了一连串兴奋点,其中一部分原因是因为MapReduce编程比较困难,在早期MapReduce编程基本就是Hadoop计算的代名词。
“Spark使开发变得相对容易了。它引入了新的API,支持使用Scala和Python编程语言,这样开发应用就更方便了。同时,它还帮助实现了流分析的结构化,”Norris补充道。
Spark可以监视到事件到达并且执行自动聚合和过滤,从而把原始数据转化为有用信息,Spark使这些工作变得更加容易。Norris表示,一些应用由于整体系统限制不得不在批处理模式下工作,但是这种情况正在改变。
翻译
TechTarget特邀编辑。2003年入软件行业,熟悉软件过程所有环节,对机构信息化的各方面有深入理解和实践经验。现就职于某互联网创业公司,目前关注互联网分布式系统架构和机器学习。喜欢传统文化社科哲学(尤喜《周易》、《老子》),喜健身喜抓举(具备抱人引体向上的能力),喜欢中国象棋(具备盲棋1对2的能力)。
相关推荐
-
Spark尚未“成熟” 用户仍需“专业”
虽然Spark的应用对企业而言已经并不陌生,但对于一些企业来说,这项技术可能还是比较“前沿”。
-
关于如何选择混合云,你不得不知的几件事
近年来,提升云计算能力一直是IT决策者和企业对于未来规划的着重点,随着云计算的不断发展,混合云渐渐成为关键词。
-
【对话Teradata高管】我们很幸运,这是一个“大I小T”的时代
Teradata天睿公司近日在上海举办的“2017 Teradata大数据峰会”上,Teradata天睿公司高管们分享了Teradata在开源技术方面的观点和举措。
-
乘风破浪!拥抱数据洪流
全球产生的数据量达到惊人的地步,2013年生成的数据总量约为3.5 ZB。到2020年,保守估计,全球年数据量将达到44 ZB。企业该如何在大数据的时代取胜?