虽然Spark的应用对企业而言已经并不陌生,但对于一些企业来说,这项技术可能还是比较“前沿”。 Apache Spark自2010年以来一直作为开源项目提供,尽管在此期间采用率呈指数级增长,但分布式计算框架仍可能成为广泛应用的企业工具。 Spark创始人和Databricks的联合创始人Matei Zaharia认为企业的准备不再是一个问题。他表示:“Spark不仅仅处于试验状态,实际上正在被企业使用着。
现在有超过1000家各种规模的公司正在使用它。” 不仅微软、Facebook、谷歌和苹果等大型科技公司以及许多金融服务公司(如Capital One,Goldman Sachs和Bloombe……
我们一直都在努力坚持原创.......请不要一声不吭,就悄悄拿走。
我原创,你原创,我们的内容世界才会更加精彩!
【所有原创内容版权均属TechTarget,欢迎大家转发分享。但未经授权,严禁任何媒体(平面媒体、网络媒体、自媒体等)以及微信公众号复制、转载、摘编或以其他方式进行使用。】
微信公众号

TechTarget
官方微博

TechTarget中国
1个评论
要发表评论,您必须先登录。
技术看起来相当成熟
美国银行软件和移动支付公司FIS Global的工程总监Aaron Colcord认为,虽然没有显著的提示,Spark已经是一项相当成熟的技术。 “我认为这个平台正处于企业使用的转折点,”他在接受采访时说,“Spark平台还是有很强的技术性,但是我看到很多创新都在改进。” Colcord表示,很多企业正在寻找能够提供简单图形用户界面的工具,这些工具Spark目前尚未具备。他还怀疑一些企业是否愿意使用真正的开源工具,特别是金融服务领域。对稳定性和安全性的担忧使得任何真正的开源工具都是值得怀疑的投资。 FIS Global通过使用Databricks的云企业Spark平台来解决其中的一些问题,该平台为基本的开源Spark提供了额外的工具,可以帮助解决其中的挂起等问题。这允许公司利用Spark的最佳功能,包括快速的数据处理和先进的机器学习功能。FIS与银行和其他金融机构合作,为其应用提供技术支持。作为服务的一部分,FIS提供关于用户与应用程序交互的报告和情报。Colcord和他的团队正在使用Spark的MLlib算法开发相关程序。使用Spark的注意事项
然而,新的Spark用户可能会遇到与平台技术性质相关的一些问题,这可能会限制其对较少经验的用户的企业准备。Spark 峰会提到一些常见问题包括,遇到的用户内存不足。Spark提供快速计算时间的原因之一是它将数据缓存在内存中。用户在写入查询和数据转换时需要考虑到这一点,或者由于缺少内存,他们的作业可能会失败。 网络安全公司Sqrrl Data的资深数据科学家Ruslan Vaulin表示:“如果对Spark技术不熟悉,请注意与专业公司联络。用户必须真正了解Spark的架构。” 在Spark上投入生产时尤其如此。Vaulin表示,当他们只使用小型测试数据集时,可能一切运行良好,但是性能或内存使用问题通常只有在全面运行时才会显现。比较突出复杂性
与其它竞争的技术相比,Spark的复杂性问题尤为突出。沃尔玛实验室的首席软件工程师Nirmal Sharma将用户运行企业Spark应用程序需要具备的知识与Apache Hive的需求相比较。 他说,调整好后,Spark可以提供比Hive更快的查询性能。不同之处在于,无论是否调整正确,Hive都将完成工作,而Spark中完成不好的作业将会失败。用户在Spark中取得的成就必须用专业技术支付。 考虑到其他竞争技术旁边,运行Spark的复杂性变得清晰。沃尔玛实验室的首席软件工程师Nirmal Sharma将用户需要的知识用户运行企业Spark应用程序与Apache Hive所需要的相比。他说,调整好 后,Spark提供比Hive更快的查询性能。不同之处在于Hive将完成工作是否正确调整,而Spark中写得不好的作业将会失败。使用Spark必须具备一定的专业知识。相关推荐
-
关于如何选择混合云,你不得不知的几件事
近年来,提升云计算能力一直是IT决策者和企业对于未来规划的着重点,随着云计算的不断发展,混合云渐渐成为关键词。
-
【对话Teradata高管】我们很幸运,这是一个“大I小T”的时代
Teradata天睿公司近日在上海举办的“2017 Teradata大数据峰会”上,Teradata天睿公司高管们分享了Teradata在开源技术方面的观点和举措。
-
乘风破浪!拥抱数据洪流
全球产生的数据量达到惊人的地步,2013年生成的数据总量约为3.5 ZB。到2020年,保守估计,全球年数据量将达到44 ZB。企业该如何在大数据的时代取胜?
-
Tableau 携手神州数码 推进中国商业分析发展进程
为了帮助商业领域的更多从业者使用数据,在更短的时间内做出更好的决策,可视化分析领域的Tableau Software今天宣布与神州数码集团建立合作伙伴关系,在中国的商业分析进程中展开深度合作。
Comment Test.