Facebook团队中开发Hadoop查询语言Hive的两位关键人物——Ashish Thusoo和Joydeep Sen Sarma,今日启动了他们自己的大数据创业公司Qubole。据悉,Qubole将提供可管理的Hive服务,托管在亚马逊的AWS云计算平台上。
Qubole创始人:Ashish Thusoo
Qubole的创业团队阵容豪华,都有很强的数据分析背景,除了开发Hive的两位创始人外,还包括Oracle Exalytics平台和并行数据库技术的架构者Shrikanth Shankar。
两位创始人Thusoo和Sarma与2007年同时进入Facebook,离开前已是数据架构团队的高级主管,在他们的努力下Facebook的Hadoop集群规模超过了25PB(目前已经超过30PB)。期间Thusoo还在Apache软件基金会兼任Hive项目的主管。Hive是基于Hadoop之上的框架和附属查询语言,通过Hive人们可以像使用传统SQL数据仓库那样使用Hadoop系统。
Qubole的创业灵感来自Facebook数据架构团队的挑战——让所有Facebook用户能无需中转直接访问他们想要的数据。为了达成这个目标,Qubole在用户和数据基础架构之间搭起一个抽象层。
用户在分析存储在亚马逊S3云中的数据集时,无需了解Hadoop系统管理,Qubole提供的Hadoop服务能够根据用户的工作负载动态调整服务器资源配置,实现随需计算,对于用户来说,这大大简化了大数据应用的复杂性,而且成本更低。 |
过去,人们通常认为基于云计算的大数据应用在性能无法与物理系统媲美。Thusoo表示Qubole的产品整合了很多专门的缓存设计,查询速度是普通云计算Hadoop的五倍,而且用户还能根据需要随时变更任务实例类型。例如,默认的实例类型是亚马逊EC2 High-Memory Extra Large,而内存密集型的任务可以选择在High-Memory Quadruple Extra Large实例上运行以获得更高性能。
Qubole完成的一个查询任务截图
Qubole的另外一个特点是能够预先在一小块数据中运行查询,然后再发送到Hadoop集群,这有助于避免由于查询本身的bug而浪费时间和金钱。
虽然Qubole目前专注于Hive界面的定位很独特,但是Hadoop云计算的选择还有很多,创业公司如Infochimps和Mortar Data,甚至微软也在试图解决Hadoop集群管理的复杂性和高成本问题。那些希望获得系统级别控制的用户可以选择亚马逊的弹性云MapReduce服务,或者在云服务器上部署一个Hadoop发行版本。
我们一直都在努力坚持原创.......请不要一声不吭,就悄悄拿走。
我原创,你原创,我们的内容世界才会更加精彩!
【所有原创内容版权均属TechTarget,欢迎大家转发分享。但未经授权,严禁任何媒体(平面媒体、网络媒体、自媒体等)以及微信公众号复制、转载、摘编或以其他方式进行使用。】
微信公众号

TechTarget
官方微博

TechTarget中国
作者
相关推荐
-
Spark尚未“成熟” 用户仍需“专业”
虽然Spark的应用对企业而言已经并不陌生,但对于一些企业来说,这项技术可能还是比较“前沿”。
-
【对话Teradata高管】我们很幸运,这是一个“大I小T”的时代
Teradata天睿公司近日在上海举办的“2017 Teradata大数据峰会”上,Teradata天睿公司高管们分享了Teradata在开源技术方面的观点和举措。
-
乘风破浪!拥抱数据洪流
全球产生的数据量达到惊人的地步,2013年生成的数据总量约为3.5 ZB。到2020年,保守估计,全球年数据量将达到44 ZB。企业该如何在大数据的时代取胜?
-
Dr. Elephant:Hadoop和Spark的优化“神器”
美国加州软件公司Pepperdata的应用程序分析软件建立在Dr. Elephant开源项目上。主要目的是让更多的Hadoop和Spark应用程序投入生产。