关于冰盾 | 使用条款 | 网站地图
 
eBay开源新数据库技术Kylin,支持TB到PB级数据量
eBay开源新数据库技术Kylin,支持TB到PB级数据量
作者:冰盾防火墙 网站:www.bingdun.com 日期:2014-10-24
 

 英文原文:eBay open sources a big, fast SQL-on-Hadoop database 

  eBay 开源了一种名为 Kylin 的数据库技术,eBay 在周三的一篇博客上分享了 Kylin 的诸多细节,基于 Hadoop 提供 SQL 接口和 OLAP 接口,支持 TB 到 PB 级别的数据量,Kylin 旨在减少 Hadoop 在 10 亿行以上数据级别的情况下的查询延迟。这些都表明 eBay 在使用 Hadoop 技术等方面取得了不俗的成绩。

  以下为译文:

  在线拍卖网站 eBay 开源了一种名为 Kylin 的数据库技术,该公司宣称这项技术能够在 Hadoop 上支持 PB 级数据存储的快速查询。eBay 并不是像 Google 和 Facebook 那样的大数据公司,但它运用 Hadoop 等技术已经达到了一个相当大的规模,Kylin 就是一个很好的例子,这说明它在该领域的创新已经走在前头。

  eBay 在周三的一篇博客上分享了 Kylin 的细节,包括 REST API、ANSI-SQL 兼容性、连接分析工具 Tableau 和 Excel,以及在一些查询上低于秒级的延迟。然而, Kylin 最独特的特性是它如何处理 scale。eBay 表示,它可以查询数十亿行数据——在高达 14TB 的数据集上,速度比使用传统的 Apache Hive 工具快得多。

 

  Kylin 工作在一个很高级别上,它从 Hive 取数据;使用 MapReduce 预处理大型查询;然后将这些结果作为键值 cuboids 存储在 HBase 上。当用户用一组特定的变量值运行一个 Kylin 查询,结果已经准备就绪,不需要再重新处理,这和已经使用多年的分析型数据库完全不同。

  下面是 eBay 分享的 Kylin 如何在公司内部的使用情况:

开放 Kylin 的时候,我们已经有一些 eBay 业务单元在生产中使用它。我们最大的用例是 120+ 亿源记录生成的 14 +TB cube。它的 90% 查询延迟小于 5 秒。现在,我们的用例瞄准分析师和业务用户,他们可以轻松的通过 Tableau 分析并且得到结果——不再需要 Hive 查询,shell 命令等等。

  想要知道 Kylin 在与下一版本的 Hive、Spark SQL 以及 Hadoop SQL 分析的其他选项较量中谁会胜出,将是一件非常有趣的事情,Kylin 作为 YARN 资源管理器一部分可以在 Apache Hadoop 的最新版本上获得。我猜它会慢一点,但比内存选项或那些不需要 MapReduce 处理的更具扩展性,不过这对于那些仍然在运行更早软件版本的用户可能是一个可靠的选择。

 

 
最新内容:
专访库克:中国对苹果如此重要 我们将疯狂投资[2014-10-24]
黑客植木马窥游戏底牌 一年斩获980余万[2014-10-23]
外媒:中国否认支持黑客侵入iCloud系统[2014-10-23]
境外媒体:中国否认支持黑客侵入iCloud系统(组图)[2014-10-23]
王展:自动驾驶系统要有抵制黑客攻击能力[2014-10-23]
Windows更新驱动将硬件黑客的USB串口设备变砖[2014-10-23]
相关内容:

合作伙伴: 黑基网 补天科技 威盾科技 站长下载 新飞金信 北京电信 ZOL应用下载
中华人民共和国增值电信业务经营许可证京ICP备14024464 公安备案号 京1081234 
版权所有©2003-2014 冰盾防火墙  www.BingDun.com 法律声明
总机:(010)51661195