科技行者

行者学院 转型私董会 科技行者专题报道 网红大战科技行者

知识库

知识库 安全导航

至顶网软件频道应用软件Twitter将开源MySQL/Hadoop转移工具

Twitter将开源MySQL/Hadoop转移工具

  • 扫一扫
    分享文章到微信

  • 扫一扫
    关注官方公众号
    至顶头条

北京时间6月30日消息,根据国外媒体报道,Twitter计划开源Hadoop-happy架构的一个附加部分,Twitter用来作为内部数据分析。Twitter使用Hadoop来进行数据分析,同时该平台也被使用在站点上,包括Twitter的名称搜索功能。

来源:开源中国社区 2010年6月30日

关键字: 开源 Twitter 网络

  • 评论
  • 分享微博
  • 分享邮件

  北京时间6月30日消息,根据国外媒体报道,Twitter计划开源Hadoop-happy架构的一个附加部分,Twitter用来作为内部数据分析。作为知名的Crane,这个是用来将MySQL转化到Hadoop的工具。这一开源数据分析平台建立在Google的私有设施上。

  Twitter使用Hadoop来进行数据分析,同时该平台也被使用在站点上,包括Twitter的名称搜索功能。

  Twitter的大部分表格数据存储在MySQL中,只有一小部分存储在Cassandra。Twitter的技术负责人表示要做的就是在一些地方结束MySQL表格存储。

  因此Crane被开发出来,用于将数据从MySQL到HDFS或者Hadoop的HBase上。

  文章转载自:开源中国社区 [http://www.oschina.net]

  本文标题:Twitter将开源MySQL/Hadoop转移工具

  本文地址:http://www.oschina.net/news/10164/Twitter-to-open-source-MySQL-to-Hadoop-tool

    • 评论
    • 分享微博
    • 分享邮件
    邮件订阅

    如果您非常迫切的想了解IT领域最新产品与技术信息,那么订阅至顶网技术邮件将是您的最佳途径之一。

    重磅专题
    往期文章
    最新文章