Twitter即将开源即时数据处理工具Storm

王朝学院·作者佚名  2016-05-11
窄屏简体版  字體: 小  |  中  |  大  |  超大  

开发者的好消息:Twitter刚刚在 博客上宣布将在9月19日的Strange Loop大会上公布Storm的代码。这个类似于Hadoop的即时数据处理工具是 BackType开发的,后来被Twitter收购用于Twitter。

Twitter列举了Storm的三大类应用:

**信息流处理{Stream PRocessing}*

: Storm可用来实时处理新数据和更新数据库,兼具容错性和可扩展性。

**连续计算{Continuous computation}*

: Storm可进行连续查询并把结果即时反馈给客户端。比如把Twitter上的热门话题发送到浏览器中。

**分布式远程程序调用{Distributed RPC}*

: Storm可用来并行处理密集查询。Storm的拓扑结构是一个等待调用信息的分布函数,当它收到一条调用信息后,会对查询进行计算,并返回查询结果。

目前即时数据处理工具已经不少了,比如 HStreaming(使用Hadoop),开源的 S4和 StreamBase,人们还需要一个开源的Storm吗?

 
 
免责声明:本文为网络用户发布,其观点仅代表作者个人观点,与本站无关,本站仅提供信息存储服务。文中陈述内容未经本站证实,其真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。
 
© 2005- 王朝網路 版權所有 導航