分享
 
 
 

Storm系列(一):搭建dotNet开发Storm拓扑的环境

王朝学院·作者佚名  2016-05-20
窄屏简体版  字體: |||超大  

Storm系列(一):搭建dotNet开发Storm拓扑的环境上篇博客比较了目前流行的计算框架特性,如果你是 java 开发者,那么根据业务场景选择即可;但是如果你是 .Net 开发者,那么三者都不能拿来即用,至少在这篇文章出现之前是如此。基于上篇文章的比较发现,Storm 应该是对多语言支持比较好的框架了,但即便如此,官方也没有提供 .Net 的适配器,网上也找不到第三方的开源库。So,Storm.Net.Adapter出现了,一个使用 Csharp 开发的 针对 Apache Storm 的适配器!项目由本人开发,按照Apache License, Version 2.0开源。

本文是“Storm系列”的第一篇,后期会根据时间情况继续更新!

安装Storm与依赖环境安装Zookeeper获取最新 Zookeeper 程序包:官网

解压程序包,拷贝 conf 下 zoo_sample.cfg 为 zoo.cfg,修改相关配置

Windows 环境下直接执行 bin\zkServer.cmd;linux 下执行bin/zkServer.sh start

安装Python, Java与Maven下载 Python 2.x 安装

下载 JAVA 6+ 安装,必须安装 JDK 版,否则使用 Maven 时会出错

下载 Maven 并安装

下载Storm获取最新 Storm 程序包:官网

解压后修改 conf 下的 storm.yaml 里的相关配置

配置环境变量配置 Storm_Home 与 Java_Home; 目录最好不要有空格

classPath 里增加.;%JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\lib\toos.jar;

path 里增加%STORM_HOME%\bin;%JAVA_HOME%\bin;

将 Maven 的目录也加到 path 方便使用

Storm启动启动 Zookeeper

运行storm nimbus(如果未将 Storm 加到 path,需要先切换到 Storm 的 bin 目录,下同)

运行storm supervisor(集群环境下,非主可以仅执行该句)

运行storm ui,通过 http://localhost:8080/ 监控 Storm 运行状况

使用 Storm.Net.Adapter获取 Storm.Net.Adapter目前有以下几种方式获取最新的 Storm.Net.Adapter 库

通过源代码编译自己的版本:GitHub

下载编译好的版本加入引用:Release

使用 NuGet 获取最新版本(推荐):PM> Install-Package Storm.Net.Adapter

创建示例项目在项目中引用 Storm.Net.Adapter,创建 Spout (基于ISpout)和 Bolt (基于IBolt或IBasicBolt),都需要using Storm;

创建一个使用 Maven 管理的 Java 项目,增加 dotNet 程序对应的 Topology

Windows(.Net Framework)平台下,你可以通过下面的方式来调用你的 Spout 或 Bolt:

super("cmd", "/k", "CALL", "StormSimple.exe", "generator");

Linux, Mac OSX, Windows(mono)平台下,你可以通过下面的方式来调用你的 Spout 或 Bolt:

super("mono", "StormSimple.exe", "generator");

打包与发布拷贝编译好的 dotNet 程序到 resources 目录下,使用下面的 Maven 命令打包你的 Topology:

$ mvn package

通过 Storm 命令行工具提交你创建好的 Topology:

$ storm jar storm-starter-*-jar-with-dependencies.jar storm.starter.WordCountTopologyCsharp wordcount

Storm系列文章(一):搭建dotNet开发Storm拓扑的环境

(二):使用Csharp创建你的第一个Storm拓扑(wordcount)

(三):创建Maven项目打包提交wordcount到Storm集群

 
 
 
免责声明:本文为网络用户发布,其观点仅代表作者个人观点,与本站无关,本站仅提供信息存储服务。文中陈述内容未经本站证实,其真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。
2023年上半年GDP全球前十五强
 百态   2023-10-24
美众议院议长启动对拜登的弹劾调查
 百态   2023-09-13
上海、济南、武汉等多地出现不明坠落物
 探索   2023-09-06
印度或要将国名改为“巴拉特”
 百态   2023-09-06
男子为女友送行,买票不登机被捕
 百态   2023-08-20
手机地震预警功能怎么开?
 干货   2023-08-06
女子4年卖2套房花700多万做美容:不但没变美脸,面部还出现变形
 百态   2023-08-04
住户一楼被水淹 还冲来8头猪
 百态   2023-07-31
女子体内爬出大量瓜子状活虫
 百态   2023-07-25
地球连续35年收到神秘规律性信号,网友:不要回答!
 探索   2023-07-21
全球镓价格本周大涨27%
 探索   2023-07-09
钱都流向了那些不缺钱的人,苦都留给了能吃苦的人
 探索   2023-07-02
倩女手游刀客魅者强控制(强混乱强眩晕强睡眠)和对应控制抗性的关系
 百态   2020-08-20
美国5月9日最新疫情:美国确诊人数突破131万
 百态   2020-05-09
荷兰政府宣布将集体辞职
 干货   2020-04-30
倩女幽魂手游师徒任务情义春秋猜成语答案逍遥观:鹏程万里
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案神机营:射石饮羽
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案昆仑山:拔刀相助
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案天工阁:鬼斧神工
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案丝路古道:单枪匹马
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案镇郊荒野:与虎谋皮
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案镇郊荒野:李代桃僵
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案镇郊荒野:指鹿为马
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案金陵:小鸟依人
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案金陵:千金买邻
 干货   2019-11-12
 
推荐阅读
 
 
 
>>返回首頁<<
靜靜地坐在廢墟上,四周的荒凉一望無際,忽然覺得,淒涼也很美
© 2005- 王朝網路 版權所有