博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
【Storm篇】--Storm从初始到分布式搭建
阅读量:7087 次
发布时间:2019-06-28

本文共 1093 字,大约阅读时间需要 3 分钟。

一、前述

Storm是一个流式处理框架,相比较于SparkStreaming是一个微批处理框架,hadoop是一个批处理框架。

二 、搭建流程

1.集群规划

         Nimbus    Supervisor   Zookeeper

node01      1                                
node02                 1                      1
node03                 1                      1

node04                 1                      1

2.配置

node01作为nimbus。

 vim conf/storm.yaml

storm.zookeeper.servers:  - "node02"  - "node03"  - "node04"storm.local.dir: "/tmp/storm"nimbus.host: "node01"supervisor.slots.ports:    - 6700    - 6701    - 6702    - 6703
PS:supervisor.slots.ports 相当于启动4个worker进程 配置一定要顶格写!!!!!!! 3.创建log文件 在storm目录中创建logs目录  mkdir logs启动ZooKeeper集群 4.启动服务 node1上启动Nimbus  ./bin/storm nimbus >> ./logs/nimbus.out 2>&1 &  tail -f logs/nimbus.log  ./bin/storm ui >> ./logs/ui.out 2>&1 &  tail -f logs/ui.log 节点node02和node03,node04启动supervisor,按照配置,每启动一个supervisor就有了4个slots ./bin/storm supervisor >> ./logs/supervisor.out 2>&1 &  tail -f logs/supervisor.log (当然node1也可以启动supervisor) http://node1:8080/ 提交任务到Storm集群当中运行:  ./bin/storm jar examples/storm-starter/storm-starter-topologies-0.9.4.jar storm.starter.WordCountTopology test 环境变量可以配置也可以不配置 export STORM_HOME=/opt/sxt/storm export PATH=$PATH:$STORM_HOME/bin

 

 

转载于:https://www.cnblogs.com/LHWorldBlog/p/8345964.html

你可能感兴趣的文章
创建和使用 WebAssembly 组件
查看>>
iOS Principle:KVO
查看>>
老铁,一起来开Party(二)—— 声网Agora SDK实践
查看>>
谈谈eglMakeCurrent、eglSwapBuffers、glFlush和glFinish
查看>>
人人都能学会的python编程教程10:调用函数
查看>>
从开发者的角度分析iOS应如何省电
查看>>
官宣!阿里Blink和Flink合并计划出炉
查看>>
解锁Spring框架姿势1
查看>>
TypeScript--安装依赖,vscode配置ts自动转换成js文件
查看>>
力软移动框架 ionic cordova插件jpush-phonegap-plugin 极光推送配置方法 vs2017
查看>>
用户测评 | EDAS Serverless 上手体验
查看>>
理解异步JavaScript
查看>>
js/javascript 生成罗马字符
查看>>
Python微信公众号开发—小白篇(一)
查看>>
H5触摸事件判断滑动方向
查看>>
拥抱“多云”,企业不能不知道的事儿 !
查看>>
vue+koa2即时聊天,实时推送比特币价格,爬取电影网站
查看>>
在Python中使用OpenCV进行人脸检测
查看>>
【跃迁之路】【469天】程序员高效学习方法论探索系列(实验阶段226-2018.05.20)...
查看>>
Python爬虫学习之(一)| 从零开始
查看>>