网世的博客

一 基本组件介绍核心组件图解 Nimbus ：Storm集群的Master节点，负责分发用户代码，指派给具体的Supervisor节点上的Worker节点，去运行Topology对应的组件（Spout/Bolt）的Task。 Supervisor ：Storm集群的从节点，负责管理运行在Supervisor节点上的每一个Worker进程的启动和终止。通过Storm的配置文件...

一 Storm运行目录树1.1 Storm组件本地目录树Worker-id 的含义当前worker的唯一uuid标识，端口号和唯一标识的对应关系在supervisor分配任务的时候已经分配好了，并保存到zookeeper上Pids下为什么显示那么多进程第一个是worker的进程号，其他的进程号是worker启动的其他相关进程。1.2Storm zookeeper目录...

一 storm的集群部署博客地址:http://www.panchengming.com/2018/01/26/pancm70/二 storm的常用操作有许多简单且有用的命令可以用来管理拓扑，它们可以提交、杀死、禁用、再平衡拓扑。(1).提交任务命令格式：storm jar 【jar路径】 【拓扑包名.拓扑类名】 【拓扑名称】bin/storm jar examples/s...

官方参考文档：http://kafka.apache.org/documentation/#introduction（翻译页面就行了）kafka集群搭建：https://blog.youkuaiyun.com/zxy987872674/article/details/72466504一 基本介绍1.1 做什么的 一个分布式的、可分区的、可复制的开源消息系统，构建在系统或应用之间的实...

一 基本介绍1.1 介绍1.redis是一种NoSql（非关系型）数据库，我们平常用的比较多的就是像MySql和SQLServer这种关型数据库，但关型数据库在大数据高并发场景下表现不是那么好，是关型数据库的一个补充。2.redis由C语言开发的开源的高性能键值对（key-value）数据库（nosql），所以在linux安装时需要使用gcc编译器。3. redis命令不区分大小写...

一 windos系统安装1.下载下载网址：https://github.com/MicrosoftArchive/redis/releases文件介绍：redis-benchmark.exe #基准测试redis-check-aof.exe # aofredischeck-dump.exe # dumpredis-cli.exe # 客户端redis-serve...

一 Flume介绍1.1定义1.2 内部原理介绍参考链接https://blog.youkuaiyun.com/gyshun/article/details/79710534https://blog.youkuaiyun.com/a2011480169/article/details/515446641.3 为什么要这样使用flume相当于一个数据传输管道针对特殊的数据处理系统（比如HBA...

这里的kafka和storm服务地址都在本地的host文件中生成了映射，在实际使用时还是替换成对应的服务器ip地址一 使用的jar在storm中有针对目前常用的数据源的生产者实现二 编写代码2.1 storm实现topology编写public class KafkaAndStormTopologyMain { public static void ma...