在知识的海洋中遨游

一、简介Storm是一个免费并开源的分布式实时计算系统。利用Storm可以很容易做到可靠地处理无限的数据流，像Hadoop批量处理大数据一样，Storm可以实时处理数据。Storm简单，可以使用任何编程语言。Storm有如下特点：编程简单：开发人员只需要关注应用逻辑，而且跟Hadoop类似，Storm提供的编程原语也很简单 高性能，低延迟：可以应用于广告搜索引擎这种要求对广告主的操作...

一、分发策略Shuffle Grouping：随机分组，随机派发stream里面的tuple，保证每个bolt task接收到的tuple数目大致相同。轮询，平均分配  Fields Grouping：按字段分组，比如，按"user-id"这个字段来分组，那么具有同样"user-id"的 tuple 会被分到相同的Bolt里的一个task， 而不同的"user-id"则可能会被分配到不同的t...

一、并发机制Worker – 进程：一个Topology拓扑会包含一个或多个Worker（每个Worker进程只能从属于一个特定的Topology）这些Worker进程会并行跑在集群中不同的服务器上，即一个Topology拓扑其实是由并行运行在Storm集群中多台服务器上的进程所组成Executor – 线程：Executor是由Worker进程中生成的一个线程每个Worker进程...

一、单机搭建1.上传并解压jar包2.在storm目录下创建logs目录，以保存程序运行时的信息mkdir logs3.在bin目录下执行命令，启动zookeeper./storm dev-zookeeper >> ../logs/dev-zookeeper.out 2>&1 &4.启动nimbus./storm nimbus &...

1.集群各节点挂掉的影响 nimbus挂掉对集群影响较小。当某个supervisor 挂掉后，zookeeper会向nimbus返回信息，当发现nimbus也挂掉后，会要求nimbus重启。当有新任务上传时，也会要求nimbus重启。其余的时候nimbus是闲置状态。supervisor挂掉后，zookeeper会在通知nimbus，nimbus会将分配到该supervis...

一、简介DRPC 是通过一个 DRPC 服务端(DRPC server)来实现分布式 RPC 功能的。DRPC Server 负责接收 RPC 请求，并将该请求发送到 Storm中运行的 Topology，等待接收 Topology 发送的处理结果，并将该结果返回给发送请求的客户端。（其实，从客户端的角度来说，DPRC 与普通的 RPC 调用并没有什么区别。）DRPC设计目的：为了...

一、集群启动1.启动zookeeper2.启动kafka./bin/kafka-server-start.sh -daemon ./config/server.properties3.搭建flume集群3.1上传并解压flume jar包3.2修改conf下的flume-env.shexport JAVA_HOME=/usr/lib/jvm/java-1.8.0-o...

一、项目背景模拟分析中国移动某个基站的小区掉话率二、代码实现 https://download.youkuaiyun.com/download/qq_33283652/10915043https://download.youkuaiyun.com/download/qq_33283652/10915117三、项目启动1.启动zookeeper2.启动kafka集群./bin/kafk...

目的：保证消息有且只被执行一次一、分类1.强顺序流（强有序）引入事务（transaction）的概念，每个transaction（即每个tuple）关联一个transaction id。Transaction id从1开始，每个tuple会按照顺序+1。在处理tuple时，将处理成功的tuple结果以及transaction id同时写入数据库中进行存储。缺点：一次只能处理...