Fenggms的博客

Storm是什么？ Storm是twitter公司开源捐献给apache的一个实时流式数据处理的框架。 Storm是一个开源的分布式实时计算系统，可以简单、可靠的处理大量的数据流。 特点在于来一条数据就马上处理一条数据，具有低延迟、高可用、易扩展、数据不丢失等特点。 主要用于解决数据的实时计算以及实时处理的问题。 Storm有很多使用场景：如实时分析，在线机器学习，持续计算，分布式RPC，ETL等...

1、下载安装包 下载链接：https://archive.apache.org/dist/storm/ 选择对应的版本进行下载。 也可以通过storm官网进行下载：http://storm.apache.org/ 我这里下载安装的版本为： apache-storm-1.1.1.tar.gz 2、上传并解压 将下载的安装包上传到指定的安装目录，这里先选择第一台主机node01. （三台主机分为为no...

storm的编程模型 如图： dataSource：数据源，我们需要处理的数据的来源，可以在任意的地方。 spout：接受外部数据源的组件。连接我们的数据源，从数据源那里获取数据，然后往下游发送，主要功能就是获取数据 bolt：数据处理逻辑单元，处理数据，按照你需要的逻辑进行加工处理，然后将数据转换成你想要的 tuple：我们的数据都是封装在tuple里面，各个组件之间的数据的传递都是通过tup...

1、导入整合的jar包 <dependency> <groupId>org.apache.storm</groupId> <artifactId>storm-core</artifactId> <version>1.1.1</version> <!-- provide

storm的并行度 javaAPI设置： config.setNumWorkers(1); topologyBuilder.setSpout("mySpout", new RandomSpout(),3); topologyBuilder.setBolt("splitBolt", new SplitBolt(),3).shuffleGrouping("mySpout"); topologyBui...

Storm 任务提交的过程 client： 1.client提交topology 到Nimbus; Nimbus: 2.提交的jar包会被上传到nimbus服务器的nimbus/inbox目录下； 3.submitTopology方法对这个topology进行处理，一般包括对storm本身以及topology的校验，检查storm的状态是否为active，检查是否已经有同名的topology已经...

导入依赖 主要引入hadoop相关依赖，以及storm-hdfs整合的依赖， <dependencies> <!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-client --> <dependency> <groupId>org.apache.hadoo...

ack是什么？ 通过Ack机制，spout发送出去的每一条消息，都可以确定是被成功处理或失败处理， 从而可以让开发者采取动作。比如在Meta中，成功被处理，即可更新偏移量，当失败时，重复发送数据。 因此，通过Ack机制，很容易做到保证所有数据均被处理，保证消息不丢失。 另外需要注意的，当spout触发fail动作时，不会自动重发失败的tuple，需要spout自己重新获取数据，手动重新再发送一次。...