storm
关注
分享
扫一扫
jy02268879
这个作者很懒，什么都没留下…
展开
-
【七】storm的ack和fail机制代码演示
package com.sid.bigdata.storm.sum;import java.util.Map;import org.apache.storm.Config;import org.apache.storm.LocalCluster;import org.apache.storm.spout.SpoutOutputCollector;import org.apache.s...原创 2018-06-11 14:49:26 · 959 阅读 · 0 评论 -
【八】storm+kafka整合
官网参考0.8.X的kafkamaven的pom文件<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://mav...原创 2018-07-10 02:50:42 · 1359 阅读 · 0 评论 -
【六】storm的DRPC
一、RPC1.概述 远程过程调用协议，Remote Procedure Call。序列化的速度会 影响RPC的性能。常用的序列化：avro、thrift(hive、spark有用到这个)2.基于hadoop的RPC实现代码演示3.stormDRPC（分布式RPC）概述官网DRPC介绍充分利用storm的计算能力实现高密度的计算。storm的topology接收函数参数作为输入，调用函...原创 2018-06-12 23:13:41 · 452 阅读 · 0 评论 -
【五】storm调优，调整并行度
实际上就是用多线程。没有真的对集群做扩容。官网介绍http://storm.apache.org/releases/1.1.2/Understanding-the-parallelism-of-a-Storm-topology.htmlstorm中运行topology的实体主要有三个：worker processes: 一个supervisor可以启多个worker。一个topology可以...原创 2018-06-10 22:57:13 · 2143 阅读 · 0 评论 -
【四】storm作业提交到集群上运行
maven的pom.xml<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org...原创 2018-06-10 22:53:09 · 3059 阅读 · 0 评论 -
【三】storm安装高可用HA集群版
环境ubuntu16.04jdk1.8python3(2或3都行)zookeeper3.4.9使用storm1.1.1集群版：4台机器 nimbus supervisor zookeepernode1 Y Ynode2 ...原创 2018-06-09 16:58:45 · 1975 阅读 · 0 评论 -
Spring Boot+高德地图热力图静态数据展示
高端开放平台控制台----》应用管理----》我的应用----》创建新应用开发者支持----》示例与体验----》jsAPI示例中心项目目录 创建的Spring Boot项目map.jsp注意，key是刚才申请的那个key<%@ page language="java" contentType="text/html; charset=UTF-8"...原创 2018-08-01 17:00:34 · 4430 阅读 · 0 评论 -
【十三】景区人流量统计：python日志生成+logstash+kafka+storm+mysql+springBoot+高德地图
storm+kafka+logstash+springBoot+高德地图项目概述：作用：交通信息化，智慧城市需求：实时统计人流量并通过热力图展示。类似于腾讯热力图的景区人流量统计如何采集某个区域人流量的数据：1.GPS：获取经纬度信息。2.手机移动网络信令：移动通信信令（数据样本容量大，覆盖范围广，数据稳定可靠）对信令信息的相应字段进行分析、挖掘、并结合GIS技...原创 2018-08-01 23:24:23 · 5965 阅读 · 1 评论 -
【十二】storm+hbase集成
pom.xml<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache...原创 2018-08-02 01:48:27 · 1187 阅读 · 0 评论 -
【十一】storm+HDFS集成(hdfs HA)
官网简介storm的组件可以和HDFS系统进行交互。使用：以下例子用竖线 | 作为分隔符，把文件写到HDFS的路径上去，一次同步每一千个tuple.每5MB滚动一次文件。先在HDFS上创建路径hadoop fs -mkdir /storm_write_hdfs设置路径权限hadoop fs -chmod -R 777 /storm_write_hdfspom...原创 2018-08-02 02:29:45 · 642 阅读 · 0 评论 -
【十】storm+mysql集成
使用JdbcInsertBolt、JdbcLookupBolt请直接看官网官网介绍这里代码给的例子是wordcount，用的jdbcClient直接执行SQLspoutpackage integration.jdbc;import java.util.Map;import java.util.Random;import org.apache.storm.spout.SpoutOutput...原创 2018-06-13 21:58:42 · 1974 阅读 · 0 评论 -
【二】storm本地开发
一、eclipse+maven构建storm项目前期准备JDK、IDEA、maven创建maven项目添加maven的storm依赖打开官网：http://storm.apache.org/releases/1.1.2/index.html打开pom.xml文件把官网的这个配置加进来，我这里用的是1.1.1二、iSpout核心接口概述核心方法实现类三、iComponent核心接口四、iBolt核心...原创 2018-06-10 22:54:01 · 858 阅读 · 0 评论 -
【一】storm理论+数据分组策略
目录：一、storm的技术网站二、简介三、storm和hadoop的比较四、storm和spark streaming的比较五、storm核心概念六、storm架构七、容错性八、ack和fail机制正文：一、storm的技术网站：官网：http://storm.apache.org/官网可以订阅邮件Github: github.com/apac...原创 2018-06-10 22:36:29 · 481 阅读 · 0 评论 -
【九】storm+redis集成
redis安装storm集成redismaven pom.xml<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http...原创 2018-06-13 03:41:12 · 971 阅读 · 0 评论 -
Spring Boot+高德地图热力图动态数据展示+MySQL
项目目录pom.xml<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://原创 2018-08-01 23:51:31 · 4785 阅读 · 2 评论