SmallScorpion

代码位置日志生成：https://github.com/SmallScorpion/gmall-mock.git日志服务器：https://github.com/SmallScorpion/gmall-spark-ch-es-realtime.git需求按地区（用户性别、用户年龄段）统计当日新增付费用户首单平均消费架构在实时数仓中，通过将维表数据放入HBASE中达到查询以前用户状态(是否为首单)，且通过其他为表数据可以得到需求的最终结果数据(用户性别、用户年龄段…)HBase 建表crea

代码位置日志生成：https://github.com/SmallScorpion/gmall-mock.git日志服务器：https://github.com/SmallScorpion/gmall-spark-ch-es-realtime.git编写KafkaUtil增加发送数据到Kafka/** * 将数据发送到Kafka中 */ var kafkaProducer: KafkaProducer[String, String] = null def createKafk

资源链接https://download.youkuaiyun.com/download/qq_40180229/12873694开启MySQL中得bin-logvim /etc/my.cnf检查是否开启生成数据执行java -jar gmall-db…jar检查bin-log是否发生改变cd /var/lib/mysql给canal分配权限GRANT SELECT, replication SLAVE, replication client on . TO canal@’%’ identi

仓库位置日志生成：https://github.com/SmallScorpion/gmall-mock.git日志服务器：https://github.com/SmallScorpion/gmall-spark-ch-es-realtime.git访问路径数据格式service @Override public Map getDauHour(String date) { // es index String indexName = "gmall_c

仓库位置日志生成：https://github.com/SmallScorpion/gmall-mock.git日志服务器：https://github.com/SmallScorpion/gmall-spark-ch-es-realtime.git访问路径数据格式新建spring模块pom<dependencies> <dependency> <groupId>org.springframework.boot&lt

仓库位置日志生成：https://github.com/SmallScorpion/gmall-mock.git日志服务器：https://github.com/SmallScorpion/gmall-spark-ch-es-realtime.git创建index patteen确定数据范围选择查看数据的过滤字段创建成功配置单图选择柱状图选择数据源按照渠道进行统计日活数据刷新时间保存多图组合添加保存“发布”sharecopy写个简单的htm

仓库位置日志生成：https://github.com/SmallScorpion/gmall-mock.git日志服务器：https://github.com/SmallScorpion/gmall-spark-ch-es-realtime.git让ES保存做PUT操作，增加ID /** * 批量保存 */ def bulkDoc( sourceList: List[(String, Any)], indexName: String ): Unit = { if ( so

仓库位置日志生成：https://github.com/SmallScorpion/gmall-mock.git日志服务器：https://github.com/SmallScorpion/gmall-spark-ch-es-realtime.git手动提交偏移量第一次读取会加载Redis数据，若是redis中没有数据那么将消费kafka起始数据，经过业务计算保存到redis中中间循环过程是业务到redis保存数据的过程若中途宕机，重启进程服务都会读取redis偏移量位置进行消费Offs

仓库位置日志生成：https://github.com/SmallScorpion/gmall-mock.git日志服务器：https://github.com/SmallScorpion/gmall-spark-ch-es-realtime.git手动提交偏移量第一次读取会加载Redis数据，若是redis中没有数据那么将消费kafka起始数据，经过业务计算保存到redis中中间循环过程是业务到redis保存数据的过程若中途宕机，重启进程服务都会读取redis偏移量位置进行消费Offs

仓库位置日志生成：https://github.com/SmallScorpion/gmall-mock.git日志服务器：https://github.com/SmallScorpion/gmall-spark-ch-es-realtime.git分析做日活，取启动日志“GMALL_SPARK_CK_ES_START”中的数据(事件日志也可以做，但是会麻烦一点)消费kafka中的数据。利用redis过滤当日已经计入的日活设备把每批次新增的当日日活信息保存到ES中(也可以做一层聚合数据量变小

仓库位置日志生成：https://github.com/SmallScorpion/gmall-mock.git日志服务器：https://github.com/SmallScorpion/gmall-spark-ch-es-realtime.git需求分析做日活，取启动日志“GMALL_SPARK_CK_ES_START”中的数据(事件日志也可以做，但是会麻烦一点)消费kafka中的数据。利用redis过滤当日已经计入的日活设备把每批次新增的当日日活信息保存到ES中(也可以做一层聚合数

仓库位置日志生成：https://github.com/SmallScorpion/gmall-mock.git日志服务器：https://github.com/SmallScorpion/gmall-spark-ch-es-realtime.git需求分析做日活，取启动日志“GMALL_SPARK_CK_ES_START”中的数据(事件日志也可以做，但是会麻烦一点)消费kafka中的数据。利用redis过滤当日已经计入的日活设备把每批次新增的当日日活信息保存到ES中(也可以做一层聚合数

仓库位置日志生成：https://github.com/SmallScorpion/gmall-mock.git日志服务器：https://github.com/SmallScorpion/gmall-spark-ck-es-realtime.gitElasticSearch和Kibana安装https://blog.youkuaiyun.com/qq_40180229/article/details/106012997新建模块导入依赖<dependency> <groupId&g

仓库位置日志生成：https://github.com/SmallScorpion/gmall-mock.git日志服务器：https://github.com/SmallScorpion/gmall-spark-ck-es-realtime.git安装Nginx安装依赖> sudo yum -y install openssl openssl-devel pcre pcre-devel zlib zlib-devel gcc gcc-c++解压配置解压缩ngin

仓库位置日志生成：https://github.com/SmallScorpion/gmall-mock.git日志服务器：https://github.com/SmallScorpion/gmall-spark-ck-es-realtime.git添加依赖 <dependency> <groupId>com.alibaba</groupId> <artifactId>fastjson&lt

仓库位置日志生成：https://github.com/SmallScorpion/gmall-mock.git日志服务器：https://github.com/SmallScorpion/gmall-spark-ck-es-realtime.git编写logback.xml<?xml version="1.0" encoding="UTF-8"?><configuration> <property name="LOG_HOME" value="d:/appl

仓库位置日志生成：https://github.com/SmallScorpion/gmall-mock.git日志服务器：https://github.com/SmallScorpion/gmall-spark-ck-es-realtime.git上传修改日期vim application.properties ：执行在当前目录下执行：java -jar gmall-mock-log-1.0-SNAPSHOT.jar目前为http发送模式，还没有建立，正常报错报错日志创建新