
spark项目
文章平均质量分 94
spark实时项目
ly的学习笔记
这个作者很懒,什么都没留下…
展开
-
Spark实时数仓(三)
二.样例类 三.ES相关(创建index) 四.Alert实现 五.启动APP ES客户端查看输入参数返回结果 3.编辑子模块(gmall-realtime) 一.数据处理流程 三.采集user_Info进入缓存(redis) 五.双流join 二.配置 application.properties 三.业务代码实现 pojo层 option.java(一个统计选项) SaleDetail.java(销售统计详情) Stat.java(一组统计选项) dao层 ESDao.ja原创 2022-07-11 22:55:31 · 507 阅读 · 0 评论 -
Spark实时数仓(二)
二.配置文件 config.properties log4j.properties 三.工具类 PropertiesUtil.scala MyKafkaUtil.scala RedisUtil 四.DAU实现 流程图 设计redis的key,value | key | value | | — | — | | 当前批次日期(logDate) | 设备号(mid) |Phoenix建表 为了便于对数据进行解析,需要将数据封装为样例类(StartUpLog,StartLogo原创 2022-07-11 22:54:52 · 443 阅读 · 0 评论 -
Spark实时数仓(一)
pom.xml 2.创建子模块(gmall-common) 一.pom.xml 二.MyConstants.java 3.创建子模块(gmall-logger) 将gmall-common模块pom.xml中的以下配置复制到gmall-logger模块的pom.xml spark-gmall的pom.xml添加以下内容 gmall-logger.xml application.properties 整合log4j(log4j.properties) 编写contro原创 2022-07-11 22:54:09 · 2105 阅读 · 0 评论 -
ElasticSearch笔记
查询: 宽泛的概念!只要将某个东西查询出来! 搜索: 一种特定的查询! 搜索一般指 通过某个关键字,检索出和关键字相关的信息!搜索引擎,不适合使用关系型数据库存储数据!原因: ①在搜索时,只输入关键字,希望可以得到匹配关键字的所有的数据!如果使用数据库,在查询时一定需要模糊查询,模糊查询会导致索引失效,全表扫描!效率低! 2.几个框架 solr : 和es的作用是一样的,都是用于搜索! 效率上: solr(老大哥): 小数据量,静态搜索,优于es! es(新人) : 大数量,动态搜索,优于s原创 2022-07-11 22:53:35 · 327 阅读 · 0 评论