spark项目完整的开发流程记录
关注
分享
扫一扫
文章平均质量分 82
是阿威啊
这个作者很懒，什么都没留下…
展开
-
SaprkStreaming广告日志分析实时数仓
参考尚硅谷的spark教程中的需求，参考相关思路，详细化各种代码，以及中间很多逻辑的实现方案采用更加符合项目开发的方案，而不是联系，包括整体的流程也有很大的差别，主要是参考需求描述和部分代码功能实现。原创 2023-09-17 15:45:10 · 275 阅读 · 0 评论 -
Step 5 需求一：广告黑名单数据处理
需求一：广告黑名单实现实时的动态黑名单机制：将每天对某个广告点击超过 100 次的用户拉黑。注：黑名单保存到 MySQL 中。1）读取 Kafka 数据之后，并对 MySQL 中存储的黑名单数据做校验；2）校验通过则对给用户点击广告次数累加一并存入 MySQL；3）在存入 MySQL 之后对数据做校验，如果单日超过 100 次则将该用户加入黑名单。原创 2023-09-14 19:34:30 · 252 阅读 · 0 评论 -
Step 4 工具类的编写-JDBCUtil、KafkaUtil、PropertiesUtil
工具类的编写-JDBCUtil、KafkaUtil、PropertiesUtil 和PropertiesUtil的空指针异常报错解决原创 2023-09-12 08:43:38 · 238 阅读 · 1 评论 -
step3-消费者application之获取kafka数据
从kafka消费 生产者Application生产的数据原创 2023-09-11 17:26:29 · 150 阅读 · 0 评论 -
step2 实时分发数据到kafka的application的开发
step2实时分发数据到kafka的application的开发·开发过程中代码会随着开发进度进行变更，解决bug和进行优化、功能新增等最新的代码可以再Gitee中获取：SparkStreamingDemand: 完整的sparkStreaming项目开发代码记录原创 2023-09-10 11:41:02 · 221 阅读 · 1 评论 -
step1-项目结构搭建+环境准备+共性代码
step1-项目结构搭建+环境准备+共性代码开发过程中代码会随着开发进度进行变更，解决bug和进行优化、功能新增等最新的代码可以再Gitee中获取：SparkStreamingDemand: 完整的sparkStreaming项目开发代码记录使用application、service、Dao的三层架构模式来开发sparkStreaming项目原创 2023-09-08 08:57:33 · 267 阅读 · 1 评论