canfengli的博客

HBase管理offset，解决kafka头越界或尾越界问题(HBase存储offset可以更换为Mysql、Redis、Zookeeper什么是越界？头越界的原因尾越界的原因解决方案流程图代码实现调用方式举例 什么是越界？ 越界包括头越界或尾越界。指的程序消费的是kafka offset不在kafka的队列里面，可能是数据过期或者kafka数据被清除 ### 头越界的原因 数据过期：指的是kafka中存储的数据会在一定时间内过期，比如数据的过期时间设置为7天。 如果此时Spark、Flink、Java等程

Spark+kafka+scala入门 1. Scala编程思想 (1) val常量，var变量，在声明变量的时候不需要说明具体的类型，类似于javascript语言 (2) def表示声明函数或方法，其中参数名颠倒写，即变量名在前：类型，返回值不需要写return def getPath(path:String):String= { println(path) path } (3) fo...

项目背景 项目是Spark程序，原先的项目采用的是jdbc的形式连接数据库，十分繁琐且并发性能十分孱弱，故找出了在非Spring环境中使用JPA的方法 使用方法 maven依赖 <!-- 数据库相关 --> <!-- 通过hibernate连接数据库 默认连接池大小20 --> <dependency> <g...

1. Spark监控页 进入对应的application 进入Tracking URL 选择Streaming 2. 监控指标 Input Size 每个批次处理输入数据大小（如多少条日志） Processing Time 每个批次处理时间 Scheduling Delay 每个批次延迟时间 Status 每个批次的状态 queued排队等待，processing正在执行 Activ...