- 博客(2)
- 收藏
- 关注
RSS订阅原创 Flume处理数据后的偏移量
Flume在运行后对数据进行处理，如果中途停止，或者处理完毕。它都会从记录的偏移量继续处理，对于处理完毕的文件，将不再处理，连接flume的kafka就无法再消费数据。 记录偏移量数据的文件在/root/.flume目录下。删除即可 ...
2021-07-28 17:17:55
399
原创 Azkaban的安装
什么是Azkaban Azkaban是由Linkedin公司推出的一个批量工作流任务调度器。Azkaban可以通过简单的配置完成任务之间的依赖关系（依赖关系必须是有向无环图（DAG）） 创建分布式azkaban的流程 1.首先具有jdk环境 2.准备好azkaban所需要的数据库，azkaban在使用的时候需要在许多数据库表格的基础上运行，所以必须准备好azkaban需要的默认数据库。在github上下载。 3.准备好一个azkaban所需要的数据库后，将分布式机器进行时间同步 1.安装n
2021-07-25 22:25:17
459
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人