采集模块一
判定一个文件是通过inode和file全路径,改变file,虽然inode没有变,仍然认为它是一个新的文件。kylin预计算(提前算好)多维分析(hive,withcube)优点断点续传,监控多目录多文件,实时监控。缺点当文件更名后会重新读取该文件造成重复。presto当场计算,基于内存,速度快。1.使用不更名的日志框架logback。2.修改源码,判断文件只用inode。kafka可作为生产者和消费者。普通实时计算和实时数仓的比较。离线/实时需求的固定性。......
原创
2022-07-22 15:55:59 ·
333 阅读 ·
0 评论