
flume
涅槃成魔
潜心修炼、涅槃成魔!
展开
-
flume-sink报错 : close() called when transaction is OPEN - you must either commit or rollback first
写flume实时导入数据时报错 flume-sink报错 : close() called when transaction is OPEN - you must either commit or rollback first 在确认代码无误的情况下,引起该错误的主要原因是flume启动给的内存不足引起的, flume-ng 启动文件默认的启动内存为20M 可以修改flume-ng文件: JAV...原创 2020-03-02 23:46:50 · 1100 阅读 · 0 评论 -
flume的memeryChannel中transactionCapacity和sink的batchsize注意点
最近在做flume的实时日志收集,记录一下memeryChannel的transactionCapacity参数采的坑,transactionCapacity默认值为100,也就是说收集端的sink会在收集到了100条以后再去提交事务(即发送到下一个目的地),于是我修改了transactionCapacity到10,想看看是不是会更加实时一点,结果发现收集日志的agent启动的时候报错了 16/0...原创 2020-03-02 23:41:59 · 338 阅读 · 0 评论