Flume使用-问题总结

最新推荐文章于 2020-11-24 22:55:28 发布
最新推荐文章于 2020-11-24 22:55:28 发布
阅读量859 收藏
点赞数
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/aaronhadoop/article/details/44059107
博客提及内容溢出相关情况，经测试500M容量不可行，而150M容量可行。

一、内容溢出

500M不可

150M可

flume使用注意事项
IT_NEU_Lee的博客
03-21 941
flume可以有多个source 多个channel 多个sink 为什么要把flume分为source chanel sink多个组件呢？有多个组件是为了更加灵活，可以得到不同的来源，传入不同的地方 也可以只有一个source channel 而没有sink 也可以是其他情况 agent---flume source搜集数据(如：每次来一行数据，就读...
FLUME-NG 使用总结
weixin_44387652的博客
04-20 1618
FLUME-NG 使用总结1、Flume-NG 概述2、Flume-NG 架构设计要点3、Flow Pipeline4、Flume NG 三个组件概要4.1、FlumeSource4.2、FlumeChannel4.3、FlumeSink5、入门应用5.1、flume-ng 通过网络端口采集数据5.2、flume-ng 通过Exec tail采集数据5.3、可能遇到的问题 1、Flume-NG 概述 Flume-NG 是一个分布式、可靠、可用的系统，它能够将不同数据源的海量日志数据进行高效收集、聚合、移动，
基于实际业务场景下的Flume部署
微信搜：import_bigdata，大数据领域硬核原创作者
08-12 278
点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源大数据技术与架构点击右侧关注，大数据开发领域最强公众号！暴走大数据点击右侧关注，暴走大数据！有这样一个场景，我们要基于某个web...
Flume_常见的几个问题
weixin_30299539的博客
11-24 128
在HDFS的文件默认生成文件大小1K,如何设置文件大小和数量 拷贝一份flume-conf.properties.template改名为hive-mem-size.properties hive-mem-size.properties 　　a1.sources = s1 　　a1.channels = c1 　　a1.sinks = k1 　　# defined the sourc...
flume常见异常汇总以及解决方案
weixin_34306676的博客
11-13 3102
 　　　　　　　　　　　　　　　　　　　　　　flume常见异常汇总以及解决方案 　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。     　　实际生产环境中，我用flume将kafka的数据定期的往hdfs集群中上传数据，也遇到过一系列的坑，我在这里做个记录，如果你也遇到同样的错误，可以参考一下...
flume常用source问题总结
shengpli′s blog
02-03 4914
一、SpoolDirectorySource 作用： 监测配置的目录下新增的文件，并将文件中的数据读取出来。 问题： 1.spool目录下的文件不可以再打开编辑；spool目录下不可包含相应的子目录2.SpoolSource无法实现实时的收集数据 解决：log4j TimeRolling的插件，分割机制设为1分钟一次，需改log4j配置文件3.无法使用TimeRolling插件，手工cop
flume-ng-sql-source-release-1.5.2.zip
06-26
总结来说，"flume-ng-sql-source-release-1.5.2.zip"提供了一种高效的方式，通过SQL查询从数据库中抽取数据，并将其无缝地集成到Apache Flume的流处理系统中，最终将数据推送到Kafka，以支持实时的大数据分析流程。...
Apache-flume-1.7.0-bin.tar.gz
08-11
总结，Apache Flume 是大数据处理中不可或缺的数据采集工具，它的Source-Channel-Sink架构提供了可靠、灵活和可扩展的数据流动机制，使得企业能够有效地管理和利用海量数据。在1.7.0这个稳定版本中，用户可以期待更...
flume-ng-1.6.0 cdh5.7.0安装包
03-01
总结来说，Flume-ng-1.6.0-cdh5.7.0是专为CDH 5.7.0设计的数据流管理工具，具备强大的数据采集、传输和处理能力，是构建高效大数据管道的重要组成部分。对于需要管理和分析大量日志或其他类型数据的企业，部署和熟练...
flume-mysql.zip
04-18
总结来说，通过结合`flume-ng-sql-source-json-1.0.jar`和`mysql-connector-java.jar`，Flume可以有效地从MySQL数据库中抽取数据并转换为JSON格式，再借助`apache-flume-1.9.0-bin.tar.gz`中的工具，将这些数据流式...
Flume 丢失数据问题
05-11 1万+
利用flume读取日志文件的时候，日志文件还在写入，但被flume打成了标识.COMPLETED 错误日志如下： 2017-05-10 18:09:13,530 (cluster-ClusterId{value='5912e6c933662351ead2de96', description='null'}-192.168.0.126:27017) [INFO - com.mongodb.dia
Flume 各种坑
热门推荐
语不惊人死不休
01-04 4万+
1. 背景 最近一段时间在做安全大数据分析环境搭建以及初步的数据采集、录入工作，这个过程中用到了 Hadoop+HBase+Flume+Kafka这套大数据分析的工具。在数据分析环境架构中，Flume-1.7.0 主要用来收集各种来源、形式的数据，并把数据传给 Kafka 集群，由 Kafka 集群统一分发给 HBase集群。 用 Flume ，主要用到的 Source 是 spool
FLUME总结
weixin_41995893的博客
08-08 1364
一、简介： Flume是一个分布式，可靠可用性高的日志收集系统，能够采集，集合和传输数据，采用数据流模式。核心概念有事件与进程，事件由数据单元，消息头与消息体组成。进程由source，channel与sink组成。 Flume的优势在于它可以将数据发送到任何集中存储器上，其次当数据收集速度超过数据写入速度时，系统会自行做出调整，在数据生产者与数据收容器之间形成平衡。一共有三种级别的可靠性保障以...
实现flume tailfsource解决丢数等问题
07-16 3558
使用flume过程中，实时的收集数据时，一般使用exec的source，通过tail -F的形式收集日志内容，但是tail -F存在包括丢数在内一系列问题，实现tailfsource解决： public class TailingFileSource extends AbstractSource implements EventDrivenSource, Configurable {
Flume 数据采集系统 性能优化和关键问题汇总
小草君技术专栏
06-01 1万+
Flume 性能优化 和关键问题汇总 Flume 数据采集系统 性能优化和关键问题汇总 Flume 数据采集系统 性能优化和关键问题汇总
使用flume问题总结1——搭建flume+测试Syslog source
anjing900812的博客
09-25 5954
搭建flume 先安装JDK：参考http://wenku.baidu.com/link?url=QnE9lgoCkS2OoILGeHim7uonsth5LwiGB3IWKOnNirSE6qEOaNgdW4-DDWR2XKKoX0X8aLIbjDD0i_z4BeXh4VA_AEScZhrxvz_9BucO-Ze下载flume，目前最新版本1.6.0：链接http://flume.apac
flume常见问题总结
lynn_simon的博客
11-24 1010
1. flume是什么？ 数据采集工具 可以收集日志 行为 事件等数据信息 并且将这些信息从各个数据源集中起来存储的工具 2.flume怎么工作的？ 核心概念 agent agent分为三个组件 source channel sink source 负责读取采集 sink负责写入存储 channel负责解耦合的传输通道 source 对接数据源 内置各种实现类将数据封装成event 传递给channel通道 sink从ch...
使用flume问题总结2——flume event的简单理解
anjing900812的博客
10-09 6850
flume event的简单理解
Flume的事务机制和可靠性
涤生大数据
01-11 1万+
实际开发中，或者在面试中，总会碰到诸如Flume如何保证数据传输的完整性？      一：Flume的事务机制      所以这就不得不提Flume的事务机制（类似数据库的事务机制）：Flume使用两个独立的事务分别负责从soucrce到channel，以及从channel到sink的事件传递。比如以上面一篇博客中的事例为例：spooling directory source 为文件的每一行创
case $1 in "start") echo " --------启动 hadoop101 日志数据flume-------" ssh hadoop101 "nohup /export/server/apache-flume-1.11.0-bin/bin/flume-ng agent -n a1 -c /export/server/apache-flume-1.11.0-bin/conf -f /export/server/apache-flume-1.11.0-bin/job/kafka_to_hdfs_log.conf >/dev/null 2>&1 &" ;; "stop") echo " --------停止 hadoop101 日志数据flume-------" ssh hadoop101 "ps -ef | grep kafka_to_hdfs_log | grep -v grep |awk '{print \$2}' | xargs -n1 kill" ;; esac 使用flume2.sh stop会报[root@hadoop101 job]# flume2.sh stop --------停止 hadoop101 日志数据flume------- 用法： kill [选项] <pid|名称> [...] 选项： -a, --all 不限于只对和当前进程的用户 id 相同的进程进行 名称-进程id 转换 -s, --signal <信号> 发送指定的信号 -q, --queue <信号> 使用 sigqueue(2) 代替 kill(2) -p, --pid 打印 pid 而不向它们发送信号 -l, --list [=<信号>] 列出信号名，或将一个信号转换为名称 -L, --table 列出信号名和数值 -h, --help 显示此帮助并退出 -V, --version 输出版本信息并退出
最新发布
03-11
<think>嗯，用户的问题是关于执行flume2.sh stop时出现的错误。他们提供的脚本片段是一个case语句，用来启动或停止Flume代理。当运行停止命令时，系统显示kill命令的使用帮助，而不是正常停止服务。这说明脚本中的kill部分有问题，导致无法正确终止进程。 首先，我需要分析停止部分的代码。用户使用ssh连接到hadoop101，然后执行ps -ef来查找包含kafka_to_hdfs_log的进程，排除grep自身，再用awk提取PID，最后用xargs传递PID给kill命令。看起来逻辑是对的，但实际执行时却输出了kill的帮助信息，这说明可能在执行kill时没有传递正确的参数，导致kill误认为没有参数而显示帮助。 接下来，考虑可能的问题点。在ssh命令中，用户使用了双引号包裹命令，但内部的$2和$符号可能需要正确转义。原命令中的awk '{print \$2}'，这里的反斜杠是为了转义$2，避免在本地shell中被解释。但检查是否正确转义很重要。可能转义不够，导致awk没有正确提取PID，或者xargs接收到空值，导致kill没有收到PID，从而触发帮助信息。 另外，检查grep的条件是否正确。用户使用grep kafka_to_hdfs_log，可能这个名称是否准确匹配到了Flume的agent进程？比如，Flume启动时可能包含更多参数，或者配置文件路径中有这个字符串，需要确认grep是否能准确捕获目标进程。 可能的解决步骤：首先，手动在hadoop101上执行ps -ef | grep kafka_to_hdfs_log | grep -v grep，查看是否能正确列出目标进程。如果结果为空，说明grep条件不对，需要调整。如果有结果，再检查awk是否提取了正确的第二列（PID）。如果PID正确，再检查xargs是否成功传递给kill。 另一个可能性是，当多个进程匹配时，xargs -n1 kill会逐个发送kill，但如果没有PID，kill会报错。如果命令正确，但结果为空，那么kill没有收到任何参数，导致显示帮助信息。这时候需要确认是否存在符合条件的进程。 此外，用户脚本中的ssh命令是否正确执行？可能权限问题导致无法远程执行，或者路径问题导致命令找不到。但根据错误信息，至少ssh连接是成功的，因为输出了停止的提示信息。 可能的改进方法：在ssh命令中，将整个命令用单引号包裹，以避免本地shell的变量扩展问题。例如，ssh hadoop101 'command'，这样内部的$2不会被本地shell处理。或者，确保转义正确，如原命令中的\$2是否正确转义为远程shell中的$2。 另外，可以考虑使用pgrep或pkill命令来简化进程查找和终止，但需要确认这些命令在远程服务器上是否可用。例如，ssh hadoop101 "pkill -f kafka_to_hdfs_log" 可能会更直接地终止相关进程。 总结问题原因，可能是由于awk没有正确提取PID，导致xargs传递空值给kill，从而触发帮助信息。需要调整命令中的转义或引号，确保远程服务器正确接收到PID参数。</think>您提供的脚本在执行 `flume2.sh stop` 时触发 `kill` 命令的帮助信息，是因为 **进程 PID 未正确获取**。以下是问题分析和解决方案： --- ### **问题原因** 脚本中停止命令的核心逻辑： ```bash ssh hadoop101 "ps -ef | grep kafka_to_hdfs_log | grep -v grep | awk '{print \$2}' | xargs -n1 kill" ``` 实际执行时可能因 **转义问题** 或 **进程匹配问题** 导致 `awk` 未提取到 PID，最终 `kill` 未收到有效参数，从而打印帮助信息。 --- ### **分步解决方案** #### **1. 验证进程是否存在** **手动执行以下命令**（在 hadoop101 上）： ```bash ps -ef | grep kafka_to_hdfs_log | grep -v grep ``` - 如果无输出：表示没有匹配的进程，检查 Flume 配置名称或进程是否已停止。 - 如果有输出：检查第二列是否为 PID（确保 `awk '{print $2}'` 正确提取 PID）。 --- #### **2. 修复转义问题** **修改停止命令的引号与转义**： 远程执行命令时，建议使用 **单引号** 包裹远程命令，避免本地 Shell 解析变量： ```bash ssh hadoop101 'ps -ef | grep kafka_to_hdfs_log | grep -v grep | awk "{print \$2}" | xargs -n1 kill' ``` 或保留双引号但正确转义 `$`： ```bash ssh hadoop101 "ps -ef | grep kafka_to_hdfs_log | grep -v grep | awk '{print \$2}' | xargs -n1 kill" ``` --- #### **3. 使用 `pkill` 简化命令** 直接通过进程名终止（需确保匹配唯一性）： ```bash ssh hadoop101 "pkill -f kafka_to_hdfs_log" ``` - `-f`：匹配完整命令行（包括参数中的配置文件路径）。 --- #### **4. 添加错误处理** 在脚本中增加判断逻辑，避免无进程时执行 `kill`： ```bash echo " --------停止 hadoop101 日志数据flume-------" pid=$(ssh hadoop101 "ps -ef | grep kafka_to_hdfs_log | grep -v grep | awk '{print \$2}'") if [ -n "$pid" ]; then ssh hadoop101 "kill $pid" echo "已终止进程: $pid" else echo "无相关进程运行" fi ``` --- ### **完整修复脚本** ```bash case $1 in "start") echo " --------启动 hadoop101 日志数据flume-------" ssh hadoop101 "nohup /export/server/apache-flume-1.11.0-bin/bin/flume-ng agent -n a1 -c /export/server/apache-flume-1.11.0-bin/conf -f /export/server/apache-flume-1.11.0-bin/job/kafka_to_hdfs_log.conf >/dev/null 2>&1 &" ;; "stop") echo " --------停止 hadoop101 日志数据flume-------" # 方案1：使用 pkill 直接终止 ssh hadoop101 "pkill -f kafka_to_hdfs_log" # 方案2：原逻辑修复（确保转义正确） # ssh hadoop101 "ps -ef | grep kafka_to_hdfs_log | grep -v grep | awk '{print \$2}' | xargs -n1 kill" ;; esac ``` --- ### **关键点总结** - **转义问题**：远程执行命令时，注意 `$` 符号的转义与引号嵌套。 - **进程匹配**：确保 `grep` 条件能唯一匹配目标进程。 - **简化命令**：优先使用 `pkill -f` 替代 `ps | grep | kill` 链式操作。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值