hbase各节点日志通过syslog转发配置

最新推荐文章于 2022-04-19 20:10:58 发布
原创 最新推荐文章于 2022-04-19 20:10:58 发布 · 696 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了如何在HBase中配置log4j.properties文件来发送日志到Syslog服务器，并展示了如何根据不同节点类型（如Master和RegionServer）进行具体配置。此外还提供了修改Hbase-daemon.sh脚本来设置不同节点的日志级别。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

一、log4j.properties添加配置

log4j.appender.SYSLOG=org.apache.log4j.net.SyslogAppender

log4j.appender.SYSLOG.SyslogHost=10.21.36.27   //收集syslog日志的服务器IP

log4j.appender.SYSLOG.layout=org.apache.log4j.PatternLayout

log4j.appender.SYSLOG.layout.ConversionPattern=[Others] - [10.21.16.48] - %d [%t] %p %c - %m %n   //hbase的Master节点IP

 

#log4j.logger.MyDFSClient=DEBUG,SYSLOG

log4j.appender.SYSLOG-MASTER=org.apache.log4j.net.SyslogAppender

log4j.appender.SYSLOG-MASTER.SyslogHost=10.21.36.27

log4j.appender.SYSLOG-MASTER.layout=org.apache.log4j.PatternLayout

log4j.appender.SYSLOG-MASTER.layout.ConversionPattern=[MASTER] - [10.21.16.48] - %d [%t] %p %c - %m %n

 

log4j.appender.SYSLOG-REGIONSERVER=org.apache.log4j.net.SyslogAppender

log4j.appender.SYSLOG-REGIONSERVER.SyslogHost=10.21.36.27

log4j.appender.SYSLOG-REGIONSERVER.layout=org.apache.log4j.PatternLayout

log4j.appender.SYSLOG-REGIONSERVER.layout.ConversionPattern=[REGIONSERVER] - [10.21.16.48] - %d [%t] %p %c - %m %n

二、Hbase-daemon.sh添加配置

if [ "$command" = "master" ]; then  

  export HBASE_ROOT_LOGGER="INFO,SYSLOG-MASTER,RFA"

elif [ "$command" = "regionserver" ]; then  

  export HBASE_ROOT_LOGGER="INFO,SYSLOG-REGIONSERVER,RFA"

fi

Fluentd日志收集与解析实践
AI天才研究院
07-28 1926
Fluentd 是一款开源、多平台、全面的日志聚合、传输和处理工具，支持包括 Apache Kafka、Elasticsearch、InfluxDB、Cloudwatch Logs 在内的一系列主流日志采集、传输和处理服务。本文将详细介绍Fluentd日志收集组件的主要功能，并对 Fluentd 及其相关组件进行配置、部署，帮助读者更好地理解 Fluentd 的工作机制及架构设计，更好的掌握 Fluentd 的使用方法。Fluentd 是一个开源的日志收集和传输框架。
Zookeeper+Hadoop+Spark+Flink+Kafka+Hbase+Hive 完全分布式高可用集群搭建(保姆级超详细含图文) 附安装包网盘下载
Mr.L-OAM的博客
07-05 2万+
Hadoop+Spark+Flink+Zookeeper+Kafka+Hbase+Hive完全分布式高可用集群搭建 Hadoop高可用集群搭建 Spark高可用集群搭建 Flink高可用集群搭建 Zookeeper高可用集群搭建 Kafka高可用集群搭建 Hbase高可用集群搭建 Hive高可用集群搭建 mysql搭建 jdk部署 大数据集群环境搭建
Syslog配置详解及编程实例
热门推荐
夕小瑶的卖萌屋
07-11 3万+
1.背景 syslog是UNIX系统中提供的一种日志记录方法(RFC3164)，syslog本身是一个服务器，程序中凡是使用syslog记录的信息都会发送到该服务器，服务器根据配置决定此信息是否记录，是记录到磁盘文件还是其他地方，这样使系统内所有应用程序都能以统一的方式记录日志，为系统日志的统一审计提供了方便。 2. 日志格式 syslog记录的日志格式为： 月  日  时
ZT log4j配置syslog记录日志
notlcry的专栏
09-01 467
<br /> log4j配置syslog记录日志 <br /><br />应用场景：需要把log输出到syslog中<br /><br /><br /><br />1. log4j的配置<br /><br /><br /><br />log4j.rootLogger=INFO, A1, syslog<br /><br />log4j.appender.A1=org.apache.log4j.ConsoleAppender<br /><br /><br />log4j.appender.A1.layout=o
Log4j输出格式及使用Log4j使日志输出至Syslog
qixiaopeng
11-18 397
Log4j输出格式设置参数： [url]http://avaj.iteye.com/blog/246088[/url] 配置Syslog # This is the configuring for logging displayed in the Application Server log4j.rootCategory=INFO,stdout,logfile,syslog #s...
HBase的log4j.properties的配置文件内容
qq_43668173的博客
05-13 789
# Licensed to the Apache Software Foundation (ASF) under one # or more contributor license agreements. See the NOTICE file # distributed with this work for additional information # regarding copyright ownership. The ASF licenses this file # to you under
使用Java操作HBase（增，删，改，查操作）
m0_55834564的博客
04-19 9202
在这里我用的是idea操作的 一、配置 1.首先确保HBase集群已经开启 [root@hadoop ~]# jps 2761 HQuorumPeer 2137 ResourceManager 7114 Jps 2858 HMaster 1691 NameNode 1789 DataNode 2237 NodeManager 2943 HRegionServer 1983 SecondaryNameNode 上面所有节点都有 2.配置hosts文件 在你所在电脑配置你的hadoop集群信息，所
HBase大规模日志分析：深入应用与优化技巧
![HBase大规模日志分析：深入应用与优化技巧](https://nikolaandro.github.io/assets/posts_images/hbase_0.png) # 1. HBase基础与日志分析概述 在当今大数据时代，日志...然后，我们将重点讨论HBase在日志分析中的
ELK hadoop hbase
程序人生-汤圆甜筒的专栏
08-18 4562
方案1-ELK elasticsearch 特性 kibana logstash 方案2-hadoophbasehive hadoop hbase hive 方案对比 本公司应用场合 附 引方案1-ELK E-elasticsearch L-logstash K-kibana elasticsearchElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多
基计算机课程毕设：于Flume&spark&Flask的分布式实时日志分析与入侵检测系统.zip
09-16
通过配置多个source（源），Flume可以同时从不同的数据源（如syslog、HTTP等）抓取日志信息，然后通过channel（通道）进行暂存，最后由sink（接收器）将数据发送到Spark集群进行处理。Flume的容错性和可扩展性使得...
用syslog实现apache远程日志服务器
caodaoxi的专栏
05-02 284
1、vi httpd.conf 将 ErrorLog logs/error_log LogLevel warn CustomLog logs/access_log combined 改为 ErrorLog "| /usr/bin/logger -t httpd -p local4.info" LogLevel notice CustomLog "| /us...
syslog-ng安装及通过python写入syslog
hell_world!
09-30 1976
安装部分： 先安装eventlog 在~/.bash_profile里配置 export PKG_CONFIG_PATH=/usr/local/eventlog/lib/pkgconfig 然后安装jdk（你也可以使用自带的openjdk） 在~/.bash_profile里配置 export LD_LIBRARY_PATH=/usr/local/jdk/jre/lib/amd64/ser
Hbase官方手册-配置
貌似君子的专栏
11-09 4720
学过上一章快速入门之后，本章详细的介绍hbase的配置。请仔细的阅读本章节，尤其是基本先决条件，保证HBase测试和部署的正常工作，预防数据丢失配置文件hbase和hadoop使用相同的配置系统。所有的配置文件在conf目录下，集群中所有节点中的配置必须保持同步，所有的配置文件如下： backup-masters 默认是不存在的，是一个文本文件，列出所有需要启动备份Master的主机名称或ip，
log4j.properties配置实例
junJZ_2008的专栏
11-25 311
log4j.properties全配置 ###############################log4j.properties############################### ##### Global Log Level(OFF,FATAL,ERROR,WARN,INFO,DEBUG,ALL) ############# log4j.rootLogger=DE...
syslog配置日志转发（imfile）
Nicholas的专栏
11-16 5224
在centos 7.1    rsyslogd 7.4.7版本详细配置如下： 日志转发 发送端： 监控日志文件，  在/etc/rsyslog.conf module(load="imfile" PollingInterval="5") #$ModLoad imfile $InputFileName /var/log/ecloud/operation_Region
如何设置hadoop hbase的Log Appender
系统运维
02-06 178
要想很好的监控hadoop集群的状态，hadoop打印的log是很重要的。我们的思路是使用部门研发的log appender将hadoop的数据append到我们自己的central logging数据库中（其实就是存在hbase中）。 说起来简单，实际操作起来也花了一天多的时间，下面记录下整个过程。 首先要明确hadoop使用的log机制。hadoop使用了slf4j,log4j,a...
基于Java医院药品管理系统论文
最新发布
08-12
基于Java医院药品管理系统论文
Kafka消息队列架构及高可用配置实战.doc
08-12
Kafka消息队列架构及高可用配置实战.doc
springboot基于Java的宠物用品系统的设计与实现.doc
08-12
springboot基于Java的宠物用品系统的设计与实现
Flume日志采集系统：架构与实战解析
Flume内建多种Agent、Collector和Storage组件，如File、Syslog、HDFS等，便于用户根据需求构建日志处理流程。" Flume的核心在于其Agent，它作为数据采集的基本单元，包含Source、Channel和Sink三个部分。Source负责...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值