hadoop 添加自定义日志

最新推荐文章于 2022-05-18 13:56:38 发布
原创 最新推荐文章于 2022-05-18 13:56:38 发布 · 1.3k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文详细介绍了如何在特定类中使用Log4j进行日志记录，并在log4j.properties文件中配置日志级别、文件路径及日志格式。

 

   在要加日志的类中添加语句: private static Log heartbeatLogger = LogFactory.getLog("heartbeatLogger");


   在conf下面的log4j.properties中添加:

   

# heartbeat
log4j.logger.heartbeatLogger=INFO,HEARTBEAT
log4j.appender.HEARTBEAT=org.apache.log4j.FileAppender
log4j.appender.HEARTBEAT.File=${hadoop.log.dir}/HEARTBEAT/heart.log
log4j.appender.HEARTBEAT.layout=org.apache.log4j.PatternLayout
log4j.appender.HEARTBEAT.layout.ConversionPattern=%d %p [%c] - %m%n
log4j.additivity.heartbeatLogger=false

   即可

  

hadoop 自定义分区
congge
01-03 1万+
hadoop 自定义分区总结
Hadoop【使用篇】05：MapReduce任务日志查看
weixin_40612128的博客
03-01 4844
MapReduce任务日志查看
如何查看hadoop程序中自己添加的日志
热门推荐
Java海洋
09-29 1万+
用hadoop也算有一段时间了，一直没有注意过hadoop运行过程中，产生的数据日志，比如说System打印的日志，或者是log4j，slf4j等记录的日志，存放在哪里，日志信息的重要性，在这里散仙就不用多说了，调试任何程序基本上都得需要分析日志。  hadoop的日志主要是MapReduce程序，运行过程中，产生的一些数据日志，除了系统的日志外，还包含一些我们自己在测试时候，或者线上环境输
hadoop-2.2.0追加日志记录
cloudeagle_bupt的专栏
03-06 420
package org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair; import org.apache.commons.logging.Log; import org.apache.commons.logging.LogFactory; public class DelayLog { public static fina
Hadoop自定义输出日志log4j
monkey131499的博客
05-07 5520
本文使用的是Hadoop2，需要在etc/hadoop/log4j.properties中进行相关设置。 打开log4j.properties，配置如下： #为写日志的操作取个名字，MyLog。用来在程序中获取该日志的实例。并指定输出方式为自定义的OUT log4j.logger.MyLog=DEBUG,OUT #设置OUT的输出方式为输出到文件 log4j.appender.OUT
Hadoop日志详解
逝无痕——kaidy
03-31 6775
文章目录Hadoop日志详解1 Hadoop 系统服务输出的日志1.1 修改Hadoop日志目录1.2 修改YARN日志目录2 Mapreduce程序输出来的日志2.1 作业运行日志2.2 任务运行日志 (Container 日志) Hadoop日志详解 Hadoop的日志大致可以分为两大类: 1、 Hadoop 系统服务输出的日志； 2、 Mapreduce程序输出来的日志。 且这两类的日志存放...
2021-12-13 hadoop3 编辑日志：FsEditLog
cn987654的博客
12-13 1991
基于源码hadoop-3.3.0 1 概述 我们知道，hdfs中的操作和状态等数据都存在与元数据中，而元数据通过fsimage和edit log管理。 当我们进行第一次namenode格式化的时候，我们会创建fsimage和editlog文件，而如果不是第一次启动，就会加载对应目录下的fsimage和edit log完成namenode的启动，可参见FSNamesystem。 FSImage 是 NameNode 中关于元数据的镜像，一般称为检查点的镜像；会在内存和磁盘中各保存一份，包含了整个HDF
Hadoop日志存放位置
03-11
为了改变容器日志的存放位置，你需要编辑 `hadoop-env.sh` 文件，添加或更新 `HADOOP_LOG_DIR` 变量，指向新的日志路径。 4. 其他组件日志： 对于其他Hadoop组件，例如HTTPFS（Hadoop文件系统的HTTP接口），你可以...
hadoop模块编译与日志调试.doc|hadoop模块编译与日志调试.doc
10-10
在深入理解Hadoop模块编译和日志调试...通过编译源码，可以自定义功能或添加调试信息；而灵活地控制日志级别则有助于定位问题，跟踪代码执行流程。在实际操作中，根据具体的场景和需求，选择合适的方法进行调试和优化。
Hadoop之flume 框架日志采集原理及使用
yidianyidei的博客
08-30 1375
文章目录FLUME 框架一 概述1.1 Flume定义1.2Flume的优点1.3Flume组成架构1）Agent2）Source3）Channel4）Sink5）Event1.4Flume拓扑结构1.5 Flume &Agent内部原理二 快速入门2.1 Flume安装地址1） Flume官网地址2）文档查看地址3）下载地址2.2 安装部署三 企业开发案例3.1监控端口数据官方案例1）案例需求：2）需求分析：3）实现步骤：1．安装netcat工具2．判断44444端口是否被占用基本语法：nets
Hadoop3.x搭建详细教程 | 历史服务器的配置与日志聚合
大数据小禅的博客
05-18 1784
🚀 作者 ：“大数据小禅” 🚀 简介：随着版本的迭代，Hadoop也在不断的进行更新与增加新特性，根据生产与业务的需求，掌握最基础的环境搭建是比较重要的，之前的文章已经进行了Hadoop2的安装，Hadoop3的安装也是基于2的前置环境之上，免密与集群前置准备小伙本们可以看一下之前的文章。 🚀 Hadoop2详细搭建教程： Hadoop2安装教程对应的安装包可以通过最下方公众号联系我分享。 1.Hadoop3.1.x版本集群规划 Hadoop由Apache基金会开源，是一个分布式的储存与计算平台。目前H.
Hadoop案例（五）过滤日志及自定义日志输出路径（自定义OutputFormat)
weixin_42073629的博客
10-02 325
过滤日志及自定义日志输出路径（自定义OutputFormat） 1.需求分析 过滤输入的log日志中是否包含xyg （1）包含xyg的网站输出到e:/xyg.log （2）不包含xyg的网站输出到e:/other.log 2.数据准备 http://www.baidu.com http://www.google.com http://cn.bing.com http://www.xyg.com http://www.sohu.com http://www.sina.com http://www
hadoop配置job日志记录以及中要配置简单的讲解
qq_44628081的博客
06-04 1730
hadoop配置job日志记录web 日志环境变量配置mapred-site.xmlyarn-site.xml环境变量不同的作用重要的相关配置 web 日志环境变量配置 参考博主 mapred-site.xml <configuration> <!-- 开启MapReduce小任务模式 --> <property> <name>mapreduce.job.ubertask.enable</name> <value>true&
Hadoop配置常见Log错误指导
weixin_34234829的博客
11-24 261
为什么80%的码农都做不了架构师？>>> ...
深入剖析Hadoop程序日志
08-21 3070
  前提 本文来自于 博客园 逖靖寒的世界 http://gpcuster.cnblogs.com 了解log4j的使用。   正文 本文来自于 博客园 逖靖寒的世界 http://gpcuster.cnblogs.com *.log日志文件和*.out日志文件 进入我们的Hadoop_LOG目录，我们可以看到如下文件：   在启动Hadoop集群时，由hadoop-
出现“logs. Aborting_”
红色的飞鸟博客
11-15 2470
在进行Hadoop节点格式化时候出现 ERROR: Unable to write in /opt/module/hadoop-3.1.3/logs. Aborting. 原因：权限不够 sudo chmod -R 777 /opt/module/hadoop-3.1.3/logs/ 给予读写权限
hadoop集群中的日志文件
apple01010105的博客
02-28 927
hadoop存在多种日志文件，其中master上的日志文件记录全面信息，包括slave上的jobtracker与datanode也会将错误信息写到master中。而slave中的日志主要记录完成的task任务信息。 默认情况下，hadoop日志保存在HADOOP_INSTALL/logs目录，但一般情况下建议重新指定路径，常用的是/var/log/hadoop，通过在hadoo...
四、HADOOP(HDFS)-03
不念人间朝暮的博客
08-09 265
四、HADOOP(HDFS)-03 HDFS客户端操作 1、HDFS 客户端环境准备 1、根据自己电脑的操作系统拷贝对应的编译后的 hadoop jar 包到非中文路径（例如：D:\Develop\hadoop-2.7.2） 2、配置 HADOOP_HOME 环境变量 3、配置 Path 环境变量 4、创建一个 Maven 工程 HdfsClientDemo 5、导入相应的依赖坐标+日志添加 <dependencies> <dependency> <groupId>
使用logger日志将操作记录写入数据库
qq_42358393的博客
11-29 8982
之前做的一个项目有这么个要求，在日志管理系统里，需要将某些日志信息存储到数据库里，供用户、管理员查看分析。因此我就花了点时间搞了一下这一功能。 说白了就是在用户在调用某接口的时候，相应的会在数据库进行保存，是谁对什么做了什么样的操作，要写明白，在这里使用spring提供的AOP来将切面类织入个个接口中，话不多说，直接上代码 public class LogAspect { //自定义一个切面类 ...
hadoop日志监控
最新发布
06-16
我们正在解决Hadoop日志监控中关于YARN_PID_DIR被替换为HADOOP_PID_DIR的警告问题。根据引用[1]和[3]，Hadoop3.x版本中，一些...> **注意**：若需保留历史日志格式，可在 `log4j.properties` 中配置自定义Appender。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值