使用Scribe重新构建log4j实现分布式日志中心

最新推荐文章于 2022-01-16 10:48:09 发布
原创 最新推荐文章于 2022-01-16 10:48:09 发布 · 255 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#c/c++ #java #大数据

本文介绍了Scribe与log4j的集成使用方法，并推荐了一篇详细的配置指南。此外，还提到了Thrift作为构建RPC服务的基础，支持跨语言高效通讯。

在浏览了诸多中文Scribe+log4j的博客之后，我发现，大家都是很不要face的抄人家的文，却没有一点要引用原文的意思。估计是抄来抄去，抄的多了都想不起来是谁抄谁的了。

 

原作应该是 Alex Loddengaard 的大作，写的很清楚，而且还有代码。这里不需要画蛇添足，大家欣赏吧。

Configuring and Using Scribe for Hadoop Log Collection

http://www.cloudera.com/blog/2008/11/configuring-and-using-scribe-for-hadoop-log-collection/

 

 

跑题篇，

除了Scribe之外，你还可以基于Thrift构建RPC服务。做到跨语言、高效通讯。推荐 Andrew Prunicki 的大作，

 

Apache Thrift

http://jnb.ociweb.com/jnb/jnbJun2009.html

scribe-log4j:将日志消息发送到 Scribe 的 log4j appender
06-16
scribe-log4j 将日志消息发送到 Scribe 的 log4j appender。 有3个maven项目： scribe-client - 为 scribe 自动生成的 Java 客户端 scribe-log4j - scribe-log4j附加程序 scribe-example - 使用示例 入门 克隆仓库 git clone https://github.com/caiiiycuk/scribe-log4j.git 将 scribe-client 安装到本地 maven 仓库 cd scribe-log4j/scribe-client mvn install 运行聚合日志的 scribe 服务器（请参阅下面的简短说明） 如果需要，请修复scribe-log4j/scribe-example/src/main/resources/log4j.properties 。
Thrift+Scribe分布式日志系统的构建
11-27
在 Thrift+Scribe 构建的分布式日志系统中，日志的产生端（如服务器或应用）使用 log4j 或其他日志框架记录日志。这些日志可以通过 Thrift 的服务接口发送到 Scribe 客户端。Scribe 客户端将接收到的日志封装成 `Log...
用java端，通过log4j 把日志写入scribe 日志系统
Royce Wang专栏
07-29 5725
用java端，通过log4j 把日志写入scribe 日志系统。  一、生成scribe客户端生成 java客户端api   A. 修改配置文件scribe.thrift      cd /usr/local/scribeInstall/scribe/if      vi scr
log4j 客户端写入scribe
softwarehe的专栏
04-20 1692
参考http://www.iteye.com/topic/800208，但在使用AsyncScribeAppender时，发现测试程序不能将日志写到scribe中去，而改用ScribeAppender可以，在网上查AsyncAppender的相关文档，http://sw1982.iteye.com/blog/688719，猜想是因为测试程序运行完马上退出，而这时日志还没来得及写到scribe中去，
云计算实战 （海量日志管理）hadoop + scribe -- log4j 客户端写入scribe
Open source of memory
11-02 235
  上一篇文章已经安装完scribe，下面我们用java端，通过log4j 把日志写入scribe 日志系统。     一、生成scribe客户端 生成 java客户端api    A. 修改配置文件scribe.thrift      cd /usr/local/scribeInstall/scribe/if      vi scribe.thrift      修改...
SpringBoot日志配置--log4j2
努力上岸的鱼
01-03 286
一、去除logging依赖并导入log4j2依赖 <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-web</artifactId> ...
使用Scribe-log4j将日志传输至Scribe服务
通过使用scribe-log4j，开发者可以将log4j的日志数据发送到Scribe服务器，从而实现集中化管理日志数据。 log4j是Apache的一个开源日志框架，它允许开发者在Java应用程序中灵活地记录日志信息。log4j提供了丰富的API...
Scribe+Hadoop+Log4j整合实践：日志数据分析与Hive、MySQL结合
"这篇文档是关于使用Scribe、Hadoop、Log4j、Hive和MySQL进行用户系统日志数据分析的实践经验总结，旨在提供一种实用的解决方案。" 在这个月的研究中，作者深入探索了如何利用这些技术搭建一个高效的数据处理流水线...
Log4j & Slf4j 连接 scribe 日志服务器的适配器
而Slf4j是一个抽象层，允许在后台使用不同的日志系统（如Log4j、Logback等），为最终的日志实现提供了统一的API。这个适配器的概念意味着，开发者可以通过这个适配器桥接Log4j或Slf4j产生的日志，使之能够被写入...
scribe+hadoop+log4j+hive+mysql
11-30
综上所述，通过结合使用 Scribe、Hadoop、Log4j、Hive 和 MySQL 这些工具和技术，可以构建一套完整的日志数据采集、存储、处理和分析的解决方案。这对于深入理解用户行为、提升系统性能等方面都具有重要意义。
ddth-log2scribe:Log4j & Slf4j 适配器将日志写入 scribe 服务器
07-19
ddth-log2scribe Log4j 和 Slf4j 适配器将日志写入 scribe 服务器。 项目主页： : OSGi 环境：ddth-log2scribe 模块打包为 OSGi 包。 安装 最新发布版本： 0.1.0 。 请参阅 。 Maven 依赖： < dependency> < groupId>com.github.ddth</ groupId> < artifactId>ddth-log2scribe</ artifactId> < version>0.1.0</ version> </ dependency> 用法 Log4j 配置 log4j.appender.X=com.github.ddth.log2scribe.log4jappender.ScribelogAppender log4j.appender.X.layout=o
scribe详细安装文档
06-26
很好的东西，描述如何详细的安装scribe，编写安装脚本
scribe 简单使用java
East271536394
08-09 1721
1. 安装见 http://blog.youkuaiyun.com/east271536394/article/details/7849574 2.scribe 整体架构                                   scribe是一个服务，负责监听服务器的某个端口1464/1463               使用方式，通过java或php程序调用thrift的函数，向该
log4j2.xml配置
wan_zaiyunduan的博客
01-16 474
x <?xml version="1.0" encoding="UTF-8"?> <!-- Configuration后面的status，这个用于设置log4j2自身内部的信息输出，可以不设置，当设置成trace时，你会看到log4j2内部各种详细输出。 monitorInterval：Log4j能够自动检测修改配置 文件和重新配置本身，设置间隔秒数。 --> <configuration status="info" monitorInterval="30.
log4j2配置详解及自定义Appender
热门推荐
海瑞@mt
11-07 1万+
最近由于项目需要开始捣鼓项目组日志系统，日志系统中日志打印采用的是log4j2，同时需要支持公司日志采集需求，所以也会用到公司扩展的appender。之前做过的项目有关日志打印的功能也是采用log4j2组件。这篇文章主要是对这个组件的各个属性进行下总结，同时介绍下如何基于log4j2的Appender自定义Appender，满足项目需求。 后边也会陆续的对log4j2的原理、性能等进行分析......
Log4j1升级Log4j2实战
高广超的博客
04-10 1049
这是在公司内部的一次升级实践，删除了很多隐私的内容，所以可能不是很完整。 1、背景 在任何系统中，日志都是非常重要的组成部分，它是反映系统运行情况的重要依据，也是排查问题时的必要线索。绝大多数人都认可日志的重要性，但是又有多少人仔细想过该怎么打日志，日志对性能的影响究竟有多大呢？ 新的Log4j 2.0版本有了大幅的性能提升、新的插件系统，以及配置...
Log4j2自定义Appender注意事项
ZERO
08-03 1万+
虽然log4j2自带了很多种Appender，但是有时候需要自定义Appender来满足业务需求。例如log4j2就没有为Scribe添加appender。        Appender的自定义其实很简单，可以参考log4j-core源码中org.apache.logging.log4j.core.appender.mom包中其它的扩展appender的实现。主要是实现AbstractAppe
log4j2中的自定义Appender详解
很多时候犯错都是在不知情的情况下发生的
08-21 1755
log4j官网提供了很多Appender组件，但是当那些组键不满足日志收集的时候，我们需要自己定义Appender 定点Appender需要处理好两个地方的问题 1.需要在代码中写一个自定义Appender 2.修改log4j.xml文件中的Appenders下面引用的Appender为自定义appender 首先是代码实现主要是继承AbstractAppender这个抽象类，重写append（）方法 append方法是我们进行接收日志的方法 @Override public void a...
分布式日志收集系统： Facebook Scribe之日志收集方案
WEBCODE
12-15 295
我的独立博客网址是：http://wuyouqiang.sinaapp.com/。 我的新浪微博：http://weibo.com/freshairbrucewoo。 欢迎大家相互交流，共同提高技术。 写入日志到Scribe的解决方案 1.概述 Scribe日志收集服务器只负责收集主动写入它的日志，它本身不会去主动抓取某一个日志，所以为了把日志写入到scribe服务器，我们必须主动向sc...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值