log4j 客户端写入scribe

解决AsyncScribeAppender日志同步问题
最新推荐文章于 2020-01-03 10:03:32 发布
原创 最新推荐文章于 2020-01-03 10:03:32 发布 · 1.6k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#log4j #测试 #文档

本文探讨了使用AsyncScribeAppender时遇到的日志无法同步写入的问题，并通过加入Thread.sleep解决了该问题，确保日志能够正确记录。

参考http://www.iteye.com/topic/800208，但在使用AsyncScribeAppender时，发现测试程序不能将日志写到scribe中去，而改用ScribeAppender可以，在网上查AsyncAppender的相关文档，http://sw1982.iteye.com/blog/688719，猜想是因为测试程序运行完马上退出，而这时日志还没来得及写到scribe中去，于是在主线程中加了Thread.sleep，日志能异步写入了。

scribe的log4j的开源代码参见http://code.google.com/p/scribe-log4j/，这个才是鼻祖

分布式日志收集系统： Facebook Scribe之日志收集方案
BruceWoo的专栏
12-15 3377
我的独立博客网址是：http://wuyouqiang.sinaapp.com/。 我的新浪微博：http://weibo.com/freshairbrucewoo。 欢迎大家相互交流，共同提高技术。 写入日志到Scribe的解决方案 1.概述 Scribe日志收集服务器只负责收集主动写入它的日志，它本身不会去主动抓取某一个日志，所以为了把日志写入到scribe服务器，我们必须主动向sc
深入探究Kafka：高吞吐量与低延迟背后的技术原理
数据与算法架构提升之路专栏
07-16 1203
1.kafka 吞吐量高的原因 1、页缓存技术 + 磁盘顺序写 操作系统本身有一层缓存，叫做page cache，是在内存里的缓存，我们也可以称之为os cache，意思就是操作系 统自己管理的缓存。 你在写入磁盘文件的时候，可以直接写入这个os cache里，也就是仅仅写入内存中，接下来由操作系统自己决定 什么时候把os cache里的数据真的刷入磁盘文件中 接着另外一个就是kafka...
scribe-log4j:将日志消息发送到 Scribe 的 log4j appender
06-16
scribe-log4j 将日志消息发送到 Scribe 的 log4j appender。 有3个maven项目： scribe-client - 为 scribe 自动生成的 Java 客户端 scribe-log4j - scribe-log4j附加程序 scribe-example - 使用示例 入门 克隆仓库 git clone https://github.com/caiiiycuk/scribe-log4j.git 将 scribe-client 安装到本地 maven 仓库 cd scribe-log4j/scribe-client mvn install 运行聚合日志的 scribe 服务器（请参阅下面的简短说明） 如果需要，请修复scribe-log4j/scribe-example/src/main/resources/log4j.properties 。
用java端，通过log4j 把日志写入scribe 日志系统
Royce Wang专栏
07-29 5725
用java端，通过log4j 把日志写入scribe 日志系统。  一、生成scribe客户端生成 java客户端api   A. 修改配置文件scribe.thrift      cd /usr/local/scribeInstall/scribe/if      vi scr
使用Scribe重新构建log4j实现分布式日志中心
移动互联网后端技术
03-19 255
在浏览了诸多中文Scribe+log4j的博客之后，我发现，大家都是很不要face的抄人家的文，却没有一点要引用原文的意思。估计是抄来抄去，抄的多了都想不起来是谁抄谁的了。   原作应该是 Alex Loddengaard 的大作，写的很清楚，而且还有代码。这里不需要画蛇添足，大家欣赏吧。 Configuring and Using Scribe for Hadoop Log Collect...
云计算实战 （海量日志管理）hadoop + scribe -- log4j 客户端写入scribe
Open source of memory
11-02 235
  上一篇文章已经安装完scribe，下面我们用java端，通过log4j 把日志写入scribe 日志系统。     一、生成scribe客户端 生成 java客户端api    A. 修改配置文件scribe.thrift      cd /usr/local/scribeInstall/scribe/if      vi scribe.thrift      修改...
我的Log4j 日志写入数据库 配置
Domando
04-20 1328
文件名log4j.properties 存放在项目的WEB-INF/classes里面# For JBoss: Avoid to setup Log4J outside $JBOSS_HOME/server/default/deploy/log4j.xml!# For all other servers: Comment out the Log4J listener in web.xml to a
scribe - 日志收集器 分析
热门推荐
kohaku的专栏
12-02 2万+
我们知道，使用日志系统是为了使系统变得更健壮，能够应对各种错误并能从错误中较快地恢复。一个大型的分布式系统生成的日志数量是巨大的，所以需要一个有效的工具对其进行管理。Scribe就是这样一个日志收集服务器，使用它可以对大型的系统进行监控。它 是Facebook的一个开源组件，使用的是Facebook另一个框架—Thrift。Thrift 在我的理解就是一个高效的跨语言 rpc 框架，所以它可以支持通过 C++, Java, Python, PHP, Ruby, Erlang, Perl, Haskell,
消息中间件之二：kafka详解
企业实战系列集 ●●● https://ximenjianxue.blog.youkuaiyun.com
09-02 1173
概述 Kafka是一种分布式的，基于发布/订阅的消息系统。 整理中……
kafka原理分析
Java海洋
05-11 4403
Kafka是由LinkedIn开发的一个分布式的消息系统，使用Scala编写，它以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、Apache Storm、Spark都支持与Kafka集成。InfoQ一直在紧密关注Kafka的应用以及发展，“Kafka剖析”专栏将会从架构设计、实现、应用场景、性能等方面深度解析Kafka。 背景介绍 Kafka创建
scribe客户端所需jar包
08-31
scribe客户端所需要用到的jar包，里面还包含一个java客户端用log4j向scribe服务端发送日志的小例子
Log4j1升级Log4j2实战
高广超的博客
04-10 1050
这是在公司内部的一次升级实践，删除了很多隐私的内容，所以可能不是很完整。 1、背景 在任何系统中，日志都是非常重要的组成部分，它是反映系统运行情况的重要依据，也是排查问题时的必要线索。绝大多数人都认可日志的重要性，但是又有多少人仔细想过该怎么打日志，日志对性能的影响究竟有多大呢？ 新的Log4j 2.0版本有了大幅的性能提升、新的插件系统，以及配置...
SpringBoot日志配置--log4j2
努力上岸的鱼
01-03 288
一、去除logging依赖并导入log4j2依赖 <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-web</artifactId> ...
scribe 简单使用java
East271536394
08-09 1722
1. 安装见 http://blog.csdn.net/east271536394/article/details/7849574 2.scribe 整体架构                                   scribe是一个服务，负责监听服务器的某个端口1464/1463               使用方式，通过java或php程序调用thrift的函数，向该
Scribe应用实例
周波的个人博客
12-13 2035
源代码里所给的example很简单，但大体上了模拟了其运行的过程，分三个部分。可参考里面的README文件：Configurarion（配置）、Running Scribe Server（运行服务器）、Logging messages（记录日志），先运行Scribe example来看看效果。 1.Example1：向已经启动的Server发送消息，验证是否被记录下来。 a.创
使用Scribe来监控大型网络系统
刘中兵专栏
06-17 3747
<br />随着云计算时代的到来，我们的互联网系统服务端越来越庞大，一个大型系统通常由成百上千台机器集群而成，我们的系统会部署在这数千台机器中，此时需要时刻监控每一个系统运行的数据。我们可能会需要了解各个系统每天进行了多少交易，并进行汇总、分析、统计、报表。典型的应用就是：收集上千个系统产生的日志，并进行分析统计里面的数据，挖掘、预测。<br /> <br />简单的方式可以是：在每个机器上写个shell，实时或定时分析本系统日志，将结果报告给中心服务器。这样我们需要关注所有的系统。<br /> <br /
log4j2配置详解及自定义Appender
海瑞@mt
11-07 1万+
最近由于项目需要开始捣鼓项目组日志系统，日志系统中日志打印采用的是log4j2，同时需要支持公司日志采集需求，所以也会用到公司扩展的appender。之前做过的项目有关日志打印的功能也是采用log4j2组件。这篇文章主要是对这个组件的各个属性进行下总结，同时介绍下如何基于log4j2的Appender自定义Appender，满足项目需求。 后边也会陆续的对log4j2的原理、性能等进行分析......
Log4j2自定义Appender注意事项
ZERO
08-03 1万+
虽然log4j2自带了很多种Appender，但是有时候需要自定义Appender来满足业务需求。例如log4j2就没有为Scribe添加appender。        Appender的自定义其实很简单，可以参考log4j-core源码中org.apache.logging.log4j.core.appender.mom包中其它的扩展appender的实现。主要是实现AbstractAppe
Scribe+Hadoop+Log4j整合实践：日志数据分析与Hive、MySQL结合
"这篇文档是关于使用Scribe、Hadoop、Log4j、Hive和MySQL进行用户系统日志数据分析的实践经验总结，旨在提供一种实用的解决方案。" 在这个月的研究中，作者深入探索了如何利用这些技术搭建一个高效的数据处理流水线...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值