分布式日志系统：Plumelog部署及系统接入

环境准备

• 使用前请耐心的按照步骤把文档看完，需要对logback,log4j两大日志框架基本配置有一定了解

注意事项 #

• plumelog分三种启动模式，分别为redis,kafka,lite，外加嵌入式版本plumelog-lite，大家根据自己的需求使用部署
• lite模式也就是单机版，不依赖任何外部中间件直接启动使用，部署极其方便，但是性能有限，一天10个G以内可以应付，最好是SSD硬盘，适合管理系统类的小玩家，一个公司有很多小系统需要日志集中管理
• redis,kafka模式可以集群分布式部署，适合大型玩家，互联网公司，具体是用redis还是kafka，看每个公司运维情况
• plumelog-lite plumelog的嵌入式集成版本，直接pom引用，嵌入在项目中，自带查询界面，适合单个独立小项目使用，外包软件的最佳伴侣

一、服务端安装配置 #

（1）服务端安装 #

第一步：安装 redis 或者 kafka（一般公司redis足够） redis 官网:https://redis.io kafka：http://kafka.apache.org

第二步：安装 elasticsearch 官网下载地址:https://www.elastic.co/cn/downloads/past-releases

第三步：下载安装包，plumelog-server 下载地址：https://gitee.com/plumeorg/plumelog/releases

第四步：配置plumelog-server，并启动，redis和kafka作为队列模式下可以部署多个plumelog-server达到高可用，配置一样即可

第五步：后台查询语法详见plumelog使用指南

（2）服务端配置 #

• 文件 plumelog-server/application.properties 详解：

#值为4种 redis,kafka,rest,restServer,lite
#redis 表示用redis当队列
#kafka 表示用kafka当队列
#rest 表示从rest接口取日志
#restServer 表示作为rest接口服务器启动
#ui 表示单独作为ui启动
#lite 简易模式启动不需要配置redis，es等
plumelog.model=redis
#lite模式下日志存储路径
#plumelog.lite.log.path=/lucene

#如果使用kafka,启用下面配置
#plumelog.kafka.kafkaHosts=172.16.247.143:9092,172.16.247.60:9092,172.16.247.64:9092
#plumelog.kafka.kafkaGroupName=logConsumer

#队列redis地址，model配置redis集群模式，哨兵模式用逗号隔开，队列redis不支持集群模式，lite模式可以全部注释掉下面配置
#当redis队列性能不够的时候，可以不同的项目单独配置单独的redis队列，用单独的plumelog-server去采集，公用一个管理redis
plumelog.queue.redis.redisHost=127.0.0.1:6379
#如果使用redis有密码,启用下面配置
#plumelog.queue.redis.redisPassWord=123456
#如果要切换db，redis必须要配置密码
#plumelog.queue.redis.redisDb=0
#哨兵模式需要配置的
#plumelog.queue.redis.sentinel.masterName=myMaster
#redis解压缩模式，开启后不消费非压缩的队列
#plumelog.redis.compressor=true

#管理端redis地址 ，集群用逗号隔开，不配置将和队列公用，lite模式可以全部注释掉下面配置，管理redis单独使用的时候支持集群模式
#plumelog.redis.redisHost=127.0.0.1:6379
#如果使用redis有密码,启用下面配置
#plumelog.redis.redisPassWord=123456
#plumelog.redis.redisDb=0
#哨兵模式需要配置的
#plumelog.redis.sentinel.masterName=myMaster

#如果使用rest,启用下面配置
#plumelog.rest.restUrl=http://127.0.0.1:8891/getlog
#plumelog.rest.restUserName=plumelog
#plumelog.rest.restPassWord=123456

#elasticsearch相关配置，Hosts支持携带协议，如：http、https,集群逗号隔开，lite模式可以全部注释掉下面配置
plumelog.es.esHosts=127.0.0.1:9200
plumelog.es.shards=5
plumelog.es.replicas=1
plumelog.es.refresh.interval=30s
#日志索引建立方式day表示按天、hour表示按照小时
plumelog.es.indexType.model=day
#hour模式下需要配置这个
#plumelog.es.maxShards=100000
#ES设置密码,启用下面配置
#plumelog.es.userName=elastic
#plumelog.es.passWord=elastic
#是否信任自签证书
#plumelog.es.trustSelfSigned=true
#是否hostname验证
#plumelog.es.hostnameVerification=false

#以下配置不管什么模式都要配置
#单次拉取日志条数
plumelog.maxSendSize=100
#拉取时间间隔，kafka不生效
plumelog.interval=100
#plumelog-ui的地址 如果不配置，报警信息里不可以点连接
plumelog.ui.url=http://demo.plumelog.com


#管理密码，手动删除日志的时候需要输入的密码
admin.password=123456
#日志保留天数,配置0或者不配置默认永久保留
admin.log.keepDays=30
#链路保留天数,配置0或者不配置默认永久保留
admin.log.trace.keepDays=30
#登录配置，配置后会有登录界面
#login.username=admin
#login.password=admin

（3）启动 PlumeServer

windows : startup.bat 注意：管理员模式启动 cmd or powershell

linux: stratup.sh

二、客户端使用 #

（1）注意事项 #

• 1.客户端在项目使用，非maven项目下载依赖包（ https://gitee.com/frankchenlong/plumelog/releases ）放在自己的lib下面直接使用，去除重复的包即可使用，然后配置log4j就可以搜集日志了

• 2.推荐使用logback,特别是springboot，springcloud项目;注意：3.2版本logback有bug，请使用3.2.1修复版本或者以上版本

• 3.示例中仅仅是基本配置，更多配置请看文章下面配置详解

• 4.示例中plumelog相关版本号为示例，实际使用建议取最新的版本，最新的版如下

  最新的版本号：[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-SaJxB0iF-1687925546987)(https://maven-badges.herokuapp.com/maven-central/com.plumelog/plumelog/badge.svg)]

（2）客户端配置 #

1.log4j #

• 引入

<dependency>
    <groupId>com.plumelog</groupId>
    <artifactId>plumelog-log4j</artifactId>
    <version>3.5.2</version>
</dependency>

• 配置log4j配置文件，增加下面这个Appender,示例如下：

#三选一加入到root
log4j.rootLogger=INFO,stdout,L
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.Target=System.out
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=[%-5p] %d{yyyy-MM-dd HH:mm:ss,SSS} [%c.%t]%n%m%n
#kafka做为中间件
log4j.appender.L=com.plumelog.log4j.appender.KafkaAppender
#appName系统的名称(自己定义就好)
log4j.appender.L.appName=plumelog
log4j.appender.L.env=${spring.profiles.active}
log4j.appender.L.kafkaHosts=172.16.247.143:9092,172.16.247.60:9092,172.16.247.64:9092
#redis做为中间件
log4j.appender.L=com.plumelog.log4j.appender.RedisAppender
log4j.appender.L.appName=plumelog
log4j.appender.L.env=${spring.profiles.active}
log4j.appender.L.redisHost=172.16.249.72:6379
#redis没有密码这一项为空或者不需要
#log4j.appender.L.redisAuth=123456
#lite模式
log4j.appender.L=com.plumelog.log4j.appender.LiteAppender
log4j.appender.L.appName=plumelog
log4j.appender.L.env=${spring.profiles.active}
log4j.appender.L.plumelogHost=localhost:8891

同理如果使用logback,和log4j2配置如下,示例如下：

2.logback #

• 引入

<dependency>
    <groupId>com.plumelog</groupId>
    <artifactId>plumelog-logback</artifactId>
    <version>3.5.2</version>
</dependency>

• 配置

<appenders>
    <!--使用redis启用下面配置-->
    <appender name="plumelog" class="com.plumelog.logback.appender.RedisAppender">
        <appName>plumelog</appName>
        <redisHost>172.16.249.72:6379</redisHost>
        <redisAuth>123456</redisAuth>
    </appender>
    <!-- 使用kafka启用下面配置 -->
    <appender name="plumelog" class="com.plumelog.logback.appender.KafkaAppender">
        <appName>plumelog</appName>
        <kafkaHosts>172.16.247.143:9092,172.16.247.60:9092,172.16.247.64:9092</kafkaHosts>
    </appender>
    <!-- 使用lite模式启用下面配置 -->
    <appender name="plumelog" class="com.plumelog.logback.appender.LiteAppender">
        <appName>worker</appName>
        <plumelogHost>localhost:8891</plumelogHost>
    </appender>
</appenders>
        <!--使用上面三个三选一加入到root下面-->
<root level="INFO">
<appender-ref ref="plumelog"/>
</root>

3.logback整合配置中心案例，推荐使用，不知道怎么配置的拷贝全部 #

• application.properties中添加

plumelog.appName=plumelog_demo
plumelog.redisHost=127.0.0.1:6379
plumelog.redisAuth=plumelogredis
spring.profiles.active=dev

• logback-spring.xml 不知道怎么配置的拷贝全部

<?xml version="1.0" encoding="UTF-8"?>
<configuration debug="false">
    <conversionRule conversionWord="clr" converterClass="org.springframework.boot.logging.logback.ColorConverter"/>
    <conversionRule conversionWord="wex"
                    converterClass="org.springframework.boot.logging.logback.WhitespaceThrowableProxyConverter"/>
    <conversionRule conversionWord="wEx"
                    converterClass="org.springframework.boot.logging.logback.ExtendedWhitespaceThrowableProxyConverter"/>
    <!-- 彩色日志格式 -->
    <property name="CONSOLE_LOG_PATTERN"
              value="${CONSOLE_LOG_PATTERN:-%clr(%d{yyyy-MM-dd HH:mm:ss.SSS}){faint} %clr(${LOG_LEVEL_PATTERN:-%5p}) %clr(${PID:- }){magenta} %clr(---){faint} %clr([%15.15t]){faint} %clr(%-40.40logger{39}){cyan} %clr(:){faint} %m%n${LOG_EXCEPTION_CONVERSION_WORD:-%wEx}}"/>
    <!--输出到控制台-->
    <appender name="CONSOLE" class="ch.qos.logback.core.ConsoleAppender">
        <!--过滤trace日志到控制台-->
        <filter class="com.plumelog.logback.util.FilterSyncLogger">
            <level></level>
        </filter>
        <encoder>
            <Pattern>${CONSOLE_LOG_PATTERN}</Pattern>
            <!-- 设置字符集 -->
            <charset>UTF-8</charset>
        </encoder>
    </appender>
  <!-- 输出到文件 -->
    <appender name="file" class="ch.qos.logback.core.rolling.RollingFileAppender">
      <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
        <FileNamePattern>logs/plumelog-demo.log.%d{yyyy-MM-dd}.log</FileNamePattern>
        <MaxHistory>3</MaxHistory>
      </rollingPolicy>
      <encoder>
        <Pattern>${CONSOLE_LOG_PATTERN}</Pattern>
        <!-- 设置字符集 -->
        <charset>UTF-8</charset>
      </encoder>
    </appender>
  <!-- 环境配置 -->
    <springProperty scope="context" name="plumelog.appName" source="plumelog.appName"/>
    <springProperty scope="context" name="plumelog.redisHost" source="plumelog.redisHost"/>
    <springProperty scope="context" name="plumelog.redisPort" source="plumelog.redisPort"/>
    <springProperty scope="context" name="plumelog.redisAuth" source="plumelog.redisAuth"/>
    <springProperty scope="context" name="plumelog.redisDb" source="plumelog.redisDb"/>
    <springProperty scope="context" name="plumelog.env" source="spring.profiles.active"/>
   <!-- 输出plumelog -->
    <appender name="plumelog" class="com.plumelog.logback.appender.RedisAppender">
        <appName>${plumelog.appName}</appName>
        <redisHost>${plumelog.redisHost}</redisHost>
        <redisAuth>${plumelog.redisAuth}</redisAuth>
        <redisDb>${plumelog.redisDb}</redisDb>
        <env>${plumelog.env}</env>
    </appender>
    <!-- 配置日志输出，只输出info，只保留控制台和plumelog输出-->
  <!-- 正常开发环境本地，只输出到控制台，测试环境只输出到plumelog,生产环境输出到本地文件plumelog,因为有plumelog加持本地文件就保留3天即可-->
  <!-- 这些都可以根据环境配置不同加载不同的ref->
    <root level="info">
      <!--输出到控制台-->
        <appender-ref ref="CONSOLE"/>
      <!-- 输出到文件 -->
        <appender-ref ref="file"/>
      <!-- 输出plumelog -->
        <appender-ref ref="plumelog"/>
    </root>
  
</configuration>

• 结合环境配置案例

    <springProfile name="dev">
        <root level="INFO">
            <appender-ref ref="CONSOLE" />
        </root>
    </springProfile>
    <springProfile name="test">
        <root level="INFO">
            <appender-ref ref="FILE" />
        </root>
    </springProfile>
    <springProfile name="prod">
    <root level="INFO">
      <appender-ref ref="FILE" />
    </root>
    </springProfile>

• 小提示：为什么Spring Boot推荐使用logback-spring.xml来替代logback.xml来配置logback日志的问题分析

  即，logback.xml加载早于application.properties，所以如果你在logback.xml使用了变量时，而恰好这个变量是写在application.properties时，那么就会获取不到，只要改成logback-spring.xml就可以解决。

  这就是为什么有些人用了nacos等配置中心，不能加载远程配置的原因，是因为加载优先级的问题

4.log4j2 #

• 引入

<dependency>
    <groupId>com.plumelog</groupId>
    <artifactId>plumelog-log4j2</artifactId>
    <version>3.5.2</version>
</dependency>       

• 配置,示例如下：

<appenders>
    <!-- 使用kafka启用下面配置 -->
    <KafkaAppender name="kafkaAppender" appName="plumelog"
                   kafkaHosts="172.16.247.143:9092,172.16.247.60:9092,172.16.247.64:9092">
    </KafkaAppender>

    <!--使用redis启用下面配置-->
    <RedisAppender name="redisAppender" appName="plumelog" redisHost="172.16.249.72:6379" redisAuth="123456">
    </RedisAppender>

    <!--使用lite启用下面配置-->
    <LiteAppender name="liteAppender" appName="plumelog" plumelogHost="localhost:8891">
    </LiteAppender>
</appenders>

<loggers>
<root level="INFO">
  <!--使用上面三个三选一加入到root下面-->
    <appender-ref ref="redisAppender"/>
</root>
</loggers>

三、系统截图

四、常见问题整理

• redis在项目中充当什么角色？

  redis在项目中两个角色，第一是在redis模式下充当消息队列，第二是项目本身的元数据存储和报警管理

• 为什么我查看redis中有数据，但是后台却查不到呢？

  这种情况大概率是server中 plumelog.queue.redis.redisHost 没有配置正确，redis只是充当队列的作用，如果里面能看到数据说明没有server没有消费，正常情况应该是redis是不会积压的

• 为什么我配置了，之后后台无法查到日志？

  排查方法：第一步：停止server,启动日志采集项目，观察redis中有没有数据，如果有说明从项目进入队列是通的，如果没有检查项目端redis配置是否正确；第二步：如果在redis有数据情况，启动server，如果server日志里有ElasticSearch commit! success；表示链路成功

  很多小伙伴，配置了客户端，但是logback.xml或者log4j2.xml压根没生效，所以这时候需要停止plumelog-server,把第一步到Redis调通，到Redis调通了，启动plumelog-server看到日志在被消费掉说明成功了

• 为什么我链路追踪里看不到数据？

  链路追踪模块产生的日志量比较大，考虑到低需求玩家，默认不集成，需要单独配置，详细查看文档：链路追踪配置

  如果配置下来还是没有链路数据，第一检查是否有traceID，第二你的AOP生效了吗？

• plumelog客户端配置能结合配置文件中心使用吗？

  肯定是可以的，plumelog配置是配置在三大日志框架的配置文件里面的，可以使用springProperty进行管理配置，具体怎么操作看每个项目自己的情况

• plumelog目前生产环境已知的已经有多大体量

  根据用户反馈，目前搜集到最大的用户每日日志量已经到达3TB，并稳定运行

• 为什么我的项目继承了plumelog就启动就报错？

  如果提示redis连接失败，那么说明redis配置错误，如果是其他错误，比如提示类找不到什么情况，应该数据日志配置文件错了，建议先熟练掌握log4j,logback配制文件里面的标签含义

• plumelog会影响原来的日志配置么？

  不会，plumelog只是增加了一种输出，不影响原来的配置

• plumelog会影响项目性能么？

  几乎不会，plumelog-lite在查询的时候可能会，必定是内嵌的

• 应用名称下拉框展开无数据？怎么回事？

  下拉框展开为了保证性能，只有也没首次加载的时候会加载，当天如果有日志但是就是展开没有值可能是索引创建的时候出错了，怎么验证呢？

  进入管理页面，点开运行数据表格中当天日志前面的箭头展开，如果里面有数据，说明索引没问题，此时只要关闭浏览器重新进入即可

  如果展开什么都没有说明索引创建的时候分组信息丢失，选中点击重置索引，关闭浏览器重新进入即可

• 为啥使用统一配置中心nacos之类的，不能加载参数？

  Spring Boot推荐使用logback-spring.xml来替代logback.xml来配置logback日志的问题分析

  即，logback.xml加载早于application.properties，所以如果你在logback.xml使用了变量时，而恰好这个变量是写在application.properties时，那么就会获取不到，只要改成logback-spring.xml就可以解决。

  这就是为什么有些人用了nacos等配置中心，不能加载远程配置的原因，是因为加载优先级的问题

• plumelog挂了日志丢失怎么办？

  plumelog的设计定位就是日志查询工具类系统，不可能去为了日志高幂等性去牺牲性能，甚至影响客户端，所以如果你担心plumelog挂了查不到日志，那你可以在本地再配置一个滚动日志保留三天作为补充

其他

参考：http://www.plumelog.com/zh-cn/docs/FASTSTART.html

https://my.oschina.net/u/3245438/blog/5562226