logback输出日志到elasticsearch方案

最新推荐文章于 2025-06-01 09:00:39 发布

毛毛虫之路

最新推荐文章于 2025-06-01 09:00:39 发布

阅读量7.7k

点赞数

CC 4.0 BY-SA版权

分类专栏：日志管理文章标签： logback appender elasticsearch kibana 输出

本文链接：https://blog.youkuaiyun.com/weixin_36647532/article/details/89705743

本文介绍了如何利用logback将微服务、Spark Streaming和Tomcat日志发送到Elasticsearch，从而实现日志采集和汇聚。在微服务场景下，需要设置logback配置，并在启动时指定Elasticsearch地址和服务名。在Spark Streaming中，通过修改Spark的归档文件，排除特定日志库并添加自定义属性。对于Tomcat容器，同样需要调整JAVA_OPTS参数。所有日志最终可在Kibana中进行展示和分析，支持基于字段的聚合统计。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

功能一：微服务日志采集汇聚方案

第一步：maven引入，放在dependencys的第一位，一定是第一位

<dependency>
	 <groupId>com.suncreate</groupId>
	 <artifactId>log-lib</artifactId>
	 <version>1.0.0-SNAPSHOT</version>
</dependency>

第二步：启动的时候在命令行设置-Des.addre=ip1:port,ip2:port,ip3:port,-Dspring.application.name=自己的服务名

功能二： sparkstreaming日志采集汇聚方案（华为大数据平台已验证）

第一步：将spark.yarn.archive默认属性位置的归档文件下载下来spark-archive-2x.zip

第二步：用winrar打开改文件，不要解压，直接删除log4j相关jar包，将log-lib-1.0.0-SNAPSHOT.jar，logback-core-1.0.11.jar，logback-classic-1.0.11.jar，logback-core-1.0.11.jar直接拖进去

第三步：将spark-archive-2x.zip修改名称为spark-archive-2x-new-1.zip并重新上传到hdfs路径上，执行命令hdfs dfs -put spark-archive-2x-new-1.zip hdfs://hacluster/user/mgguan/

第四步：修改代码，在自己的conf后面，生成context之前，添加es.addre和spring.application.name两个属性

    SparkConf conf = new SparkConf().setAppName("app");
    conf.setExecutorEnv("es.addre", "

最低0.47元/天解锁文章

200万优质内容无限畅学