Docker容器日志查看与清理(亲测有效)

当Docker容器日志导致主机磁盘空间满时,可以通过清理日志文件和设置日志大小上限来解决。清理日志可以使用脚本`clean_docker_log.sh`,但真正解决办法是配置容器的`max-size`选项限制日志大小,或全局设置`/etc/docker/daemon.json`来控制所有容器的日志策略。

1. 问题
docker容器日志导致主机磁盘空间满了。docker logs -f container_name噼里啪啦一大堆,很占用空间,不用的日志可以清理掉了。


2. 解决方法
2.1 找出Docker容器日志
在linux上,容器日志一般存放在/var/lib/docker/containers/container_id/下面, 以json.log结尾的文件(业务日志)很大,查看各个日志文件大小的脚本docker_log_size.sh,内容如下:

#!/bin/sh

echo "======== docker containers logs file size ========"  

logs=$(find /var/lib/docker/containers/ -name *-json.log)  

for log in $logs  
        do  
             ls -lh $log   
        done  


 

# chmod +x docker_log_size.sh

# ./docker_log_size.sh


2.2 清理Docker容器日志(治标)
如果docker容器正在运行,那么使用rm -rf方式删除日志后,通过df -h会发现磁盘空间并没有释放。原因是在Linux或者Unix系统中,通过rm -rf或者文件管理器删除文件,将会从文件系统的目录结构上解除链接(unlink)。如果文件是被打开的(有一个进程正在使用),那么进程将仍然可以读取该文件,磁盘空间也一直被占用。正确姿势是cat /dev/null > *-json.log,当然你也可以通过rm -rf删除后重启docker。接下来,提供一个日志清理脚本clean_docker_log.sh,内容如下:

#!/bin/sh 
  
echo "======== start clean docker containers logs ========"  
  
logs=$(find /var/lib/docker/containers/ -name *-json.log)  
  
for log in $logs  
        do  
                echo "clean logs : $log"  
                cat /dev/null > $log  
        done  

echo "======== end clean docker containers logs ========"  

# chmod +x clean_docker_log.sh

# ./clean_docker_log.sh


但是,这样清理之后,随着时间的推移,容器日志会像杂草一样,卷土重来。

2.3 设置Docker容器日志大小(治本)
设置一个容器服务的日志大小上限
上述方法,日志文件迟早又会涨回来。要从根本上解决问题,需要限制容器服务的日志大小上限。这个通过配置容器docker-compose的max-size选项来实现

nginx: 
  image: nginx:1.12.1 
  restart: always 
  logging: 
    driver: “json-file” 
    options: 
      max-size: “5g” 


重启nginx容器之后,其日志文件的大小就被限制在5GB,再也不用担心了。

全局设置
新建/etc/docker/daemon.json,若有就不用新建了。添加log-dirver和log-opts参数,样例如下:

# vim /etc/docker/daemon.json

{
  "registry-mirrors": ["http://f613ce8f.m.daocloud.io"],
  "log-driver":"json-file",
  "log-opts": {"max-size":"500m", "max-file":"3"}
}


max-size=500m,意味着一个容器日志大小上限是500M,
max-file=3,意味着一个容器有三个日志,分别是id+.json、id+1.json、id+2.json。

// 重启docker守护进程

# systemctl daemon-reload

# systemctl restart docker


注意:设置的日志大小,只对新建的容器有效。

资源下载链接为: https://pan.quark.cn/s/9648a1f24758 在Docker环境中,合理管理并清理容器日志对于保障系统稳定性以及优化磁盘空间利用极为关键。当面对Docker容器日志占用过多磁盘空间的问题时,可按以下步骤操作:首先,确定日志存放位置。在Linux系统里,Docker容器日志一般位于/var/lib/docker/containers/container_id/目录,文件名以*-json.log结尾,container_id是对应容器的唯一标识。其次,查看日志大小。可通过编写一个简单的bash脚本docker_log_size.sh来列出所有日志文件大小,以便找出占用空间较大的日志文件。脚本内容如下: 接着,清理日志。需注意,若容器正在运行,直接删除日志文件(如用rm -rf命令)可能无法释放磁盘空间,因为文件可能仍被进程占用。正确的清理方式是用cat /dev/null > *-json.log命令覆盖日志文件内容,或者在删除日志文件后重启Docker守护进程。可以创建一个名为clean_docker_log.sh的脚本来实现这一过程的自动化。 然而,仅靠定期清理日志是不够的,随着容器持续运行,日志文件仍会不断增大。因此,还需从根源上限制日志大小。在创建容器时,可通过docker-compose.yml文件设置日志大小上限,例如,为Nginx容器配置最大日志大小为5GB,配置如下: 重启容器后,日志文件便会按照此限制进行管理。 若想对所有容器统一设置日志配置,可编辑/etc/docker/daemon.json文件(若不存在则新建),添加log-driver和log-opts参数,例如: 这里设置max-size为500MB,max-file为3,表示每个容器会有3个日志文件,当达到大小限制时,会依次替换旧的日志文件。 最后,修改d
### 如何清理 Docker 容器日志 #### 使用 `docker system prune` 命令清理未使用的资源 Docker 提供了一个内置命令用于清理未使用的资源,包括停止的容器、网络、卷以及构建缓存。此命令还可以间接减少日志占用的空间。运行以下命令即可执行全面清理: ```bash docker system prune -a ``` 该命令会移除所有未被活动容器使用的数据,从而释放磁盘空间[^1]。 #### 配置 Docker 日志轮转机制 为了避免日志文件过大,可以在启动容器时配置 Docker日志驱动程序及其选项。常用的日志驱动为 `json-file`,可以通过设置参数限制单个日志文件大小和保留的日志文件数量。例如,在 `/etc/docker/daemon.json` 中添加如下配置: ```json { "log-driver": "json-file", "log-opts": { "max-size": "10m", // 单个日志文件的最大尺寸 "max-file": "3" // 保留的日志文件最大数量 } } ``` 完成修改后重启 Docker 服务以应用更改: ```bash sudo systemctl restart docker ``` 这样可以有效防止日志文件无限增长[^2]。 #### 手动清理现有日志文件 如果现有的日志文件已经占据大量磁盘空间,则需要手动清空这些文件的内容而不删除它们本身(因为正在运行中的容器仍然依赖于这些日志路径)。以下是具体操作方式: 进入 Docker 存储日志的位置,默认通常位于 `/var/lib/docker/containers/<container-id>/` 下面找到对应的 `-json.log` 文件,并将其内容截断为空: ```bash find /var/lib/docker/containers/ -name "*-json.log" | while read log; do echo "" > $log; done ``` 上述脚本遍历所有容器日志文件并将每条记录替换为空字符串,达到快速减小体积的目的[^3]。 另外需要注意的是,在实际生产环境中不建议频繁直接干预原始日志存储位置;更优的做法是采用专业的第三方日志收集工具如 ELK Stack 或 Fluentd 来统一管理和分析分布式系统的日志信息。 ```python import os def clear_docker_logs(): logs_path = '/var/lib/docker/containers/' for root, dirs, files in os.walk(logs_path): for file_name in files: if file_name.endswith('-json.log'): full_file_path = os.path.join(root, file_name) with open(full_file_path, 'w') as f: pass # Truncate the content of each found log to empty. ```
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值