p11 日志,元数据,进程的查看

最新推荐文章于 2025-05-03 12:23:30 发布
最新推荐文章于 2025-05-03 12:23:30 发布
阅读量442 收藏 5
点赞数 5
分类专栏： 狂神说docker笔记 文章标签： docker
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/jkjkjkjk_/article/details/142287599
版权

直接运行docker run -d centos这个时候回启动容器，但是因为容器里面没有前台进程所以这个时候docker会把没用的进程给停止掉，可以看到docker ps命令没有查看到任何的正在运行的容器
在这里插入图片描述

但是如果说你使用 -it命令进入到了容器里面，这个他就不会把这个centos容器停止掉+
这里还是引用一下老师的笔记
在这里插入图片描述

docker 查看日志

首先还是在后台使用 -it命令启动一个centos容器然后使用ctrl +p +q 退出当前容器，注意这里启动的这个容器不会被停止
在这里插入图片描述

要学习查看日志这个知识点，那么接下来要用到shell 来让我们的容器有日志打印出来 这个时候我们执行docker run -d centos /bin/sh -c "while true;do echo myLog********;sleep 1;done" 这个会每一秒中都打印一下子myLog*****这个日志
在这里插入图片描述

接下来就是执行docker logs -tf --tail 10 8d57ffda7a29 这个是显示指定行数的日志 目前就是10行

在这里插入图片描述
这里还是直接参考老师的笔记
在这里插入图片描述

查看docker容器内部的进程信息

这里执行docker top 8d57ffda7a29 这样子就可以查看docker容器内部的进程信息了 这个将来如果要kill进程的话就根据这个id来杀死
在这里插入图片描述

查看镜像的元数据(很重要！！)

这里需要执行docker inspect 8d57ffda7a29可以看到当前容器的一些基本的信息包括容器id，容器运行状态，给容器的参数等等
在这里插入图片描述

Linux Systemd | journalctl 日志管理 / 查看 / 分析
u013669912的博客
11-19 2752
……
systemd介绍六：Journalctl查看并操作sytemd日志
Tongsheng_li的博客
12-07 1341
一、内容简介 作为最具吸引力的优势，systemd拥有强大的处理与系统日志记录功能。在使用其它工具时，日志往往被分散在整套系统当中，由不同的守护进程及进程负责处理，这意味着我们很难跨越多种应用程序对其内容进行解读。 相比之下，systemd尝试提供一套集中化管理方案，从而统一打理全部内核及用户级进程的日志信息。这套系统能够收集并管理日志内容，而这也就是我们所熟知的journal。 Journal的实现归功于journald守护进程，其负责处理由内核、initrd以及服务等产生的信息。在今天的教程中，我们将探
最佳日志数据实践
Sunface撩技术
07-13 3085
原文链接: https://zhuanlan.zhihu.com/p/273634840. 缘起大约在三年前，我曾经写过一篇 最佳日志实践，还被码农周刊选为那年的 最受欢迎技术干货 之一。当时我任职于网易杭州研究院的存储平台组，主要做网易对象存储（NOS）的开发和部分运维工作。由于网易云音乐，易信等几个重要产品陆续上线，业务压力剧增，我们的系统在前前后后大约半年的时间里，出现了大大小小各种事故。通
分布式元数据论文阅读笔记整理（持续更新）
重新开始写博客
12-19 2690
阅读分布式元数据论文，整理其目标、挑战、创新点、局限性
基于Hadoop的MapReduce网站日志大数据分析（含预处理MapReduce程序、hdfs、flume、sqoop、hive、mysql、hbase组件、echarts）
热门推荐
迷茫与徘徊只会让你陷入绝境，欢迎私信博主，带你开始提升变现价值！
07-04 1万+
Hadoop的网站日志大数据分析方法。本项目首先将网站日志上传到HDFS分布式文件系统，然后使用MapReduce进行数据预处理。通过使用Hive进行大数据分析，我们能够对网站的PV、独立IP、用户注册数和跳出用户数等重要指标进行统计分析。最后，我们使用Sqoop将分析结果导出到MySQL数据库，并使用Python搭建可视化界面，以方便用户对分析结果进行更直观的理解。通过使用Hadoop分布式计算框架，本项目可以高效地处理大量的网站日志数据。
linux 查看用户操作日志,Linux下查看/管理当前登录用户及用户操作历史记录方法总结...
weixin_30713183的博客
04-28 1998
一、查看及管理当前登录用户1、使用w命令查看登录用户正在使用的进程信息，w命令用于显示已经登录系统的用户的名称，以及他们正在做的事。该命令所使用的信息来源于/var/run/utmp文件。w命令输出的信息包括：用户名称用户的机器名称或tty号远程主机地址用户登录系统的时间空闲时间(作用不大)附加到tty(终端)的进程所用的时间(JCPU时间)当前进程所用时间(PCPU时间)用户当前正在使用的命令$...
Mysql-日志介绍 && 日志配置
qq_43259860的博客
01-26 3529
binlog记录了数据库所有的ddl语句和dml语句，但不包括select和show语句内容因为不是更新操作（这些日志由General query log 来记录），语句以事件的形式保存，描述了数据的变更顺序，binlog还包括每个更新语句的执行时间信息。general query log 默认关闭，由于通用查询日志会记录用户的所有操作，其中还包含增删查改等信息，在并发操作大的环境下会产生大量的信息从而导致不必要的磁盘IO，会影响MySQL的性能的。log_warnings 为0， 表示不记录告警信息。
linux的错误日志在哪里,在linux中怎么查看错误日志
weixin_29898627的博客
05-01 9719
cat或者tail -f命令日 志 文 件 说 明/var/log/message 系统启动后的信息和错误日志，是Red Hat Linux中最常用的日志之一/var/log/secure 与安全相关的日志信息/var/log/maillog 与邮件相关的日志信息/var/log/cron 与定时任务相关的日志信息/var/log/spooler 与UUCP和news设备相关的日志信息/var/l...
Systemd启动守护进程/代替Cron/日志管理
小龙在线
12-07 4065
Systemd 是 Linux 系统工具，用来启动守护进程，已成为大多数发行版的标准配置。 本文介绍它的基本用法，分为上下两篇。今天介绍它的主要命令，下一篇介绍如何用于实战。一、由来历史上，Linux 的启动一直采用init进程。 下面的命令用来启动服务。$ sudo /etc/init.d/apache2 start # 或者 $ service apache2 start这种方法有两个缺点。
Hbase存储及元数据meta
youngflyer的博客
01-19 6136
Hbase的列族式存储 列族就是多个数据列的组合，列族式可以说是表的schema的一部分，而列不是。Hbase可以说是列簇数据库，在创建表的时候要指定列族，而不需要指定具体的列。 Hbase Table组成：Table = rowkey + family + column + timestamp + value 数据存储模式：(Table, rowkey , family , column , timestamp) -> Value Hbase数据存储原型 HBase 是一个稀疏的、分布式、
jvm crash的崩溃日志详细分析及注意点
08-30
同时，还要检查堆栈跟踪，确定哪些线程或方法在崩溃时刻正在执行，并结合Java堆、方法区、元数据等内存区域的状态进行分析。 总之，理解和分析JVM崩溃日志是诊断和解决Java应用程序性能问题的关键步骤。通过深入...
[数仓]一、离线数仓（日志数据采集）
weixin_44428807的博客
07-06 1781
G:\Bigdata\Projects\电商数仓4.0数据仓库（ Data Warehouse ），是为企业制定决策，提供数据支持的。可以帮助企业，改进业务流程、提高产品质量等。和等就是各行业在处理事务过程中产生的数据。比如用户在电商网站中登录、下单、支付等过程中，需要和网站后台数据库进行增删改查交互，产生的数据就是业务数据业务数据通常存储在MySQL、Oracle等数据库中。：用户在使用产品过程中，通过埋点收集与客户端产品交互过程中产生的数据，并发往日志服务器进行保存。
宝塔docker拉取仓库失败
最新发布
苏音资源网的博客
05-03 91
拉取国外仓库的时候，会出现下载不成功的情况。点击docker 选择设置 找到加速URL。优先选择第一条，2025.5.3测试可用。这时候只需更改加速镜像站即可。然后就可以正常下载了。
使用Docker Compose定义服务依赖：构建高可用Django+PostgreSQL+Redis架构
草药味儿の岁月
04-28 778
前言一、Compose文件核心结构解析1.1 版本选择与组件定位1.2 服务依赖的三种境界二、服务定义深度配置2.1 PostgreSQL服务（带健康检测）2.2 Redis服务（持久化配置）2.3 Django应用服务（依赖控制）三、高可用实践技巧3.1 服务启动顺序控制3.2 连接重试机制增强3.3 熔断降级策略四、灾难恢复方案4.1 数据库备份策略4.2 容器自愈配置五、完整Compose文件示例结语在微服务架构中，服务间的依赖关系如同精密钟表的齿轮，任何一个组件的异常都可能导致整个系统停摆。
docker制作python大模型镜像(miniconda环境)，工程改造记录
weixin_45969972的博客
04-30 403
*环境说明：**从系统镜像开始打造python大模型镜像，之前是人工手动装的方式，并且模型和依赖在公网中，对于离线交付环境不太友好，所以打造的离线化交付版本。
docker--什么是docker
m0_68240122的博客
04-28 1036
docker的简单了解
Docker 容器双网卡访问物理雷达网络教程
2402_87385120的博客
04-29 958
在宿主机上新增一个 macvlan 子接口（macvlan-to-host）即便开启了 promisc，有时宿主机到容器的流量仍然不透。# 1. 建立 macvlan 子接口 radar0# 2. 分配一个可用 IP（避开 .100 和 .242）# 3. 启动接口# 4. 验证ping 192.168.1.100 # 此时宿主机也用 macvlan 身份 ping，应能通原理：宿主机本身也变成了这个 macvlan 网络的“节点”，能正确回应 ARP 并中继流量给容器。
【Docker】Dockerfile 使用
qq_40205510的博客
05-01 827
Dockerfile 是一个纯文本文件，包含一系列用于构建 Docker 镜像的指令。通过逐行执行这些指令，Docker 可以自动化地创建出一个可重复、轻量级的容器镜像。标准化环境：消除“在我机器上能跑”的问题。可移植性：镜像可在任何支持 Docker 的环境中运行。版本控制：Dockerfile 本身可与代码一同管理。构建高效的小体积镜像确保环境一致性实现安全的容器运行时使用hadolint进行 Dockerfile 语法检查定期扫描镜像漏洞（如。
Docker 容器虚拟化技术和自动化部署
小李同学的博客
04-28 1510
来控制哪些容器可以相互通信，还可以。
fluentd的收集日志的原理
03-10
<think>好的，我现在需要解释Fluentd收集日志的原理。用户之前问过K8S常用的日志收集技术栈，现在想深入了解Fluentd的工作原理。首先，我应该回顾一下之前提到的EFK栈中的Fluentd角色，确保信息的一致性。 Fluentd是一个日志收集器，核心功能是采集、处理、转发日志。我需要分解它的工作原理，可能需要从整体架构入手，比如输入、过滤、缓冲、输出这些步骤。用户可能想知道每个组件如何工作，比如插件系统、缓冲机制、可靠性保证等。 需要确保解释清楚Fluentd如何处理不同来源的日志，比如文件、系统日志、应用程序输出等。还要提到它的配置文件结构，比如source、match、filter这些部分。另外，缓冲和重试机制是关键，尤其是在高负载或网络问题时的处理方式。 用户可能关心Fluentd和其他工具（比如Fluent Bit、Logstash）的区别，是否需要简要比较？不过问题只问原理，可能不需要展开。但需要强调Fluentd的可靠性和灵活性，比如插件生态和数据处理能力。 需要注意技术术语的正确性，比如时间戳处理、标签路由、数据格式转换等。同时，应该提到它的优势，比如扩展性、社区支持，以及可能的缺点，比如资源消耗相对较高，或者配置复杂度。 可能还需要举例说明一个典型的日志处理流程，从输入到输出的整个过程，帮助用户形成直观理解。比如，从读取Apache日志，经过正则解析，添加元数据，缓冲后输出到Elasticsearch。 最后，确保结构清晰，分点解释，使用用户容易理解的语言，避免过于专业的术语，或在必要时进行解释。检查是否符合之前系统级指令的格式要求，比如数学表达式是否正确使用$符号，段落结构是否合适。</think>以下是 Fluentd 日志收集的核心原理分步解析： ### 一、架构设计原则 Fluentd 采用 **统一日志层(Unified Logging Layer)** 设计，通过$$ \text{Input} \rightarrow \text{Parser} \rightarrow \text{Filter} \rightarrow \rightarrow \text{Buffer} \rightarrow \text{Output} $$的管道模型处理数据流，核心特点包括： 1. **基于事件驱动**：使用 C + Ruby 混合架构，核心引擎用 C 实现高效I/O 2. **插件化架构**：提供 1500+ 官方/社区插件（输入、解析、过滤、输出） 3. **可靠传输**：通过内存/文件双缓冲实现 At-Least-Once 投递语义 ### 二、数据处理流程 #### 阶段1：输入采集(Input) - **多源接入**： - 文件监控：通过`in_tail`插件跟踪文件变化（类似`tail -F`） - 系统日志：`in_syslog`支持 RFC3164/RFC5424 协议 - HTTP端点：`in_http`接收 JSON/MessagePack 格式数据 - 示例配置： ```xml <source> @type tail path /var/log/nginx/access.log pos_file /var/log/td-agent/nginx-access.pos tag nginx.access format /^(?<remote>[^ ]*) - (?<user>[^ ]*) \[(?<time>[^\]]*)\] "(?<method>\S+)(?: +(?<path>[^ ]*) +\S*)?" (?<code>[^ ]*) (?<size>[^ ]*)$/ </source> ``` #### 阶段2：解析处理(Parser + Filter) - **格式转换**： - 正则表达式解析：如解析 Apache 日志为结构化 JSON - 时间处理：通过`time_format`标准化时间戳（支持 Unix 时间/Nginx 格式等） - 示例正则： $$ \text{/(?<ip>\d{1,3}\.\d{1,3}\.\d{1,3}\.\d{1,3})/} $$ - **字段操作**： - 增删字段：`filter_record_transformer`添加 hostname 等元数据 - 条件过滤：通过`<filter>`块按标签匹配处理规则 #### 阶段3：缓冲队列(Buffer) - **双级缓存机制**： - 内存缓冲：默认使用内存队列，容量由`buffer_chunk_limit`控制（通常 256KB） - 文件备份：当内存达到`buffer_queue_limit`时写入磁盘（防止 OOM） - 配置示例： ```xml <buffer> @type file path /var/log/fluentd/buffer/ flush_mode interval flush_interval 5s retry_max_times 3 </buffer> ``` #### 阶段4：输出路由(Output) - **多目标分发**： - 批量写入：按`flush_interval`（默认 60 秒）批量发送到 Elasticsearch、S3 等 - 负载均衡：支持`roundrobin`、`random`等分发策略 - 失败重试：指数退避算法（参数`retry_wait`控制重试间隔） ### 三、关键技术特性 1. **标签路由系统**： - 使用`tag`字段进行数据路由，如`nginx.**`匹配所有 Nginx 相关日志 - 动态标签重组：通过`rewrite_tag_filter`实现实时路由变更 2. **时间切片存储**： - 自动生成索引名：例如 Elasticsearch 索引按`logstash-%Y.%m.%d`格式创建 - 计算公式：$$ \text{index\_name} = \text{prefix} + \text{strftime}(@time) $$ 3. **流量控制**： - 背压机制：当输出目标不可用时自动降低采集速率 - 限流配置：通过`<secondary>`配置降级写入本地文件 ### 四、性能优化要点 - **资源调优**： - Worker 进程数：通过`-p`参数指定（建议与 CPU 核数对齐） - 内存限制：设置`RUBY_GC_HEAP_OLDOBJECT_LIMIT_FACTOR=0.9`控制 Ruby GC - **IO 优化**： - 使用 MessagePack 二进制格式传输（相比 JSON 体积减少 30%） - 开启`flush_thread_count`多线程输出 ### 五、与同类工具对比 | 特性 | Fluentd | Logstash | Fluent Bit | |--------------------|---------------|----------------|----------------| | **内存占用** | ~40MB | ~500MB | <5MB | | **插件生态** | 1500+ | 200+ | 70+ | | **数据处理能力** | 强（Ruby DSL）| 强（JRuby） | 基础过滤 | | **适用场景** | 中心化聚合节点 | 复杂 ETL | 边缘节点 | **典型问题解决方案**：当日志突发流量导致 Fluentd 堆积时，可通过`buffer_chunk_limit 8MB` + `flush_thread_count 4`提升吞吐量，同时设置`retry_max_interval 30`防止雪崩效应。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值