weixin_40548182的博客

原创 dragonfly 镜像缓存问题

本文针对的是支持 containerd 不再支持 docker 的 2.x 版本的 dragonfly 做的测试。容器运行时也是 containerd。

原创 ctr ctictl nerdctl 的问题

对，我们可以仔细区分一下这三个工具的命名空间（namespace）概念，因为它们和底层容器运行时的实现有关： 是 Kubernetes CRI（Container Runtime Interface）的命令行工具，用于和任何符合 CRI 的容器运行时（如 containerd、CRI-O）交互。Namespace 概念：总结： 只能操作 Kubernetes 视角下的容器/镜像，不关心 containerd 的 namespace。 是 containerd 的官方客户端，直接操作 containerd。

原创 ansible-playbook marker 作用

⚠️警告：这两段代码执行会相互覆盖，后执行的覆盖先执行的。让 marker 不一样即可。文件里添加配置，但是。有如下两段代码都是往。

原创 dragonfly client 或者 dfdaemon pod 连接已经不存在的 scheduler pod ip 报错 failed: transport error

如果调度程序实例被强制删除，就会发生这种情况。或者，如果调度程序被删除时管理服务不可用，也可能发生这种情况。mysql manager 数据库 scheduler 表中有脏数据存在。pod 对应的 ip，然后删除非 pod ip 的表数据。在升级调度程序过程中，必须确保管理器有活跃实例。部署好 dragonfly 一段时间后，

原创 EFK 中使用 ruby 和 javascript 脚本去掉日志中颜色字符详解

@-~][@-~]ASCII到范围 64 → 126ANSI 里这叫Final Byte（命令字符）字符含义m颜色 / 样式H光标移动J清屏K清行A B C D光标方向s / u保存/恢复光标t窗口控制👉 只匹配最后那个命令位这一行的正则：👉 精准匹配所有 ANSI CSI 控制序列👉 删除日志中终端颜色/控制字符👉 保留纯文本，保证 ES/Kibana 正常显示改成 Logstash mutate/gsub（不用 ruby）或只删除m不删光标控制。

原创 k8s 使用持久化 event

Kubernetes Event Exporter 可以轻松地将 Kubernetes 事件导出到其他工具，从而实现更好的事件可观测性、自定义警报和聚合。项目名字项目地址。

原创 k8s langfuse/langfuse 无法启动 error loading seccomp filter into kernel

译文：我们观察到，在 3 个独立的服务上都存在这个问题。此外，如 #34 (comment) 中建议的那样，添加 100 毫秒的睡眠时间（在我们的情况下，1 毫秒不够）也有效。正如我们的案例所示，在某些情况下，这个问题可能会造成麻烦。⚠️说明：本质原因是节点上启动了太多的 pod，导致 bpf_jit 内存使用超过了限制。译文：几周后，它超过了 bpf_jit_limit 的限制，节点处于启动新容器失败的状态。查看 pod 详细信息，其他没有成功启动的pod都是这个错误。查看都是哪些 pod 设置了。

原创 grafana 禁止面板上的告警规则

选择一个支持 Alerting 功能的数据源，比如 Prometheus 或者 Loki，发现Alerting 按钮已经关闭。helm chart 部署的 prometheus，要关闭数据源的页面告警规则，在 values.yaml 中做配置。grafana 面板添加数据源的时候，如果数据源支持 alert 规则，并且开关是打开的状态，就会在。更新配置之后，查看 grafana。，发现已经无告警规则。

原创 k8s kube-prometheus-stack kube-state-metrics 指标时断时续 Failed to write metrics

指标发现有很多大于 10s 的，其实还有一个大于 60s 的没截图。指标大多都与那个关机的主机有关，大于 60s 那个指标也是关机的主机的。这个指标时断时续(偶尔指标缺失)，问题就是指标缺失造成的（指标缺失就认定为告警恢复）。这两个告警在恢复和告警之间切换，这明显不正常，因为节点都已经关机，怎么可能恢复。⚠️说明：这个 issue 跟本文的报错日志一样，但是造成的原因不同。scrape_duration_seconds 飙高。问题应该就是 pod 还running导致的。的日志发现如下错误，

原创 大模型 GPTQ 量化公式推导

原创 谷歌浏览器关闭强制 http 跳转成 https

2、在Delete domain security policies 对话框输入你你想要禁止的网站域名 比如 http://xxx.xx,然后点击 Delete。那个 Domain 对话框内输入你想要禁止的网站域名 比如。1、打开谷歌浏览器，⚠️一定得是谷歌浏览器，输入。，如果出来如下类似的输出，才能进行下一步；3、找到谷歌浏览器三个点。

原创 Java Buildpack Reference

Paketo DistZip Buildpack Paketo DistZip 构建包(opens in a new tab) Optional 选修的 Contributes a process type that launches a DistZip-style application.

原创 helm 部署 elasticsearch 栈

说明：本文使用的 chart 仓库名字为 elastic/cloud-on-k8s 地址为。

原创 elastic/kibana 升级问题

该项目已经不再维护，这个问题没有解决，如果需要使用 helm 安装 elastic 栈的软件，可以使用。的 helm chart 部署 kibana 后，执行。

原创 大模型填充原因解释

注意力本质是矩阵乘法GPU 只擅长规则、连续的矩阵真实序列是变长的所以必须 padding 成等长再用 mask 保证数学语义不被破坏如果你愿意，下一步我可以直接给你画一个QKᵀ + padding + mask 的矩阵级示意图，从元素层面把 PAD 怎么“被 softmax 消灭”给你推一遍。QKV 阶段的 padding，本质是在补“token 的数量”，不是在补“token 的内容维度”。

原创 nvidia xid 代码含义

Analyzing Xid Errors with the Xid Catalogxid pdf 文档

原创 k8s 剔除控制节点

登录要剔除的节点（同时也是etcd 节点之一），备份该节点的etcd。本文采用的是 kubeadm 部署的 3 控制节点集群。注意：记下要被剔除的节点上的 etcd 的 id。containerd runtime 操作命令。docker runtime 操作命令。查看 etcd 成员 id。说明：从其他节点操作。登录要被剔除的节点操作。移除 etcd 成员。

原创 prometheus nvidia utkuozdemir/nvidia_gpu_exporter 报错 is not a valid metric name

如果不能访问 github ，我摘录了解决方式如下。2、在 helm values 里指定特定版本的。1、直接升级 helm chart 版本；查看可用的helm chart 重点看。，直接修改 values.yaml 中。查看该 pod 日志，发现如下报错。谈论可以看出这个版本仍然有错误。查看 pod 运行情况。相关问题见 issue。这列，本文写作的时候，

原创 frp 代理安装配置

软件包地址本文安装的是 0.62.0 版本，服务端在一台 linux 服务器上安装，客户端一台是 linux，一台是 mac 苹果芯片。macos 安装包名字linux 安装包名字客户端和服务端安装包是一个。

原创 ubuntu 关闭更新解决 ansible apt 命令报错

apt-check 会检查系统是否有可更新的软件包，并以人类可读的形式输出。⚠️说明：本文没执行如下命令就解决了，如果你没解决请继续执行如下命令。这是 Ubuntu/Debian 系统 自动更新检查工具的一部分。会导致 ansible 执行 apt 相关 task 报错。

原创 k8s drain

你要全部清空节点命令✅ 是❌ 只是驱逐副本，不强删。

原创 k8s ceph rbd image ceph-blockpool/csi-vol-xxx is still being used

启动 pod 卡在 containercreate 状态，使用kubectl describe pod [pod name]命令查看详细报错。说明：本文使用的 rook-ceph 部署的 ceph。登录到 tool 工具 pod 执行如下命令查看客户端 ip。查看是哪个客户端 ip 在使用该 image。将这个客户端加入黑名单即可。

原创 k8s kubeadm init 失败

contianerd 2.x.x 和 containerd 1.x.x 相比，配置文件。这部分配置是因为我安装 nvidia-device-plugin 需要的，参考官网。只有 containerd 2.1.5-1 及之上的版本有这个问题，执行。将节点加入k8s 集群，但是报错，报错如下。k8s + containerd 运行时。我通过更改为以下配置解决了这个问题。然后再跳转到的文档处找到如下部分配置。，具体参考本文灵感来源部分。命令可查看可用的版本号。问题出在配置的这一部分。

原创 k8s cri-docker

cri-docker 和 docker 版本不兼容导致的（docker 版本太高，cri-dockerd 版本太低）k8s 环境 docker 运行时，安装 cri-dockerd 查看 cri-docker 无法启动。升级下 cri-dockerd 版本即可，本文验证过的版本对应你如下。cri-dockerd 版本。

原创 k8s calico 网络知识点及配置

Calico 支持两种封装方式：VXLAN 和 IP in IP。VXLAN 在某些不支持 IP in IP 的环境中可用（例如 Azure）。VXLAN 的数据包开销略高，因为其头部更大，但除非您运行的是网络密集型工作负载，否则通常不会注意到这种差异。这两种封装方式的另一个细微差别是，Calico 的 VXLAN 实现不使用 BGP，而 Calico 的 IP in IP 实现则在 Calico 节点之间使用 BGP。的 helm chart 部署的 calico 在values.yaml 配置部分的。

原创 linux frp 搭建代理

是的，要实现内网穿透，下面我给你最清晰的一套安装步骤（适用于 Linux）。

原创 k8s kubeadm 初始化报错 invalid bearer token

执行 curl -v xx.xx.xx.xx:6443 查看网络以及服务是否可用。从输出可以看出，走了代理，问题就明确了，是因为走了代理导致的网络问题。新建立的集群，第一次初始化，初始化报错，执行。直接说结论：本文这个报错并不是证书问题。查看kubelet 日志发现如下错误。

原创 服务器主板结构图

好的，我帮你逐条解析这张图上列出的接口和 PCIe 连接。图的核心是，它直接或通过 PCH 控制板上各种设备。

原创 grafana 切换 org 导致的页面跳转不可访问处理

grafana 界面，添加多个组织 Organizations 后，在不同的组织 Organizations 之间切换会跳转到 http(s)😕/doamin:3000/xxxxx 的url。

原创 grafana Update Org ID in Grafana

如果我创建一个名为“测试”的组织，假设 Grafana 给出的组织 ID 为 2。语句解释：sqlite_sequence 是 SQLite 内置的表，用于记录每个 autoincrement 表的当前 ID 序号。如果是 k8s 环境，就先把 grafana.db 文件复制到有 sqlite3 命令的机器上，然后修改。如果某个组织被删除，那么 Grafana 永远不会将该组织 ID 提供给将来创建的任何其他组织。3、把修改好的 grafana.db 文件复制回 grafana pod。

原创 k8s 发行说明（版本）

请务必仔细阅读。

原创 grafana 通过 provider 导入的 dashboard 报错

关于这个问题，是因为这个 导入的 dashboard jison 文件对于数据源的定义部分发生了变化，如下。鼠标移动到任意一个图标的红色⚠️图标处，会出现详情。点击任意一个图标的红色⚠️图标处，会出现。这种 json 格式的数据源对应的配置。不报错的数据源定义为。

原创 为什么微调使用的数据集有格式和模版，训练的时候的数据集没有这些

预训练靠语言分布学习语法与语义；微调靠模板数据学习“人类交互格式”和任务映射。如果你愿意，我可以帮你画一个图：展示“预训练→指令微调→RLHF” 三个阶段的数据流和结构差异，一眼看懂数据为什么变复杂。要我画吗？

原创 k8s kubelet Nameserver limits exceeded

查看 /run/systemd/resolve/resolv.conf 文件中DNS条目，可知有四条，多了一条。删除多的那一条即可，如果愿意，把重复的删除了也行。执行 journalctl -u kubelet -f 发现有如下报错。查看 kubelet 配置文件，看其指向了宿主机上哪个 DNS 文件。

原创 linux 内存 top 看到的内存使用和 free -h 对不上的问题

执行 top 命令切换到按照内存使用多少排列，发现进程并没有使用多少内存。即便把 buff/cache 算上也不可能使用 651Gi内存。服务器执行 free -h 查看内存使用情况发现和 top 的对不上。

原创 k8s calico pod 无法启动 cni-installer/install.go 499: Unable to create token for CNI kubeconfig

由于导致 calico-node pod 启动失败是因为 kube-proxy pod 拉取不到镜像启动失败导致的，所以解决 kube-proxy 拉取镜像的问题即可。结果可知是因为 kube-proxy 没启动导致的 calico-node pod 启动失败。由以上输出可知，可能是网络问题导致的无法启动，而网络问题可能是由于 kube-proxy pod 问题导致的。添加一个节点，但是 calico-node 和 csi-node-driver pod 无法启动。删除这个目录，然后再执行。

原创 ceph mgr 开启 telegraf 模块监控（influxdb+telegraf）

配置，避免权限问题，因为我的 rook-ceph asok 文件属主和属组都是167，所以这里也写 167。说明：本文使用的是 influxdata/influxdb 4.12.5。添加 chart 仓库，和 influxdb 是一个仓库，这段不执行也行。下载离线包，解压后找到 value.yaml 文件，修改配置。下载离线包，解压后找到 value.yaml 文件，修改配置。更改values.yaml 文件配置后执行。更改values.yaml 文件配置后执行。部分，这里需要修改的地方包括。

原创 prometheus 页面无法访问

访问 prometheus 页面的时候跳转到。chart 部署的 prometheus。使用如下配置，浏览器输入。

原创 ceph rgw 用户限额配置

命令查看，输出如下，输出即为用户的 uid。1、直接关闭配额检查（推荐）说明：user-id 使用。设置用户不限额有两种方法。

原创 grafana dashboard 监控 json 文件 uid 长度限制

应用，但是 grafana dashoboard 界面并没有这个新增的自定义监控，查看 grafana 日志如下。的dashboard 监控。但是该监控有些无图，经过修改后将其保存为。的 helm chart 部署的 prometheus。从 grafana 官网找了 一个ID 为。从日志可以看出是因为 uid 太长了。将 uid 部分改为如下，然后执行。的 configmap 文件。