诊断修复 TiDB Operator 在 K8s 测试中遇到的 Linux 内核问题

Kubernetes （K8s）是一个开源容器编排系统，可自动执行应用程序部署、扩展和管理。它是云原生世界的操作系统。 K8s 或操作系统中的任何缺陷都可能使用户进程存在风险。作为 PingCAP EE（效率工程）团队，我们在 K8s 中测试 TiDB Operator （一个创建和管理 TiDB 集群的工具）时，发现了两个 Linux 内核错误。这些错误已经困扰我们很长一段时间，并没有在整个 K8s 社区中彻底修复。

经过广泛的调查和诊断，我们已经确定了处理这些问题的方法。在这篇文章中，我们将与大家分享这些解决方法。不过，尽管这些方法很有用，但我们认为这只是权宜之策，相信未来会有更优雅的解决方案，也期望 K8s 社区、RHEL 和 CentOS 可以在不久的将来彻底修复这些问题。

Bug #1: 诊断修复不稳定的 Kmem Accounting

关键词：SLUB: Unable to allocate memory on node -1

社区相关 Issue:

• application crash due to k8s 1.9.x open the kernel memory accounting by default · Issue #61937 · kubernetes/kubernetes · GitHub
• Enabling kmem accounting can break applications on CentOS7 · Issue #1725 · opencontainers/runc · GitHub
• https://support.mesosphere.com/s/article/Critical-Issue-KMEM-MSPH-2018-0006

问题起源

薛定谔平台是我司开发的基于 K8s 建立的一套自动化测试框架，提供各种 Chaos 能力，同时也提供自动化的 Bench 测试，各类异常监控、告警以及自动输出测试报告等功能。我们发现 TiKV 在薛定谔平台上做 OLTP 测试时偶尔会发生 I/O 性能抖动，但从下面几项来看未发现异常：

• TiKV 和 RocksDB 的日志
• CPU 使用率
• 内存和磁盘等负载信息

只能偶尔看到 dmesg 命令执行的结果中包含一些 “SLUB: Unable to allocate memory on node -1” 信息。