- 博客(36)
- 收藏
- 关注
RSS订阅原创 StatefulSet
每个 Pod 拥有唯一的名称（如 `web-0`, `web-1`）和 DNS 记录（`<pod-name>.<service-name>.<namespace>.svc.cluster.local`）。| **特性** | **Deployment** | **StatefulSet** |- **逆序删除**：缩容时按索引递减顺序终止 Pod（如先删 `web-1`，再删 `web-0`）。
2025-03-31 13:07:50
455
原创 DaemonSet
**容错与调度**：结合 `tolerations` 容忍节点污点（如 `node.kubernetes.io/disk-pressure`），确保 Pod 在特定节点运行。- **节点选择**：通过 `nodeSelector` 或 `affinity` 规则匹配特定节点（如带 `role: logging` 标签的节点）。- **更新策略**：支持 `RollingUpdate`（滚动更新，可配置最大不可用 Pod 数）或 `OnDelete`（手动删除后更新）。### **YAML 示例**
2025-03-31 12:35:03
215
原创 Sidecar 类型容器
在容器化技术（如 **Docker**、**Kubernetes**）中，**Sidecar 模式**（边车模式）是一种常见的容器设计模式，用于增强或扩展主容器（Main Container）的功能，而无需修改主容器本身的代码。- **Sidecar 容器**：运行代理（如 **Envoy**、**Istio**），负责流量管理、服务发现、熔断、加密通信等。- **Sidecar 容器**：挂载主容器的日志目录，将日志实时转发到集中式存储（如 Elasticsearch、S3）。
2025-03-30 21:58:56
308
原创 HBase Shell
grant 'user', 'RWXCA', 'user' # 权限：Read, Write, eXecute, Create, Admin。3. **批量操作**：频繁单行操作效率低，建议使用 HBase API 批量处理。# 语法：create '表名', '列族1', '列族2', ...# 语法：put '表名', '行键', '列族:列名', '值'1. **列族设计**：列族需在创建表时定义，后续不可动态修改。help '命令名' # 如 help 'create'
2025-03-24 16:23:53
388
原创 /etc/profile文件
/etc/profile` 是 Linux 和类 Unix 系统中**全局 Shell 配置文件**，用于为所有用户设置**环境变量**、**启动程序**和**系统级 Shell 配置**。- 对非登录 Shell（如直接启动的终端）不生效，此时会读取 `~/.bashrc` 或 `/etc/bashrc`。- 通常通过 `/etc/profile.d/` 目录下的 `.sh` 文件管理附加配置，避免直接修改主文件。- 定义所有用户共享的变量（如 `PATH`、`JAVA_HOME`）。
2025-03-24 15:57:49
396
原创 /etc/hosts文件
/etc/hosts` 是类 Unix 系统（如 Linux 和 macOS）中用于**本地域名解析**的关键文件。- 将主机名（如 `example.com`）或别名（如 `dev-server`）映射到 IP 地址。- **屏蔽广告/恶意网站**：将域名解析到 `0.0.0.0` 或 `127.0.0.1`。- **本地开发**：将域名指向本地环境（如 `127.0.0.1 myapp.com`）。- **覆盖 DNS**：通过手动配置 `hosts` 条目，可强制域名指向特定 IP。
2025-03-24 15:45:01
325
原创 根据文件名称查询文件所在位置
`which` | 仅搜索 `PATH` 中的可执行文件 | 确认命令的安装路径 |find /home -name "*.log" # 查找 `/home` 下所有 `.log` 文件。| `find` | 功能强大，支持复杂条件，速度较慢 | 精确查找、模糊匹配、全盘搜索 |### **4. 使用 `which` 命令（查找 PATH 中的可执行文件）**### **2. 使用 `locate` 命令（最快，但依赖数据库）**
2025-03-21 22:24:25
459
原创 停止Hive服务
关闭Hive通常涉及停止Hive的相关服务，具体步骤取决于Hive的运行模式（如本地模式、远程模式或嵌入模式）。- 如果Hive运行在容器化环境（如Docker或Kubernetes），需要停止对应的容器或Pod。- 在关闭Hive服务之前，确保没有正在运行的查询或任务，以免数据丢失或任务中断。### 1. **关闭Hive CLI或Beeline会话**### 3. **关闭Metastore服务**### 5. **验证Hive服务是否关闭**### 4. **关闭Hive的依赖服务**
2025-03-19 22:09:02
544
原创 结构化数据和非结构化数据
**存储占比** | 约 20%（企业常见） | 约 80%（主流大数据来源） | 逐渐增多（如 IoT 设备数据） || **分析复杂度** | 低（SQL 直接操作） | 高（依赖 AI/ML 模型） | 中（需 Schema 转换） |- 利用 **Delta Lake** 或 **Iceberg** 实现 ACID 事务，支持混合负载。| **维度** | **结构化数据** | **非结构化数据** | **半结构化数据** |
2025-03-18 17:49:40
394
原创 tar命令
如果归档文件是通过压缩工具（如 gzip、bzip2、xz）压缩的，解压时需要使用相应的选项（如 `-z`、`-j`、`-J`）。这将创建一个名为 `archive.tar` 的归档文件，包含 `file1`、`file2` 和 `dir1`。- `tar` 命令不会自动删除原始文件或目录，除非你明确使用 `--remove-files` 选项。- **-u**：更新归档文件中的文件（仅添加比归档文件中更新的文件）。- 使用 `-f` 选项时，归档文件的名称必须紧跟在 `-f` 后面。
2025-03-16 17:29:34
377
原创 ACID(数据库)
**实现机制**：通过撤销日志（Undo Log）记录事务的每一步操作，若事务失败，系统利用日志回滚到初始状态。- **分布式系统挑战**：在分布式数据库中，ACID实现更复杂，常采用两阶段提交（2PC）或柔性事务（如BASE模型）。- **串行化（Serializable）**：完全隔离，事务串行执行，避免所有并发问题。- **示例**：转账事务中，若扣款成功但收款失败，系统自动撤销扣款操作，保证账户总额不变。- **定义**：事务提交后，对数据的修改永久保存，即使系统故障也不丢失。
2025-03-14 15:40:29
366
原创 SELinux
SELinux（Security-Enhanced Linux）是一个由**美国国家安全局（NSA）**开发并贡献给开源社区的Linux内核安全模块，旨在通过**强制访问控制（MAC）**机制增强操作系统的安全性。- **MAC**：由系统级策略严格定义进程、用户、文件等对象的交互规则，即使`root`用户也可能受限，防止权限滥用或漏洞扩散。- **DAC**：基于用户/组权限（如`rwx`），用户可自行修改（如`chmod`）。- **MLS（多级安全）**：严格分级控制，适用于军事/政府等高安全场景。
2025-03-13 16:08:26
377
原创 文件传输（rsync和scp）
**用途**：基于 SSH 协议，用于在本地和远程系统之间**安全地复制文件或目录**。- **用途**：用于**高效同步文件或目录**，支持增量传输（仅传输差异部分）。| **速度** | 较慢（大文件或频繁传输） | 更快（尤其适合重复同步） || **功能** | 简单复制 | 支持同步、删除、压缩、过滤等 || **传输方式** | 全量传输 | 增量传输（仅传输差异） || **资源消耗** | 低 | 较高（需计算文件差异） || 特性 | `scp` | `rsync` |
2025-03-12 10:32:24
357
原创 单点故障（SPOF）
*单点故障（Single Point of Failure，SPOF）** 是指系统中**某个关键组件一旦失效，会导致整个系统无法正常运行**的缺陷。它是系统设计中需要重点避免的隐患，因为其存在会显著降低系统的**可靠性**和**容灾能力**。- **云计算的高可用架构**：AWS/Azure 提供多可用区（Availability Zones），将资源部署在不同物理位置，即使一个数据中心故障，服务仍可用。- **主备模式**：主节点故障时，备用节点自动接管（如数据库主从复制）。
2025-03-11 12:05:24
397
原创 负载均衡（Load Balancing）
负载均衡通过将网络流量或计算任务**动态分配**到多个服务器（或资源），避免单一节点过载，从而提升整体系统的处理能力、响应速度和容错能力。- **七层（应用层）**：解析HTTP/HTTPS请求（如Nginx），支持按URL、Cookie等高级策略，灵活性更强。- **四层（传输层）**：基于IP和端口分发（如LVS），效率高但无应用层感知。- **专用设备**（如F5 BIG-IP）：高性能但成本高，适合大型企业。4. **全球流量分发**（如CDN）：将用户导向最近的节点，降低延迟。
2025-03-11 11:49:11
323
原创 命名空间（Namespaces）
*命名空间（Namespaces）** 是 Linux 内核的一项功能，用于**隔离进程的视图**，使不同进程组拥有独立的系统资源访问环境。- **隔离进程 ID**：命名空间内的进程拥有独立的 PID 编号，与其他命名空间互不影响。- **层级化**：命名空间可嵌套，子命名空间继承父命名空间的资源视图，但可进一步隔离。| **功能** | **cgroups** | **Namespaces** || **管理对象** | 进程组的资源使用量 | 进程组的系统资源可见性 |
2025-03-11 11:35:39
308
原创 cgroups
*cgroups（控制组）** 是 Linux 内核的一项功能，用于对进程或进程组进行**资源分配、限制和隔离**。- **Namespaces**：隔离进程的视图（如文件系统、网络、PID），提供独立的运行环境。- **v2**：统一层级结构，支持跨子系统协同限制（如同时限制 CPU 和内存），功能更一致。- **v1**：各子系统独立管理，可能导致配置碎片化。- **子系统（Controllers）**### **与 Namespaces 的关系**- `freezer`：暂停/恢复进程组。
2025-03-11 11:12:36
384
原创 如何查找一个用户的所有文件，并将其复制到一个目录
需要注意的是，这条命令会将所有找到的文件复制到/root/findfiles目录下，如果目标目录不存在，cp命令会自动创建它。但是，如果/root/findfiles目录下已经存在与要复制的文件同名的文件，那么这些文件将会被覆盖。：对找到的每个文件执行cp -av命令，将其复制到/root/findfiles目录下。其中，{}是一个特殊的字符串，代表find命令找到的每个文件名。这条语句是查找所有属于用户harry的普通文件（不包括目录等），并将这些文件复制到/root/findfiles目录下。
2024-09-05 16:33:03
417
原创 Linux中临时更改主要组
只有用户的主要组才会用于新文件创建属性，所以你可以利用newgrp命令来更改主要组。您可以在所属的任何主要组和补充组之间切换，但一次只能有一个组为主要组。当然您也可以在创建文件之后用chown命令来更改此文件的组所有权。在本例中名为group01的组暂且成为此用户的主要组。如果您注销并重新登录则主要组会恢复默认值。
2024-08-07 17:39:51
188
原创 Linux中关于vim编辑器
③：w命令可写入（保存）文件，并保留在命令模式以进行更多编辑。命令可强制退出，同时放弃上次写入以来进行的所有更改。④：wq命令可写入（保存）文件，并退出vim。①u键可撤销最近的一次编辑。②x键可删除单个字符。
2024-08-02 17:17:24
127
原创 【无标题】Linux知识点
ln命令创建硬链接（只针对于常规文件且两个文件必须位于同一文件系统），该命令至少需要两个参数：现有文件的路径，以及要创建的硬链接的路径。双引号会阻止路径名扩展，但允许命令替换和变量拓展，而单引号将阻止所有shell扩展。要确定两个文件是否被硬链接，可使用ls命令加-i选项列出每个文件的索引节点编号。touch命令可以将文件的时间戳更新为当前的时间和日期，而不进行其他修改。cat file1 file2 file3 file4 > /目录。使用tee命令配合-a选项可将内容追加到文件而不是覆盖它。
2024-08-02 16:48:03
236
原创 Linux中view命令
支持多种格式：虽然主要用于查看文本文件，但view命令在某些情况下也能显示压缩文件、Word文档、PDF文件等多种格式文件的文本内容（但请注意，对于非纯文本文件，如PDF，它可能只能显示其中的文本部分，而无法完全还原原文件的格式和布局）。搜索功能：在view命令中，可以使用/来搜索文本文件中的内容，只需在命令模式下按下/键，然后输入要搜索的内容并按下Enter键即可。跳转行数：在view命令中，可以使用行号来快速跳转到指定的行数，只需在命令模式下按下:键，然后输入要跳转的行号并按下Enter键。
2024-08-01 14:06:32
1205
原创 Linux中sysctl命令
这些参数通常位于 /proc/sys 目录下，并包含 TCP/IP 堆栈和虚拟内存系统的高级选项，这些选项可以让有经验的管理员优化系统性能。-A 或 --binary: 以表格方式打印当前所有可用的内核参数变量和值（此选项在一些系统中可能不存在，与 -a 相似但输出格式不同）。-w 或 --write: 当修改 sysctl 设置时使用此项，后面跟随 variable=value 来设置参数。-p 或 --load: 从配置文件 /etc/sysctl.conf 加载内核参数设置。选项（Options）
2024-06-29 22:07:19
625
原创 Linux中journalctl命令
-since "时间" 和 --until "时间"：显示指定时间范围内的日志。时间可以是绝对时间（如2024-06-28 10:00:00）或相对时间（如"-5min"表示过去5分钟内的日志）。显示指定时间范围内的日志：journalctl --since "2024-06-27 00:00:00" --until "2024-06-28 12:00:00"-o 或 --output：控制所显示的日志条目的格式，如short、short-iso、short-precise、verbose、json等。
2024-06-28 16:08:45
593
原创 Linux中crontab -u和-v命令
使用crontab命令时，通常会结合其他选项如-e（编辑crontab）、-l（列出crontab内容）和-r（删除crontab）来执行具体的任务。这些选项与-u和-v可以组合使用，以满足不同的需求。注意，-v选项通常只与-l（列出crontab内容）选项一起使用才有意义，因为它只是为-l选项的输出提供一个额外的时间戳信息。例如，crontab -u username -e 会编辑username用户的crontab设置。如果系统支持，使用crontab -v会显示上一次编辑crontab文件的时间戳。
2024-06-27 15:54:03
469
原创 Linux中at命令
这两个命令（注意--display是长格式选项，-l是短格式选项）的作用是列出所有已安排但尚未执行的at任务。使用at --display或at -l时，你不需要提供job_id，因为它们是用于显示所有已安排的任务的。例如，如果你之前安排了一个任务并得到了job_id为5，你可以使用at -c 5来查看该任务的详细信息。at --display 或 at -l：列出所有已安排但尚未执行的at任务。at -c job_id：显示指定job_id的at任务的详细内容。
2024-06-27 15:46:35
381
原创 Linux正则表达式
*：. 表示匹配除了换行符之外的任意单个字符，* 表示前面的字符（在这个例子中是 .）可以出现零次或多次。所以 .* 匹配任意数量的任意字符（包括零个）。正则表达式 c.*t 表示匹配以字符 'c' 开始，后面跟着任意数量的任意字符（包括零个），最后以字符 't' 结束的字符串。"ct"（注意，虽然这里没有中间的字符，但因为 .* 可以匹配零个字符，所以也是有效的）希望这能帮助你理解正则表达式 c.*t 的含义！c：直接匹配字符 'c'。t：直接匹配字符 't'。
2024-06-26 14:28:54
167
原创 LInux编写shell脚本时单引号和双引号的区别
2.使用单引号则可以按字面解释括起来的所有文本，除了可以阻止globbing（文件名模式匹配）和shell扩展，也指示shell阻止命令和变量替换。1.使用双引号可以阻止globbing（文件名模式匹配）和shell扩展，但依旧允许命令和变量替换。
2024-06-26 13:23:24
153
原创 Linux重定向
在你给出的命令 cat file1 file4 >file2 2>file4 中，你尝试将 file1 和 file4 的内容合并，并将结果重定向到 file2，同时你还尝试将任何标准错误输出重定向到 file4。由于你将标准输出重定向到 file2，并且同时尝试从 file4 读取内容（虽然它可能不存在或为空），而你又将标准错误输出也重定向到 file4，这可能会导致不可预期的行为。cat file1 file4 尝试将 file1 和 file4 的内容输出到标准输出。一个关于重定向的小问题。
2024-06-01 19:03:30
235
原创 Linux重定向
即命令为command >file1 2>file2。如何将输出发送到一个文件并将错误输出到另一个文件。echo语句是在file1文件中添加hello。
2024-06-01 18:59:53
136
原创 Linux重命名文件
mv命令可将一个文件从一个位置移动到另一个位置，如果位置（在同一目录下）相同，这实际上就是重命名。位置 在这里指的是文件或目录在文件系统中的完整路径，包括目录和文件名。
2024-05-30 11:42:23
369
原创 切换用户（Linux）
su启动非登录shell（即使用原始用户的环境设置）su-启动登录shell（导入该用户的环境设置）su 与su-的区别。
2024-05-28 20:55:27
100
原创 对于重定向命令提出疑问
对于 wc r > file &2> file1这个命令会进入搜索模式，而没有将结果输出给file1。以上是进入编辑模式，我随便输入了hello。结果如下，有哪位大佬可以帮忙解释一下这个命令。
2024-05-26 13:45:26
278
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人