运维&陈同学-优快云博客

原创【Prometheus01】可观测性系统之Prometheus简介、优缺点对比、组件介绍、数据采集流程、TSDB简介

长期趋势分析：通过对监控样本数据的持续收集和统计，对监控指标进行长期趋势分析。例如，通过对磁盘空间增长率的判断，我们可以提前预测在未来什么时间节点上需要对资源进行扩容。对照分析：两个版本的系统运行资源使用情况的差异如何？在不同容量情况下系统的并发和负载变化如何？通过监控能够方便的对系统进行跟踪和比较。告警：当系统出现或者即将出现故障时，监控系统需要迅速反应并通知管理员，从而能够对问题进行快速的处理或者提前预防问题的发生，避免出现对业务的影响。故障分析与定位：当问题发生后，需要对问题进行调查和处理。通过对不同

2025-03-16 15:08:42 1499

原创 ShellGPT实战指南：用AI命令行神器提升开发效率

现在，当我们运行 Ollama 后端时，我们需要配置 ShellGPT 以使用它。为了与本地 LLM 后端通信，ShellGPT 利用。现在您可以将 ShellGPT 与 Ollama 后端一起使用。初始API Key的時候隨便填個字串。根据电脑配置安装对应的模型。

2025-02-28 17:19:53 589

原创手把手教你安装和配置WSL2：从零搭建Linux开发环境

WSL2（Windows Subsystem for Linux 2）是微软推出的轻量级Linux子系统，允许开发者在Windows上无缝运行Linux工具和环境。本文将从安装到配置，一步步教你如何搭建WSL2，并解决常见问题。

2025-02-16 20:52:33 2490 1

原创《效率革命！DeepSeek-R1大模型无缝接入VSCode实战：代码生成/智能补全全解锁》

"你是否厌倦了在GitHub和AI工具间反复横跳？本地IDE直接调用DeepSeek-R1模型，让代码生成、注释编写、错误修复在VSCode中一气呵成——这才是真·程序员外挂！

2025-02-04 14:13:31 2662

原创 DeepSeek本地部署，保姆级教程，带你打造最强AI

配置后，Ollama 服务将能在当前网络（如家庭 Wifi）中提供服务。你可以使用其他设备上的 Chatbox 客户端连接到此服务。可能需要在防火墙中允许 Ollama 服务的端口（默认为 11434），具体取决于你的操作系统和网络环境。为避免安全风险，请不要将 Ollama 服务暴露在公共网络中。家庭 Wifi 网络是一个相对安全的环境。Ollama 服务的 IP 地址是你电脑在当前网络中的地址，通常形式如下。

2025-01-28 16:24:46 106850 83

原创【IPy模块02】Python运维模块之多网络计算方法详解

相同ip段,不同的掩码获取的ip地址不一样不同ip段,相同的掩码获取的ip地址不一样而不同的网段，彼此之间有可能存在ip地址重合。

2025-01-12 16:16:48 503

原创【IPy模块01】Python运维模块之IP 地址、网段的基本处理

IP地址规划是网络设计中非常重要的一个环节，规划的好坏会直接影响路由协议算法的效率，包括网络性能、可扩展性等方面，在这个过程当中，免不了要计算大量的IP地址，包括网段、网络掩码、广播地址、子网数、P类型等。Python 提供了一个强大的第三方模块IPy(https://github.com/haypo/python-ipy/)IPy模块包含IP类，使用它可以方便处理绝大部分格式为IPv6及IPv4的网络和地址。下面介绍IP 类几个常见的方法，包括反向解析名称、IP类型、IP转换等。

2025-01-12 16:14:43 604

原创【Logstash03】企业级日志分析系统ELK之Logstash 过滤 Filter 插件

Grok 是一个过滤器插件，可帮助您描述日志格式的结构。有超过200种 grok模式抽象概念，如IPv6地址，UNIX路径和月份名称。为了将日志行与格式匹配, 生产环境常需要将非结构化的数据解析成 json 结构化数据格式使用 Grok 插件可以基于正则表达式技术利用其内置的正则表达式的别名来表示和匹配上面的日志,如下效果最终转换为以下格式参考网站范例: Nginx 访问日志。

2025-01-08 23:29:34 1112

原创【Logstash02】企业级日志分析系统ELK之Logstash 输入 Input 插件

logstash利用 sincedb 文件记录了logstash收集的记录文件的信息，比如位置，以方便下次接着从此位置继续收集日志。codec 用于输入数据的编解码器，默认值为plain表示单行字符串，若设置为json，表示按照json方式解析。Logstash 会记录每个文件的读取位置,下次自动从此位置继续向后读取。Logstash 从 Redis 收集完数据后,将删除对应的列表Key。范例: 以配置文件实现标准输入。范例: 交互式实现标准输入。范例: 列出所有插件。

2025-01-04 22:51:05 1466

原创【Logstash01】企业级日志分析系统ELK之Logstash 安装与介绍

Logstash 是免费且开放的服务器端数据处理管道，能够从多个来源采集数据，转换数据，然后将数据发送到您最喜欢的一个或多个“存储库”中Logstash 可以水平伸缩，而且logstash是整个ELK中拥有最多插件的一个组件Logstash 基于 Java 和 Ruby 语言开发Logstash：收集、解析和转换日志 | ElasticLogstash 官方说明输入 Input：用于日志收集,常见插件: Stdin、File、Kafka、Redis、Filebeat、Http。

2025-01-03 23:03:02 1211

原创【Beats04】企业级日志分析系统ELK之Filebeat 收集日志及案例三

作为服务器上的代理安装，Filebeat监视您指定的日志文件或位置，收集日志事件，并将它们转发到Elasticsearch或Logstash进行索引。filebeat 支持从日志文件,Syslog,Redis,Docker,TCP,UDP,标准输入等读取数据,对数据做简单处理，再输出至Elasticsearch,logstash,Redis,Kafka等。启动Filebeat时，它将启动一个或多个输入源，这些输入将在为日志数据指定的位置中查找。Run Options（可选）Logging(可选)

2025-01-03 22:58:22 1151

原创【Beats03】企业级日志分析系统ELK之Filebeat 收集日志及案例二

filebeat 支持从日志文件,Syslog,Redis,Docker,TCP,UDP,标准输入等读取数据,对数据做简单处理，再输出至Elasticsearch,logstash,Redis,Kafka等。默认Nginx的每一次访问生成的访问日志是一行文本,ES没办法直接提取有效信息,不利于后续针对特定信息的分析。Tomcat 是 Java 应用,当只出现一个错误时,会显示很多行的错误日志,如下所示。Java 应用的一个错误导致生成的多行日志其实是同一个事件的日志的内容。

2025-01-02 23:23:19 1379

原创【模块一】kubernetes容器编排进阶实战之kubernetes pod Affinity与pod antiaffinity

Pod亲和性与反亲和性可以基于已经在node节点上运行的Pod的标签来约束新创建的Pod可以调度到的目的节点，注意不是基于node上的标签而是使用的已经运行在node上的pod标签匹配。其规则的格式为如果 node节点 A已经运行了一个或多个满足调度新创建的Pod B的规则，那么新的 Pod B在亲和的条件下会调度到A节点之上，而在反亲和性的情况下则不会调度到A节点至上。

2024-12-31 23:23:08 1073

原创【模块一】kubernetes容器编排进阶实战之kubernetes nodeSelector、nodeName、node Affinity与anti-affinity

nodeSelector 基于node标签选择器，将pod调度的指定的目的节点上。将 Pod 指派给节点 | Kubernetes可用于基于服务类型干预Pod调度结果，如对磁盘I/O要求高的pod调度到SSD节点，对内存要求比较高的 pod调度的内存较高的节点。也可以用于区分不同项目的pod，如将node添加不同项目的标签，然后区分调度。# kubectl describe node 172.31.7.111 #默认标签。

2024-12-31 23:10:25 1358

原创【模块一】kubernetes容器编排进阶实战之kubernetes准入控制

使用RBAC鉴权使用 RBAC 鉴权 | KubernetesRBAC API声明了四种Kubernetes对象：Role、ClusterRole、RoleBinding和ClusterRoleBinding。Role: 定义一组规则，用于访问命名空间中的 Kubernetes 资源。RoleBinding: 定义用户和角色(Role)的绑定关系。ClusterRole: 定义了一组访问集群中 Kubernetes 资源(包括所有命名空间)的规则。

2024-12-29 20:25:54 544

原创【模块一】kubernetes容器编排进阶实战之kubernetes 资源限制

1.如果运行的容器没有定义资源(memory、CPU)等限制，但是在namespace定义了LimitRange限制，那么该容器会继承LimitRange中的默认限制。2.如果namespace没有定义LimitRange限制，那么该容器可以只要宿主机的最大可用资源，直到无资源可用而触发宿主机(OOM Killer)。为容器和 Pods 分配 CPU 资源 | Kubernetes本页面展示如何为容器设置 CPU request（请求）和 CPU limit（限制）。

2024-12-28 23:06:33 1194 1

原创【Beats02】企业级日志分析系统ELK之Filebeat 收集日志及案例一

范例：自定义索引名称收集所有系统日志到 ELasticsearch.....enabled: true #开启日志paths:- /var/log/system.log #指定收集的日志文件include_lines: ['sshd','failed', 'password'] #只过滤指定包含关健字的日志#include_lines: ['^ERR', '^WARN'] #只过滤指定包含关健字的日志#exclude_lines: ['Debug'] #排除包含关健字的日志。

2024-12-27 10:52:35 1664

原创【Beats01】企业级日志分析系统ELK之Metricbeat与Heartbeat 监控

Beats 是一个免费且开放的平台，集合了多种单一用途数据采集器。它们从成百上千或成千上万台机器和系统向 Logstash 或 Elasticsearch 发送数据。虽然利用 logstash 就可以收集日志，功能强大，但由于 Logtash 是基于Java实现，需要在采集日志的主机上安装JAVA环境logstash运行时最少也会需要额外的500M的以上的内存，会消耗比较多的内存和磁盘空间。

2024-12-25 23:12:17 1390

原创【Kibana01】企业级日志分析系统ELK之Kibana的安装与介绍

Kibana 是一款开源的数据分析和可视化平台，它是 Elastic Stack 成员之一，设计用于和 Elasticsearch 协作,可以使用 Kibana 对 Elasticsearch 索引中的数据进行搜索、查看、交互操作,您可以很方便的利用图表、表格及地图对数据进行多元化的分析和呈现。Kibana 可以使大数据通俗易懂。基于浏览器的界面便于您快速创建和分享动态数据仪表板来追踪 Elasticsearch 的实时数据变化。Kibana 基于 TypeScript 语言开发。

2024-12-24 11:23:49 1571

原创【Python函数02】Python运维自动化之函数作用域

x+=1 这种是特殊形式产生的错误的原因？先引用后赋值，而python动态语言是赋值才算定义，才能被引用。解决办法，在这条语句前增加x=0之类的赋值语句，或者使用global 告诉内部作用域，去全局作用域查找变量定义内部作用域使用 x = 10 之类的赋值语句会重新定义局部作用域使用的变量x，但是，一旦这个作用域中使用 global 声明x为全局的，那么x=5相当于在为全局作用域的变量x赋值。

2024-12-23 14:38:49 688

原创【Python函数01】Python运维自动化之函数参数与返回值

Python 函数函数数学定义y=f(x) ，y是x的函数，x是自变量。y=f(x0, x1, …, xn)Python函数由若干语句组成的语句块、函数名称、参数列表构成，它是组织代码的最小单元完成一定的功能函数的作用结构化编程对代码的最基本的封装，一般按照功能组织一段代码封装的目的为了复用，减少冗余代码代码更加简洁美观、可读易懂函数的分类内建函数，如max()、reversed()等库函数，如math.ceil()等自定义函数，使用def关键字定义函数定义d

2024-12-22 16:46:23 1223

原创【模块一】kubernetes容器编排进阶实战之kubernetes HPA 控制器

Horizontal Pod Autoscaling (HPA)控制器，根据预定义好的阈值及pod当前的资源利用率，自动控制在k8s集群中运行的pod数量(自动弹性水平自动伸缩).--horizontal-pod-autoscaler-sync-period #默认每隔15s(可以通过–horizontal-pod-autoscaler-sync-period修改)查询metrics的资源使用情况。

2024-12-21 19:56:22 1274

原创【模块一】kubernetes容器编排进阶实战之基于velero及minio实现etcd数据备份与恢复

Velero 是vmware开源的一个云原生的灾难恢复和迁移工具，它本身也是开源的,采用Go语言编写，可以安全的备份、恢复和迁移 Kubernetes集群资源数据，。Velero 是西班牙语意思是帆船，非常符合Kubernetes社区的命名风格，Velero的开发公司Heptio，已被VMware收购。Velero 支持标准的K8S集群，既可以是私有云平台也可以是公有云，除了灾备之外它还能做资源移转，支持把容器应用从一个集群迁移到另一个集群。

2024-12-20 22:19:52 1529

原创【Elasticsearch05】企业级日志分析系统ELK之集群工作原理

Master 节点 ES集群中只有一个 Master 节点，用于控制和管理整个集群的操作 Master 节点负责增删索引,增删节点,分片shard的重新分配 Master 主要维护Cluster State，包括节点名称,节点连接地址,索引名称和配置信息等 Master 接受集群状态的变化并推送给所有其它节点,集群中各节点都有一份完整的集群状态信息，都由master node负责维护 Master 节点不需要涉及到文档级别的变更和搜索等操作协调创建索引请求或查询请求，将请求分发到相关的node上。

2024-12-18 17:30:00 1392

原创【Elasticsearch04】企业级日志分析系统ELK之Elasticsearch 插件

通过使用各种插件可以实现对 ES 集群的状态监控, 数据访问, 管理配置等功能 ES集群状态:green 绿色状态:表示集群各节点运行正常，而且没有丢失任何数据，各主分片和副本分片都运行正常yellow 黄色状态:表示由于某个节点宕机或者其他情况引起的，node节点无法连接、所有主分片都正常分配,有副本分片丢失，但是还没有丢失任何数据red 红色状态:表示由于某个节点宕机或者其他情况引起的主分片丢失及数据丢失,但仍可读取数据和存储监控下面两个条件都满足才是正常的状态集群状态为 green所有节点都启动Hea

2024-12-18 17:15:00 1576

原创【Elasticsearch03】企业级日志分析系统ELK之Elasticsearch访问与优化

为了保证性能，每个ES节点的JVM内存设置具体要根据 node 要存储的数据量来估算,建议符合下面约定。推荐使用宿主机物理内存的一半，ES的heap内存最大不超过30G,26G是比较安全的。范例：指定heap内存最小和最大内存限制。关于 Heap 内存大小。范例: 删除指定文档。范例: 删除所有索引。

2024-12-17 23:31:33 680

原创【psutil模块02】Python运维模块之系统进程管理方法

psutil.pids()获取所有PID,使用psutil.Process()接收单个进程的PID，获取进程名、路径、状态、系统资源等。获取当前系统的进程信息，包括进程的启动时间、查看或设置CPU亲和度、内存使用率、IO信息、socket连接、线程数等。psutil提供了popen类的作用是获取用户启动的应用程序进程信息，以便跟踪进程的运行状态。获取进程信息的常见方法。

2024-12-17 15:28:22 242

原创 Python运维自动化之解析式和生成器表达式

Python2 引入列表解析式Python2.4 引入生成器表达式Python3 引入集合、字典解析式，并迁移到了2.7一般来说，应该多应用解析式，简短、高效。如果一个解析式非常复杂，难以读懂，要考虑拆解成for循环。生成器和迭代器是不同的对象，但都是可迭代对象。如果不需要立即获得所有可迭代对象的元素，在Python 3中，推荐使用惰性求值的迭代器。内建函数函数签名说明sorted默认升序，对可迭代对象排序立即返回列表# 排序一定是容器内全体参与。

2024-12-16 21:45:16 940

原创 Python运维自动化之字典Dict

Dict即Dictionary，也称为mapping。Python中，字典由任意个元素构成的集合，每一个元素称为Item，也称为Entry。这个Item是由(key, value)组成的二元组。字典是可变的、无序的、key不重复的key-value键值对集合。

2024-12-15 23:05:11 1030

原创【psutil模块01】Python运维模块之获取系统性能信息

psutil是一个跨平台库，能够获取系统的运行进程和系统利用率（包括CPU、内存、磁盘、网络等）

2024-12-14 09:24:49 1228

原创【Elasticsearch02】企业级日志分析系统ELK之Elasticsearch集群部署

内核参数 vm.max_map_count 用于限制一个进程可以拥有的VMA(虚拟内存区域)的数量使用默认系统配置，二进制安装时会提示下面错误，包安装会自动修改此配置。因为 Elasticsearch 服务运行需要 Java环境，如果要安装没有JDK的包，需要提前安装JAVA环境，可以使用以下方式安装。如果没有java 环境,安装elasticsearch时会出下面错误提示。Elasticsearch 是基于java的应用,所以依赖JDK环境。方式一：直接使用包管理器yum/apt安装openjdk。

2024-12-12 16:00:49 1494

原创【Elasticsearch01】企业级日志分析系统ELK之Elasticsearch单机部署

官方文档部署方式ES支持操作系统版本和 Java 版本官方说明。

2024-12-11 17:02:28 1135

原创【Devops】Python运维自动化之集合Set

集合，简称集。由任意个元素构成的集体。高级语言都实现了这个非常重要的数据结构类型。Python中，它是可变的、无序的、不重复的元素的集合。

2024-12-10 20:06:50 1407

原创企业级日志分析系统ELK之ELK概述

官方介绍Elasticsearch 是一个分布式的免费开源搜索和分析引擎，适用于包括文本、数字、地理空间、结构化和非结构化数据等在内的所有类型的数据。Elasticsearch 在 Apache Lucene 的基础上开发而成，由 Elasticsearch N.V.（即现在的 Elastic）于 2010 年首次发布。Elasticsearch 以其简单的 REST 风格 API、分布式特性、速度和可扩展性而闻名，是 Elastic Stack 的核心组件。

2024-12-09 23:05:22 1798 1

原创【Devops】Python运维自动化之封装和解构

Python等式右侧出现逗号分隔的多值的时候，就会将这几个值封装到元组中。这种操作称为封装 packing。Python中等式右侧是一个容器类型，左侧是逗号分隔的多个标识符，将右侧容器中数据的一个个和左侧标识符一一对应。这种操作称为解构unpacking。从Python3开始，对解构做了很大的改进，现在用起来已经非常的方便快捷。封装和解构是非常方便的提取数据的方法，在Python、JavaScript等语言中应用极广。

2024-12-08 23:04:48 175

原创【CKA】Kubernetes(k8s)认证之CKA考题讲解

在 bash 中设置当前 shell 的⾃动补全，要先安装 bash-completion 包。

2024-12-06 18:55:52 1450

原创【Nacos03】消息队列与微服务之Nacos 集群部署

使用VIP/nginx请求时，需要配置成TCP转发，不能配置http2转发，否则连接会被nginx断开。http://SLB:port/openAPI 挂载SLB模式(内网SLB，不可暴露到公网，以免带来安全风险)，直连SLB即可，下面挂server真实ip，可读性不好。http://nacos.com:port/openAPI 域名 + SLB模式(内网SLB，不可暴露到公网，以免带来安全风险)，可读性好，而且换ip方便，推荐模式。注意：如果开启默认鉴权插件，需要在Header中带上用户名密码。

2024-12-05 17:15:00 1194

空空如也

空空如也