AustinCien的博客

原创 deepseek部署：ELK + Filebeat + Zookeeper + Kafka

本文档旨在指导如何在7台机器上部署ELK（Elasticsearch, Logstash, Kibana）堆栈、Filebeat、Zookeeper和Kafka。该部署方案适用于日志收集、处理和可视化场景。

原创 2.部署kafka:9092

官方文档：http://kafka.apache.org/documentation.html(虽然kafka中集成了zookeeper,但还是建议使用独立的zk集群)

原创 1.部署zookeeper集群：2181

官网: Apache ZooKeeperZookeeper集群的工作是超过半数才能对外提供服务,成员数量一般为奇数台操作系统: centos7软件版本: zookeeper-3.4.12.tar.gz防火墙：全关三台服务器改主机名：hostnamectl set-hostname kafka-1hostnamectl set-hostname kafka-2hostnamectl set-hostname kafka-3三台服务器互相解析:vim /etc/hosts192.168.148.141 kafk

原创 elfk+zookeeper+kafka​数据流

申请7台部署。

原创 4部署kibana:5601

kibana 是一个基于浏览器页面的Elasticsearch前端展示工具，, 是一个开源和免费的工具Kibana可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面, 可以帮你汇总、分析和搜索重要数据日志。

原创 3.2实验filebeat-＞logstash-＞es

filetype: web # 用于区别不同的日志。fields_under_root: true # 将自定义字段置于顶层。# curl 192.168.148.131:80 访问httpd测试。##用field和if、elif。

原创 3.1部署filebeat:5044

beats是ELK体系中新增的一个工具，, 属于一个轻量的日志采集器。

原创 2.3做logstash实验

cat /usr/local/logstash/vendor/bundle/jruby/2.3.0/gems/logstash-patterns-core-4.1.2/patterns/httpd #系统内置变量。http://localhost:9200/ > http://192.168.148.132:9200/ > 连接。此时可以看出定义太复杂，咱自定义一个变量ALL，取代QS，双引号引起来。安装插件ElasticSearch Head可视化工具。修改 nginx server 的配置文件。

原创 2.2logstash规则配置

elasticsearch:发送事件数据到Elasticsearch, 便于查询, 分析, 绘图* file:将事件数据写入到磁盘文件上* mongodb:将事件数据发送至高性能NoSQL mongodb, 便于永久存储, 查询, 分析, 大数据分片* redis:将数据发送至redis-server, 常用于中间层暂时缓存* graphite:发送事件数据到graphitehttp://graphite.wikidot.com/* statsd:发送事件数据到statsd。

原创 2.1部署logstash:9600

remove_field => ["message","@timestamp","@version"] #不显示该选项内容。hosts => ["http://192.168.148.132:9200"] #es的主机IP。

原创 1.4常规es报错问题

问题原因：因为Centos6不支持SecComp，而ES5.2.1默认bootstrap.system_call_filter为true进行检测，所以导致检测失败，失败后直接导致ES不能启动。问题原因：要是部署的时候从一个节点复制elasticsearch文件夹，其他节点可能包含被复制节点的data文件数据，需要把data文件下的文件清空。解决方案：切换到root用户，进入limits.d目录下，修改90-nproc.conf 配置文件。可以推测，这 20 个索引就是位于从我们集群里不见了的那两个节点上。

原创 1.3用curl操作es

"filter": {"and":{"filters":[{"term":{"age":"123"}},{"term":{"name":"张三"}}]},"term" : { "user" : "kimchy" } //查所有 "match_all": {}

原创 1.2部署可视化工具es head:9100

ElasticSearch Head是集群管理、数据可视化、增删查改、查询语句可视化工具。

原创 1.1部署es：9200

部署es

原创 布署elfk-准备工作

ELK中文社区: 搜索客，搜索人自己的社区官方文档：DocumentationElasticsearch: Elasticsearch Guide | ElasticLogstash: Logstash Reference | ElasticKibana: Kibana Guide | ElasticFilebeat: Filebeat Reference | Elastic1，准备2台机器，, 这样才能完成分布式集群的实验, 当然能有更多机器更好：• 192.168.10.11 es1.qf.com El

原创 zabbix最常监控的中间件有哪些

JVM 性能: 堆内存使用量、非堆内存使用量、垃圾回收（GC）性能、线程信息、类加载信息。JVM 性能: 堆内存使用量、非堆内存使用量、垃圾回收（GC）性能、线程信息、类加载信息。HTTP 连接池状态: 最大连接数、活跃连接数、等待队列长度。连接池状态: 数据库连接池的状态，包括连接数、空闲连接数等。服务器状态: 服务器的健康状态、活动线程数、等待队列长度。队列状态: 队列的长度、未确认的消息数。查询性能: 查询的执行时间、每秒查询数。查询性能: 查询的执行时间、每秒查询数。

原创 zabbix监控mysql的指标有哪些

Innodb_buffer_pool_reads 和 Innodb_buffer_pool_read_requests：从磁盘读取到缓冲池的数据页请求数和直接从缓冲池满足的读取请求次数。Innodb_buffer_pool_pages_data 和 Innodb_buffer_pool_pages_free：InnoDB缓冲池中用于存储数据的页面数和空闲页面数。Innodb_os_log_fsyncs 和 Innodb_os_log_written：日志同步到磁盘的操作次数及字节数。

原创 java.lang.OutOfMemoryError: Java heap space 概述

java应用程序日志报错

原创 sql复制

1）全表复制（复制表结构和内容，但是不复制主键、外键、索引）方法一：where取不到值（复制不了键和索引）方法二：完全复制(表本身,不包含记录)## 复制记录和复制表。

原创 sql语句分类大纲

原创 mysql基本语句，增删改查

### 增删改查

原创 linux排查cpu过高的具体代码位置

第三步:查线程TID的16进制16_TID。第二步:查该PID的cpu高的线程TID。第一步:查cpu高的进程PID。第四步:查线程状态代码前20行。

原创 Linux部署liquibase的教学（CV工程师请进）

1.所有数据库脚本入库(代码仓库，如Github、Gitlab等) 管理2方便地从零开始创建新的数据库实例3随时清楚数据库当前所处的状态4.确定性地从当前数据库版本迁移到新版本5.无需手工执行数据库脚本变更操作6方便地回退数据库变更。

原创 在 Ubuntu 上安装 Docker

#正确就会输出 “Hello from Docker!

原创 运维要懂的42个docker命令

查看正在运行的容器：docker ps查看所有容器（包括停止的容器）：启动容器：停止容器：进入正在运行的容器：导出容器为镜像：删除容器：docker rm。

原创 GitOps 工具 Argo CD 实战教程

现在我们需要去掉最后的 deploy 和 rollback 两个任务，当 Docker 镜像构建推送完成后，我们只需要去修改部署代码仓库中的 values 文件，然后再去手动触发 ArgoCD 同步状态即可（如果开启了自动同步这一步都可以省略了），而回滚操作也是通过操作 Git 仓库来实现的，不需要定义一个单独的 Task 任务。，但是 CD 是在 Tekton 的任务中去完成的，现在我们使用 GitOps 的方式来改造我们的流水线，将 CD 部分使用 Argo CD 来完成。

原创 k8s进阶命令

expose #将 SVC 或 pod 暴露为新的 kubernetes service。ingress-nginx #管理 ingress 服务的插件(官方安装和使用方式)api-versions #以”组/版本”的格式输出服务端支持的 API 版本。执行 pod 的 date 命令，默认使用 pod 的第一个容器执行。# 编辑名为docker-registry的service。# 列出该namespace中的所有pod包括未初始化的。log #输出 pod 中一个容器的日志。

原创 linux初始化脚本

【代码】linux初始化脚本。

原创 全站devops 环境初始化安装脚本ubuntu centos macos

【代码】全站devops 环境初始化脚本ubuntu centos macos。

原创 每日巡检脚本

【代码】主机信息每日巡检脚本。

原创 构建自动化运维平台-nightingale

夜莺是一套分布式高可用的运维监控系统，最大的特点是混合云支持，既可以支持传统物理机虚拟机的场景，也可以支持K8S容器的场景。系统组件占用了以下端口，80, 5800, 5810, 5811, 5820, 5821, 5830, 5831, 5840, 5841, 6379, 2058, 3306，部署前请确保这些端口没有被使用。github下载链接: https://github.com/docker/compose/releases/密码：root.2020。访问ip:18000。

原创 k8s服务健康检查不通过一直重启

解决：查看应用事件，带有connection refused，就要检查应用的监听IP或应用配置的端口。原因一：由于应用的资源配额过低，导致应用启动慢，使启动时间超出健康检查时间。原因二：由于健康检查时间设置过短，使健康检查时间低于应用启动时间。原因四：应用监听的IP错误，或暴露的端口不是8080。解决：检查应用的CPU配额和内存配额，适当调大额度。解决：检查健康检查的不健康阈值，适当调大阈值。原因三：应用程序有问题，启动报错。

原创 k8s和prometheus的yaml模板

metadata:labels:spec:selector:strategy:template:metadata:labels:spec:- env:value: prdvalue: prdvalue: 30svalue: 8svalueFrom:fieldRef:tcpSocket:

原创 k8s模板model

metadata:labels:spec:selector:strategy:template:metadata:labels:spec:- env:value: 30svalue: 8svalueFrom:fieldRef:lifecycle:preStop:exec:command:

原创 运维工程师如何保障devops

监控和日志管理：运维工程师应设置合适的监控系统，用于实时监测系统的运行状态和性能指标。他们还应该配置日志管理系统，以便记录和分析应用程序和基础设施的日志，以便快速排查问题和改进系统。持续集成和持续交付：运维工程师应与开发团队密切合作，推动持续集成和持续交付流程的实施。他们应参与早期规划和设计阶段，共同解决问题，并确保整个团队理解和支持DevOps文化。故障恢复和容错：运维工程师应制定灾难恢复计划，并测试和更新该计划。他们应参加培训、研讨会和行业活动，与同行交流经验，并不断学习和改进自己的技能和知识。

原创 运维工程师的日常巡检内容

服务可用性：检查关键服务（如Web服务器、数据库、邮件服务器等）的可用性和响应时间，确保业务系统能够正常访问。应用程序状态：检查应用程序服务器的运行状态、日志记录和错误信息，确保应用程序正常运行并处理异常情况。服务器健康状态：检查服务器的硬件、操作系统和服务的运行状态，确保服务器正常工作并且没有异常。数据库状态：检查数据库服务器的运行状态、连接数和查询性能，并进行必要的优化和维护。日志监控：检查系统和应用程序的日志记录，查找异常事件、错误信息和潜在的安全问题。

原创 运维工程师如何保障数据的安全

员工培训与意识：定期进行安全培训，教育员工关于信息安全的最佳实践和规范，并提醒他们注意社交工程、垃圾邮件等潜在的安全威胁。安全团队合作：与安全团队密切合作，共同制定和执行安全策略，及时响应安全事件，并进行紧急响应和恢复操作。安全审计与合规性：定期进行安全审计，确保符合适用的法规和合规要求，同时对系统进行漏洞扫描和安全评估。防火墙与入侵检测系统：配置防火墙和入侵检测系统，以检测和阻止未经授权的访问、恶意软件和攻击。监控与日志记录：建立监控系统来实时监测关键系统和网络活动，同时记录日志以便后续审计和调查。

原创 k8s基于Alpine镜像定制自己的镜像

我们将其改为国内镜像源,将 dl-cdn.alpinelinux.org 改为 mirrors.aliyun.com 即可。alpine镜像只有5.6MB，而ubuntu镜像则近百MB，centos镜像近三百MB。构建出来的镜像也只有10.1MB。默认官方源在国内很慢。

原创 创建一直running的静态pod

就可以看到 etcd.yaml、scheduler.yaml、apiserver.yaml、controller-mamager.yaml。ps:要想停止此路径的静态pod，只能mv static-web.yaml 到其他路径。kubeadm安装k8s集群，配置文件是。在此目录中创建yaml文件就会一直存在。

原创 Zabbix监控ESXi主机

项目实施：Zabbix监控采用server-agent的架构，在Windows或者Linux系统安装agent，配置好相关的选项即可列入监控。ESXi主机相对而言比较特别，经过查找资料，发现使用Zabbix监控ESXi主机的部署有所不同，需要开启Zabbix监控VMware产品的功能，才能实现监控ESXi主机。项目描述：Zabbix监控系统已经初步搭建，但是没有全面覆盖监控所有系统，一台未列入监控的ESXi主机磁盘耗尽，直至服务不可用时，才被发现，列为严重的生产事故。查看发现默认是false。