<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[a150791038的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/a150791038</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; a150791038]]></copyright><item><title><![CDATA[Linux服务器，sz命令卡住情况介绍及解决方式]]></title><link>https://blog.youkuaiyun.com/a150791038/article/details/155854704</link><guid>https://blog.youkuaiyun.com/a150791038/article/details/155854704</guid><author>a150791038</author><pubDate>Fri, 12 Dec 2025 14:19:51 +0800</pubDate><description><![CDATA[开发使用tar zcvf 1.tar.gz3 1.log 2.log生成压缩包，由于压缩包使用非标准压缩方式命令，sz传输时，会当成普通文本传输，并且可能再次压缩或者识别错误，导致传输失败。因为在ubuntu系统sz是正常的，她的版本是0.12.21rc；于是打算手动编译安装。编译安装完成后，问题也解决了。通过对比发现，发现存在文件大小区别。那就可能是版本BUG或者shell客户端的问题。安装完成后，可以使用rz上传文件，sz下载文件。偶然开发跟我说sz命令卡住，没法下载文件，于是协助处理一下。]]></description><category></category></item><item><title><![CDATA[windows开机，欢迎界面卡顿]]></title><link>https://blog.youkuaiyun.com/a150791038/article/details/149671416</link><guid>https://blog.youkuaiyun.com/a150791038/article/details/149671416</guid><author>a150791038</author><pubDate>Sat, 26 Jul 2025 20:29:01 +0800</pubDate><description><![CDATA[回忆问题发现前后，仅系统补丁有自动更新，并且未安装其他软件，所有系统升级一下，有23H2升级24H2。最近突然发现电脑开机有点异常，每次开机时间变长，而且在欢迎界面，需要卡顿30s到1分钟左右。完成后，重新启动，发现直接进入window界面，不卡顿了，目前可能就是系统问题了。更新预计时间半小时左右，更新完成后，重新启动，电脑也恢复了正常。点击右侧【筛选当前日志】→ 选择【关键】【错误】【警告】填写确认后，找到Windows更新，重新更新下即可。发现系统问题后，检查开机日志，仅发现。Windows 更新。]]></description><category></category></item><item><title><![CDATA[Github CICD自动化流程]]></title><link>https://blog.youkuaiyun.com/a150791038/article/details/148344817</link><guid>https://blog.youkuaiyun.com/a150791038/article/details/148344817</guid><author>a150791038</author><pubDate>Fri, 30 May 2025 21:41:24 +0800</pubDate><description><![CDATA[如果熟练使用pipeline流水线，则新建pipeline，该方式所有流程（包括CICD）通过pipeline完成，同时各个节点消耗时间都可以展示。方式一：通过github action自动同步到gitlab，也可以直接实现CICD，前提是会自己写钩子。备注：如需gitlab同步到GitHub，可以在gitlab设置镜像到github（不建议）。方式二：在部署脚本，定时获取GitHub数据，并同步到gitlab上面，该文使用该方式。通过执行shell完成，如打包，传送，替换，重启动作。]]></description><category></category></item><item><title><![CDATA[Redmine安装部署]]></title><link>https://blog.youkuaiyun.com/a150791038/article/details/147583367</link><guid>https://blog.youkuaiyun.com/a150791038/article/details/147583367</guid><author>a150791038</author><pubDate>Mon, 28 Apr 2025 14:32:23 +0800</pubDate><description><![CDATA[bundle exec rake redmine:plugins NAME=<插件名称> RAILS_ENV=production。#将插件解压到 #{redmine_dir}/plugins。10、加载 Redmine 的默认数据到数据库中。默认访问页面：http://<ip>:3001/14、插件安装（非必须，每次新增重复一次即可）默认账号密码：admin/admin。7、安装rails、bundler。1、redmine安装包下载。12、redmine启动。添加gem "puma"]]></description><category></category></item><item><title><![CDATA[grafana8升级grafana10]]></title><link>https://blog.youkuaiyun.com/a150791038/article/details/137512536</link><guid>https://blog.youkuaiyun.com/a150791038/article/details/137512536</guid><author>a150791038</author><pubDate>Mon, 08 Apr 2024 20:15:00 +0800</pubDate><description><![CDATA[注意：旧版table方式和graph方式已经被弃用（还有其他方式也弃用了，但是未测试），更新后可以正常展示，但是不可编辑，编辑需要换成新的方式再进行编辑。适用于grafana存在漏洞需要升级，或者需要新版本功能。4、更改页面为中文显示（新版本功能）#重启命令，后面跟的参数可能不一致。#复制数据文件，如仪表盘等数据。#赋权，与进程启动用户一致。2、解压，并且替换文件。3、重启即可登录页面。]]></description><category></category></item><item><title><![CDATA[logstash ruby配置unicode转中文失败问题]]></title><link>https://blog.youkuaiyun.com/a150791038/article/details/136631272</link><guid>https://blog.youkuaiyun.com/a150791038/article/details/136631272</guid><author>a150791038</author><pubDate>Mon, 11 Mar 2024 18:16:51 +0800</pubDate><description><![CDATA[在logstash7版本中，ruby Unicode转中文需要设置优先级排序，当其中一个出现空值时，后续字段将不再转码。日志是通过logstash解析，自从升级到logstash7版本以后，经常发现Unicode转码失效，只有部分日志转码成功。配置了mail_subject、threat_subtype、mail_attachment_name、action四个字段进行转码。经过调整threat_subtype字段位置后（挪到最后一行），发现转码正常，至此问题已经解决。启动，并在console粘贴日志。]]></description><category></category></item><item><title><![CDATA[flume转发数据到kafka 时，只写入相同的partition]]></title><link>https://blog.youkuaiyun.com/a150791038/article/details/136183862</link><guid>https://blog.youkuaiyun.com/a150791038/article/details/136183862</guid><author>a150791038</author><pubDate>Tue, 20 Feb 2024 10:20:10 +0800</pubDate><description><![CDATA[flume官方说明kafka前端使用flume采集数据，Kafka Sink 使用 FlumeEvent 标头中的主题和键属性将事件发送到 Kafka。如果标头中存在主题，则事件将发送到该特定主题，从而覆盖为接收器配置的主题。在客户环境发现一个奇怪的问题，就是服务器日志量不是很大，但是数据积压，消费能力也不行。添加拦截器：（不建议私自添加，可能影响性能或者丢数据，所以放截图，仅供参考）偶然消费kafka read，即查看入口数据积压时，发现了异常。通过排查磁盘IO，服务器使用率，组件日志，均未发现异常。]]></description><category></category></item><item><title><![CDATA[flume简易高可用（组件高可用）]]></title><link>https://blog.youkuaiyun.com/a150791038/article/details/136183518</link><guid>https://blog.youkuaiyun.com/a150791038/article/details/136183518</guid><author>a150791038</author><pubDate>Tue, 20 Feb 2024 10:11:41 +0800</pubDate><description><![CDATA[关闭任意一个flume进程，再打一条数据，kafka只消费到1条数据，重复多次，都只消费到1条数据，说明实现数据高可用。场景：flume更新需要重启（一般重启阶段可能丢失数据，如果做个简易集群，可以避免该问题）直接打一条数据，kafka只消费到1条数据，说明数据未重复消费。适用于单机环境，或者flume非跨服务器高可用架构。随意打数据，均未丢失或者重复消费数据。两个配置文件启动后，开启测试。flume.conf配置。flume01.conf配置。注意修改启动脚本的端口。]]></description><category></category></item><item><title><![CDATA[文件打开数设置]]></title><link>https://blog.youkuaiyun.com/a150791038/article/details/131378777</link><guid>https://blog.youkuaiyun.com/a150791038/article/details/131378777</guid><author>a150791038</author><pubDate>Sun, 25 Jun 2023 15:24:48 +0800</pubDate><description><![CDATA[注意：查询时，需要切换到对应的用户；lsof |wc -l 统计为线程数；lsof -p  xxxx |wc -l 统计为指定进程的线程数。修改 /etc/security/limits.conf文件，将。目前多个项目因为文件打开数问题，导致各种情况发生。注意：查询时，需要切换到对应的用户。2、当前设置文件打开数查看。1、当前文件打开数查看。3、配置文件内容查看。]]></description><category></category></item><item><title><![CDATA[Elastic agent集群部署及注意事项]]></title><link>https://blog.youkuaiyun.com/a150791038/article/details/128533290</link><guid>https://blog.youkuaiyun.com/a150791038/article/details/128533290</guid><author>a150791038</author><pubDate>Tue, 03 Jan 2023 15:10:40 +0800</pubDate><description><![CDATA[测试部署elastic agent，验证数据采集（filebeat和系统指标）是否可行]]></description><category></category></item><item><title><![CDATA[Grafana8 Table类型仪表盘配置]]></title><link>https://blog.youkuaiyun.com/a150791038/article/details/127447528</link><guid>https://blog.youkuaiyun.com/a150791038/article/details/127447528</guid><author>a150791038</author><pubDate>Fri, 21 Oct 2022 15:39:23 +0800</pubDate><description><![CDATA[1改成up，并以绿色为底色：Overrides->Add field override->Fields with name->Value->Add override property->(Value mapings > Value mapings)->Add value mappings，按照如下配置即可变成up；直接在拖动表格即可，在Override会自动生成配置条件，注意：同样的值拖动多次会产生多次配置，仅保留最后一个即可。9.多Metrics值展示。Grafana 版本8.4.5及配套组件。]]></description><category></category></item><item><title><![CDATA[数据库审计：DDL与DML]]></title><link>https://blog.youkuaiyun.com/a150791038/article/details/126646962</link><guid>https://blog.youkuaiyun.com/a150791038/article/details/126646962</guid><author>a150791038</author><pubDate>Thu, 01 Sep 2022 17:01:07 +0800</pubDate><description><![CDATA[DDL（数据定义语言）：主要指对数据库或者表进行管理或者权限类的操作，如create、alter、drop、grant、comment、truncate。DML（数据操纵语言）：主要是对数据库内的数据进行操作，如update、delete、select、insert。数据库审计，就是实时记录数据库操作行为，对数据库操作进行监控与审计，以达到安全防护的效果。删操作（删除数据，非表或者库）...]]></description><category></category></item><item><title><![CDATA[logstash 中文字段乱码问题]]></title><link>https://blog.youkuaiyun.com/a150791038/article/details/124377127</link><guid>https://blog.youkuaiyun.com/a150791038/article/details/124377127</guid><author>a150791038</author><pubDate>Sun, 24 Apr 2022 10:39:54 +0800</pubDate><description><![CDATA[logstash 中文字段乱码问题

一、出现问题环境

最近接入深信服防火墙日志，该日志字段大多为中文字段。样本如下：

&lt;134&gt;Dec 13 16:39:45 localhost fwlog: 日志类型:系统操作, 用户:admin(local), IP地址:172.18.11.100, 操作对象:用户注销, 操作类型:注销, 描述:admin(local) 172.18.11.100 注销成功

经测试grok日志正常解析。

用kv或者json格式解析，中文字段名出现乱码。




.]]></description><category></category></item><item><title><![CDATA[graylog平台日志gelf output测试]]></title><link>https://blog.youkuaiyun.com/a150791038/article/details/124346888</link><guid>https://blog.youkuaiyun.com/a150791038/article/details/124346888</guid><author>a150791038</author><pubDate>Fri, 22 Apr 2022 15:31:29 +0800</pubDate><description><![CDATA[一、采集环境

 客户环境版本为graylog3.3.8版本，所以测试环境也为部署为graylog3.3.8

 部署环境：centos7.6

 JDK：1.8

 MongoDB：4.x

 Elasticsearch：6.x

二、测试架构





三、部署graylog3.3.8

3.1安装jdk

yum install java-1.8.0-openjdk-headless.x86_64 -y

3.2安装pwgen



yum install epel-releas...]]></description><category></category></item><item><title><![CDATA[flume采集sqlserver测试]]></title><link>https://blog.youkuaiyun.com/a150791038/article/details/124128799</link><guid>https://blog.youkuaiyun.com/a150791038/article/details/124128799</guid><author>a150791038</author><pubDate>Wed, 13 Apr 2022 00:00:00 +0800</pubDate><description><![CDATA[一、背景

  由于客户数据库迁移，更改flume配置后，数据采集重复，故测试环境进行验证

二、准备

  sqlserver：由于公司没有环境，选择linux服务器安装docker，然后docker sqlserver

  其他环境：可正常运行的accur平台即可

三、测试准备

  3.1 sqlserver

     通过数据库连接工具连接上去，新建数据库，里面插入4条数据

  3.2 flume

    采集配置文件如下：


agent....]]></description><category></category></item><item><title><![CDATA[Linux shell/expect交互式脚本编写]]></title><link>https://blog.youkuaiyun.com/a150791038/article/details/124126995</link><guid>https://blog.youkuaiyun.com/a150791038/article/details/124126995</guid><author>a150791038</author><pubDate>Tue, 12 Apr 2022 16:19:56 +0800</pubDate><description><![CDATA[交互式脚本主要用于脚本封禁。如soar剧本里面的防火墙联动封禁。

该文档脚本基于expect编写，expect安装支持yum和源码编译。

expect交互式脚本示例：

expect脚本


#!/usr/local/bin/expect
set timeout 30
set host "172.16.1.58"
set username "root"
set password "123456"

spawn ssh $username@$host

expect "*yes*" {send "yes.]]></description><category></category></item><item><title><![CDATA[flume采集mysql数据库增量数据说明]]></title><link>https://blog.youkuaiyun.com/a150791038/article/details/124040349</link><guid>https://blog.youkuaiyun.com/a150791038/article/details/124040349</guid><author>a150791038</author><pubDate>Fri, 08 Apr 2022 14:23:14 +0800</pubDate><description><![CDATA[flume依赖包
1、https://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.48.tar.gz

2、flume-ng-sql-source-1.5.3.jar

flume配置文件
	
agent.sources = sqlSource
agent.sinks = k1
agent.channels = c1

agent.sources.sqlSource.start_time =17:00:00
agent.s]]></description><category></category></item><item><title><![CDATA[Logstash_snmp与Logstash_snmptrap日志采集配置说明]]></title><link>https://blog.youkuaiyun.com/a150791038/article/details/124015132</link><guid>https://blog.youkuaiyun.com/a150791038/article/details/124015132</guid><author>a150791038</author><pubDate>Thu, 07 Apr 2022 14:13:21 +0800</pubDate><description><![CDATA[区别
Logstash_input_snmp：主动采集方式。需要提供团体名、oid、主机名及端口，主动采集数据

Logstash_input_snmptrap：被动采集方式，安全设备通过snmp发送日志过来，被动采集



关键字
团体名（communitystring）：对于客户端相当于密码，默认为public，需要自行需改。

OID(对象标识符），是SNMP代理提供的具有唯一标识的键值

MIB（管理信息基）：提供数字化OID到可读文本的映射



版本选择
snmp版本：5.7.2（centos.]]></description><category></category></item><item><title><![CDATA[logstash 嵌套json/多层json解析配置]]></title><link>https://blog.youkuaiyun.com/a150791038/article/details/123989890</link><guid>https://blog.youkuaiyun.com/a150791038/article/details/123989890</guid><author>a150791038</author><pubDate>Wed, 06 Apr 2022 14:57:26 +0800</pubDate><description><![CDATA[最近解析日志时，发现日志最多有六层嵌套json，且每层json的位置也经常变换，导致正则解析经常失效，并且最终解析文件过于庞大；

最终改成json方式解析日志。

日志样例：

&lt;150&gt;Mar 10 13:22:57 localhost sdp-proxy@userLog[486]: {"event":{"subType":"user.l3app.access","mainType":"app","timestamp":"2022-03-10 13:22:57","level":"INFO"]]></description><category></category></item></channel></rss>