- 博客(51)
- 收藏
- 关注
RSS订阅
原创 storm统计服务开启zookeeper、kafka 、Storm（sasl认证）
启动拓扑图时需要指定stormStatics.jar 包，如果使用新storm安装包没有，请自行找测试部要stormStatics.jar包。zookeeper设置用户密码，并设置连接zookeeper白名单。单独配置zookeeper 支持acl 设置用户和密码，在storm不修改代码情况下和kafka支持。当前版本不支持连接kafka支持 ACL， 需要修改storm jar包，待研发布支持版本。当kafka 开启ACL时，storm 和ccod模块不清楚配置用户和密码。
2024-01-18 11:40:17
1301
原创 Linux流量分析工具
专门用于显示网络接口的带宽使用情况，可以查看每个连接的实时带宽使用情况，并支持按端口或主机过滤流量。实时查看每个进程的网络使用情况，能快速识别哪些进程占用了大量带宽。: 切换 DNS 解析状态（显示 IP 地址或主机名）。: 切换端口号解析状态（显示端口号或服务名）。: 切换端口解析状态（显示端口号或服务名）。: 切换显示模式（两行、一行或多行显示）。Linux常用网络流量分析工具详解。tcpdump命令使用说明。nethogs命令使用说明。iftop命令使用说明。: 切换显示目标端口。
2025-03-07 16:54:35
429
原创 mongodb清理删除历史数据
之前临时写shell脚本，太简陋，重新使用Python进行改造，新增备份功能，和配置文件删除指定字段和时间范围内数据。目前项目组上很多平台上线历史数据积压，导致入库查询数据缓慢，历史数据有些已经归档，进行历史数据清理删除。支持删除指定时间前，进行数据备份在删除，根据不同配置项进行配置；同理可支持不进行备份，也可以清理删除，根据不同配置项进行配置；批量清理mongodb历史数据。该配置项大概使用说明。根据字段来查询过滤。
2025-01-07 10:01:06
727
原创 Mongodb入门到放弃
MongoDB允许DBA们通过标签标记分片的方式直接平衡数据分布策略，DBA可以创建标签并且将它们与shard key值的范围进行关联，然后分配这些标签到各个分片上，最终平衡器转移带有标签标记的数据到对应的分片上，确保集群总是按标签描述的那样进行数据分布。标签是控制平衡器行为及集群中块分布的主要方法。
2024-11-27 13:39:31
1025
原创 vsftp被动模式nginx代理
vsftp被动模式nginx代理。vsftp配置,添加如下配置项。在创建一个ftp用户即可。nginx代理配置项。
2024-09-24 15:44:58
480
原创 从kafka和zookeeper中获取生产和消费偏移量
该命令是使用python进行编译，需要使用centos7系统上进行使用。从kafka和zookeeper中获取生产和消费偏移量。
2024-09-23 17:14:53
506
原创 Nginx代理路径被吃
通过下面抓包可以看出实际请求到后端http://127.0.0.1/Deploymentpackage/Python/SelectDocker 已没有LinuxPackage。日常工作中经常使用nginx反向代理一些资源，有时正常代理，发现代理不过去。再次通过浏览器，也就能正常访问下载了。验证被吃调location情况。Nginx代理路径被吃的情况。
2024-07-31 10:24:07
671
2
原创 Hadoop和Flink漏洞修复
CVE-2021-33036: Hadoop YARN REST API 未授权访问导致远程代码执行漏洞。Apache Flink任意 Jar 包上传导致远程代码执行漏洞。Cluster Overview 未授权访问漏洞。下载jersey-server-1.19.jar。Apache Flink未授权访问漏洞。Hadoop 未授权访问漏洞。Hadoop漏洞修复。重启Hadoop集群。
2024-06-27 12:31:31
903
原创 IT人周末兼职跑外面三个月心得分享
- 每一次的接单，每一段路程，都让我深刻体会到了跑外面的辛苦和不易。我遇到过距离超远，且还单飞的情况，也经历过恶劣的天气（雨天基本上爆单），但这些经历让我更加珍惜自己的生活，也更加明白努力工作的重要性。- 在兼职的过程中，我遇到了形形色色的人。有时候会遇到超远的地方，有时候会在暴雨天中奔波。但正是这些经历，让我更加珍惜自己的生活，也更加明白努力工作的重要性。- 虽然这份兼职工作很辛苦，但我也从中获得了成长和收获。我学会了如何与人沟通、如何处理突发情况、如何合理安排时间等等。这些经验和技能对我今后的生活和工作
2024-06-20 20:42:35
240
原创 行方版部署Keepalived
使用平滑切换，检查脚本进程进程是否存在，则对应return返回1或者0，1时，则keepalived为主节点是降级，切换vip地址，不停keepalived服务。to_master.sh切换主节点，有服务，需要重启，才能监听vip地址。备1服务器Keepalived配置文件。备2服务器Keepalived配置文件。行方版Keepalived。chk.sh检测脚本。
2024-06-20 20:08:34
238
原创 Postgres基础篇
对于Plain方式，备份出来是一个SQL文件，不能使用还原工具（pg_restore）进行恢复，但是可以用psql命令进行。表：对于表，使用 --table 参数即是备份指定表，例如：--table "public.tab" ，public为模式名，tab为表名。模式：对于模式，使用 --schema 参数即是备份指定模式，例如：--schema "public"数据库：对于数据库，不加 --table 或 --schema 参数，即是备份整个数据库。PostgreSQL基本设置。备份/还原、导出/导入。
2024-04-29 17:39:08
505
3
原创 Flink命令行启动Job任务
Flink非交互式运行Job任务。Flink命令行启动Job任务。Flink查看当前运行Job。Flink查看当前运行Job。
2024-04-11 14:51:05
862
原创 MYSQL 5.7重置root密码
现在已经成功重置了MySQL 5.7的root密码,能正常登录mysql了。启动MySQL服务并跳过授权表。以root用户登录MySQL。重新启动MySQL服务。停止MySQL服务。停止MySQL服务。选择mysql数据库。Mysql 5.7重置root密码。
2024-04-08 13:42:55
1030
2
原创 兼职之外卖记（3）
这周挑战了一次接了4单的派送任务，4单一共30-40分钟，避免超时罚款，真的是速度与激情了，安全最重要，在怎么着急也不要抢红灯、不要逆行。加油了105的有钱，共跑了131单，总里程跑了242公里，来回应该超过了300公里了，总兼职收入697.5，去掉油钱也就最终到手五百多点。上内容是AI回答的。其中的锻炼身体、社交机会、工作压力说的没毛病。
2024-03-18 15:09:41
566
原创 nginx 报Too many open files
看nginx主进程是2023年启动时间，可能是在启动nginx时，当时文件打开数为进行配置时，未重启nginx主进程，才导致最近业务量增加，经常出现无法创建打开文件数情况。最后看了下进程的limit限制，发现nginx主进程软限制是1024，硬限制是4096。配置文件调整最大连接65535了，reload 重新加载nginx后不报错了。最后等晚上重启nginx主进程，待记录观察。这就奇怪了，配置都已经修改了，为什么还会报。以为没问题了， 结果今天又报错。上周时，nginx已经报。
2024-03-18 14:17:23
957
原创 运维打工人，兼职跑外卖的第二个周末
最后骑到维修店，又换了电瓶，一共250元，朋友说不吉利，最后给248，又是血亏的一天。在公司上班，一坐就是一天，运动也少了，再加上前几年，新平台上线不稳定，经常性加班升级变更，慢慢的，体重就直线飙升。把我车上的电瓶替换上，打火还是不行，都是小白，不懂，赶紧在高德地图上面导航去最近的修车店，本来计划叫一个货拉拉了。计划先跑一个月周末，看具体是否能减点下来，对不想跑步的人来说，这也是好办法，钱也挣了，体重也下来了。今天和朋友一起跑外卖，下午时，结果车坏了，我还在配送中，火急火燎赶紧送，去救援。
2024-03-09 22:48:50
419
原创 运维打工人，周末兼职送外卖的一天
它教会了我坚持与责任，让我在忙碌中找到了属于自己的节奏，在逆风中学会了更加珍惜每一次到达。，没办法赶紧问下旁边的老手骑手，也就顺利找到了，便利店，进门问老板，美团104号好了嘛？然后在导航去收获目的地，找到C栋，找到107门牌号，紧接敲门，说您好，美团外卖到了，并顺利的送达，然后点击已送达，第一单顺利完成，4.8元顺利到手。，送给一个顾客时，手机导航提示目的地，结果一看，周围都拆了。最后实际周六跑了4个小时，周天跑了7个小时，一共跑了71公里，合计收获了137.80，已提现到账。
2024-03-05 14:05:53
563
原创 python实时自动获取基金数据发送钉钉
写这个脚本主要原因是在平时的工作当中,需要处理工作问题很忙时,没时间看基金情况,通过设置涨幅度值,从而快速确认是否需要卖出或者买入基金。需要安装dingtalkchatbot、requests 使用pip安装即可。在写个定时任务周一到周五14:30执行一次。需要钉钉群组种创建机器人用于发送信息。
2024-01-18 16:33:22
866
转载 GitHub（修改host）加速访问
然后再把host文件内容添加到windos或者Linux host文件。然后就可通过windos或者linux 进行下载自己想要的文档。对 GitHub 访问太难了：访问慢、图片加载不出来。GitHub（修改host）加速访问。代码运行获取host文件。
2024-01-17 11:02:03
275
原创 Nginx进阶篇之端口转发
配置stream 需要在nginx的http和events区域块之间配置即可。需要nginx编译时，支持加载stream模块。nginx透传udp、tcp端口。
2024-01-17 09:49:17
1549
1
原创 Python 一行命令部署http、ftp服务
这个比nginx相对来说更加简单，可以用于部署特殊场景时如银行等部署时，各种权限控制，内网之间可以分发部署包。使用10001端口，指定/tmp为存储目录，使用用户名admin，密码Python@123。服务器来临时实现文件上传下载时，利用。Python 一行命令部署http服务。如果Python版本为2.x，输入命令。如果Python版本为3.x，输入命令。Python 一行命令部署FTP服务。首先进入需要访问下载对应目录。pyftpdlib 帮助信息。模块可以快速的实现一个。pyftpdlib安装。
2024-01-16 17:25:14
759
原创 ssl证书到期时间检查
目前该脚本只是发送rsyslog日志，可以自行在修改结合zabbix或者自行发送到钉钉或者微信告警。检查ssl证书到期时间。
2024-01-15 15:30:00
534
原创 Nginx日志分割（默认不分割）
nginx日志默认不分割导致，单个日志文件，造成大文件，影响nginx程序运行。观察日志文件是否分割正常。修改nginx日志路径。
2024-01-15 15:07:53
485
原创 nfs挂载点异常导致df命令卡死
记载的是现在系统已经装载的文件系统，包括操作系统建立的虚拟文件等；而/etc/fstab是系统准备装载的。直接使用mount和确定就是通过查询它而来的。nfs挂载点异常宕机df命令卡死。处理方法,注释掉该nfs，然后。文件进行处理，该文件说明。
2024-01-14 09:21:19
702
原创 redis哨兵手动切换主节点
此时再执行info Replication命令，发现主从一切换完毕。登录192.168.1.12（new master），手动进行master-slave切换。
2024-01-13 10:22:13
944
原创 改善python程序的91建议记录(学习记录)
S1+S2+S3+.......+SN，执行一次+操作便会在内存中申请一块新的内存空间，并将上一次操作的结果和本次操作的右操作数复制到新申请的内存空间，即当执行S1+S2的时候会申请一块内存，并将S1、S2复制到该内存中，依次类推,字符串的连接，特别是大规模字符串的处理，应该尽量优先使用join而不是+。要解决上述问题需要用到深拷贝，深拷贝不仅拷贝引用也拷贝引用所指向的对象，因此深拷贝得到的对象和原对象是相互独立的。[]、()和{}：一致的容器初始化形式。用mixin模式让程序更加灵活。
2024-01-13 09:25:32
391
原创 生产级（keepalived）部署方案
keepalived 安装（依次在1921.68.127.5、1921.68.127.6）进行操作。停止nginx服务，keepalived检测停止keepalived进程。keepalived 安装（需要有yum源）生产级（keepalived）部署。keepalived配置文件。验证keepalived。vip是否漂移到B服务器。主配置文件(A服务器)主配置文件(B服务器)查看vip是否成功监听。检查脚本(A服务器)检查脚本(B服务器)
2024-01-12 17:56:47
567
原创 nginx优化
worker_processes nginx进程工作数。expire指令来控制页面缓存。nginx服务器内核优化。nginx配置文件优化。events 配置优化。http块配置优化说明。nginx 配置文件。nginx 配置文件。
2024-01-12 13:26:08
388
原创 nginx限流
Tengine完全兼容Nginx,是基于nginx-1.18版本基础之上进行开发。具体配置操作,根据平台属性来设置时间和限制流量。安装方法和参照之前nginx安装方法。安装 Tengine。
2024-01-12 10:59:11
1088
转载 mysql总结（转载）
Mysql总结连接与断开服务器数据库操作表的操作数据操作数据类型（列类型）选择类型建表规范SELECTUNION子查询INSERTTRUNCATE备份与还原视图事务(transaction)锁表触发器SQL编程。
2024-01-10 10:29:52
40
原创 部署storm统计服务开启zookeeper、kafka（ACL认证）
【代码】部署storm统计服务开启zookeeper、kafka（ACL认证）
2024-01-05 14:57:16
560
1
hadoop修复漏洞加固的jersey-server-1.19.jar
2024-06-27
redis 脚本 一键 部署 哨兵模式
2024-04-08
docker 二进制小工具
2024-01-13
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人