- 博客(80)
- 收藏
- 关注
RSS订阅原创 【Redis】Redis修改连接数参数
Redis数据库连接数上限，需要修改配置文件里maxclients参数，修改后需重启数据库。不推荐：只适用于集群已无法使用，或修改的配置项无法动态调整的情况。#连接到redis数据库之后执行shutdown命令。先重启从库再重启主库，先关闭再开启。推荐方式，对集群和业务影响最小。
2025-01-26 11:36:33
592
原创 ambari-server页面错位问题解决
修改ambari-server的前端文件：/usr/lib/ambari-server/web/javascripts/app.js。项目新安装的ambari集群页面错位如下。替换后刷新即可恢复。
2024-12-11 11:34:41
366
3
原创 Nginx处理带有分号“；“的路径
安全渗透测试发现springboot 未授权访问的actuator和Swagger-ui 信息泄露的漏洞，需要规避。解决方案中较简单的就是通过Nginx将相关的接口转发到403页面。在配置的过程当中，遇到了带有…的路径：http://{ip:port}/{path}/…/actuator/，此类路径由于带有分号，不好处理。即可完成页面无法访问的配置；
2024-09-20 18:44:22
388
原创 防火墙增加规则与保存
需要注意，INPUT的Chain中，已有1条DROP，过滤执行到drop后就会中断，剩余语句不再过滤。所以需要保证drop行在Chain的最后一行。
2024-06-20 09:13:15
483
原创 查询数据库每张表的记录数和数据大小的方法（不含索引）
哈哈哈，看完自己写的脚本，想哭的心都有，脚本搞完，还要用文本处理器处理一下，才能用。会python的可以直接写进excel表里面，比shell省事儿。把里面的Your_db_name 改成自己的数据库名称即可。sql的方法是别的大神写的，我反正是写不出来。
2024-06-07 21:23:09
307
原创 通过date命令给日志文件添加日期
服务的日志没有使用日志工具，每次重启后生成新日志文件名称相同，新日志将会把旧日志文件冲掉，旧日志无法保留。4、%F-%T等价于%Y-%m-%d-%H:%M:%S，%F和%T之间的符号可以根据实际情况做变更。在启动时，将文件打印到日志文件中，文件名称用date添加日期来保证每个日志文件名称不同。为避免因旧日志丢失导致无法定位问题，所以需要保证每次生成的日志文件名称不同。1、命令中，使用>>和>都可以；2、%F等价于 %Y-%m-%d。3、%T等价于%H:%M:%S。
2024-05-28 19:48:10
530
原创 kubenetes集群 Master证书更新
k8s集群采用3master架构，上层haproxy+vip做负载均衡，以下脚本需人工参与（也可提前检查，无需人工参与），并且，需在每个master节点上都执行（或者自己用except做远程执行脚本，或借助ansible远程执行）。脚本执行完，需人工查看证书状态及apiserver、controller manager、schedule无异常，确保更新无误。
2024-01-05 16:10:48
605
原创 Account locked due to X failed logins
业务管理平台上，配置了密码访问方式，修改机器密码后，没有修改此配置，平台频繁使用错误密码访问机器导致了此问题。加 -r 代表reset重置归零访问错误次数。机器到期改密码后，业务报错，服务无法启动。发现失败次数已经26000+次。业务监控页面显示服务未启动。
2023-04-24 17:51:45
5023
原创 清理mysql中的binlog
有台机器的磁盘容量2T，数据只有不到200G，但是磁盘缺出现不足的告警。2、在保留7天binlog的基础上，扩容1T磁盘，规避磁盘满故障风险。binlog日志过大，不过由于业务量多，属于正常现象。查看3天前的日志是哪个，将此文件以前的日志，都删掉。告警平台发出告警，数据磁盘使用量达到阈值。发现保留7天，仍然占用1.7T的日志。或者可以直接指定时间进行删除。1、删掉binlog日志。经判断，主从同步正常。
2023-04-10 19:18:07
1171
原创 hive Error SemanticException Unable to fetch table
而同库内其他表，其他库的表，均可以正常查询。hive的mysql元数据表内存在脏数据导致。问题发生的原因还没找到。
2023-04-10 18:43:20
1319
原创 Yarn pengding任务的原因之一：Reserved
这两个任务需要的资源非常大，由于map和reduce的内存设置是0（cdh默认根据container所需内存量自动分配内存大小），所以在map和reduce每个container所需内存较大（本案例是卡在map阶段），并且由于container数量多，每个节点上都有这样的container。然后需要根据受限资源和任务、数据量来评估大数据集群各参数的配置，做到最优配置，以及可以将任务在时间维度上分散，避免高峰压力，通过种种手段，避免资源不足带来的风险。资源扩容的原因，其实就是没有做好资源规划。
2022-11-15 17:44:40
1609
原创 linux shell 日志处理保留N天日志
背景非业务必须日志每日新增一个，大小约60G，解决这个问题需要做两点：1、短期方案：解决每日新增造成磁盘爆满的风险2、根治方案：业务代码层面判断是否需要这些日志，如果不需要则代码不再生成即可；如果需要则通过分布式大容量组件存储（hdfs、kafka等）。本方案解决短期方案解决1、写日志清理脚本通过shell脚本+crontab定时执行删除日志文件的逻辑。脚本名称：rizhiqingli.sh脚本位置：/export/scripts#!/bin/env bashBAOLIUWENJIAN
2022-04-26 15:49:20
2279
原创 Django项目引用settings文件中的变量
背景python 3.7.6django 2.2现象在项目的settings中，定义了一个变量，需要在代码中引用，如何做？# promethus地址PROMETHUS_PATH = "http://ip:9090"解决在代码中引用setttings中变量的方式：import osfrom django.conf import settingsos.environ.setdefault("DJANGO_SETTINGS_MODULE", "你的project.settings")
2022-04-24 16:09:19
2735
原创 Python中KeyError: 的解决方法
https://blog.youkuaiyun.com/weixin_55267022/article/details/123061965背景python 3.7.6django 2.2现象执行代码报错： if rule['duration']:KeyError: 'duration'原因rule是字典类型，此字典中没有：return {"code": 3466, "message": e}解决返回语句修改为：return Response({"code": 3466, "messa
2022-04-24 15:34:07
13363
原创 TypeError: can only concatenate str (not “dict“) to str
背景python 3.7.6django 2.2现象执行run后通过postman调用接口报错：TypeError: can only concatenate str (not "dict") to str原因代码里获取url返回的json，其实是字典类型，但是我直接跟字符串用加号拼接： …… groupsList = promethusRulesContent['data']['groups'] for group in groupsList: loggi
2022-04-21 21:21:43
7907
原创 AssertionError: Expected a `Response`, `HttpResponse` or `HttpStreamingResponse` to be returned from
背景python 3.7.6django 2.2现象执行run后通过postman调用接口报错：AssertionError: Expected a `Response`, `HttpResponse` or `HttpStreamingResponse` to be returned from the view, but received a `<class 'dict'>`原因views.py里return需要是Response或者他的父类，由于疏忽（菜鸡），直接返回了字典：
2022-04-21 21:14:18
2737
原创 AttributeError: ‘str‘ object has no attribute ‘decode‘
背景python 3.7.6django 2.2现象执行python manage.py makemigrations时报错： File "E:\software\Python3-64bit\lib\site-packages\django\db\backends\mysql\operations.py", line 146, in last_executed_query query = query.decode(errors='replace')AttributeError: 's
2022-04-19 22:14:49
1182
原创 django.db.migrations.exceptions.NodeNotFoundError: Migration targets.0003_monitortype dependenc
背景python 3.7.6django 2.2现象执行python manage.py makemigrations时报错：django.db.migrations.exceptions.NodeNotFoundError: Migration targets.**** dependencies reference nonexistent parent node ('targets', '***')原因各应用的migrations目录内的数据文件干扰解决方式将其删除，重新执行pyth
2022-04-19 22:11:19
2363
原创 RuntimeError: populate() isn‘t reentrant
背景环境：使用django 2.2 和python 3.7.6报错信息执行：python manage.py 时，报错RuntimeError: populate() isn’t reentrant原因分析1、改错了settings文件由于是接手别人的代码，对配置文件用哪个没有搞清楚。项目目录下有一个settings.py，还有一个目录settings，下面有dev.py test.py和prod.py，我以为是用的目录内的配置，就改了dev.py，其实使用的是项目目录内的settings.py
2022-04-19 22:01:02
4240
原创 fatal: Authentication failed for解决方法
背景在执行git pull origin master的时候报错：fatal: Authentication failed for 'https://gitxxx.com/xxx.git'解决办法：git config --system --unset credential.helper之后你在pull或push就会提示输入名称和密码免输入用户密码方法：git config --global credential.helper store此时，会在你本地生成一个文本，用于记录你的账号和
2022-04-19 14:58:20
4260
转载 /usr/bin/ld: cannot find -latomic
编译redis 5.0.9时遇到报错：/usr/bin/ld: cannot find -latomiclatomic代表的是 libatomic.so，也即是在编译的过程中，需要libatomic.so库，而系统又找不到这个库；解决方法是手动找到这个库，可能存在如下几种情况：1、系统中没有安装依赖库libatomic.so2、系统可能已经存在libatomic.so，但是不在默认查找路径(/usr/lib之类的路径)，而是在其他路径中。3、系统中没有libatomic.so这个库，但是找到类似
2021-08-26 11:44:59
8682
原创 git 拉取远程代码
参考：https://www.cnblogs.com/jiafeimao-dabai/p/9957532.html1、在本地创建代码目录本地创建目录，如：myproject2、初始化本地仓库在1中创建的目录下执行：git init 执行完成后，会在当前目录内生成.git目录，目录内缓存本地仓库信息3、添加项目信息到本地缓冲区这一步会将远程的仓库信息写入本地仓库.git/config文件中的：[remote “origin”]里面git remote add origin https://
2021-06-08 16:21:42
4340
1
翻译 Apache HBase™参考指南 - 官方翻译 —— Thrift API and Filter Language
Thrift API and Filter Language
2021-05-31 09:56:09
97
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人