- 博客(31)
- 收藏
- 关注
RSS订阅原创 prometheus自动发现与zabbix批量添加节点
prometheus自动发现与zabbix批量添加节点一、prometheus自动发现基于consul实现1、consul单节点安装：docker run --name consul1 -d -p 8500:8500 -p 8300:8300 -p 8301:8301 -p 8302:8302 -p 8600:8600 consul:1.2.22、注册服务到consul，批量添加IP_LIST="xxx.xxx.xxx.xxx" for ip in ${IP_LIST}do ho
2021-09-28 17:08:41
881
原创 记录一次挖矿事件
事件参考网上文章解决：https://blog.youkuaiyun.com/mdzz14/article/details/111656726 某一天在测试环境使用dcoker的时候发现不能使用，起初怀疑是否由同事卸载，后续在使用curl命令的时候发现不能使用，怀疑服务器出现了别的异常并在crontab下发现了异常脚本newinit.sh的脚本，证实服务器中了挖矿病毒。原因：开发在测试环境搭建的redis，服务监听了公网端口未设置访问密码并且其进程启动时使用了root用户，攻击者可远程登录到Redis中，通过R.
2021-05-20 09:59:30
1947
1
原创 ES快照备份以及索引定时清除（python）
说明：提前创建好快照仓库，对前一天的数据做快照，并删除历史数据和过期的快照数据。es_snapshot.pyfrom elasticsearch import Elasticsearchimport reimport timeimport datetimeclass EsSnapshot(): def __init__(self,Es,Index): self.Es = Es self.Index = Index def Date(sou
2021-02-02 13:19:07
1175
原创 Keepalived+Mha半同步复制实现高可用
Mha+Keepalived高可用搭建MHA工作原理从宕机崩溃的Master保存二进制日志事件（binlog event）；识别含有最新更新的Slave；应用差异的中继日志（relay log）到其他Slave；应用从Master保存的二进制日志事件；提升一个Slave为新的Master；使其他的Slave连接新的Master进行复制；在MySQL故障切换过程中，MHA能做到在0~30秒之内自动完成数据库的故障切换操作，并且在进行故障切换的过程中，MHA能在最大程度上保证数据的一致性，以达
2021-01-29 19:02:32
508
原创 ansible-playbook安装xxl-job
简介：以层级结构组织Playbook的核心元素，成为roles。核心元素包括以下几点： Hosts：主机 Tasks：任务列表 Variables：变量 Templates：包含了模板语法的文本文件； Handlers：由特定条件触发的任务；在roles目录下，分别创建不同的
2020-12-30 16:18:39
323
原创 xxl-job定时任务平台【高可用模式搭建】
任务管理xxl-job【集群搭建】一、源码安装1、初始化数据库初始化脚本在上面源码目录的 /home/ops/xxl-job-2.2.0/doc/db/tables_xxl_job.sql ，将此脚本在MySQL数据库中执行一遍。行完毕，会在MySQL数据库中生成 16 张表：2、调度中心配置：调度中心项目：xxl-job-admin调度中心配置文件地址：/xxl-job/xxl-job-admin/src/main/resources/application.propertieshom
2020-12-01 20:39:56
2379
原创 es配合garafana监控（python）
es配合garafana监控$cat es_grafana_monitor.py #!/usr/bin/env pythonimport datetimeimport timeimport json# import urllib2import osimport sysimport refrom elasticsearch import helpersfrom elasticsearch import Elasticsearchinterval = int(os.environ.ge
2020-08-14 18:59:26
892
原创 ES监控告警通过钉钉接口（python）
读取数据的延迟监控import osimport timeimport jsondef mes(): message = os.popen('curl -s -u xxx:xxx -XGET "http://es-cn-9841n4lyn000a4eke.elasticsearch.aliyuncs.com:9200/xxxxxxxx-94/_stats"') m = message.read() message.close() messages = json.lo
2020-06-23 15:58:27
1115
原创 es数据跨集群的两种迁移方式
少量数据迁移使用elasticdump安装npm，然后安装elasticdumpnpm install elasticdump -g以下是分了三个步骤进行，第一条命令先将索引的settings先迁移，如果直接迁移mapping或者data将失去原有集群中索引的配置信息如分片数量和副本数量等，当然也可以直接在目标集群中将索引创建完毕后再同步mapping与data。# -*- coding:utf-8-*-from elasticsearch import Elasticsearchimpor
2020-05-11 16:19:31
3828
原创 haproxy+keepalived实现双主模式下的高可用正向代理
haproxy+keepalived实现双主模式下的高可用正向代理一、背景简介 为了解决本地集群不能直达数据接收端的现状。使用haproxy做四层代理，keealived解决代理端单点故障。 HAProxy简介：HAProxy是一款提供高可用性、负载均衡以及基于TCP（第四层）和HTTP（第七层）应用的代理软件，HAProxy是完全免费的、借助HAProxy可以快速并且可靠的提供基于TCP和HTTP应用的代理解决方案。 &
2020-05-11 16:18:33
834
原创 Elasticsearch冷热集群搭建
简介：热数据节点处理所有新输入的数据，并且存储速度也较快，以便确保快速地采集和检索数据。冷节点的存储密度则较大，如需在较长保留期限内保留日志数据，不失为一种具有成本效益的方法。搭建环境：es版本：7.6.1架构：3个master节点，6个热数据节点，8个温数据节点解压缩上传es文件ansible es -m unarchive -a “src=/data/install_tools/elasticsearch-7.6.1-linux-x86_64.tar.gz dest=/home/es cop
2020-05-11 10:42:15
1036
原创 部署kafka集群
zookeeper简介： ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是大数据生态中的重要组件。它是集群的管理者，监视着集群中各个节点的状态根据节点提交的反馈进行下一步合理操作。最终，将简单易用的接口和性能高效、功能稳定的系统提供给用户 Zookeeper工...
2020-05-07 17:11:46
324
原创 es集群升级
禁止分片PUT _cluster/settings{“persistent”: {“cluster.routing.allocation.enable”: “primaries”}}停止非必要索引并执行同步刷新POST _flush/synced开始升级各个节点关闭单个节点supervisorctl stop es(使用supervisor对进程做管理)执行升级脚本...
2020-05-07 16:19:07
707
原创 es手动均衡分片数和分片迁移
设置分片均衡数PUT _cluster/settings{“transient” : {“cluster” : {“routing” : {“allocation” : {“enable” : “all”,“total_shards_per_node” : “1100”}}}}}手动迁移分片POST _cluster/reroute’ -d ‘{“comman...
2020-05-07 11:34:40
1561
原创 es主分片和副本分片丢失
主分片丢失重新划分分片POST /_cluster/reroute{“commands” : [ {“allocate_empty_primary” : {“index” : “rt_2019-04-ext”,“shard” : 2, ////丢失的分片“node” : “es3”, ///重新恢复的分片的节点“accept_data_loss”:true}}]}...
2020-05-07 11:28:49
2061
2
原创 es索引副本丢失
修改number_of_replicasPUT http-2019.08.19/_settings{“index”:{“number_of_replicas”:0}}对段进行合并：POST http-2019.08.19/_forcemerge?max_num_segments=1恢复PUT http-2019.08.19/_settings{“index”:{...
2020-05-07 11:26:52
631
原创 es建立快照仓库和数据的备份还原
创建仓库PUT /_snapshot/ihe_backup{“type”: “hdfs”,“settings”: {“path”: “elasticsearch/repositories/ih”,“load_defaults”: “true”,“compress”: “true”,“uri”: “hdfs://192.1.25.167:8020/”,“conf.dfs.doma...
2020-05-07 11:23:46
1017
原创 es的查询操作
查询所有：GET /myindex/_search{ "query": { "match_all": {} }}查询执行字段GET /myindex/_search{ "query": { "match_all": {} }, "_source": ["name","ip","port"]}term查询，对字段和值的精确查询。terms同时查询多个值...
2020-05-07 11:20:12
1034
原创 logstash相关配置
简介：两个文件input部分是消费kafka的数据，filter部分用到json、grok、kv、geoip、mutate、elasticserach和jdbc，output都是输入到es。文件1#Sample Logstash configuration for creating a simple# Beats -> Logstash -> Elasticsearch pipe...
2020-05-07 10:26:14
350
原创 Linux下部署ansible简单介绍和playbook的使用
Linux下部署ansible简单介绍和playbook的使用 简介：Ansible 是一个配置管理和应用部署工具，功能类似于目前业界的配置管理工具 Chef,Puppet,Saltstack。Ansible 是通过 Python 语言开发。Ansible 平台由 Michael DeHaan 创建，他同时也是知名软件 Cobbler 与 Func 的作者。An...
2020-05-06 16:33:01
340
原创 linux内核参数优化建议
linux内核参数优化net.ipv4.tcp_synack_retries = 2 #当服务器接收到客户端发送的SYNC连接请求报文后，回应SYNC+ACK报文，并等待客户端的ACK确认，如果超时会进行重传，重传次数由下列参数设置，默认为5net.ipv4.tcp_syn_retries = 2 #客户端发起SYN...
2020-05-06 16:10:06
1327
原创 Mysql主从同步搭建
Mysql主从同步主从原理： 从库生成两个线程，一个I/O线程，一个SQL线程； i/o线程去请求主库 的binlog，并将得到的binlog日志写到relay log（中继日志） 文件中； 主库会生成一个 log dump 线程，用来给从库 i/o线程传binlog； &nb...
2020-05-06 16:08:59
175
原创 Centos7.0安装oracle rac 11.2.0.4
Centos7.0安装oracle rac 11.2.0.4一、安装前的准备： 安装包： 采用企业版：两个为oracle的软件安装包 第三个为grid的安装包 硬件环境： Cpu 56核心 &...
2020-05-06 15:39:42
1380
原创 redis哨兵模式搭建
redis哨兵模式搭建 简介：哨兵模式（Redis-Sentinel）是官方推荐的高可用解决方案，当redis在做master-slave的高可用方案时，假如master宕机了，redis本身（以及其很多客户端）都没有实现自动进行主备切换，而redis-sentinel本身也是独立运行的进程，可以部署在其他与redis集群可通讯的机器中监控redis集群。&n...
2020-05-06 15:00:09
372
原创 python爬取网页数据(模拟用户名密码登录)
python爬取网页数据(模拟用户登录) 简介：python模拟用户登录，获取网页数据。# -*- coding: utf-8 -*-import requestsimport jsonimport http.cookiejar as cookielibfrom bs4 import BeautifulSoupfrom lxml import et...
2020-05-06 13:40:06
5195
原创 python迁移redis数据库
python迁移redis数据库 python3迁移redis数据库，注意数据写入后的编码问题。import redisredis_1 = redis.StrictRedis(host='192.168.2.3',port=6379,password="password",db=2,socket_connect_timeout=6000,encoding='...
2020-05-06 13:24:45
345
原创 python创建socket连接和父子进程
python父子进程 简介：解决python的socket中长连接数据调用的问题。#!/usr/bin/python3# -*- coding: utf-8 -*-from socketclusterclient import Socketclusterimport loggingimport timeimport _threadlogging...
2020-05-06 13:11:33
278
原创 python使用masscan扫描端口
python使用masscan扫描端口 简介：使用masscan扫描互联网端口，最终将变更和高危端口输出到mysql# /usr/bin/pythonimport pymysqlfrom pymysql import connectimport osimport xmltodictimport datetimefrom apscheduler.s...
2020-05-06 13:02:43
2266
原创 python做es的聚合统计和分页读取
通过python实现对es数据的聚合统计通过python实现对es数据的聚合统计最后将数值写入excel文件from elasticsearch import Elasticsearchfrom openpyxl import load_workbookes = Elasticsearch(hosts=‘http://localhost’, port=9200, http_auth=(‘a...
2020-04-29 13:47:11
1319
3
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人