- 博客(62)
- 资源 (9)
- 收藏
- 关注
RSS订阅原创 记一次mysql5.7测试数据库被被删表
问题描述：为了方便临时测试，就用docker启动了一个mysql容器，插入了一些测试数据，用完之后端口（3306）忘了没有关掉，被攻击删表（省的我自己删了，哈哈），虽然是无用的数据，多少是个教训。...
2022-04-13 09:41:27
6262
原创 实用的shell命令jq
`简介`jq是Linux下面把文本字符串格式化成json格式的工具。1、安装安装EPEL源：yum install epel-release -y安装完EPEL源后，可以查看下jq包是否存在yum list jq安装jqyum install jq -y2、语法Usage: jq [options] <jq filter> [file...] jq [options] --args <jq filter> [strings...] jq [option
2022-02-08 10:23:10
6032
原创 yum及apt更新中排除某些包
Ubuntu下aptapt update 只检查，不更新(已安装的软件包是否有可用的更新)apt list --upgradable 列出升级的软件包列表apt-mark hold 软件包 标记指定软件包为保留(held back)，阻止软件自动更新apt-mart unhold 软件包 取消指定软件包的保留(held back)标记，解除阻止自动更新apt-mark showhold 列出设为保留的软件包apt
2022-01-27 10:32:12
1280
原创 crontab -e 定时任务文件保存
`centos`(以root用户为例)/var/spool/cron/`ubuntu`(以root用户为例)/var/spool/cron/crontabs
2022-01-18 16:51:42
1371
原创 mysql:cannot open /etc/hosts.allow: Too many open files
`问题描述`：mysql报错，如下：mysql.service - MySQL Community Server Loaded: loaded (/lib/systemd/system/mysql.service; enabled; vendor preset: enabled) Active: active (running) Main PID: 2006 (mysqld) Tasks: 464 (limit: 4915) CGroup: /system.slice/mys
2021-12-01 08:58:28
645
原创 kafka3.0集群搭建
`简介`Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。`功能`1、要发布（写）和订阅（读）流事件。2、存储持久和可靠的事件流。3、在事件发生时或追溯性地处理事件流。`特性`1、通过O(1)的磁盘数据结构提供消息的持久化，这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能。2、高吞吐量3、支持通过Kafka服务器和消费机集群来分区消息。1、环
2021-11-25 10:45:04
2934
4
原创 elk系列之elk单机部署
`简介`ELK是目前主流的一种日志系统，三个开源软件的缩写，分别表示：Elasticsearch , Logstash, Kibana , 它们都是开源软件。Elasticsearch是一个分布式、RESTful 风格的搜索和数据分析引擎，能够解决不断涌现出的各种用例。Logstash 是免费且开放的服务器端数据处理管道，能够从多个来源采集数据，转换数据，然后将数据发送到您最喜欢的“存储库”中。采用jruby语言开发。Kibana 是一个免费且开放的用户界面，能够对 Elasticsearch 数据
2021-11-16 10:49:20
922
原创 Failed at the phantomjs-prebuilt@2.1.16 install script
问题描述：安装elk环境时，在通过git安装elasticsearch-head时报错安装步骤：1、git clone git://github.com/mobz/elasticsearch-head.git2、cd elasticsearch-head3、npm install执行到最后安装的时候报错报错如下：Error making request.Error: Client network socket disconnected before secure TLS connectio
2021-11-15 09:13:08
1962
原创 influxdb的单机入门级使用
`简介`InfluxDB是一个用于存储和分析时间序列数据的开源数据库。`时序数据库`时序数据库全称为时间序列数据库。时间序列数据库指主要用于处理带时间标签（按照时间的顺序变化，即时间序列化）的数据，带时间标签的数据也称为时间序列数据。`特性`内置HTTP接口，使用方便数据可以打标记，这样查询可以很灵活类SQL的查询语句读写数据很高效能够实时查询，数据在写入时被索引后就能够被立即查出1、安装wget https://dl.influxdata.com/influxdb/releases
2021-11-12 09:14:09
457
原创 fastDFS+nginx上传图片
`简介`FastDFS是用c语言编写的一款开源的分布式文件系统。FastDFS为互联网量身定制，充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等指标，使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。`tracker-server`跟踪服务器， 主要做调度工作， 起负载均衡的作用。 在内存中记录集群中所有存储组和存储服务器的状态信息， 是客户端和数据服务器交互的枢纽。 相比GFS中的master更为精简， 不记录文件索引信息， 占用的内存量很少。`s
2021-11-03 12:25:22
3691
原创 基于docker的mongodb的分片集群
1、环境描述172.18.62.23 node1 shard服务器172.18.62.24 node2 shard服务器172.18.62.25 node3 配置服务器172.18.62.26 node4 配置服务器172.18.62.27 node5 路由服务器2、启动容器bs create mongo
2021-11-01 13:33:26
498
原创 solr集群(solrcloud)部署搭建
`简介`SolrCloud 旨在提供一个高度可用、容错的环境，用于跨多个服务器分发索引内容和查询请求。它是基于 Solr 和Zookeeper的分布式搜索方案，它的主要思想是使用 Zookeeper作为集群的配置信息中心。它是灵活的分布式搜索和索引，无需主节点来分配节点、分片和副本使用 ZooKeeper来管理，查询和更新可以发送到任何服务器。`特点`1、集中式的配置信息2、自动容错3、近实时搜索4、查询时自动负载均衡搭建过程：基础环境搭建-->zookeeper集群搭建-->
2021-10-27 15:21:24
4141
1
原创 单机solr的入门级安装
`简介`Solr 是一个基于 Apache Lucene 之上的搜索服务器，它是一个开源的、基于 Java 的信息检索库。Solr提供了比Lucene更为丰富的查询语言，同时实现了可配置、可扩展，并对索引、搜索性能进行了优化。`工作机制`1、solr就是在lucene工具包的基础之上进行了封装，而且是以web服务的形式对外提供索引功能2、业务系统需要使用到索引的功能（建索引，查索引）时，只要发出http请求，并将返回数据进行解析即可以下为简单的入门安装。1、安装jdk环境下载地址：http
2021-10-26 17:31:51
285
原创 haproxy+ keepalived高可用环境部署
1、环境准备172.18.62.38 haproxy+keeplived master172.18.62.39 haproxy+keeplived backup172.18.62.40 apache172.18.62.41 apache172.18.62.42 vip2、启动容器[root@iZuf612i9bshiuw3zzlfe9Z ~]# docker psCONTAINER ID IMAGE
2021-05-24 17:52:37
359
2
原创 检查yaml语法的工具
1、安装nodecurl -sL https://rpm.nodesource.com/setup_11.x | bash -curl -sL https://dl.yarnpkg.com/rpm/yarn.repo | sudo tee /etc/yum.repos.d/yarn.repoyum install yarn -y2、验证node安装[root@iZuf612i9bshiuw3zzlfe9Z cfg]# node --versionv11.15.03、安装yamllint工具
2021-05-12 13:20:38
4124
原创 基于docker的etcd高可用集群部署
`工作原理`ETCD使用Raft协议来维护集群内各个节点状态的一致性。简单说，ETCD集群是一个分布式系统，由多个节点相互通信构成整体对外服务，每个节点都存储了完整的数据，并且通过Raft协议保证每个节点维护的数据是一致的。...
2021-05-11 13:52:57
430
原创 MegaCli 工具安装使用
centos安装1、下载安装包wget http://162.243.29.98/MegaCli-8.07.14-1.noarch.rpm2、安装rpm -ivh MegaCli-8.07.14-1.noarch.rpm3、方便使用，添加别名vim /root/.bashrcalias megacli=’/opt/MegaRAID/MegaCli/MegaCli64′source /root/.bashrc4、查看硬盘信息megacli -PDList -aALL`报错解决`第4步
2021-05-08 08:45:56
2085
6
原创 nginx实现请求的负载均衡 + keepalived实现nginx的高可用
`简介`Keepalived是Linux下一个轻量级别的高可用解决方案。Keepalived起初是为LVS设计的，专门用来监控集群系统中各个服务节点的状态，它根据TCP/IP参考模型的第三、第四层、第五层交换机制检测每个服务节点的状态，如果某个服务器节点出现异常，或者工作出现故障，Keepalived将检测到，并将出现的故障的服务器节点从集群系统中剔除，这些工作全部是自动完成的，不需要人工干涉，需要人工完成的只是修复出现故障的服务节点。`工作原理`Keepalived工作在TCP/IP 参考模型的 三
2021-05-07 10:36:48
279
4
原创 Linux下查看大日志文件中关键字信息
问题描述：服务中，对于几个G甚至几十个G的日志中查找某些报错信息，使用vim或者cat都不是很明智的选择。分析：使用grep命令，加合理的参数查看分析日志解决：Context control: -B, --before-context=NUM print NUM lines of leading context -A, --after-context=NUM print NUM lines of trailing context -C, --context=NUM
2021-04-30 08:38:04
650
2
原创 etcd的API2和API3命令详解
API2`命令`#备份etcd目录backup#检查etcd群集的运行状况cluster-health#用给定的值生成一个新key值mk #创建新目录 mkdir #删除密钥或目录 rm #如果密钥是空目录或键值对，rmdir将删除该密钥 rmdir #获取key的值 get #检索目录 ls #设置key的值 set #创建一个键目录，无论存在与否 setdir #更新一个已存在的key的值 up
2021-04-29 14:56:08
806
2
原创 ssh使用密钥登录并禁用密码登录
1、生成密钥ssh-keygen说明:生成密钥会在当前用户的根目录的.ssh目录下2、在需要被免密的服务器#以root用户为例vim /root/.ssh/authorized_keys添加密钥即可3、禁止密码登录#禁用密码验证PasswordAuthentication no#启用密钥验证PubkeyAuthentication yes4、重启ssh服务#centos系统service sshd restart#ubuntu系统service ssh restart
2021-04-26 17:11:47
5110
原创 基于docker的etcd单节点的安装及使用
`简介`ETCD是用于共享配置和服务发现的分布式，一致性的KV存储系统。etcd内部采用raft协议作为一致性算法，基于Go语言实现。比较流行也是源于在Kubernetes中的应用。Etcd是Kubernetes集群中的一个十分重要的组件，用于保存集群所有的网络配置和对象的状态信息。`特点`简单：安装配置简单，而且提供了HTTP API进行交互，使用也很简单安全：支持SSL证书验证快速：根据官方提供的benchmark数据，单实例支持每秒2k+读操作可靠：采用raft算法，实现分布式系统数据的
2021-04-23 10:06:09
1616
2
原创 bc: command not found
问题描述：在Ubuntu服务器定时任务脚本在调试过程中：line 20: bc: command not found分析：20行内容：rate=`echo "scale=2; $aveload/$num*100" | bc`其实就是一个做运算的，bc是字符终端下的一个计算器，bc没有安装解决：Ubuntu安装apt install bc -ycentos安装yum install bc -y...
2021-04-22 08:49:52
1199
原创 mysql8的安装及新特性
`简介`官方表示 MySQL 8 要比 MySQL 5.7 快 2 倍。MySQL 8.0 上做了许多重大更新，在往企业级数据库的路上大步前行，全新 Data Dictionary 设计，支持 Atomic DDL，全新的版本升级策略，安全和账号管理加强，InnoDB 功能增强等。1、mysql8安装`centos`#1、下载安装包https://dev.mysql.com/get/Downloads/MySQL-8.0/mysql-8.0.23-1.el7.x86_64.rpm-bundle.
2021-04-21 13:24:36
245
原创 pika的安装使用及主从配置
`简介`Pika是一个可持久化的大容量redis存储服务，兼容string、hash、list、zset、set的绝大部分接口(兼容详情)，解决redis由于存储数据量巨大而导致内存不够用的容量瓶颈，并且可以像redis一样，通过slaveof命令进行主从备份，支持全同步和部分同步，pika还可以用在twemproxy或者codis中来实现静态数据分片。`特点`容量大，支持百G数据量的存储兼容redis，不用修改代码即可平滑从redis迁移到pika支持主从(slaveof)完善的运维命令1
2021-04-20 09:47:35
2513
原创 /var/lib/docker/overlay2 占用很大，docker数据目录迁移
1、查看磁盘使用情况docker system df[root@iZuf6ijiwyd0gil5jyti17Z ~]# docker system dfTYPE TOTAL ACTIVE SIZE RECLAIMABLEImages 5 4 978.6 MB 546.1
2021-04-13 08:51:15
2141
原创 基于docker的mongodb副本集replSet搭建
`副本集replSet`mongo副本集/复制集是mongo高可用性特征之一，是有自动故障恢复功能的主要集群。由一个Primary节点和一个或多个Secondary节点组成。Mongodb客户端的所有数据都写入Primary，Secondary从Primary同步写入的数据，来保持复制集内所有成员存储相同的数据集，提供数据的高可用。`副本集的原理`主节点记录所有的变更到oplog日志。辅助节点(Secondary)复制主节点的oplog日志并且将这些日志在辅助节点进行重放各个节点之间会定期发送心
2021-04-12 10:18:38
472
原创 基于docker的haproxy搭建测试
`简介`HAProxy是一个使用C语言编写的自由及开放源代码软件，其提供高可用性、负载均衡，以及基于TCP和HTTP的应用程序代理。HAProxy实现了一种事件驱动, 单一进程模型，此模型支持非常大的并发连接数。多进程或多线程模型受内存限制 、系统调度器限制以及无处不在的锁限制，很少能处理数千并发连接。`haproxy和nginx对比`nginx使用花括号，层级化的配置文件结构除了自带的map和if语句可以实现简单逻辑，原生支持js/perl脚本，非官方支持lua除了做负载均衡，还可以做静态we
2021-04-09 13:48:21
239
原创 docker下搭建mongodb主从
`mongodb简介`MongoDB 是由C++语言编写的，是一个基于分布式文件存储的开源数据库系统。MongoDB 将数据存储为一个文档，数据结构由键值(key=>value)对组成。MongoDB 文档类似于 JSON 对象。字段值可以包含其他文档，数组及文档数组。`主从复制原理`主节点会记录写有关的操作，读操作不记录。这些操作记录在local数据库中的oplog.$admin这个集合，这个是一个固定大小的集合，可以修改oplogSize大小，单位MB，一般为磁盘剩余空间的5%。当这个集合空
2021-04-08 11:18:54
821
8
原创 基于docker的rabbitmq安装
`MQ简介`RabbitMQ 是一个由 Erlang 语言开发的 AMQP(即Advanced Message Queuing Protocol，高级消息队列协议，是应用层协议的一个开放标准，为面向消息的中间件设计)的开源实现。支持多种客户端，如：Python、Ruby、.NET、Java、JMS、C、PHP、ActionScript、XMPP、STOMP等，支持AJAX。用于在分布式系统中存储转发消息，在易用性、扩展性、高可用性等方面表现不俗。`消息模型`所有 MQ 产品从模型抽象上来说都是一样的过
2021-04-07 09:52:21
136
原创 Ubuntu中安装中文语言包
由于在之前用docker搭建zabbix时，修改语言时语法选择中文，可能时系统中缺少中文语言包，所以安装中文语言包，完美解决，以下时解决方案。1、安装中文语言包apt install language-pack-zh-han* -y2、修改配置文件：vim /etc/default/locale#内容如下：# File generated by update-localeLANG="zh_CN.UTF-8"LANGUAGE="zh_CN:zh"LC_NUMERIC="zh_CN"L
2021-04-06 09:22:14
5445
2
原创 基于docker的zabbix监控系统搭建
zabbix是一个基于WEB界面的提供分布式系统监视以及网络监视功能的企业级的开源解决方案。本篇基于docker搭建zabbix5.0以上版本。1、准备镜像，启动容器dvr start zabbix2、进入容器docker exec -it zabbix_zabbix_1 bash3、安装Zabbix仓库wget https://repo.zabbix.com/zabbix/5.2/ubuntu/pool/main/z/zabbix-release/zabbix-release_5.2-
2021-04-05 17:10:28
366
原创 redis集群5.0之前版本和5.0之后的比较
之前对redis集群关于5.0之前和5.0之后都进行了搭建，具体搭建过程可以参考：基于docker的redis集群搭建和redis5.0以上基于密码认证搭建，二者的搭建稍有不同，这里做个详细的说明。redis5.0之前的版本redis5.0之前使用redis-trib.rb作为创建集群的命令，基于ruby语言实现，依赖于ruby环境。...
2021-04-04 18:32:37
3414
4
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人