- 博客(57)
- 收藏
- 关注
RSS订阅
原创 ClickHouse多实例部署
ClickHouse多实例部署文章借鉴http://fuxkdb.com/2020/05/02/2020-05-02-ClickHouse多实例部署/感谢大佬！生产环境并不建议多实例部署, ClickHouse一个查询可以用到多个CPU, 本例只适用于测试环境集群部署关系如下:逻辑结构图如下:编辑三台主机/etc/hosts添加如下内容:172.16.120.10 centos-1172.16.120.11 centos-2172.16.120.12 centos-3依赖组件安装
2021-12-17 15:24:07
2674
原创 redis 集群方案
redis 集群方案的介绍（主从模式、哨兵模式、Redis Cluster模式）一、主从模式将数据完全存储在单个redis中主要存在两个问题：数据备份和数据体量较大造成的性能降低。Redis的主从模式为这两个问题提供了一个较好的解决方案。主从模式指的是使用一个redis实例作为主机，其余的实例作为备份机。主机和从机的数据完全一致，主机支持数据的写入和读取等各项操作，而从机则只支持与主机数据的同步和读取，也就是说，客户端可以将数据写入到主机，由主机自动将数据的写入操作同步到从机。主从模式很好的解决
2021-12-01 17:06:01
7115
原创 构建ELK+Filebeat+kafka+zookeeper大数据日志分析平台
【代码】构建ELK+Filebeat+kafka+zookeeper大数据日志分析平台。
2024-06-19 10:53:16
434
1
原创 ceph集群搭建（Cephadm方式）
1、架构2、参考以下链接搭建部署https://blog.youkuaiyun.com/networken/article/details/106870859https://docs.ceph.com/docs/master/cephadm/3、s3cmd配置文件模板vim /root/.s3cfg[default]access_key = H0FIJLLB89A8M47VO778secret_key = HYAz2eDawGDVdH6Be3zEtQj0wO1XEC5cpDJ3bC5Zhost_b
2022-05-06 14:03:50
761
原创 prometheus监控k8s_etcd
一,普罗米修斯监控携带metric接口的服务的流程： 普罗米修斯监控携带metric接口的服务的流程： 1、通过EndPrints获取需要监控的ETCD的地址 2、创建Service，给予集群内部的ServiceMoniter使用 3、创建ServiceMoniter部署需要访问证书，给予prometheus-k8s-0来使用 4、重启普罗米修斯监控Pod（prometheus-k8s-0）,载入监控项二,测试metric接口可用# 出现内容 代表metric接口可用curl -k
2022-04-11 17:47:24
630
原创 CentOS7 使用 kubeadm 部署 K8s
一、环境准备（所有）1. Linux 环境# 关闭防火墙systemctl stop firewalld && systemctl disable firewalld# 关闭 swapswapoff -a && sed -i '/ swap / s/^(.*)$/#1/g' /etc/fstab# 关闭 selinuxsetenforce 0 && sed -i 's/^SELINUX=.*/SELINUX=disabled/' /etc/s
2022-03-30 18:23:24
229
原创 重置mysql主从同步(MySQL Reset Master-Slave Replication)
在mysql主从同步的过程中，可能会因为各种原因出现主库与从库不同步的情况，网上虽然有一些解决办法，但是有时很难彻底解决，重置主从服务器也许不是最快的办法，但却是最安全有效的。下面将自己重置主从同步的步骤总结一下，以备不时之需。master与slave均使用：centos 7.8 +mysql 5.7.36 ，假设有db1,db2两个数据库需要热备。文中shell与mysql均使用root账号，在真实环境中，请根据情况更换。1.停止slave服务器的主从同步为了防止主从数据不同步，需要先停止sla
2022-01-05 11:58:47
1037
原创 mongodb 5.0.4 分片集群部署
一、MongoDB 背景MongoDB 是一款功能完善的分布式文档数据库，是一款非常出名的 NoSQL 数据库。当前国内使用 Mongodb 的大型实践越来越多，MongoDB 为我司提供了重要的数据库存储服务，支撑着每天近千万级 QPS 峰值读写，数万亿级数据量存储服务。MongoDB 在高性能、动态扩缩容、高可用、易部署、易使用、海量数据存储等方面拥有很大优势。近些年，MongoDB 在 DB-Engines 流行度排行榜稳居榜单 Top5 ，且历年得分是持续增长的，具体如下图所示：DB-Eng
2021-12-06 15:53:49
2625
3
原创 elasticsearch学习纪要
使用curl命令操作elasticsearch第一：_cat系列_cat系列提供了一系列查询elasticsearch集群状态的接口。你可以通过执行curl -XGET localhost:9200/_cat获取所有_cat系列的操作/_cat/allocation/_cat/shards/_cat/shards/{index}/_cat/master/_cat/nodes/_cat/indices/_cat/indices/{index}/_cat/segments/_cat
2021-12-01 17:04:29
134
原创 CentOS 7系统下PostgreSQL数据库的安装和使用
【摘要】 如果CentOS所在的服务器限于安全原因，客户并未给我们配置访问外网的权限，那么如何安装PostgreSQL数据库呢？本文将通过具体步骤来详细讲解如何在CentOS7 系统上离线安装PostgreSQL12数据库。1 离线安装包准备首先可以访问网址https://yum.postgresql.org/13/redhat/rhel-7-x86_64/repoview/postgresqldbserver13.group.html来下载对应的离线安装包文件，具体的示例截图如下：通常情况下
2021-12-01 10:25:54
4375
原创 grep,sed,awk学习简记
grep 过滤grep -E 支持正则grep -A after 几行grep -B before 几行grep -C 上下多显示几行grep -c 统计出现多少行，类似wc -l grep -v 取反，排除grep -n 显示行号grep -i 忽略大小写sed 替换，修改文件内容，取行s 替换替换格式s###gs@@@gs///gp 显示print '1p' 行号 '1,5p' 范围 '/正则/p' 类似
2021-09-30 18:57:23
109
原创 clamav+pyClamad linux病毒扫描
一、背景 Clam AntiVirus(Clam AV)是一个免费而且开放源码的防毒软件，软件与病毒库的更新由开源社区免费发布，目前ClamdAV主要为Linux、Uinux系统提供病毒扫描查杀pyClamad是一个python的第三方模块，可让python直接使用ClamAV病毒扫描守护进程clamd来实现一个高效的病毒检测功能。二、工作原理 管理服务器通过python发出多线程指令连接业务服务器的3310端口，执行病毒扫描，然后返回结果给管理服务器。 业务服务器必须
2021-08-24 09:27:10
956
1
原创 linux 跟内网某台机器同步时间
ps:需求：确定时间同步服务器： node01(node02 node03 都去node01同步时间)服务器设置1、确保时间服务器的ntpd服务是开启的 2、修改第一个配置文件 vim /etc/ntp.conf 添加如下内容restrict 10.32.176.0 mask 255.255.255.0 nomodify notrap server 127.127.1.0 # localclock fudge 127.127.1.0 stratum 10 注
2021-08-03 14:17:15
585
原创 GIT命令行操作远程仓库分支
创建空的远程分支git checkout -b 分支名; #创建分支git push --set-upstream origin 分支名; #提交分支到远程仓库#例如创建远程分支master_branchgit checkout -b master_branch;git push --set-upstream origin master_branch;以已有的远程分支为源创建新的远程分支git checkout -b 分支名 origin/已有的远程分支; #创建分支git push
2021-07-30 17:55:54
5188
原创 Mysql高可用架构之MHA(基于GITDs的一主两从)
Mysql高可用架构之MHA(基于GITDs的一主两从)一、实验思路1．MHA架构1）数据库安装2）一主两从（基于GITDS）3）MHA搭建2．故障模拟1）主库失效2）备选主库成为主库3）原故障主库恢复重新加入到MHA成为从库二、准备环境1.服务器规划服务器系统IP需要安装MHA manager 节点服务器CentOS7.4(64 位)10.32.176.80Mysq5.7、MHA node 和 manager 组件Master 节点服务器
2021-07-27 18:45:37
518
原创 Linux CentOS7下安装python3
在CentOS7下，默认安装的就是python2.7，我现在来教大家如何安装python3：1、首先安装python3.6可能使用的依赖yum -y install openssl-devel bzip2-devel expat-devel gdbm-devel readline-devel zlib-devel2、下载python源码包，地址为https://www.python.org/downloads/source/，然后通过xftp上传上去，或者直接使用wget命令，wget https:
2021-07-13 14:46:12
756
原创 kubenetes1.18.6 安装helm报错与解决办法
引言：Helm（官网地址）这个东西其实早有耳闻，但是一直没有用在生产环境，而且现在对这货的评价也是褒贬不一。正好最近需要再次部署一套测试环境，对于单体服务，部署一套测试环境我相信还是非常快的，但是对于微服务架构的应用，要部署一套新的环境，就有点折磨人了，微服务越多、你就会越绝望的。虽然我们线上和测试环境已经都迁移到了kubernetes环境，但是每个微服务也得维护一套yaml文件，而且每个环境下的配置文件也不太一样，部署一套新的环境成本是真的很高。如果我们能使用类似于yum的工具来安装我们的应用的话是不是
2021-07-07 17:02:41
1198
原创 dockerfile 模板
FROM##MAINTAINER MAINTAINER Jasper Xu MAINTAINER sorex@163.com MAINTAINER Jasper Xu <sorex@163.com>#ENV ##变量以”key=value”的形式存在ENV SERVER_WORKS 4格式： ENV <key> <value> #<key>之后的所有内容均会被视为其<value
2021-06-26 15:04:38
546
原创 k8s配置文件模板
k8s配置文件模板一、deploymentDeployment为Pod和Replica Set下一代Replication Controller）提供声明式更新1、配置示例apiVersion: apps/v1 # 1.9.0 之前的版本使用 apps/v1beta2，可通过命令 kubectl api-versions 查看kind: Deployment #指定创建资源的角色/类型metadata: #资源的元数据/属性
2021-06-26 15:01:51
497
原创 LVM逻辑卷扩容（生产环境亲测）
一、环境虚拟化：vsphere 6.7操作系统: CentOS Linux release 7.9.2009 (Core)二、扩容1、在vmware平台选择需要扩容的虚拟机进行磁盘扩容。注：磁盘扩容可选择两种方式：方式一：在原来磁盘上直接进行扩容方式二：新添加一块磁盘进行扩容选择方式：在操作系统中， 只允许存在四个主分区，或者是三个以下的主分区，多个逻辑分区，如果系统中的主分区已经使用了四个，则只能选择方式二进行磁盘扩容。否则在进行建立分区操作时，会提示以下错误：[root@ctg
2021-06-22 13:17:30
2665
原创 K8s之Ingress-nginx原理及配置
前言在Kubernetes中，服务和Pod的IP地址仅可以在集群网络内部使用，对于集群外的应用是不可见的。为了使外部的应用能够访问集群内的服务，在Kubernetes中目前提供了以下几种方案：* NodePort* LoadBalancer* Ingress在之前的博文中介绍过NodePort，简单来说，就是通过service这种资源对象，为后端pod提供一个统一的访问接口，然后将service的统一访问接口映射到群集节点上，最终实现client通过映射到群集节点上的端口访问到后端po
2021-06-21 19:14:19
6665
1
原创 mysql5.7 相关操作
MariaDB忘记root密码，修改root密码在MariaDB配置文件/etc/my.cnf的[mysqld]配置中加入一行：skip-grant-tablesvi /etc/my.cnf[mysqld]datadir=/var/lib/mysqlsocket=/var/lib/mysql/mysql.socksymbolic-links=0skip-grant-tables #加入这一行，一定要加到[mysqld]组中[mysqld_safe]log-error=/var/
2021-06-15 16:33:00
392
原创 Linux正则表达式与文本处理命令
一、正则表达式正则表达式：是一类字符所书写出的模式（pattern） 元字符：类似通配符，不表示字符本身的意义，用于额外功能性的描述基本正则表达式(BRE)和扩展正则表达式(ERE)基本正则元字符：字符匹配： . : 任意单个字符 [] : 指定范围内的任意单个字符 [^] : 指定范围外的任意单个字符 [0-9],[:digit:] : 数字 [a-z],[:lower:] : 小写字母 [A-Z],[:upper:] : 大写字母
2021-06-08 23:38:51
157
原创 kubeadm 搭建 k8s 集群 [离线版] v1.18.6
kubeadm 搭建 k8s 集群 [离线版] v1.18.6Kubernetes 概述#kubernetes 是什么#kubernetes 是 Google 在 2014年开源的一个容器集群管理平台，kubernetes简称 k8sk8s用于容器化应用程序的部署，扩展和管理。k8s提供了容器的编排，资源调度，弹性伸缩，部署管理，服务发现等一系列功能kubernetes目标是让部署容器化应用简单高效Kubernetes 特性#自我修复在节点故障时重新启动失败的容器，替换和重新部署，保证预期
2021-06-08 12:33:17
662
原创 Jenkins + Pipline +K8S 流水线项目选择分支自动发布、更新、回滚
在生产环境中，我们通常会使用Jenkins流水线部署k8s群集，这里主要介绍使用Jenkins的pipline可选择分支实现k8s群集的发布、更新、回滚功能。实验目的1.分支可选有2个分支branch=（master，develop），可以任意选择分支构建2个分支的区别为了做实验，修改背景图片来做区别master 分支：背景图片上面版本号：v1.0develop 分支：背景图片上面版本号：v2.03.构建方法可选每个分支都有2个构建方法action=（release，rollback），.
2021-06-07 00:06:39
3071
2
原创 Gitlab+Harbor+Jenkins pipeline实现利用tag部署docker容器
环境测试部署主机IP：192.168.1.1Jenkins主机IP：192.168.1.2Harbor主机IP：192.168.1.3Gitlab主机IP：192.168.0.10系统信息：系统：CentOS 7.5内核：4.18.7-1.el7.elrepo.x86_64Docker版本：18.09docker-compose版本：1.23.1所有主机的Docker安装方式wget -O /etc/yum.repos.d/docker-ce.repo https://mirrors.
2021-06-06 21:13:12
946
原创 dockerfile 优化
dockerfile 优化：1：尽可能选择体积小linux发行版，alpine2：尽可能合并RUN指令，清理无用的文件（yum缓存，源码包）3：修改dockerfile时，把需要变更的内容尽可能放在dockerfile结尾4：使用.dockerignore，减少不必要的文件ADD . /html例如：[root@docker01 nginx]# cat dockerfileFROM centos:6.9RUN rm -rf /etc/yum.repos.d/* && cu
2021-06-03 12:44:07
321
原创 二进制部署 单Master Kubernetes-v1.14.1集群
一、部署Kubernetes集群1.1 Kubernetes介绍Kubernetes（K8S）是Google开源的容器集群管理系统，K8S在Docker容器技术的基础之上，大大地提高了容器化部署应用简单高效。并且具备了完整的集群管理能力，涵盖项目周期的各个环节。Docker与Kubernetes联系：Docker是一个容器引擎，用于运行容器，Kubernetes是一个容器编排系统，不具备容器引擎功能，相比Docker是一个更高级封装，而他们在一起堪称珠联璧合。1.2 创建Kubernetes集群方式
2021-05-08 12:07:49
222
原创 Centos7安装NPM
Centos7安装NPMPosted on 2019-12-26 15:01 Shapley 阅读(211.安装gccyum install gcc gcc-c++2.下载node国内镜像（推荐）wget https://npm.taobao.org/mirrors/node/v10.14.1/node-v10.14.1-linux-x64.tar.gz3.解压并重命名文件夹tar -xvf node-v10.14.1-linux-x64.tar.gzmv node-v10.14
2021-05-08 11:35:49
880
原创 Fastdfs数据迁移方案
方案背景描述环境迁移，需要迁移旧环境的fastdfs集群的数据到新环境,由于之前数据迁移仅仅是针对mysql和mongodb,对fastdfs数据的迁移了解甚少，本文档主要是针对fastdfs数据迁移和恢复的几种方式以及具体操作流程做详细阐述。方案实现的目标实现fastdfs集群数据完整迁移，保证在新环境正常使用，以及保证fastdfs集群高可用。方案说明Fstdfs整体架构Fastdfs数据迁移 数据迁移是指旧的fastdfs可以继续正常运行的情况下，..
2021-05-08 11:34:35
3763
1
原创 记录一次gitlab版本回退以及代码冲突解决流程
版本回退git clone -b 分支名 项目地址 克隆需要回退的分支代码git pull 保证代码提交记录最新git log --pretty=oneline 以行的形式展示提交记录，寻找需要回退的记录IDgit reset --hard ID 回退版本git push -f -u origin 推到远程仓库（注：推到远程仓库的时候一定要确保自己权限是不是足够，比如master是默认受
2021-05-08 11:32:51
528
原创 记录一次前端npm打包报错以及解决方案
报错一：解决：npm install -g cnpm --registry=https://registry.npm.taobao.org报错二：解决：npm install node-sass@4.14.1仍然报错原因还是权限问题就是说 npm 出于安全考虑不支持以 root 用户运行，即使你用 root 用户身份运行了，npm 会自动转成一个叫 nobody 的用户来运行，而这个用户几乎没有任何权限。这样的话如果你脚本里有一些需要权限的操作，比如写文件（尤其是写 /root/
2021-05-08 11:29:01
1422
翻译 MySQL的基础操作命令
（一）MySQL 用法格式# mysql [options] [db_name]参数：-u, --user=name:指定登录用户名-p, --password:指定登录密码(注意是小写p),一定要放到最后面-h, --host=name:指定数据库的主机地址-P, --port=xxx:指定数据库的端口号(大写P)-S, --socket=name:指定socket文件-e, --execute=name:使用非交互式操作(在shell终端执行sql语句)（二）MySQL重设ROOT密
2021-05-08 11:20:26
99
原创 centos7搭建sonarqube环境+jenkins部署全流程+sonarqube集成AD域多组配置
一、简介sonarqube是一个用于代码质量管理的开源平台，用于管理源代码的质量不遵循代码标准sonar可以通过PMD,CheckStyle,Findbugs等等代码规则检测工具规范代码编写。潜在的缺陷sonar可以通过PMD,CheckStyle,Findbugs等等代码规则检测工具检 测出潜在的缺陷。糟糕的复杂度分布文件、类、方法等，如果复杂度过高将难以改变，这会使得开发人员 难以理解它们, 且如果没有自动化的单元测试，对于程序中的任何组件的改变都将可能导致需要全面的回归测试。重复显然
2021-04-20 09:26:33
390
翻译 Jumpserver docker搭建
一、概述Jumpserver 是全球首款完全开源的堡垒机, 使用 GNU GPL v2.0 开源协议, 是符合 4A 的专业运维审计系统。Jumpserver 使用 Python / Django 进行开发, 遵循 Web 2.0 规范, 配备了业界领先的 Web Terminal 解决方案, 交互界面美观、用户体验好。Jumpserver 采纳分布式架构, 支持多机房跨区域部署, 中心节点提供 API, 各机房部署登录节点, 可横向扩展、无并发访问限制。Jumpserver 现已支持管理 SSH、
2021-04-20 09:22:18
463
原创 docker部署showdoc
git clone git://github.com/star7th/showdoc.gitcd showdocdocker build -t showdoc ./docker run -d -v /root/showdoc/Sqlite/:/var/www/html/Sqlite --name showdoc -p 4999:80 showdoc初次访问，在浏览器中访问http://xxxx.com:4999/install/ 进行程序的初始化(域名请改为你服务器的地址)开启ldap认证.
2021-04-20 09:13:08
831
原创 服务器初始化脚本（包括但不限于服务器初始化，docker初始化和服务器互相免密脚本）
chushihua.sh#!/bin/bashecho -e ‘\033[1;31m 此脚本自动化安装初始环境 \033[0m’echo -e ‘\033[1;31m 1.安装必须组件 \033[0m’echo -e ‘\033[1;31m 安装vim \033[0m’yum -y install vimecho -e ‘\033[1;31m *****************************************************************************
2021-04-12 10:24:20
284
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人