- 博客(206)
- 资源 (18)
- 收藏
- 关注

原创 一些网站收藏~
1、爱资料在线工具箱:https://www.toolnb.com/2、系统下载: http://msdn.itellyou.cn/3、监控软件:https://software.informer.com/search/soptlight4、测试技术:http://www.testroad.org/5、壁纸网站:https://alpha.wallhaven.cc/...
2020-03-31 16:08:13
10110

原创 各种常用服务快速安装
文章目录1、配置阿里yum源2、设置中文字符3、安装MySQL4、安装LAMP环境1、配置阿里yum源yum install -y wget \&& mkdir -p /etc/yum.repos.d/repo_bak \&& mv /etc/yum.repos.d/*.repo /etc/yum.repos.d/repo_bak/ \&&...
2019-09-02 15:47:53
918
1
原创 Nginx 配置示例
动静分离的原理:nginx 将客户端发来的请求分为动态请求(php,jsp,cgi)与静态请求(html,css,js和图片资源),转发给不同的服务器。在客户端配置 http_proxy 环境变量,export http_proxy=http://你的正向代理服务器地址:代理端口,即可使用代理服务器上网。要设置一个HTTPS服务器,在nginx.conf文件中,在服务器块的listen指令中加入ssl参数,然后指定服务器证书和私钥文件的位置。百度那边只能看到nginx服务器的IP,而获取不到你的真实IP。
2022-10-12 12:30:43
3545
1
原创 Kafka MirrorMaker迁移
MirrorMaker 作为消费者,消费源集群;MirrorMaker 作为生产者,将消息推送到目标集群。MirrorMaker 可将 topic 中的历史消息,以及后续产生的消息实时同步到目标集群。部署 MirrorMaker 的机器需要打通源端与目标端的网络。MirrorMaker 创建一个通道将源端与目的端联通。该工具在 kafka 安装包的 bin 目录。查看 topic 中的历史消息。向该 topic 实时生产消息。的 topic 是否接收。查看 topic 列表。
2022-09-26 10:09:15
1409
原创 Kafka 迁移-集群搭建
运行一个消息生产者,指定 topic 为刚刚创建的 my-test-topic。运行一个消息消费者,同样指定 topic 为 my-test-topic。注意 myid 内的数字不能重复,作为 zookeeper 的独立标志。启动 zookeeper。启动 kafka 集群。
2022-09-26 10:04:08
767
原创 Kafka 介绍
常见的消息队列有 activemq ,rabbitmq, rocketmq;消息队列常用于 两个系统之间的 数据传递;分布式消息传递基于可靠的消息队列,在客户端应用和消息系统之间异步传递消息。有两种主要的 消息传递模式: 点对点传递模式、发布- 订阅模式。大部分的消息系统选用发布-订阅模式。kafka 是发布-订阅模式。
2022-09-26 10:00:59
6703
原创 docker-compose 搭建 wordpress
version: "3.9"services: mysql: image: mysql:5.7 restart: always environment: MYSQL_DATABASE: wordpressdb MYSQL_USER: wordpressuser MYSQL_PASSWORD: wordpresspass MYSQL_RANDOM_ROOT_PASSWORD: '1' volumes: - my
2022-02-17 20:53:37
227
原创 Docker 跨主机容器网络通信 -- Flannel 实现
一、简介Flannel 是一种基于 overlay 网络的跨主机容器网络解决方案,也就是将 TCP 数据包封装在另一种网络包里面进行路由转发和通信,Flannel 是 CoreOS 开发,专门用于 Docker 多机互联的一个工具,让集群中的不同节点主机创建的容器都具有全集群唯一的虚拟 IP 地址,Flannel 使用 go 语言编写。...
2022-02-15 16:17:11
1632
原创 ES 基础 API 操作 6.x版本
文章目录基础概念RestFul API 格式基础 API 操作查看集群信息查看节点信息新增索引查看索引删除索引ES 查询语句导入数据查询方式使用查询字符串查询使用 json 格式查询匹配所有文档(match_all)匹配字段查询(match)匹配多字段查询(bool)且查询(bool must)或查询(bool should)指定区间内的数字或者时间(range)查询指定数量的数据(from,size)基础概念ES 主要的基础概念有:Node、Index、Type、Document、Field、shar
2021-12-17 22:29:43
1213
原创 Zabbix(三)自动发现添加主机
系列文章Zabbix(一)Zabbix 5.0 LTS 版本搭建Zabbix(二)添加 Agent 主机文章目录自动发现与动作主机安装 zabbix-agent在管理页面配置自动发现1、创建发现规则2、创建动作自动发现与动作自动发现假设我现在需要添加监控 100 台主机,这个工作量有点大。所以我可以把这 100 台连好网络,配置并启动好 zabbix-agent 服务。然后在 zabbix server 上配置一个自动发现规则,自动发现这 100 台主机。自动发现是由服务端主动发起,Za
2021-12-17 17:31:50
2297
原创 Jenkins 通过 rsync 实现持续发布 PHP 项目
前置条件:Jenkins 服务、Git 插件已安装新建一个任务创建一个自由风格的软件项目配置 git 仓库填入 git仓库的地址、账号密码(可以点击添加新建)构建(核心)添加一个 shell 脚本,php 部署的核心就是将 git 的代码与线上的代码对比,然后同步与 git 仓库不同的代码文件,当然线上有数据的目录要排除掉对比,避免删除线上数据。!!!使用 rsync 要提前进行服务器免密登录,否则需要交互式输入密码 !!!rsync -avz ./* \-e 'ssh -p1222
2021-12-15 17:54:24
1602
原创 YUM 更换阿里源与本地仓库制作方法
文章目录一、介绍二、使用国内镜像三、制作本地仓库1、搭建本地 yum 仓库2、搭建局域网 yum 仓库四、yum 命令一、介绍在使用 CentOS/RHEL 系统的过程中,一般安装软件都会使用 yum 工具,使用 yum 可以简化安装的过程。但 yum 都要有一个仓库,而且系统默认的 yum 仓库为网络源,并且是国外的。这样导致有些网络不好或者没有外网环境的用户使用 yum 工具非常麻烦,所以一般企业用户都会采用以下两种方案:服务器有外网:配置国内 yum 源服务器无法上网:使用本地 yum 仓库
2021-12-10 12:47:58
1467
原创 Ansible(四)roles 详解
文章目录roles 介绍roles 目录结构roles 实现 lamproles 介绍roles 就是通过分别将 variables,tasks 及 handlers 等放置于单独的目录中,并可以便捷地调用它们的一种机制。假设我们要写一个 playbook 来安装管理 lamp 环境,那么这个 playbook 就会写很长。所以我们希望把这个很大的文件分成多个功能拆分,分成 apache 管理,php 管理,mysql 管理,然后在需要使用的时候直接调用就可以了,以免重复写。就类似编程里的模块化的概念
2021-12-09 14:10:51
722
原创 Ansible(三)playbook 详解
文章目录一、playbook 介绍YMAL格式二、playbook 语法基本语法playbook示例三、实战案例httpdNFS一、playbook 介绍Playbook 是 ansible 用于配置,部署,和管理被控节点的剧本。用于 ansible 操作的编排。官方文档:https://docs.ansible.com/ansible/latest/user_guide/playbooks_intro.htmlYMAL格式以 .yaml 或 .yml 结尾文件的第一行以 "---"开始,
2021-12-08 17:56:18
1091
原创 Ansible(二)常用模块
Playbook 相当于是一个任务列表,这个列表包含一个或者多个 plays,所有的操作放在这一个文件中,然后一次性执行。YAML 格式说明文件均以 --- 作为开始,以 ... 结束。列表中同级别的项使用相同缩进以及短横线加空格(- )开始。字典(dictionary)用 key: value 的简单形式表示,其中冒号后面必须有个空格。value 部分可以用几种形式(yes/no/true/false)来指定布尔值。换行符:value 部分还可以使用 | 或 >,使用 |
2021-12-08 14:13:58
400
原创 Linux 运维知识梳理(8)GlusterFS、Ceph 分布式存储
文章目录一、存储简介1、存储的分类2、存储类型的分类3、分布式存储介绍二、GlusterFS1、介绍2、安装常见卷的模式glusterfs集群**replica卷测试****卷的删除****stripe模式**(条带)**distributed模式****distributed-replica模式**dispersed模式**在线裁减与在线扩容**任务背景任务要求任务拆解学习目标一、认识Ceph二、ceph架构**拓展名词**三、Ceph集群集群组件集群环境准备集群部署过程第1步: 配置ssh免密第2步:
2021-12-06 18:13:19
2520
原创 Linux 运维知识梳理(7)Redis 详解
文章目录一、LVS介绍和安装1、介绍2、调度算法1、LVS-NAT实现2、LVS-DR实现Nginx 七层负载均衡:Linux 运维知识梳理(5)Nginx 详解一、LVS介绍和安装1、介绍LVS(Linux Virtual Server)即 Linux 虚拟服务器,是由章文嵩博士主导的开源负载均衡项目,目前 LVS 已经被集成到 Linux 内核模块中。该项目在 Linux 内核中实现了基于 IP 的数据请求负载均衡调度方案。LVS 的 IPVS 模块在 Linux 内核 2.4 之后以上
2021-11-30 17:22:35
2377
原创 Linux 运维知识梳理(6)高可用服务
一、高可用介绍1、HA 高可用高可用 HA(High Availability)是分布式系统架构设计中必须考虑的因素之一,它通常是指通过设计,减少系统服务不可用的时间。假设系统一直能够提供服务,我们说系统的可用性是 100%。如果系统每运行 100 个时间单位,会有 1 个时间单位无法提供服务,我们说系统的可用性是 99%。很多公司的高可用目标是 4 个 9,也就是 99.99%,这就意味着,系统的年停机时间为 0.876 个小时。描述通俗叫法可用性级别年度停机时间基本可用性
2021-11-28 16:34:56
3631
1
原创 Linux 运维知识梳理(5)Nginx 详解
架构图软件版本软件版本CentOS7.9Nginx1.20.2PHP7.4.4Mysql5.7.35简介CentOSCentOS(Community Enterprise Operating System,中文意思是:社区企业操作系统)是Linux发行版之一,它是来自于Red Hat Enterprise Linux依照开放源代码规定释出的源代码所编译而成。由于出自同样的源代码,因此有些要求高度稳定性的服务器以CentOS替代商业版的Red Ha
2021-11-27 22:49:59
3564
原创 Linux 运维知识梳理(4)MySQL 详解
文章目录服务器准备工作一、MySQL 安装1、源码包方式2、glibc 包方式3、rpm 包方式二、SQL 语句三、用户与权限管理四、MySQL 数据备份五、MySQL 主从六、MHA 高可用集群服务器准备工作发行版版本IP角色CentOS7.9.2009192.168.1.6MySQL 单机服务器设置主机名[root@localhost ~]# hostnamectl set-hostname mysql.server[root@localhost ~]#
2021-11-25 15:01:12
4800
1
原创 Ubuntu 20.04 LNMP 环境编译安装
文章目录一、环境二、服务器初始化1、设置主机名2、配置 apt 源3、关闭防火墙4、安装基本工具三、安装 MySQL四、安装 PHP五、安装 Nginx一、环境软件版本安装目录Ubuntu20.04.3Nginx1.20.2/data/nginxMySQL5.7.35/data/mysqlPHP5.6.40/data/php二、服务器初始化1、设置主机名hostnamectl set-hostname test.server2、配置
2021-11-18 12:52:58
3770
2
原创 Linux 运维知识梳理(3)磁盘管理
文章目录一、磁盘分区方式二、MBR 分区实战1、列出存储设备2、给磁盘分区3、格式化分区4、将分区挂载到目录三、GPT 分区实战1、列出存储设备2、给磁盘分区3、格式化分区4、将分区挂载到目录四、逻辑卷1、逻辑卷概念一、磁盘分区方式对于硬盘通常有两种分区方式 MBR 分区、GPT 分区。区别MBRGPT适用硬盘大小小于 2TB大于 2TB分区工具fdiskgdisk可分区数量4 个主分区或 3 个主分区 + 1 个拓展分区(N 个逻辑分区)128 个主分区
2021-10-28 10:40:41
1424
原创 CentOS 7 编译安装 LAMP-WordPress 环境
文章目录一、服务器架构1、架构图2、服务器3、软件版本二、服务器标准环境配置1、更改主机名2、关闭防火墙,SELinux3、配置 YUM 源4、基本工具安装三、LAMP 服务器搭建1、Mysql 安装3、httpd 安装4、PHP 安装四、NFS 服务器搭建五、DNS 服务器搭建六、备份服务器搭建一、服务器架构1、架构图2、服务器IP主机名功能192.168.1.6web.serverLAMP 环境192.168.1.7nfs.server静态文件 NFS 服务
2021-10-25 15:21:09
554
原创 Linux 运维知识梳理(2)系统服务管理
文章目录一、Linux 高级命令1、find 命令2、一、Linux 高级命令1、find 命令基本语法find 搜索路径 [选项 选项的值]# 选项说明:-name: 根据文件的名称搜索文件,支持 * 通配符-type: f 普通文件,d 文件夹案例# 搜索系统中的所有文件,找到 httpd.conf 文件find / -name 'httpd.conf' -type f2、...
2021-10-25 09:40:06
1575
原创 Linux 运维知识梳理(1)运维基本功
文章目录一、运维基本功1.1、操作系统基础一、运维基本功1.1、操作系统基础1、Linux 相较于 Windows 系统有哪些优点?① 性能问题:Windows 操作系统性能不如 Linux 系统高。② 稳定性问题:Linux 系统比 Windows 系统更稳定,可以运行长达几年而不关机。Linux 底层源代码开源。③ 安全性问题:Linux 系统相较于 Windows 系统更加安全。④ 远程管理:Windows 远程管理不如 Linux 方便。⑤ 资源利用率:Windows 较多资源用
2021-10-12 17:28:56
3072
原创 Linux 小技巧
Shell生成 32 位随机密码cat /dev/urandom | head -1 | md5sum | head -c 32 >> /root/passwd.txt快速生成一个 10G 的文件dd if=/dev/zero of=/root/10Gb.file bs=10M count=1024if=文件名:输入文件名,默认为标准输入。即指定源文件。of=文件名:输出文件名,默认为标准输出。即指定目的文件。bs=bytes:同时设置读入/输出的块大小为bytes个字节。
2021-09-29 12:06:06
246
原创 Python 进阶(一)PEP 8 代码风格指南
文章目录一、简介二、注意点2.1 与空白有关的建议2.2 与命名有关的建议2.3 与表达式和语句有关的建议2.4 与引入有关的建议一、简介PEP 8 是一份针对 Python 代码格式而编订的风格指南。尽管只要语法正确,代码随便怎么写都行,但采用一致的风格可以使代码更易读、更易懂。如果你的代码风格和其他 Python 程序员的相同,那么就能够更加顺利地与大家一起做项目。即便你的代码只给自己看,也应该按照这套风格来写,以便以后修改更加容易一些,而且能够避开很多常见的错误。PEP 8 非常详细地描述了如何
2021-09-28 17:47:23
367
原创 Linux 下设置开机自启方法
文章目录方法一:/etc/rc.local方法二:Crontab方法三:Systemd方法一:/etc/rc.local直接在 /etc/rc.local 文件末追加要开机运行的脚本,这种方法不推荐使用。[root@localhost ~]# cat /etc/rc.local #!/bin/bash# THIS FILE IS ADDED FOR COMPATIBILITY PURPOSES## It is highly advisable to create own systemd se
2021-09-13 14:53:38
287
原创 Dockerfile--基础镜像
#拉取Centos镜像FROM centos:latest#作者信息MAINTAINER liuli<1224979840@qq.com>#配置阿里的yum源,删除系统自带的yum源RUN rm -rf /etc/yum.repos.d/*#将阿里的yum文件复制进去COPY Centos-7.repo /etc/yum.repos.d/Centos-7.repo#设置...
2021-09-10 10:59:38
346
原创 ELK 日志采集监控报警系统搭建
文章目录一、系统选型1.1 Filebeat1.2 Logstash1.3 ElasticSearch1.4 Kibana二、软件版本三、服务器规划四、安装步骤4.1 ElasticSearch4.2 Logstash4.3 Filebeat4.4 Kibana五、接入测试5.1 Logstash配置5.2 Filebeat配置5.3 kibana配置六、日志报警一、系统选型Elastic 公司有一套免费开源的日志采集系统(ELK),所以我选择拿来即用。日志流:日志文件→FileBeat→Logst
2021-09-10 10:57:27
3829
原创 CentOS7 安装 Nginx 服务
CentOS 系统常见的 Nginx 安装方法有两种:YUM 与 源码编译环境介绍系统版本在这里插入代码片YUM 安装首先要配置 yum 仓库源
2021-09-08 18:02:21
277
原创 CDH集群日志垃圾清理记录
文章目录CDHHDFSHiveHueimpalaKuduYarnZooKeeper其他CDHActivity Monitor、Service Monitor、Host Monitorfor i in `ls /var/log/cloudera-scm-firehose/*.log.out`;do cat /dev/null > $i;doneAlert Publisherfor i in `ls /var/log/cloudera-scm-alertpublisher/*.log.
2021-09-06 14:35:12
791
原创 因升级OpenSSL版本导致Nginx重新编译出现的问题
起因公司的线上网站收到网安发来的漏洞检测通知,发了一堆安全漏洞需要整改nginx 安全漏洞 CVE-2021-23017nginx resolver 释放后重利用漏洞 CVE-2016-0746nginx resolver 拒绝服务漏洞 CVE-2016-0742nginx 空指针间接引用漏洞 CVE-2016-4450nginx 安全漏洞 CVE-2019-9511nginx 安全漏洞 CVE-2019-9513Nginx 的漏洞解决方法都在官网通告中找得到,最简单的办法就是升级至安全
2021-09-03 19:50:50
3040
1
原创 Nginx 平滑升级与回滚
文章目录安装旧版本旧版本添加新模块旧版本升级到新版本新版本回滚到旧版本参考1分钟搞定 Nginx 版本的平滑升级与回滚nginx 的平滑升级版本旧版本:nginx-1.16.0新版本:nginx-1.20.1Nginx 一般有两种情况需要升级一种是要为 nginx 添加新的模块另一种是确实要升级 nginx 的版本原理Nginx的升级和回滚本质就是对安装旧版本[root@localhost ~]# cd nginx-1.16.0/[root@localhost nginx-
2021-09-01 18:47:49
430
原创 kudu实践
文章目录MySQL单表迁移至Kudu1、将MySQL中的表导出为csv文件格式2、将CSV文件上传至HDFS中3、impala临时表4、kudu表MySQL单表迁移至Kudu1、将MySQL中的表导出为csv文件格式我这里使用的是Navicat自带的导出功能导出格式 CSV 文件( *.csv )随便从库中选择一个表选择要导出的字段,一般都是全选文本标识符号选 ”无“,不然导出的数据全部带标识符。导出结束2、将CSV文件上传至HDFS中因为impala不支持
2021-08-23 18:33:45
1931
原创 rclone 迁移minio数据
安装 rclonecurl https://rclone.org/install.sh | sudo bash编辑 /root/.config/rclone/rclone.conf 配置文件[oldminio]type = s3provider = Minioenv_auth = falseaccess_key_id = minio1secret_access_key = minio1@123region = cn-east-1endpoint = https://minio.exem
2021-07-09 15:52:27
815
原创 使用ElasticSearch-dump进行数据迁移、备份
文章目录一、安装1.1 安装 node1.2 安装 Elasticdump二、使用2.1 `elasticdump` 使用方法:2.2 `multielasticdump` 使用方法三、实战3.1 迁移3.1.1 在线迁移3.1.2 离线迁移3.2 备份3.2.1 单索引3.2.2 全索引四、脚本elasticsearch-dump文档:https://github.com/elasticsearch-dump/elasticsearch-dump一、安装1.1 安装 node注:node 版本不低
2021-07-07 18:22:48
8257
1
原创 python爬虫使用代理报错解决方案
今天使用requests库爬取蝉妈妈网站的用户数据,本地pycharm调试通过,放在服务器上运行就包如下错误:Error:HTTPSConnectionPool(host='api-service.chanmama.com', port=443): Max retries exceeded with url: /v1/author/detail/info?author_id=2203618155 (Caused by SSLError(SSLEOFError(8, 'EOF occurred in vio
2021-06-10 18:59:56
2197
10
原创 python3监控网站在离线调用企业微信通知
创建三个文件main.pyimport timeimport toolsimport webhook# 定义需要监控的服务关系字典service_dict = { "test-baidu": "https://www.baidu.com/", "test-sina": "https://www.sina.com.cn/"}# 根据服务字典进行巡检while True: for name, service in service_dict.items():
2021-05-31 16:42:08
232
arthas-bin.zip
2020-08-07
v1.5.0.tar.gz
2020-07-21
v1.6.0.tar.gz
2020-07-21
helm-push_0.8.1_darwin_amd64.tar.gz
2020-07-10
falcon-plus.zip
2020-03-12
elasticsearch-analysis-hanlp-7.1.1.zip
2019-07-31
analysis-hanlp-7x.zip
2019-07-30
analysis-hanlp.zip
2019-07-30
ZenTaoPMS.11.6.stable.zbox_64.tar.gz
2019-07-30
frp_0.27.1_linux_amd64.tar.gz
2019-07-30
ffmpeg-4.1.4.tar.xz
2019-07-30
dbeaver 6.0.4
2019-05-08
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人