- 博客(97)
- 收藏
- 关注
RSS订阅
转载 服务端高并发分布式架构演进之路
1. 概述本文以淘宝作为例子，介绍从一百个到千万级并发情况下服务端的架构的演进过程，同时列举出每个演进阶段会遇到的相关技术，让大家对架构的演进有一个整体的认知，文章最后汇总了一些架构设计的原则。特别说明：本文以淘宝为例仅仅是为了便于说明演进过程可能遇到的问题，并非是淘宝真正的技术演进路径2. 基本概念在介绍架构之前，为了避免部分读者对架构设计中的一些概念不了解，下面对几个最基础的概念进行介...
2019-11-29 15:03:55
160
转载 netstat监控大量ESTABLISHED连接数和TIME_WAIT连接数题解决
https://www.cnblogs.com/sunxucool/p/3449068.html查看网络连接数：netstat -an |wc -lnetstat -an |grep xx |wc -l 查看某个/特定ip的连接数netstat -an |grep TIME_WAIT|wc -l 查看连接数等待time_wait状态连接数netstat -an |gr...
2019-11-29 11:02:49
1536
转载 RabbitMQ消息队列（一）: Detailed Introduction 详细介绍
历史RabbitMQ是一个由erlang开发的AMQP（Advanced Message Queue ）的开源实现。AMQP 的出现其实也是应了广大人民群众的需求，虽然在同步消息通讯的世界里有很多公开标准（如 COBAR的 IIOP ，或者是 SOAP 等），但是在异步消息处理中却不是这样，只有大企业有一些商业实现（如微软的 MSMQ ，IBM 的 Websphere MQ 等），因此，在 ...
2019-11-25 17:00:26
118
原创 ngixn安装
linux版本：CentOS7 64位【yum 安装最新版nginx：https://www.cnblogs.com/xxoome/p/7256214.html】在安装nginx前首先要确认系统中安装了gcc、pcre-devel、zlib-devel、openssl-devel。Linux下检查是否安装过某软件包：http://www.cnblogs.com/xxoome/p/586655...
2020-03-13 12:52:36
520
原创 shell脚本自检..备份
通过位置变量创建 Linux 系统账户及密码#!/bin/bashuseradd "$1" echo "$2" |passwd --stdin "$1".2. 每周 5 使用 tar 命令备份/var/log 下的所有日志文件编写脚本#!/bin/bashtar -zcf log-`date +%F`.tar.gz /var/logchmod +x tar.sh设置定时...
2020-01-08 08:46:08
316
转载 CentOS7 MySQL定时自动备份实现
生产环境遇到得最幸福得事情就是，某些场景没办法避免去update或者delete的时候，某个参数没有注意。完蛋了 完蛋了，数据被我搞崩了怎么办，赶紧去运营找备份呀！运营说：狗屁 咱们系统从来不备份，你说：那把日志给我吧，运营说：狗屁 每天上G的日志，我都没给你开，你说：怎么办，数据库被我搞崩了。运营说：那是你的事，跟我没关系…这是某公司的一段写照，所以今天我们来把这个情况给杜绝今天要给客户部署一...
2019-12-25 09:31:59
369
1
原创 Linux 命令汇总!【珍藏版】
Linux是一套免费使用和自由传播的类Unix操作系统，是一个基于POSIX和UNIX的多用户、多任务、支持多线程和多CPU的操作系统。它能运行主要的UNIX工具软件、应用程序和网络协议。它支持32位和64位硬件。Linux继承了Unix以网络为核心的设计思想，是一个性能稳定的多用户网络操作系统。linux命令是对Linux系统进行管理的命令。对于Linux系统来说，无论是中央处理器、内存、磁盘...
2019-12-03 11:31:36
214
原创 Linux Shell 文本处理工具集锦
我对shell脚本使用的原则是命令单行书写，尽量不要超过2行；如果有更为复杂的任务需求，还是考虑python吧；find 文件查找查找txt和pdf文件find . ( -name “.txt" -o -name ".pdf” ) -print正则方式查找.txt和pdffind . -regex “.*(.txt|.pdf)$”-iregex：忽略大小写的正则否定参数查找所有...
2019-12-03 11:29:56
230
原创 Linux 常用命令全拼!
pwd:print work directory 打印当前目录 显示出当前工作目录的绝对路径ps: process status(进程状态，类似于windows的任务管理器)常用参数：－auxfps -auxf 显示进程状态df: disk free 其功能是显示磁盘可用空间数目信息及空间结点信息。换句话说，就是报告在任何安装的设备或目录中，还剩多少自由的空间。du: Disk usag...
2019-12-03 11:28:45
305
原创 ELK学习总结
1、elk 是什么 ？ Elastic Stack（旧称ELK Stack），是一种能够从任意数据源抽取数据，并实时对数据进行搜索、分析和可视化展现的数据分析框架。（hadoop同一个开发人员） java 开发的开源的全文搜索引擎工具 基于lucence搜索引擎的 采用 restful - api 标准的 高可用、高扩展的分布式框架 实时数据分析的 [官网链接](https...
2019-11-29 10:03:24
176
原创 TCP的三次握手和四次挥手
三次握手过程：第一次握手：A发送SYN=1（同步序列编号）、seq=x（来自A的数据包序列）；表示请求与B建立连接。第二次握手：B接收到了来自A发送的信息，返回SYN=1、ACK=1、seq=y、ack=x+1；表示A你的请求我已经收到了（ACK=1），现在我申请与你建立连接（SYN=1），下次你给我返回序列号为x+1的数据包吧（ack=x+1），同时把这次连接加入服务器的为连接队列。第二次握...
2019-11-29 09:56:05
238
原创 ansible Playbooks运用
一、ansible Playbook 简单介绍。ansible可以使用普通命令的方式管理主机，如果服务器数量多的话，配置信息比较多，一个一个的敲出来就有点繁琐了，还容易出错，这时可以使用ansible playbook 编写剧本，从而实现更加简便的方式实现任务处理的自动化与流程化。playbook其实就像shell脚本一样，脚本是由多个命令组成，而playbook由多个任务，多个模块组成一个完...
2019-11-26 09:35:52
159
原创 RabbitMQ基础知识
一、背景RabbitMQ是一个由erlang开发的AMQP（Advanced Message Queue ）的开源实现。AMQP 的出现其实也是应了广大人民群众的需求，虽然在同步消息通讯的世界里有很多公开标准（如 COBAR的 IIOP ，或者是 SOAP 等），但是在异步消息处理中却不是这样，只有大企业有一些商业实现（如微软的 MSMQ ，IBM 的 Websphere MQ 等），因此，在 ...
2019-11-25 17:00:32
110
原创 消息队列MQ的基础知识
MQ是什么？RabbitMQ是什么？AMQP是什么？消息队列（ message queuing ）使用消息将应用程序连接起来。这些消息通过像RabbitMQ 这样的消息代理服务器在应用程序之间路由。这就像是在应用程序之间放置一个邮局。RabbitMQ是一个消息代理和队列服务器。AMQP，即Advanced Message Queuing Protocol，一个提供统一消息服务的应用层标准高级...
2019-11-25 16:26:58
326
原创 Redis 5种主要数据类型和命令
redis是键值对的数据库，有5中主要数据类型：字符串类型（string），散列类型（hash），列表类型（list），集合类型（set），有序集合类型（zset）几个基本的命令：KEYS * 获得当前数据库的所有键EXISTS key [key …] 判断键是否存在，返回个数，如果key有一样的也是叠加数DEL key [key …] 删除键，返回删除的个数TYPE k...
2019-11-25 16:22:19
143
原创 MySQL数据备份之mysqldump使用
1、各种用法说明A. 最简单的用法：mysqldump -uroot -pPassword [database name][dump file]上述命令将指定数据库备份到某dump文件（转储文件）中，比如：mysqldump -uroot -p123 test > test.dump生成的test.dump文件中包含建表语句（生成数据库结构哦）和插入数据的insert语句。B....
2019-11-25 16:08:45
191
原创 Linux必学的60个命令
Linux必学的60个命令Linux提供了大量的命令，利用它可以有效地完成大量的工作，如磁盘操作、文件存取、目录操作、进程管理、文件权限设定等。所以，在Linux系统上工作离不开使用系统提供的命令。要想真正理解Linux系统，就必须从Linux命令学起，通过基础的命令学习可以进一步理解Linux系统。不同Linux发行版的命令数量不一样，但Linux发行版本最少的命令也有200多个。这里笔者把...
2019-11-25 16:02:45
411
原创 DNS共享
1、首先需要三台服务器，记住防火墙一定要关闭2、web1安装nfs-utils，rpcbindyum -y install nfs-utils rpcbind httpdchkconfig nfs onchkconfig rpcbind on/var/www/html 192.168.11.0/24(rw,sync,no_root_squash)4、启动NFS服务，rpcbin...
2019-11-25 15:47:45
400
1
原创 华为防火墙通用配置详解
用户名：admin 密码;Admin@123第一次配制时，可以设置本地IP自动获取。也可以设置成IP192.168.0.X/255.255.255.0 (x=2-254)防火墙的IP: 192.168.0.1配制如下：sysname USG2130web-manager enableinfo-center source default channel 4 log level n...
2019-11-25 15:42:16
2501
转载 ELK实时日志分析平台环境部署--完整记录
在日常运维工作中，对于系统和业务日志的处理尤为重要。今天，在这里分享一下自己部署的ELK（+Redis）-开源实时日志分析平台的记录过程（仅依据本人的实际操作为例说明，如有误述，敬请指出）~概念介绍日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷，性能安全性，从而及时采取措施...
2019-11-25 15:26:09
1346
转载 Mysql双机热备实现
预备知识 ：1.双机热备对于双机热备这一概念，我搜索了很多资料，最后，还是按照大多数资料所讲分成广义与狭义两种意义来说。从广义上讲，就是对于重要的服务，使用两台服务器，互相备份，共同执行同一服务。当一台服务器出现故障时，可以由另一台服务器承担服务任务，从而在不需要人工干预的情况下，自动保证系统能持续提供服务。从狭义上讲，双机热备就是使用互为备份的两台服务器共同执行同一服务，其中一台主机为工...
2019-11-25 14:18:31
233
原创 redis的 rdb 和 aof 持久化的区别
aof，rdb是两种 redis持久化的机制。用于crash后，redis的恢复。rdb的特性如下：fork一个进程，遍历hash table，利用copy on write，把整个db dump保存下来。save, shutdown, slave 命令会触发这个操作。粒度比较大，如果save, shutdown, slave 之前crash了，则中间的操作没办法恢复。aof有如下特性：...
2019-11-25 14:05:16
147
原创 redis的rdb和aof模式性能对比
由于是同一台机器，进行相对对比，我就不列配置了。系统是debian testing，kernel 3.2 686。redis 2.4.8。测试方法是用python写的脚本对redis数据库进行写入，看写入速度。100000/300000/1000000是数据量，插入的都是string。第一个数据是最小时间，第二个是平均，第三个是数据大小。100000:dbmode: 4.8, 5.1, 1...
2019-11-25 14:04:46
916
转载 redis持久化的几种方式
1、前言Redis是一种高级key-value数据库。它跟memcached类似，不过数据可以持久化，而且支持的数据类型很丰富。有字符串，链表，集 合和有序集合。支持在服务器端计算集合的并，交和补集(difference)等，还支持多种排序功能。所以Redis也可以被看成是一个数据结构服务 器。Redis的所有数据都是保存在内存中，然后不定期的通过异步方式保存到磁盘上(这称为“半持久化模式”)...
2019-11-25 14:02:45
89
转载 redis的三种集群方式
1.主从复制主从复制原理：从服务器连接主服务器，发送SYNC命令；主服务器接收到SYNC命名后，开始执行BGSAVE命令生成RDB文件并使用缓冲区记录此后执行的所有写命令；主服务器BGSAVE执行完后，向所有从服务器发送快照文件，并在发送期间继续记录被执行的写命令；从服务器收到快照文件后丢弃所有旧数据，载入收到的快照；主服务器快照发送完毕后开始向从服务器发送缓冲区中的写命令；从服务器...
2019-11-25 14:00:05
86
原创 docker使用的5种工具
Watchtower：自动更新Docker容器Watchtower监视容器运行过程，并且能够捕捉到容器中的变化。当Watchtower检测到有镜像发生变化，会自动使用新镜像重启容器。我在本地开发环境中创建的最后一个镜像就用到了Watchtower。Watchtower本身就像一个Docker镜像，所以它启动容器的方式和别的镜像无异。运行Watchtower的命令如下：上面的代码中，我们用...
2019-11-23 11:48:58
748
原创 linux命令
Linux是一套免费使用和自由传播的类Unix操作系统，是一个基于POSIX和UNIX的多用户、多任务、支持多线程和多CPU的操作系统。它能运行主要的UNIX工具软件、应用程序和网络协议。它支持32位和64位硬件。Linux继承了Unix以网络为核心的设计思想，是一个性能稳定的多用户网络操作系统。linux命令是对Linux系统进行管理的命令。对于Linux系统来说，无论是中央处理器、内存、磁盘...
2019-11-23 11:44:56
106
原创 最大连接数
mongodb最大连接数是20000。所以业界流传一段话，千万级以下的用mysql、千万级以上的用mongodb，亿级以上的用hadoop。查看mongodb最大连接数mongodb/bin/mongodb.serviceStatus().connections;current数值+available数值就是当前mongodb最大连接数修改mongodb最大连接数在启动里边加参数...
2019-11-18 11:31:30
797
原创 redis存储的几种方式
一、redis的数据是存在内存里吗？ 首先要明白redis是一个数据库 redis是一个内存数据库, 所有数据基本上都存在于内存当中, 会定时以追加或者快照的方式刷新到硬盘中. 由于redis是一个内存数据库, 所以读取写入的速度是非常快的, 所以经常被用来做数据, 页面等的缓存。二、redis各种数据类型的使用场景？Redis常用数据类型Redis最为常用的数据类型主要有以下：...
2019-11-15 10:29:44
12930
原创 tomcat 性能优化
tomcat默认参数是为开发环境制定，而非适合生产环境，尤其是内存和线程的配置，默认都很低，容易成为性能瓶颈。tomcat内存优化linux修改TOMCAT_HOME/bin/catalina.sh，在前面加入JAVA_OPTS="-XX:PermSize=64M -XX:MaxPermSize=128m -Xms512m -Xmx1024m -Duser.timezone=Asia/Sha...
2019-11-14 15:51:09
118
原创 Nginx配置项优化详解
（1）nginx运行工作进程个数，一般设置cpu的核心或者核心数x2如果不了解cpu的核数，可以top命令之后按1看出来，也可以查看/proc/cpuinfo文件 grep ^processor /proc/cpuinfo | wc -l[root@lx~]# vi/usr/local/nginx1.10/conf/nginx.confworker_processes 4;[root@l...
2019-11-14 15:44:19
122
原创 Linux的引导加载程序
1、MBR当计算机引导操作系统时，BIOS会读取引导介质上最前面的512字节（主引导记，MBR，master boot record）,也就是第一个扇区。主引导记录包括两部分内容：部分引导程序以及分区表。由于BIOS只能访问很少的数据，所以大部分引导加载程序分两个阶段进行引导。第一阶段BIOS引导一部分引导程序（IPL，initial program loader）（称为主引导程序，prim...
2019-11-14 15:31:20
539
原创 PXE--Kickstart无人值守安装
安装部署：# yum -y install system-config-kickstart应用程序-----》系统工具-----》kickstart安装方法配置：分区信息：500MB的/boot,4GB的/home，2GB的swap，剩余空间给/。如下所示网络配置以及防火墙配置：软件包选择：之后保存退出即可。# cp ks.cfg /var/ftp/centos...
2019-11-14 15:10:51
171
原创 PXE远程安装服务
PXE是有intel公司开发的网络引导技术，工作在C/S模式，允许客户机通过网络从远程服务器下载引导镜像，并加载安装文件或者整个操作系统。需要满足条件：客户机网卡支持PXE协议，且主板支持网络引导。（现在的服务器和pc机基本上都支持，只需要在BIOS中允许从network或LAN启动即可）网络中有一台DHCP服务器以便为客户机自动分配地址，制定引导文件位置。服务器通过TFTP提供引导...
2019-11-14 15:08:29
224
原创 iptables详细分析
iptables -Fiptables -Xiptables -F -t mangleiptables -t mangle -Xiptables -F -t natiptables -t nat -X首先，把三个表清空，把自建的规则清空。iptables -P INPUT DROPiptables -P OUTPUT DROPiptables -P FORWARD ACCEPT...
2019-11-14 15:01:11
334
原创 linux系统防火墙iptables命令规则及配置的示例
linux系统防火墙iptables命令规则及配置的示例（本机IP为172.16.63.7）：1、清空当前系统的防火墙规则的命令，清空规则;#iptables -F注：当前策略一定要是ACCEPT，不然会被阻断（你可以试试），任何清空删除规则前，都要保证自己不会被阻断！！！2、允许172.16网段内的主机访问：#iptables -t filter -A INPUT -s 172.16....
2019-11-14 14:59:52
863
原创 Linux详解和基础命令
Linux 命令大全Linux 是一套 Unix-like 的操作系统，是 Unix 的一种，它控制整个系统基本服务的核心程序 (kernel) 是由 Linus 带头开发出来的，「Linux」这个名称便是以「Linus’s unix」来命名，Linus 选择用「大众公有版权」 (GPL)的方式来发行这份程序，这个版权允许任何人以任何形式复制与散布 Linux 的原始程序，换句话说，Linux ...
2019-11-14 14:53:55
125
原创 rpm包的卸载与安装
1.rpm包的管理介绍：一种用于互联网下载包的打包及安装工具，它包含在某些Linux分发版中，它生成具有RPM扩展名的文件，RPM是RedHat Package Manager（RedHat软件包管理工具）的缩写，类似windows的setup.exe，这一文件格式名称虽然打上了RedHat的标志，但理念是通用的Linux的分发版本都有采用（suse,redhat, centos 等等），可...
2019-11-14 14:48:55
102
原创 Nginx详解（正向代理、反向代理、负载均衡原理）
nginx概述nginx是一款自由的、开源的、高性能的HTTP服务器和反向代理服务器；同时也是一个IMAP、POP3、SMTP代理服务器；nginx可以作为一个HTTP服务器进行网站的发布处理，另外nginx可以作为反向代理进行负载均衡的实现。这里主要通过三个方面简单介绍nginx反向代理负载均衡nginx特点反向代理关于代理说到代理，首先我们要明确一个概念，所谓代理就是一个代表...
2019-11-13 14:57:26
341
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人