
分布式相关技术
文章平均质量分 90
浮生忆梦
屌丝程序猿一枚
展开
-
nginx实现高并发的原理
Nginx首先要明白,Nginx 采用的是多进程(单线程) & 多路IO复用模型。使用了 I/O 多路复用技术的 Nginx,就成了”并发事件驱动“的服务器。异步非阻塞(AIO)的详解http://www.ibm.com/developerworks/cn/linux/l-async/多进程的工作模式1、Nginx 在启动后,会有一个 master 进程转载 2017-07-14 17:24:32 · 27397 阅读 · 4 评论 -
CAP理论,BASE理论和ACID模型
基础理论先简单介绍下数据一致性的基础理论。 强一致 当更新操作完成之后,任何多个后续进程或者线程的访问都会返回最新的更新过的值。这种是对用户最友好的,就是用户上一次写什么,下一次就保证能读到什么。根据 CAP 理论,这种实现需要牺牲可用性。 弱一致性 系统并不保证续进程或者线程的访问都会返回最新的更新过的值。系统在数据写入成功之后,不承诺立即可以读到最新写入的值,也不会...原创 2019-01-10 09:42:48 · 1330 阅读 · 0 评论 -
Redis主从哨兵模式(sentinel)部署步骤
1. 安装Redis及部署Master-Slave集群1.1 redis安装redis的安装及配置,本文安装5.0版本:cd /usr/localmkdir rediscd rediswget http://download.redis.io/releases/redis-5.0.3.tar.gztar -zxvf redis-5.0.3.tar.gzcd redis-5....原创 2018-12-21 18:55:37 · 3770 阅读 · 0 评论 -
ActiveMQ简介与集群搭建--编辑中
消息中间件简介ActiveMQ,kafka,RocketMQ等。。待定安装(1)安装zookeeper安装参见:zookeeper集群搭建(2)安装ActiveMQcd /usr/local/software mkdir activemq //创建文件夹 wget http://archive.apache.org/dist/activemq/5.11.1/a原创 2017-09-01 18:01:20 · 286 阅读 · 0 评论 -
kafka集群搭建
zookeeper搭建kafka是吧集群状态保存在zookeeper中的,所以要先搭建zookeeper.1.软件环境三台虚拟机192.168.67.128 server1192.168.67.129 server2192.168.67.130 server31.linux服务器可以是1,3,5,(2n+1)台,zookeeper集群是超过半数机器正常才能原创 2017-08-25 15:13:43 · 522 阅读 · 0 评论 -
MongoDB安装与入门使用
简介MongoDB 是一个基于分布式文件存储的数据库。由 C++ 语言编写。旨在为 WEB 应用提供可扩展的高性能数据存储解决方案。MongoDB 是一个介于关系数据库和非关系数据库之间的产品,是非关系数据库当中功能最丰富,最像关系数据库的。更多内容请参考:http://www.runoob.com/mongodb/mongodb-tutorial.html安装步骤原创 2017-08-30 17:20:29 · 277 阅读 · 0 评论 -
BSON的介绍及BSON与JSON的区别
说明新公司在用MongoDB,由于使用MongoDB时其中有一个很重要的类Document,翻看源码时发现他实现了Bson,本人之前对其不了解,故而有了这篇文章。概念参考百科说明:BSON( Binary Serialized Document Format) 是一种二进制形式的存储格式,采用了类似于 C 语言结构体的名称、对表示方法,支持内嵌的文档对象和数组对象,具有轻量性、可遍历性原创 2017-08-30 15:37:12 · 84670 阅读 · 1 评论 -
redis集群搭建与管理
两台虚拟机(CentOS7)六个节点测试1.准备yum -y install wget //安装wgetcd /usr/local mkdir software //创建文件夹2.下载解压cd softwarewget http://download.redis.io/releases/redis-3.2.4.tar.gztar -zxvf redis-3.2.4.原创 2017-08-24 14:54:23 · 483 阅读 · 0 评论 -
zookeeper集群搭建
安装zookeeper(1).在/usr/local/software下创建zookeeper的包cd /usr/local/software mkdir zookeepermkdir zkdatamkdir zkdatalog(2).下载zookeeper包cd zookeeperwget http://mirrors.cnnic.cn/apache/原创 2017-09-01 17:26:45 · 356 阅读 · 0 评论 -
TXC分布式事务简介
1. TXC是什么TXC(Taobao Transaction Constructor)是一个分布式事务中间件,它可以通过极少的代码侵入,实现分布式事务。在大部分情况下,应用只需要引入TXC Client的jar包,进行几项简单配置,以及以行计的代码改造,即可轻松保证分布式数据一致性。TXC同时提供了丰富的编程和配置策略,以适应各种长尾的应用需求。2. 背景2.1. 什么是事务原创 2017-08-10 11:15:12 · 18093 阅读 · 0 评论 -
关于事务补偿机制和最终一致性的讨论
可以设想一个最简单的分布式事务场景,对于跨银行的转账操作,该操作涉及到调用两个异地的Service服务,一个是本地提供的取款服务,一个是目标银行提供的存款服务,该两个服务本身无状态且独立,构成一个完整的事务。对于事务的处理初步分析: 事务补偿机制 事务补偿即在事务链中的任何一个正向事务操作,都必须存在一个完全符合回滚规则的可逆事务。如果是一个完整的事务链,则必须事务链中的每一个业务转载 2017-08-10 15:15:46 · 1770 阅读 · 0 评论 -
分布式事务的解决方案
1、什么是分布式事务分布式事务就是指事务的参与者、支持事务的服务器、资源服务器以及事务管理器分别位于不同的分布式系统的不同节点之上。以上是百度百科的解释,简单的说,就是一次大的操作由不同的小操作组成,这些小的操作分布在不同的服务器上,且属于不同的应用,分布式事务需要保证这些小操作要么全部成功,要么全部失败。本质上来说,分布式事务就是为了保证不同数据库的数据一致性。2、分布式事务的产转载 2017-08-09 15:14:41 · 1104 阅读 · 0 评论 -
redis的持久化方式RDB和AOF的区别
1、前言最近在项目中使用到Redis做缓存,方便多个业务进程之间共享数据。由于Redis的数据都存放在内存中,如果没有配置持久化,redis重启后数据就全丢失了,于是需要开启redis的持久化功能,将数据保存到磁盘上,当redis重启后,可以从磁盘中恢复数据。redis提供两种方式进行持久化,一种是RDB持久化(原理是将Reids在内存中的数据库记录定时dump到磁盘上的RDB持久化),另外一...转载 2017-08-08 14:44:33 · 55955 阅读 · 8 评论 -
消息队列的主要应用场景
消息队列中间件是分布式系统中重要的组件,主要解决应用耦合,异步消息,流量削锋等问题实现高性能,高可用,可伸缩和最终一致性架构使用较多的消息队列有ActiveMQ,RabbitMQ,ZeroMQ,Kafka,MetaMQ,RocketMQ二、消息队列应用场景以下介绍消息队列在实际应用中常用的使用场景。异步处理,应用解耦,流量削锋和消息通讯四个场景2.1异步处理场景说明:用转载 2017-07-20 16:58:29 · 972 阅读 · 0 评论 -
redis支持的数据类型、操作指令及使用场景
数据类型Redis目前支持5种数据类型,分别是:String(字符串)List(列表)Hash(字典)Set(集合)Sorted Set(有序集合)String(字符串)String是简单的 key-value 键值对,value 不仅可以是 String,也可以是数字。String在redis内部存储默认就是一个字符串,被redisObject所引用,当遇转载 2017-07-07 10:26:47 · 1130 阅读 · 0 评论 -
redis的缓存穿透和缓存雪崩
缓存穿透和缓存失效的预防和解决缓存穿透:认识缓存穿透是指查询一个一定不存在的数据,由于缓存是不命中时需要从数据库查询,查不到数据则不写入缓存,这将导致这个不存在的数据每次请求都要到数据库去查询,造成缓存穿透。解决办法:对所有可能查询的参数以hash形式存储,在控制层先进行校验,不符合则丢弃。还有最常见的则是采用布隆过滤器,将所有可能存在的数据转载 2017-07-15 15:32:31 · 4783 阅读 · 1 评论 -
solr-全文检索引擎基本原理
本文主要内容参考自http://www.importnew.com/12707.html场景:小时候我们都使用过新华字典,妈妈叫你翻开第38页,找到“坑爹”所在的位置,此时你会怎么查呢?毫无疑问,你的眼睛会从38页的第一个字开始从头至尾地扫描,直到找到“坑爹”二字为止。这种搜索方法叫做顺序扫描法。对于少量的数据,使用顺序扫描是够用的。但是妈妈叫你查出坑爹的“坑”字在哪一页时,你要是从第转载 2017-07-14 15:20:50 · 319 阅读 · 0 评论 -
分布式系统限流策略/秒杀系统限流设计
目录概述 限流算法令牌桶算法漏桶算法应用级限流限制总并发数/连接/请求数限制接口的总并发/请求数限流接口每秒的请求数平滑限流接口的请求数平滑突发限流(SmoothBursty)平滑预热限流(SmoothWarmingUp)应用接入层限流(Nginx/OpenResty)Nginxngx_http_limit_conn_modulengx_...转载 2019-01-22 15:36:40 · 2371 阅读 · 0 评论