
分布式
zbuger
这个作者很懒,什么都没留下…
展开
-
linux服务器可以ping通,但是访问不了--Ip地址:端口--
vmware8中装了两个centos6.5,其中一个搭建了hadoop-1.1.2,伪分布式,在centos上可以访问自己的 localhost:50070,但是在另一台centos上和windows下,不能访问。之前已经将装了hadoop的centos防火墙关闭了,能ping通,就是不能用域名:端口号访问。装了hadoop的centos是可以访问我在windows下搭建的apache的,就是下一原创 2015-07-31 19:35:22 · 44564 阅读 · 0 评论 -
四层负载均衡——LVS
LVS 参考:http://zh.linuxvirtualserver.org/几个术语:Director:也可以称为调度器,LVS前端设备;realserver:也称为真实内部服务器,是真正在提供服务的;VIP:对外公布的IP,即客户请求进来的IP地址;DIP:调度器和realserver之间通信的地址;LVS的三种工作方式转载 2016-08-03 15:09:05 · 1499 阅读 · 0 评论 -
一致性模型
强一致性当更新操作完成之后,任何多个后续进程或者线程的访问都会返回最新的更新过的值。这种是对用户最友好的,就是用户上一次写什么,下一次就保证能读到什么。但是这种实现对性能影响较大。弱一致性系统并不保证续进程或者线程的访问都会返回最新的更新过的值。系统在数据写入成功之后,不承诺立即可以读到最新写入的值,也不会具体的承诺多久之后可以读到。但会尽可能保证在某个时间级别(比如秒级别原创 2016-08-13 16:50:36 · 1436 阅读 · 0 评论 -
聊聊分布式事务
事务就是一个会话过程中,对上下文的影响是一致的,要么所有的更改都做了,要么所有的更变都撤销掉。就要么生,要么死。没有半死不死的中间不可预期状态。参考下薛定谔的猫。事务是为了保障业务数据的完整性和准确性的。分布式事务,常见的两个处理办法就是两段式提交和补偿。两段式提交典型的就是XA,有个事务协调器,告诉大家,来都准备好提交,大家回复,都准备好了,然后协调器告诉转载 2016-09-07 14:35:31 · 506 阅读 · 0 评论 -
关于分布式事务、两阶段提交协议、三阶提交协议
随着大型网站的各种高并发访问、海量数据处理等场景越来越多,如何实现网站的高可用、易伸缩、可扩展、安全等目标就显得越来越重要。为了解决这样一系列问题,大型网站的架构也在不断发展。提高大型网站的高可用架构,不得不提的就是分布式。在《分布式系统的一致性探讨》一文中主要介绍了分布式系统中存在的一致性问题。本文将简单介绍如何有效的解决分布式的一致性问题,其中包括什么是分布式事务,二阶段提交和三阶段提转载 2016-09-06 20:52:59 · 960 阅读 · 0 评论 -
分布式多副本一致性问题 [推荐]
1. 强一致性:所有的副本更新成功才返回。 如上图C表示Client,【P、S1、S2】构成一个同步组,P表示Primary node,S1,S2是两个secondary node,强同步模型的工作流程为C向P写数据,P向S1,S2转发,只有3个都写成功,才向C返回成功,否则写失败。这种模型对于append操作很容易实现,如果副本没有全部更新成功,向C转载 2016-08-13 16:58:26 · 2508 阅读 · 0 评论 -
关于分布式系统的思考(一)
【摘要】本文谈及一些分布式系统的理论和思想,包括CAP、BASE、NWR等。并简单分析一些主流数据库分布式方案的利弊,以便我们在开发时更深入全面地进行思考、选择和设计。以下为正文:在讨论常见架构前,先简单了解下CAP理论:CAP是Consistency、Availablity和Partition-tolerance的缩写。分别指:一致性(Consistency):每次读操作转载 2016-08-30 14:02:09 · 577 阅读 · 0 评论 -
数据库的主从架构
这段时间,一直在总结电商系统的相关基础技术和架构,写了很多东西。但是还是发现一个很重要,很基础的方面没有讲到,那就是数据库读写分离的主从架构。可能发展到大型成熟的公司之后,主从架构已经落伍了,取而代之的是更加复杂的数据库集群。但是作为一个小型电商公司,数据库的主从架构应该是最基础的。任何大型的系统架构,都是不断演进的。主从架构便是数据库架构中,最基础的架构。所以研究完主从架构,也就能看懂更加复杂的转载 2016-08-28 16:53:30 · 6519 阅读 · 0 评论 -
分布式系统数据一致性
在前面三篇文章中,介绍了关于分布式系统中数据一致性的问题,这一篇主要介绍CAP定理以及自己对CAP定理的了解。CAP定理是2000年,由 Eric Brewer 提出来的Brewer认为在分布式的环境下设计和部署系统时,有3个核心的需求,以一种特殊的关系存在。这里的分布式系统说的是在物理上分布的系统,比如我们常见的web系统。这3个核心的需求是:Consistency,Av转载 2016-04-03 23:16:32 · 524 阅读 · 0 评论 -
关于分布式事务、两阶段提交、一阶段提交、Best Efforts 1PC模式和事务补偿机制的研究
本文原文连接: http://blog.youkuaiyun.com/bluishglc/article/details/7612811 ,转载请注明出处!1.XAXA是由X/Open组织提出的分布式事务的规范。XA规范主要定义了(全局)事务管理器(Transaction Manager)和(局部)资源管理器(Resource Manager)之间的接口。XA接口是双向转载 2016-08-02 21:02:31 · 919 阅读 · 0 评论 -
淘宝开源Key/Value结构数据存储系统Tair技术剖析
作者 余刚 发布于 2010年9月8日Tair是由淘宝网自主开发的Key/Value结构数据存储系统,在淘宝网有着大规模的应用。您在登录淘宝、查看商品详情页面或者在淘江湖和好友“捣浆糊”的时候,都在直接或间接地和Tair交互。Tair于2010年6月30号在淘宝开源平台上正式对外开源,本文较详细地介绍了Tair提供的功能及其实现的细节,希望对大家进一步了解Tai转载 2016-06-19 21:34:21 · 497 阅读 · 0 评论 -
SSL卸载技术对于HTTPS应用的优化与思考
迅猛发展的互联网为我们提供了丰富的信息资源,在带来便利的同时也影响着人们工作和生活方式。而让我们无法忽视的是,在开放的互联网所带来的繁荣背后,同时也潜藏着安全方面的隐患。随着人们对网络的依赖愈渐加深,各种加密技术应运而生,用以保障网络信息的安全性。SSL(Secure Sockets Layer)协议,便是在互联网上广泛应用于交易安全性保障的一种主导技术。 SSL属于加密通讯协议,工作在转载 2016-07-31 15:30:52 · 10209 阅读 · 0 评论 -
四层和七层负载均衡的区别
(一) 简单理解四层和七层负载均衡: ① 所谓四层就是基于IP+端口的负载均衡;七层就是基于URL等应用层信息的负载均衡;同理,还有基于MAC地址的二层负载均衡和基于IP地址的三层负载均衡。 换句换说,二层负载均衡会通过一个虚拟MAC地址接收请求,然后再分配到真实的MAC地址;三层负载均衡会通过一个虚拟IP地址接收请求,然后再分配到真实的IP地址;四层通过虚拟IP+端口接收请求转载 2016-08-03 14:13:27 · 943 阅读 · 0 评论 -
流量牵引在抗DDOS中的应用
什么是流量牵引 下图中的Defender就是我们熟悉的抗DDoS设备,Probe是一个专门用来分析网络流量的预警设备。对于这些网络安全设备我们并不陌生,但对于这样的拓扑结构恐怕就不常见了。两个路由器之间是两条并行的线路,在以往部署抗DDoS攻击设备的时候通常是把它直接串联在网络中,正常流量和攻击流量都穿过抗DDoS设备。让我们先根据这个简单的拓扑来解释一下什么是流量牵引。原创 2016-06-13 10:05:16 · 4920 阅读 · 0 评论 -
Memcache知识点梳理
Memcached概念: Memcached是一个免费开源的,高性能的,具有分布式对象的缓存系统,它可以用来保存一些经常存取的对象或数据,保存的数据像一张巨大的HASH表,该表以Key-value对的方式存在内存中。官网下载地址: http://www.memcached.org/运行环境: linux,BSD,windows都可跑协议理论:http://code.sixap转载 2016-03-20 20:27:53 · 402 阅读 · 0 评论 -
zookeeper分布式session
1. 认识ZooKeeperZooKeeper—— “动物园管理员”。动物园里当然有好多的动物,游客可以根据动物园提供的向导图到不同的场馆观赏各种类型的动物,而不是像走在原始丛林里,心惊胆颤的被动 物所观赏。为了让各种不同的动物呆在它们应该呆的地方,而不是相互串门,或是相互厮杀,就需要动物园管理员按照动物的各种习性加以分类和管理,这样我们才 能更加放心安全的观赏动物。回到我们企业级应用系统转载 2016-03-20 20:31:15 · 360 阅读 · 0 评论 -
一致性哈希应用
tencent2012 笔试题附加题 问题描述: 例如手机朋友网有n个服务器,为了方便用户的访问会在服务器上缓存数据,因此用户每次访问的时候最好能保持同一台服务器。已有的做法是根据ServerIPIndex[QQNUM%n]得到请求的服务器,这种方法很方便将用户分到不同的服务器上去。但是如果一台服务器死掉了,那么n就变为了n-1,那么ServerIPIndex[QQNUM%n]与转载 2016-03-18 19:59:49 · 626 阅读 · 0 评论 -
分布式文件系统下的本地缓存
在分布式文件系统中,为了提高系统的性能,常常会引入不同类型的缓存存储系统(算法优化所带来的的效果可能远远不如缓存带来的优化效果)。在软件中缓存存储系统一般可分为了两类:一、分布式缓存,例如:Memcached、Redis、淘宝的Tair等,二、本地缓存,例如:Facebook的flushcache等,其中本地缓存又可以分为两种:本地磁盘缓存(现在一般都采用读写性能比较优异的SSD来做存储)和本地内转载 2017-04-26 23:32:47 · 1097 阅读 · 0 评论