wenjianfeng的专栏

前言在大型系统架构演变中,当前下,分布式是一个必然的选择,分布式事务是绕不开的一个点.目录概述 论证 解决方案 3.1 维护本地消息表 3.2 使用rocketmq事务消息 3.3 两阶段提交协议(2PC) 3.4 TCC事务补偿机制正文1.概述在单体架构中,我们的事务可以通过数据库的ACID来操作,不会出现什么问题.1.1 问题描述:但随着规模扩大,我们...

分布式事务是企业集成中的一个技术难点，也是每一个分布式系统架构中都会涉及到的一个东西，特别是在微服务架构中，几乎可以说是无法避免，本文就分布式事务来简单聊一下。数据库事务在说分布式事务之前，我们先从数据库事务说起。 数据库事务可能大家都很熟悉，在开发过程中也会经常使用到。但是即使如此，可能对于一些细节问题，很多人仍然不清楚。比如很多人都知道数据库事务的几个特性：原子性(Atomicity ...

不知道你是否遇到过这样的情况，去小卖铺买东西，付了钱，但是店主因为处理了一些其他事，居然忘记你付了钱，又叫你重新付。又或者在网上购物明明已经扣款，但是却告诉我没有发生交易。这一系列情况都是因为没有事务导致的。这说明了事务在生活中的一些重要性。有了事务，你去小卖铺买东西，那就是一手交钱一手交货。有了事务，你去网上购物，扣款即产生订单交易。事务的具体定义事务提供一种机制将一个活动涉及...

CAP理论CAP – Consistency, Availability, Partition ToleranceC表示一致性，为最终一致性。A表示可用性，三副本保证数据安全。P表示分区容错性，表示某些节点crash系统是否还能正常工作。其中一致性、可用性、分区容错性不能够同时满足，只能够对其一致性或可用性进行取舍。CAP两种选择分布式数据库因相...

介绍Elasticsearch 是一个分布式可扩展的实时搜索和分析引擎,一个建立在全文搜索引擎 Apache Lucene(TM) 基础上的搜索引擎.当然 Elasticsearch 并不仅仅是 Lucene 那么简单，它不仅包括了全文搜索功能，还可以进行以下工作:分布式实时文件存储，并将每一个字段都编入索引，使其可以被搜索。 实时分析的分布式搜索引擎。 可以扩展到上百台服务器，处理P...

【前言】负载均衡技术对于中大型网站的性能提高有着很大的优势，最近在学习《大型网站技术的架构》，其中对于负载均衡技术有一些介绍，将学习的经验总结一下，分享下。多交流。【协议层】http重定向协议实现负载均衡原理：根据用户的http请求计算出一个真实的web服务器地址，并将该web服务器地址写入http重定向响应中返回给浏览器，由浏览器重新进行访问。如图：优点：比较简单缺点：浏览器需...

Kubernetes本文内容仅为个人理解，如有偏颇，欢迎指正。一、传统的运维方式在了解Kubernetes之前，我们有必要先简单了解一下传统的运维模式。在传统的项目架构中(单体or微服务)，我们一般将项目打包为war或fatJar的方式进行部署。在部署时，需要人工创建相应的服务器及资源，并搭建项目运行的依赖环境，预估服务需要占用的内存与CPU，同事还要考虑到高可用的部署环境，在不同...

1、Kubernetes是什么Kubernetes是一个轻便的和可扩展的开源平台，用于管理容器化应用和服务。通过Kubernetes能够进行应用的自动化部署和扩缩容。在Kubernetes中，会将组成应用的容器组合成一个逻辑单元以更易管理和发现。Kubernetes积累了作为Google生产环境运行工作负载15年的经验，并吸收了来自于社区的最佳想法和实践。Kubernetes经过这几年的快速发...

数据分布是分布式存储系统的一个重要部分，数据分布算法至少要考虑以下三个因素：1) 故障域隔离。同份数据的不同副本分布在不同的故障域，降低数据损坏的风险；2) 负载均衡。数据能够均匀地分布在磁盘容量不等的存储节点，避免部分节点空闲部分节点超载，从而影响系统性能；3) 控制节点加入离开时引起的数据迁移量。当节点离开时，最优的数据迁移是只有离线节点上的数据被迁移到其它节点，而正常工作的节点...

1 Ceph基础介绍Ceph是一个可靠地、自动重均衡、自动恢复的分布式存储系统，根据场景划分可以将Ceph分为三大块，分别是对象存储、块设备存储和文件系统服务。在虚拟化领域里，比较常用到的是Ceph的块设备存储，比如在OpenStack项目里，Ceph的块设备存储可以对接OpenStack的cinder后端存储、Glance的镜像存储和虚拟机的数据存储，比较直观的是Ceph集群可以提供...

一个目标：容器操作；两地三中心；四层服务发现；五种Pod共享资源；六个CNI常用插件；七层负载均衡；八种隔离维度；九个网络模型原则；十类IP地址；百级产品线；千级物理机；万级容器；相如无亿，K8s有亿：亿级日服务人次。一个目标：容器操作Kubernetes(k8s)是自动化容器操作的开源平台。这些容器操作包括：部署，调度和节点集群间扩展。具体功能：自动化容器部署和复制。实时弹性收缩容器...

session的概念什么是session？服务器为每个用户创建一个会话，存储用户的相关信息，以便多次请求能够定位到同一个上下文。这样，当用户在应用程序的 Web 页之间跳转时，存储在 Session 对象中的变量将不会丢失，而是在整个用户会话中一直存在下去。当用户请求来自应用程序的 Web 页时，如果该用户还没有会话，则 Web 服务器将自动创建一个 Session 对象。当会话过期或被放...

版权声明：转载请注明出处，谢谢合作！ https://blog.youkuaiyun.com/yeyazhishang/article/details/80758354在弄清楚这个问题之前，我们先了解一下什么是分布式的CAP定理。根据百度百科的定义，CAP定理又称CAP原则，指的是在一个分布式系统中，Consistency（一致性）、 Availability（可用性）、Partition t...

题记：Elasticsearch研究有一段时间了，现特将Elasticsearch相关核心知识、原理从初学者认知、学习的角度，从以下9个方面进行详细梳理。欢迎讨论……0. 带着问题上路——ES是如何产生的？（1）思考：大规模数据如何检索？如：当系统数据量上了10亿、100亿条的时候，我们在做系统架构的时候通常会从以下角度去考虑问题：1）用什么数据库好？(mysql、sybase...

一、了解淘宝Kafka架构在ActiveMQ、RabbitMQ、RocketMQ、Kafka消息中间件之间，我们为什么要选择Kafka?天猫在电商节如何处理大数据？技术架构上采用了哪些策略？1、应用无状态(淘宝session框架)2、有效使用缓存(Tair)3、应用拆分(HSF)4、数据库拆分(TDDL)5、异步通信(Notify)6、非结构化数据存储 ( TFS,...

2010年，几个搞IT的年轻人，在美国旧金山成立了一家名叫“dotCloud”的公司。这家公司主要提供基于PaaS的云计算技术服务。具体来说，是和LXC有关的容器技术。LXC，就是Linux容器虚拟技术（Linux container）后来，dotCloud公司将自己的容器技术进行了简化和标准化，并命名为——Docker。Docker技术诞生之后，并没有引起行业的关注。...

一、消息队列介绍消息队列中间件是分布式系统中重要的组件，主要解决应用耦合，异步消息，流量削锋等问题实现高性能，高可用，可伸缩和最终一致性架构使用较多的消息队列有ActiveMQ，RabbitMQ，ZeroMQ，Kafka，MetaMQ，RocketMQ二、消息队列应用场景以下介绍消息队列在实际应用中常用的使用场景。异步处理，应用解耦，流量削锋和消息通讯四个场景2.1异步处理...

原文出处：ksfzhaohui前言在上一篇文章Paxos算法浅析中主要介绍了Paxos一致性算法应用的场景，以及对协议本身的介绍；Google Chubby是一个分布式锁服务，其底层一致性实现就是以Paxos算法为基础的；但这篇文件并不是介绍Chubby，而是介绍了一个和Chubby拥有类似功能的开放源码的分布式协调服务Zookeeper，以及Zookeeper数据一致性的核心算法...