后台开发专栏
关注
分享
扫一扫
文章平均质量分 96
用于管理已经发布的后台技术专题文档
江中散人
在移动前端、微服务后端均有多年研发实施与团队管理经验，当选全球云原生交流组织创原会（全球云原生技术基金会CNCF、信通院、华为云牵头组织）2022/2023/2024年年度云原生MVP、2023年度云原生最佳创作奖。2023年新一代集中交易系统与国产集中式DB的软硬件联合调优方案，先后获得创原会2023年第三届“云原生技术先锋实践”奖，以及CNBPA的“最佳云原生行业实践奖”。相关技术博客积累超10年，技术领域涵盖云原生(AI/容器/计算/存储/网络/PaaS/微服务/DevOps)、产品设计、IOS开发、Android开发、Hybrid混合开发等领域
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
【云原生进阶之数据库技术】第四章-GaussDB-关键技术-2.4.2.4-Ustore存储数据组织
openGauss行引擎采用Ustore原地更新引擎(in-place update)设计，支持 MVCC(Multi- Version Concurrency Control，多版本并发控制)，同时支持本地和与分离的部署方式。行引擎的特点是支持高并发读写，时延小，适合 OLTP交易类业务场景。openGauss的行引擎在设计上支持 MVCC，采用集中式垃圾版本回收机制，可以提供 OLTP业务系统的高并发读写要求，支持分离架构，层异步回放日志。原创 2024-11-04 08:30:00 · 799 阅读 · 0 评论 -
【云原生进阶之数据库技术】第四章-GaussDB-关键技术-2.4.2.5-Ustore最佳实践方案
存储引擎会对数据库整体效率和性能具有巨大影响，请根据实际需求选择适当的存储引擎。用户可使用WITH ( [ORIENTATION | STORAGE_TYPE] [= value] [, ... ] )为表或索引指定一个可选的存储参数。原创 2024-11-04 18:00:00 · 370 阅读 · 0 评论 -
【云原生进阶之数据库技术】第四章-GaussDB-关键技术-2.1-架构概览
GaussDB在架构设计上，采用组件化原则，分为GaussDB Kernel内核和GaussDB Kernel OM两部分。在产品形态上，提供面向云数据库服务GaussDB（for openGauss）的分布式安装包和集中式安装包，提供面向本地化安装的小型化安装包。根据华为云提供的调查报告，当前全球数据库市场增长超预期，云是数据库增长最重要驱动力。原创 2024-10-27 20:30:49 · 257 阅读 · 0 评论 -
【云原生进阶之数据库技术】第四章-GaussDB-关键技术-2.4.2.3-Ustore引擎
Ustore属于In-place Update更新模式，中文意思为：原地更新，是openGauss内核新增的一种存储模式。openGauss内核当前使用的行引擎采用的是Append Update（追加更新）模式，该模式在INSERT、DELETE、HOT UPDATE（页面内更新）的场景下有较好的表现。但对于非HOT UPDATE场景，垃圾回收不够高效。In-place Update存储模式提供“原地更新”能力，主要思路是将最新版本的“有效数据”和历史版本的“垃圾数据”分离存储。原创 2024-10-31 18:00:00 · 226 阅读 · 0 评论 -
【云原生进阶之数据库技术】第四章-GaussDB-关键技术-2.4.2.2-Astore存储引擎剖析
Astore（追加存储）是一种主要用于日志型数据库的存储方法，数据在这种存储模型下是以追加的方式进行存储的。这意味着每当有新的数据需要写入时，它们会被追加到现有数据的末尾，而不是覆盖旧的数据。Astore 的特点包括：适用场景：1.1 astore整体框架astore整体框架如图1-1所示。如上所述，作为行存储子格式之一，astore需要实现自己的堆表存取（访存）管理接口、堆表页面结构、堆表元组结构、元组多版本机制，以及空闲空间管理和回收机制。原创 2024-10-31 08:30:00 · 1879 阅读 · 0 评论 -
【云原生进阶之数据库技术】第四章-GaussDB-关键技术-2.4.2.1-openGauss存储引擎层关键技术方案
从整个数据库服务的组成构架来看，存储引擎向上对接SQL引擎，为SQL引擎提供或接收标准化的数据格式（元组或向量数组）；向下对接存储介质，按照特定的数据组织方式，以页面、列存储单元（CU，compression unit）或其他形式为单位，通过存储介质提供的特定接口，对存储介质中的数据完成读、写操作。在此基础之上，存储引擎通过日志系统提供数据的持久化和可靠性能力；通过并发控制（事务）系统保证同时执行的、多个读写操作之间的原子性、一致性和隔离性；通过索引系统提供对特定数据的加速寻址和查询能力；原创 2024-10-30 18:00:00 · 191 阅读 · 0 评论 -
【云原生进阶之数据库技术】第四章-GaussDB-关键技术-2.4.1-GaussDB存储引擎层关键技术方案
GaussDB整个系统设计是可插拔、自组装的，支持多个存储引擎以满足不同场景的业务诉求。当前Gauss存储行存储列存储内存引擎，主要面向极致性能场景设计，例如银行风控场景。创建表的时候可以指定为行存储引擎表、列存储引擎表、内存引擎表，支持一个事务中包含对三种引擎表的 DML操作，可以保证事务的 ACID性质。从整个数据库服务的组成构架来看，存储引擎向上对接SQL引擎，为SQL引擎提供或接收标准化的数据格式（元组或向量数组）；原创 2024-10-30 08:30:00 · 236 阅读 · 0 评论 -
【云原生进阶之数据库技术】引言-1-数据库发展概述
数据库管理系统是为管理数据库而设计的电脑软件系统，一般具有存储、截取、安全保障、备份等基础功能。数据库管理系统可以依据它所支持的数据库模型来作分类，例如关系式、XML；或依据所支持的计算机类型来作分类，例如服务器群集、移动电话；或依据所用查询语言来作分类，例如SQL、XQuery；或依据性能冲量重点来作分类，例如最大规模、最高运行速度；亦或其他的分类方式。不论使用哪种分类方式，一些DBMS能够跨类别，例如，同时支持多种查询语言。原创 2024-02-22 09:00:00 · 133 阅读 · 0 评论 -
【云原生进阶之数据库技术】第一章MySQL-2.1-基本使用
MySQL是关系型数据库。一个关系型数据库，由一个或数个数据表组成，一个数据表由表头、列、行、键和值组成。原创 2024-02-21 11:00:00 · 113 阅读 · 0 评论 -
【云原生进阶之数据库技术】第一章MySQL-1-基础概述
MySQL数据库的发展历程最早可以追溯到1979年，当时Bill Gates退学没多久，微软公司也才刚刚起步，而Larry Ellison的Oracle公司也才成立不久。瑞典的天才程序员Monty Widenius为名为TcX的小公司打工，用BASIC设计了一个报表工具，使其可以在4MHz主频和16KB内存的计算机上运行。后来Monty又将此工具用C语言进行了重新编写并移植到了UNIX平台上，这便是最初的UNIREG存储引擎。原创 2024-02-21 08:30:00 · 311 阅读 · 0 评论 -
【云原生进阶之PaaS中间件】第一章Redis-2.3.2哨兵模式
由于无法进行主动恢复，因此主从模式衍生出了哨兵模式。哨兵模式基于主从复制模式，只是引入了哨兵来监控与自动处理故障。Redis Sentinel是社区版本推出的原生高可用解决方案，Redis Sentinel部署架构主要包括两部分：Redis Sentinel集群和Redis数据集群，其中Redis Sentinel集群是由若干Sentinel节点组成的分布式集群，可以实现故障发现、故障自动转移、配置中心和客户端通知。Redis Sentinel的节点数量要满足2n+1（n>=1）的奇数个。原创 2023-05-16 18:30:00 · 1680 阅读 · 2 评论 -
【云原生进阶之PaaS中间件】第一章Redis-2.1架构综述
Redis 系统主要包括事件处理、数据存储及管理、用于系统扩展的主从复制/集群管理，以及为插件化功能扩展的 Module System 模块。原创 2023-05-11 23:13:14 · 887 阅读 · 0 评论 -
【重识云原生】第四章云网络4.5节——大二层网络
数据中心的网络架构和技术在云计算诞生后，与数据中心的计算及存储一起都在发生着变化。起初数据中心网络分为内部与外部，数据中心外部网络指的通常是三层网络，也就是我们最开始所认知所学习的诸如：BGP、IS-IS、OSPF等三层路由协议的使用与三层网络架构的设计，怎么才能规划路由，怎么才能使得流量按照路由的规划选址最优的路径提供出去，如果说数据中心外部网络关注更多的是提升用户的体验，那么数据中心内部网络就是运维兄弟关注的重点之一，提升网络系统的效率。.........原创 2022-06-21 23:32:00 · 1550 阅读 · 0 评论 -
【重识云原生】第四章云网络4.3.10.3节——VXLAN隧道机制
“隧道”是一个逻辑上的概念，它并不新鲜，比如大家熟悉的GRE。说白了就是将原始报文“变身”下，加以“包装”，好让它可以在承载网络（比如IP网络）上传输。从主机的角度看，就好像原始报文的起点和终点之间，有一条直通的链路一样。而这个看起来直通的链路，就是“隧道”。顾名思义，“VXLAN隧道”便是用来传输经过VXLAN封装的报文的，它是建立在两个VTEP之间的一条虚拟通道。.........原创 2022-06-13 08:30:00 · 1316 阅读 · 0 评论 -
【重识云原生】第四章云网络4.3.10.2节——VXLAN Overlay网络方案设计
VXLAN 本质上是一种重叠封装技术，它创建了一个覆盖在现有物理网络基础架构之上的虚拟网络。使用underlay IP网络，并在其上构建灵活的二层overlay逻辑网络。通过覆盖，任何第 2 层连接都可以跨越第 3 层网络。.........原创 2022-06-10 08:30:00 · 1363 阅读 · 0 评论 -
【重识云原生】第四章云网络4.3.10节——VXLAN技术
VXLAN (Virtual eXtensible LAN，可扩展虚拟局域网络) 是一种Internet 标准重叠网络虚拟化技术，它提供了一种在 IP（第 3 层）网络上封装以太网（第 2 层）帧的方法，这一概念通常被称为“隧道”。VXLAN采用MAC in UDP（User Datagram Protocol）封装方式，是NVO3（Network Virtualization over Layer 3）中的一种网络虚拟化技术。............原创 2022-06-09 08:30:00 · 634 阅读 · 0 评论 -
【重识云原生】第四章云网络4.3.9节——Graceful Restart(平滑重启)技术
GR(Graceful Restart，平滑重启)是一种在主备切换或协议重启时保证转发业务不中断的机制。其核心在于：设备进行协议重启时，能够通知其周边设备，使到该设备的邻居关系和路由在一定时 间内保持稳定。在协议重启完毕后，周边设备协助其进行信息(包括支持GR的相关协议所维护的 各种拓扑、路由和会话信息)同步，在尽量短的时间内恢复到重启前的状态。在协议重启过程中不 会产生路由振荡，报文转发路径也没有任何改变，整个系统可以实现不间断运行。...原创 2022-06-08 20:30:00 · 927 阅读 · 0 评论 -
【重识云原生】第四章云网络4.3.8节——策略路由
策略路由，是一种比基于目标网络进行路由更加灵活的数据包路由转发机制。路由器将通过路由图决定如何对需要路由的数据包进行处理，路由图决定了一个数据包的下一跳转发路由器。应用策略路由，必须要指定策略路由使用的路由图，并且要创建路由图。一个路由图由很多条策略组成，每个策略都定义了1 个或多个的匹配规则和对应操作。一个接口应用策略路由后，将对该接口接收到的所有包进行检查，不符合路由图任何策略的数据包将按照通常的路由转发进行处理，符合路由图中某个策略的数据包就按照该策略中定义的操作进行处理。原创 2022-06-07 08:30:00 · 426 阅读 · 0 评论 -
【重识云原生】第四章云网络4.3.7.6节——MP-BGP协议
传统的BGP-4只能管理IPV4的路由信息，对于使用其他网络层协议（如ipv6）的应用，在跨自治系统传播时就受到一定限制。为了提供对多种网络层协议的支持，IETF对BGP-4进行了扩展，形成MP-BGP,MP-BGP标准是RFC4760(Multiprotocol Extensions for BGP-4,BGP-4的多协议扩展)。原创 2022-06-06 08:30:00 · 632 阅读 · 0 评论 -
【重识云原生】第四章云网络4.3.7.5节——BGP协议实操
《重识云原生系列》专题索引：第一章——不谋全局不足以谋一域 第二章计算第1节——计算虚拟化技术总述 第三章云存储第1节——分布式云存储总述 第四章云网络第一节——云网络技术发展简述 第四章云网络4.2节——相关基础知识准备 第四章云网络4.3节——重要网络协议 第四章云网络4.3.1节——路由技术简述 第四章云网络4.3.2节——VLAN技术 第四章云网络4.3.3节——RIP协议 第四章云网络4.3.4节——OSPF协议 第四章云网络4.3.5节——EIGRP协议 第四章云网..原创 2022-06-06 09:00:00 · 826 阅读 · 0 评论 -
【重识云原生】第四章云网络4.3.7.4节——BGP协议高级特性
为保证 IBGP 对等体之间的连通性，需要在 IBGP 对等体之间建立全连接关系。假设在一个 AS 内部有 n 台设备，那么建立的 IBGP 连接数就为 n(n-1)/2。当设备数目很多时，设备配置将十分复杂，而且配置后网络资源和 CPU 资源的消耗都很大。在 IBGP 对等体间使用路由反射器可以解决以上问题。 如图，在一个 AS 内部关于路由反射器有以下几种角色：路由反射器示意图 同一集群内的客户机只需要与该集群的 RR 直接交换原创 2022-06-06 08:30:00 · 529 阅读 · 0 评论 -
【重识云原生】第四章云网络4.3.7.3节——BGP协议实现原理
BGP状态描述的是BGP邻居的建立过程，BGP状态共有六种，分别是Idle（空闲）、Connect（连接）、Active（活动）、OpenSent（打开发送）、OpenConfirm（打开确认）和Established（建立成功）。BGP 与 IGP 在设备中使用不同的路由表，为了实现不同 AS 间相互通讯， BGP 需要与 IGP 进行交互，即 BGP 路由表和 IGP 路由表相互引入。原创 2022-06-05 08:30:00 · 476 阅读 · 0 评论 -
【重识云原生】第四章云网络4.3.7.2节——BGP协议概述
边界网关协议（BGP）是运行于 TCP 上的一种自治系统的路由协议。 BGP 是唯一一个用来处理像因特网大小的网络的协议，也是唯一能够妥善处理好不相关路由域间的多路连接的协议。 BGP 构建在 EGP 的经验之上。 BGP 系统的主要功能是和其他的 BGP 系统交换网络可达信息。网络可达信息包括列出的自治系统（AS）的信息。这些信息有效地构造了 AS 互联的拓扑图并由此清除了路由环路，同时在 AS 级别上可实施策略决策。 BGP用于在不同的自治系统（原创 2022-06-03 08:30:00 · 616 阅读 · 0 评论 -
【重识云原生】第四章云网络4.3.7节——BGP协议
动态路由协议可以按照工作范围分为IGP以及EGP。IGP工作在同一个AS内，主要用来发现和计算路由，为AS内提供路由信息的交换；而EGP工作在AS与AS之间，在AS间提供无环路的路由信息交换，BGP则是EGP的一种。BGP是一种增强的路径矢量路由协议，同时BGP是拥有丰富的策略控制技术的外部网关协议。多运行于AS与AS之间。原创 2022-06-02 08:30:00 · 577 阅读 · 0 评论 -
【重识云原生】第四章云网络4.3.6节——IS-IS协议
IS-IS（Intermediate System-to-Intermediate System，中间系统到中间系统）路由协议最初是ISO（the International Organization for Standardization，国际标准化组织）为CLNP（Connection Less Network Protocol，无连接网络协议）设计的一种动态路由协议。现在CLNP网络已经基本不再别使用，但是IS-IS协议由于其优秀性，被保留了下来。原创 2022-06-01 08:30:00 · 2220 阅读 · 4 评论 -
【重识云原生】第四章云网络4.3.5节——EIGRP协议
EIGRP(Enhanced Interior Gateway Routing Protocol)增强内部网关路由协议，也是Cisco公司的私有协议(2013年已经公有化)，它结合了链路状态和距离矢量型路由选择协议的Cisco专用协议，具有快速收敛，减少带宽占用等特点。EIGRP是由距离矢量和链路状态两种路由协议混合，因此可以像距离矢量协议那样，从它的相邻路由器那里得到更新信息；也像链路状态协议那样，保存着一个拓扑表，然后通过自己的DUAL算法选择一个无环路径。原创 2022-05-31 12:00:00 · 1284 阅读 · 1 评论 -
【重识云原生】第四章云网络4.3.4.3节——OSPF协议工作原理
3 工作原理3.1 OSPF工作原理简述(1)了解自身链路每台路由器了解其自身的链路，即与其直连的网络。(2)寻找邻居不同于RIP，OSPF协议运行后，并不立即向网络广播路由信息，而是先寻找网络中可与自己交换链路状态信息的周边路由器。可以交互链路状态信息的路由器互为邻居。(3)创建链路状态数据包路由器一旦建立了邻居关系，就可以创建链路状态数据包。(4)链路状态信息传递路由器将描述链路状态的LSA泛洪到邻居，最终形成包含网络完整链路状态信息的链路状态数据库LS...原创 2022-05-25 22:26:28 · 426 阅读 · 0 评论 -
【重识云原生】第四章云网络4.3.4.1-2节——OSPF协议
OSPF(Open Shortest Path First开放式最短路径优先）是一个内部网关协议(Interior Gateway Protocol，简称IGP），用于在单一自治系统（autonomous system,AS）内决策路由。是对链路状态路由协议的一种实现，隶属内部网关协议（IGP），故运作于自治系统内部。著名的迪克斯彻（Dijkstra）算法被用来计算最短路径树。OSPF支持负载均衡和基于服务类型的选路，也支持多种路由形式，如特定主机路由和子网路由等。原创 2022-05-30 08:00:00 · 917 阅读 · 0 评论 -
【重识云原生】第四章云网络4.3.3节——RIP协议
距离向量法，也称为贝尔曼福特算法，是一种最短路径算法。每个结点周期性地发送自己的距离向量估计给邻居； 当一个节点X收到来自邻居V的新的距离向量估计时将更新它自己的距离向量：其中，v为x的邻居，Dx(y)为x到y的最短路径开销估计，c(x,v)为边的开销。路由信息协议（Routing Information Protocol），即RIP协议，是一种采用距离向量算法的路由协议。到目的网络的距离以跳为单位，最大距离为15，距离...原创 2022-05-24 23:31:48 · 410 阅读 · 0 评论 -
【重识云原生】第四章云网络4.3.2节——VLAN技术
VLAN（Virtual Local Area Network）即虚拟局域网，是将一个物理的LAN在逻辑上划分成多个广播域的通信技术。VLAN内的主机间可以直接通信，而VLAN间不能直接互通，从而将广播报文限制在一个VLAN内。以太网是一种基于CSMA/CD（Carrier Sense Multiple Access/Collision Detection）的共享通讯介质的数据网络通讯技术。原创 2022-05-24 22:44:11 · 914 阅读 · 1 评论 -
【重识云原生】第四章云网络4.3.1节——路由技术简述
1 路由技术简介路由技术主要是指路由选择算法、因特网的路由选择协议的特点及分类。其中，路由选择算法可以分为静态路由选择算法和动态路由选择算法。因特网的路由选择协议的特点是：属于自适应的选择协议（即动态的），是分布式路由选择协议；采用分层次的路由选择协议，即分自治系统内部和自治系统外部路由选择协议。因特网的路由选择协议划分为两大类：内部网关协议（IGP,具体的协议有RIP和OSPF等）和外部网关协议（EGP,使用最多的是BGP）。而设备互连主要采用的就是路由器。...原创 2022-05-24 22:25:58 · 1168 阅读 · 3 评论 -
【云原生布道系列】第一篇：不谋全局不足以谋一域
云原生概念这几年非常火爆，本人因有幸参与公司云原生转型项目调研，开始接触这一庞大技术体系，再通过与同业、各大头部云厂商超过150场的密集研讨交流，方得初窥全貌。同时，也看到业界对云原生体系的解读纷繁庞杂，慎思之下便有此文。一、云原生定义界定 关于云原生的定义有多次发展，从Pivotal公司的Matt Stine于2013年首次提出云原生（CloudNative）的概念，到2015年，云原生刚推广时，Matt Stine在《迁移到云原生架构》一书中定义了符合云原生架构的几个特征：1.......原创 2022-02-23 23:23:40 · 8996 阅读 · 12 评论 -
【重识云原生】第三章云存储3.4节——OpenStack Swift 对象存储方案
OpenStack Object Storage ( Swift ) 是 OpenStack 开源云计算项目的子项目之一。OpenStack Swift 开源项目提供了弹性可伸缩、高可用的分布式对象存储服务，适合存储大规模非结构化数据。本文将深入介绍 Swift 的基本设计原理、对称式的系统架构和 RESTful API。 Swift的目的是使用普通硬件来构建冗余的、可扩展的分布式对象存储集群，存储容量可达PB级。原创 2022-04-07 00:09:38 · 2180 阅读 · 0 评论 -
【重识云原生】第三章云存储3.3节——Ceph统一存储方案
Ceph最早起源于Sage就读博士期间的工作、成果于2004年发表，并随后贡献给开源社区。经过多年的发展之后，已得到众多云计算和存储厂商的支持，成为应用最广泛的开源分布式存储平台。Ceph根据场景可分为对象存储、块设备存储和文件存储。Ceph相比其它分布式存储技术，其优势点在于：它不单是存储，同时还充分利用了存储节点上的计算能力，在存储每一个数据时，都会通过计算得出该数据存储的位置，尽量将数据分布均衡。原创 2022-04-06 23:46:39 · 1884 阅读 · 0 评论 -
【重识云原生】第三章云存储3.2节——SPDK方案综述
SSD正在迅速扩展它在数据中心中的份额，同旋转介质（HHD）相比，当前的闪存在性能、功耗和机架密度上具有明显优势，随着下一代媒介进入市场，这些优势将持续扩大。为帮助存储OEMs（原始设备制造商）和ISVs（独立软件开发商）集成此硬件，英特尔创建了一组drivers和一个完整的end-to-end（端对端）参考存储架构，称为Storage Performance Development Kit（SPDK，存储性能开发套件）。SPDK的目标是通过同时使用Intel的网络、处理和存储技术来突出其卓越的效率和性能。原创 2022-04-06 22:41:41 · 2461 阅读 · 0 评论