分布式中三个基本（存储，集群和RPC）

最新推荐文章于 2025-08-26 11:28:54 发布
原创 最新推荐文章于 2025-08-26 11:28:54 发布 · 701 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#java #分布式 #集群 #RPC

本文深入探讨了分布式系统中的三个核心组成部分：分布式存储（包括NOSQL和缓存）、集群（涵盖主从与多服务类型）及RPC机制，详细讲解了各部分的关键技术和应用场景。

分布式中三个基本（存储，集群和RPC）

分布式存储：包括内存和磁盘两种介质

  1. 分布式文件系统
  2. NOSQL(mongodb)
  3. 缓存（redis，memecache）

集群 分类：包括主从和多服务

  1. 高可用集群
  2. 负载均衡集群
  3. 科学计算集群

RPC底层通讯常用的是NIO,如：netty

基于RPC技术：

  1. WebService
  2. RMI
  3. Hession

RPC机制部分：

  1. Java原生序列化
  2. Socket通信
  3. 动态代理
  4. 反射机制

RPC路由策略：

  1. F5硬件负载均衡器
  2. SLB软件负载均衡

 


 

分布式系统集群的搭建 -- 存储篇
02-25 977
概述 在网络层的背后，每一个业务都需要数据的支撑，数据库的优化在整个系统中就显得至关重要了 虽然NoSQL在并发性能上要优于传统的DBA，但由于MySQL在扩展性等方面的优势，MySQL依然作为企业级数据存储的首选 MySQL数据库内部缓存使用 建立适当索引 对于MySQL优化，最简单的做法就是建立索引，在表数据量较大时可以起到快速检索数据的...
分布式RPC调用和分布式文件存储——Zookeeper
LiLi的博客
11-08 676
Zookeeper 实战 主要内容 Zookeeper 简介 Zookeeper 存储结构 监听通知 安装 Zookeeper Zookeeper 常用命令 使用 Java API 操作 Zookeeper Zookeeper 实战 一、 Zookeeper 简介 1 什么是 Zookeeper Zookeeper 官网：http://zookeeper.apache.org/ Zookeeper 是 Apache 的一个分布式服务框架，是 Apache Hadoop 的一个子项目。官方 文档上这么解释 Z
分布式集群下的RPC限流方案
走在前往架构师的路上
01-03 2044
文章目录前言 前言 如今在大数据时代，面对如今规模数据体量快速增长的一个阶段，HDFS单集群模式已经无法支撑更加平稳高效的数据服务能力。多集群联合模式逐渐成为一种新的架构尝试，笔者所在公司亦是如此。我们内部目前采用了社区的RBF（Router-based Federation ）方案来做统一的数据服务。最近我们在尝试解决一个棘手的问题：多用户的RPC隔离问题。这个问题其实在原始HDFS单集群模式本身也是存在的，但是在多集群模式下这个问题只会变得更为严重。多集群模式下，更多的用户数据被写入到集群，而这也意味
分布式RPC调用和分布式文件存储_FastDFS
LiLi的博客
11-10 2377
FastDFS 一、 简介 技术论坛： http://bbs.chinaunix.net/forum-240-1.html 资源地址： https://sourceforge.net/projects/fastdfs/ 源码资源： https://github.com/happyfish100 FastDFS 是一个开源的轻量级分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。 特别适合以文件为载体的在线服务，如相册网站、视频
分布式RPC调用和分布式文件存储_Dubbo 实战
LiLi的博客
11-09 2847
Dubbo 实战 主要内容 Dubbo 简介 Dubbo 架构详解 Dubbo 支持的协议 Dubbo 支持的注册中心 Dubbo 应用 Spring Boot 整合 Dubbo Dubbo 监控与管理 Dubbo 中服务的负载均衡 Dubbo 项目打包方式 Dubbo 实战案例 一、 Dubbo 简介 1 Dubbo 是什么 Dubbo 官网地址：http://dubbo.apache.org/zh-cn/ Dubbo 最早是 Alibaba 开源的分布式服务框架，它最大的特点是按照分层的方式来架构，
Hadoop 分布式集群搭建
slb190623的博客
08-25 2362
Hadoop 分布式集群搭建
Zookeeper（分布式RPC调用和分布式文件储存）
最新发布
ZangLing的博客
08-26 1117
Zookeeper 作为分布式协调服务框架，其存储结构以树形模型为核心，结合内存存储与持久化机制，为分布式系统提供高效、可靠的数据管理服务。
【rpc框架】分布式框架之微服务
weixin_73815624的博客
07-19 1100
远程方法调用的问题，并且实现调用远程服务像调用本地服务一样简单，框架内部封装实现了网络调用的细节。框架基于tcp集成实现网关、注册中心、服务容错、链路追踪
分布式集群chat
Tzecto
05-21 501
文章目录代理节点ProxyServiceproxyServerproxyService业务节点userServiceGroupServiceFriendServiceOfflineService日志LogServer 代理节点 ProxyService ProxyService 作为整个服务单元的入口，整个服务单元对外暴露的也是它的 Host 信息，对于客户端的请求信息，它会首先去判断这个信息是哪个业务，如果是以下业务节点，它就会去Zookeeper注册中心，找到提供这个服务的服务节点，并把这个请求信息分
深入理解 RPC 之集群篇
架构师小秘圈
03-04 670
上一篇文章分析了服务的注册与发现，这一篇文章着重分析下 RPC 框架都会用到的集群的相关知识。集群(Cluster)本身并不具备太多知识点，在分布式系统中，集群一般涵盖了负载均衡（Load...
集群 分布式存储----Ceph
weixin_43400640的博客
10-13 593
分布式文件系统（Distributed File System）是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过看i算计网络与节点相连。 分布式文件系统的设计基于客户机/服务器模式 常用分布式文件系统 Lustre ， Hadoop ， FsatDFS , Ceph , GlusterFS Ceph组件 OSDs：存储设备 Monitors：集群监控组件 MDSs：存放文件系统的...
Ceph分布式存储集群原理及其部署
Code for need ,Code for fun
12-04 2456
一、为什么要用Ceph ⾼高扩展性 ⾼高性能 ⽆无单点的分布式⽂文件存储系统 可⽤用于对象存储，块设备存储和⽂文件系统存储 读写速度快利利于共享 ceph FS 可以作为Hadoop后端数据存储池，可代替HDFS的存储方案。 Ceph与KVM虚拟化结合，ceph块存储RBD可作为KVM虚拟化的后端存储。 ceph块存储RBD可作为openstack的后端存储。 Ceph的RGW与OwnClou...
分布式架构核心RPC原理
区块链之美
04-08 522
https://blog.youkuaiyun.com/dongnaosenlu/article/details/76998419在应用的迭代演进过程中，随着系统访问量提高，业务复杂度提高，代码复杂度提高，应用逐渐从单体式架构向面向服务的分布式架构转变。RPC（Remote Procedure Call Protocol远程过程调用）是分布式架构的核心，按响应方式分如下两种：同步调用：客户端调用服务方方法，等...
部署 Hadoop 高性能集群
11-06 573
Hadoop 概述 Hadoop 是一个由 Apache 基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。 Hadoop 的框架最核心的设计就是：HDFS 和 MapReduce。HDFS 分布式文件系统为海量的数据提供了存储，则 MapReduce 为海量的数据提供了计算。 网方网站：http://hadoop.apache.org/ Hadoop 是一个由 Apache 基金会所开发的分布式系统基础架构。 官方网站下载
使用Springboot + Dubbo + Zookeeper + Redis实现远程RPC的数据存储和服务层负载均衡（一）
wangdw93的博客
11-28 236
最近在学习java的一些框架技术，也参考了一些博客文章，在此做个自己写的demo记录 第一步：创建并生成自定义接口jar包 新建maven工程 创建简单的实体类和接口： 此处我写了2个接口，用于Redis的存，取数据： 使用mvn clean install 打包成jar包，也可以用idea右侧maven直接操作。 pom.xml文件如下： <...
惠普架构师解密从分布式到微服务，深入理解RPC、内存、存储、检索等问题
weixin_57907028的博客
08-19 212
微服务”架构在这几年被广泛传播，变得非常火热，以至于关于微服务架构相关的开源框架和工具都变得越来越活跃，比如: Netlix OSS、Dubbo、Apache Thrift等。Spring Cloud也因为Spring社区在企业应用领域的广泛知名度和强大影响力，受到了广大架构师与开发者的高度关注。分布式架构与微服务平台是当今IT界的关键技术，也是资深软件工程师和系统架构师必须掌握的核心技术。本书以从传统分布式架构迁移到基于容器技术的微服务架构为主线，全面、透彻地介绍了与分布式架构及微服务相关的知识和技术。
分布式系统与集群：区别与联系
weixin_44814196的博客
06-16 1007
分布式系统和集群是现代计算领域中常见的两种架构，它们在设计目标、应用场景和技术实现上有显著的区别，同时也有一些共同点。分布式系统通过将一个大型任务分解成多个子任务，分配到不同的节点进行并行处理，以提高处理能力和效率，并实现高可用性和扩展性。集群则通过部署多个相同的系统实例，均衡负载，提高性能和可靠性。
集群分布式储存
2401_84376072的博客
06-25 489
硬件： 存储柜软件 ： software define storage。
浅谈模拟RPC调用之CompletableFuture
Daeker的博客
01-22 700
浅谈模拟RPC调用之CompletableFuture 浅谈模拟RPC调用之CompletableFuture浅谈模拟RPC调用之CompletableFuture前言一、RPC是什么？1.1 我们这里呢！只是模拟PRC远程调用！二、使用步骤1.pom2.总结 前言 RPC在分布式系统中的系统环境建设和应用程序设计中有着广泛的应用，应用包括如下方面： [1] 1、分布式操作系统的进程间通讯 进程间通讯是操作系统必须提供的基本设施之一,分布式操作系统必须提供分布于异构的结点机上进程间的通讯机制，RPC是
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Frank浩

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值