dockerlinux内核,你掌握了多少?

IATF16949核心职位全解析 TM / Top MgmtMR / QMRProcess OwnerQMQAQCSQECQEPQEPETEMEIEPM / PJMFMEA ModeratorMSA CoordinatorSPC CoordinatorCM / CCB内审员CP / CPK 阅读详情

正文

ZooKeeper 很流行,有个基本的疑问:

  • ZooKeeper 是用来做什么的?
  • 之前没有ZK,为什么会诞生 ZK?

OK,解答一下上面的疑问:(下面是凭直觉说的)

  • ZooKeeper 是用于简化分布式应用开发的,对开发者屏蔽一些分布式应用开发过程中的底层细节
  • ZooKeeper 对外暴露简单的 API,用于支持分布式应用开发
  • ZooKeeper 在提供上述功能的同时,其还是一个 高性能、高可用、高可靠的分布式集群

上面说这么多,总结一下,ZK 能解决分布式应用开发的问题,ZK 能很好的解决问题。到这一步,疑问就更多了:

  1. 分布式应用开发,有哪些常见问题?ZK 是如何屏蔽这些底层细节的?
  2. ZooKeeper 对外暴露了那些 API?这些 API 如何支持分布式应用开发的?这些 API 还能简化吗?API 的语义性怎么样?
  3. ZooKeeper 自身是一个高性能、高可用、高可靠的分布式集群,那有个简单的问题:
  • 高性能是指什么?ZooKeeper 为了达到高性能,做了哪些工作?
  • 高可用同上
  • 高可靠同上

Note:本篇 wiki 就是为了解决上述第一个疑问的。(其他疑问会在其他 blog 中逐步解答)

为什么有 ZooKeeper

一个应用程序,涉及多个进程协作时,业务逻辑代码中混杂有大量复杂的进程协作逻辑。

上述多进程协作逻辑,有 2 个特点:

  • 处理复杂
  • 处理逻辑可重用

因此,考虑将多进程协作的共性问题拎出,作为基础设施,让 RD 更加专注业务逻辑开发,即:

ZooKeeper 就是上述多进程协作基础服务的一种。

ZooKeeper 的特点

ZooKeeper 有几个简单特点:

  • ZooKeeper 的 API:从 文件系统 API 得到的启发,提供简单的 API
  • ZooKeeper 运行在专用服务器上,跟业务逻辑分离,保证了高容错性和可扩展性

ZooKeeper 是存储设施,但特别注意

  • ZK上存储的数据聚焦为:协作数据(元数据),而不是应用数据,应用数据有自己的存储方案,例如 HDFS 等
  • ZK 本质上,可以看作一种特殊的 FS

特别说明:

应用数据和元数据,由于使用场景不同,对一致性和持久性的要求有差异, 因此,架构设计、数据治理过程中,应将 2 类数据独立看待、独立存储。

ZooKeeper 的使命

ZK 要解决的核心问题:

ZK 目标:简化分布式应用开发中,多进程协作问题。为分布式应用,提供高效、可靠的分布式协调服务(基础服务),例如:

  • 统一的命名服务
  • 分布式锁
  • 进程崩溃检测
  • Leader 选举
  • 配置管理:配置变更时,及时下发到各个 Client。

一个简单的问题:多进程的协作是什么?尼玛呀,有完没完,啥问题你都有,面对这个掉咋天的脑壳,还是回答一下。

多进程协作,整体分为 2 类:

  1. 协作:多进程需要一同处理某些事情,一些进程采取行动是的其他进程能够正常工作,例如:主从结构,M 向 S 分配任务,S 才会执行,否则 S 就保持空闲状态
  2. 竞争:两个进程不能同时工作,一个进程必须等待另个进程执行完毕,例如:主从结构,M 节点失效后,很多 S 都想成为 M,这时,就需要互斥锁,只有第一个获得锁的 S 成为 M

特别说明:

  1. 不跨网络协作:多进程,可以在同一台物理主机上,同步原语很方便(比如?管道、共享内存、消息队列、信号量)
  2. 跨网络协作:多进程,分布在不同的物理主机上,ZK 关注这一类

跨网络多进程协作,进程通信,基本思路有 2 个:

  1. 消息机制:通过网络,直接信息交换,多消息传递算法,实现同步原语
  2. 共享存储:利用外部共享存储,实现多进程协作,要求共享存储提供有序访问,ZK 采用这种方式

真实系统中,跨网络通信,有几个共性问题:

  1. 消息延迟:由于网络原因,后发送先到达
  2. 处理器性能:由于系统调度原因,消息到达后,延迟处理
  3. 时钟偏移:不同物理主机,时钟发生偏移

ZK 精心设计用于屏蔽上述 3 个共性问题,使得这些问题在应用服务层面完全透明化。

ZooKeeper 特性

ZooKeeper 解决的本质问题

分布式系统的一致性问题:

  1. 消息传递:延迟性,先发送的消息,不一定先到达;
  2. 消息传递:丢失性,发送的消息,可能丢失;
  3. 节点崩溃:分布式系统内,任何一个节点都可能崩溃;

在这种情况下,如何保证数据的一致性?

  1. 提案投票:基于投票策略,2PC
  2. 选举投票:基于投票策略,投出优先级最高的节点(包含最新数据的节点)

Paxos 目标:解决分布式一致性问题,提高分布式系统容错性的一致性算法。

Paxos 本质:基于消息传递的高度容错的一致性算法

ZooKeeper 定位

ZooKeeper 是:

  1. 分布式协调服务
  2. 高效、可靠
  3. 方便应用程序,聚焦业务逻辑开发,而不需要过多关注分布式进程间协作细节

ZooKeeper 不直接暴露原语,而是,暴露一部分调用方法组成的 API,类似文件系统的 API,支持应用程序实现自己的原语。

ZooKeeper 特性

ZooKeeper 可以保证如下分布式一致性特性:

  • 顺序一致性:同一个 Client 发起的事务请求,严格按照发起顺序执行
  • 原子性:事务请求,要么应用到所有节点,要么一个节点都没有应用
  • 单一视图:Client 无论连接到哪个节点,看到的服务端数据都是一致的(Note:不准确,其实是最终一致性)
  • 可靠性:事务一旦执行成功,状态永久保留
  • 实时性:事务一旦执行成功,Client 并不能立即看到最新数据,但 ZooKeeper 保证最终一致性
ZooKeeper 设计目标

ZooKeeper 致力于提供高性能、高可用、顺序一致性的分布式协调服务,保证数据最终一致性。

目标一:高性能(简单的数据模型)
  1. 采用树形结构组织数据节点;
  2. 全量数据节点,都存储在内存中;
  3. Follower 和 Observer 直接处理非事务请求;
目标二:高可用(构建集群)
  1. 半数以上机器存活,服务就能正常运行
  2. 自动进行 Leader 选举
目标三:顺序一致性(事务操作的顺序)
  1. 每个事务请求,都会转发给 Leader 处理
  2. 每个事务,会分配全局唯一的递增id(zxid,64位:epoch + 自增 id)
目标四:最终一致性
  1. 通过提议投票方式,保证事务提交的可靠性
  2. 提议投票方式,只能保证 Client 收到事务提交成功后,半数以上节点能够看到最新数据

ZooKeeper 出现之前

ZK 出现之前,分布式系统常用两种方式,实现多进程协作:

  1. 分布式锁管理器
  2. 分布式数据库

ZK 更专注于进程协作,而不提供任何锁接口和通用的存储数据接口。(疑问:ZK 也可以提供啊,我们不使用就行了)

应用服务器,常见的 2 种需求:

  1. Master-Slave Leader 选举:要求提供Master节点选举功能
  2. 进程响应跟踪 崩溃检测:要求提供进程存活状态的跟踪
  3. 分布式锁:互斥排它锁

ZK 为上述 2 种策略提供了基础 API。

ZooKeeper 不适用的场景:

  1. 海量数据存储:ZK 本质是特殊的 FS,但 ZK 用于存储元数据,需要单独存储应用数据

最后

各位读者,由于本篇幅度过长,为了避免影响阅读体验,下面我就大概概括了整理了,需要的话请**点赞后点击这里免费下载文章资料!**

点赞后点击这里免费下载文章资料!

[外链图片转存中…(img-u0s3pgvt-1625918619609)]

[外链图片转存中…(img-SvBnytOX-1625918619611)]

[外链图片转存中…(img-esNKlzf0-1625918619613)]

作物生长模型Oryza V3实战2:下载、安装与使用 摘要:ORYZA 现在的应用范围已从单一水稻作物模拟扩展到多个水稻作物模拟。我在csdn站内也上传了“作物生长模型oryza v3大全(含所有参数模板和4个校准程序1个分析工具)”,可以说是全网最全的吧。网上搜索一般下载的v3只有一个a3主程序,不适合作全面与深入的研究,本版本从国外下载回来,一开始少了一个“SoilHydrau.exe”文件,说是有病毒被隔离了,后经历各种技术手段,并向国际水道研究所发送邮件,才得以补全所有的参数化及校准程序、分析工具,来之不易,有缘人得之。 阅读详情

相关推荐

Axure RP 10表单数据提交制作

本文介绍了如何使用Axure RP 10实现表单数据提交。

Peppaaa的博客 991

java流程图都有哪些,盘点国内都有哪些免费好用的流程图设计工具

1.亿图简介:亿图是一个超级强大切很容易上手的一个思维导图工具,画流程图、思维导图、UI原型图、UML、网络拓扑图、组织结构图等等。该工具强大的地方在于丰富的模板、丰富的组件库。在使用的过程中也非常的柔顺。可以针对流程图的节点创建评论、备注、插入图片等常规的操作。优点:丰富的组件库与组件库,有客户端和网页端,支持将文件导出为图片格式、PDF格式、SVG格式、HTML格式、Microsoft Vis...

weixin_36337561的博客 1431

智能车竞赛轮腿穿越组:GPS+IMU导航绕桩实战技巧(附避坑指南)

本文详细介绍了智能车竞赛轮腿穿越组中GPS+IMU导航绕桩的实战技巧,包括硬件选型、传感器标定、路径规划及多传感器数据融合策略。通过实际案例和避坑指南,帮助参赛队伍提升导航精度和稳定性,避免常见错误。特别强调IMU安装位置和标定对导航系统的重要性。

gin88的博客 585

java开发架构师年度述职报告,看这篇文章就行了!

为什么学Java?Java能干什么? 每年转行想做程序员的人都不少,这个行业不像销售一样,你不必要懂那么多人情世故;也不像某些“安稳岗位”一样,工资较低。程序员靠技术恰饭,没有那么多职场周旋,工资也很可观,因此就成为了大多数转行人的第一选择。 Java作为世界上最主流的编程语言之一,也是应用最广泛的编程语言,属于编程语言中老大哥般的存在,是绝大多数人的第一选择。Java广泛的应用市场也直接决定了Java的高就业率,Java程序员最高平均21280元。 Java涉及的领域:手机开发(安卓基于Java)、游戏

m0_57205294的博客 2103

NVIDIA显卡在Linux下的功率限制问题:RTX 3060 Laptop的解决方案与避坑指南

本文针对NVIDIA RTX 3060 Laptop显卡在Linux系统下遭遇功率限制的问题,提供了详细的诊断与解决方案。通过使用nvidia-smi工具监控显卡状态,并重点介绍了通过升级驱动、启用nvidia-powerd服务来激活Dynamic Boost 2.0功能,从而安全、智能地解锁额外显卡功率,有效提升性能。

weixin_29290947的博客 638

GAMES104:02引擎架构分层-学习笔记

用户层工具层(Tool Layer):编辑器、工具界面功能层(Function Layer):渲染Rendering、动画Animation、物理Physics、相机Camera和实现游戏性的脚本Script、状态机FSM、AI等功能模块资源层(Resource Layer):各类图片、动画、音频资源加载核心层(Core Layer):核心功能如内存管理、容器分配、数据计算、多线程处理等平台层(Platform Layer):对接不同游戏平台、主机和硬件。

噗噗噗的博客 1268

推荐几个适合JAVA自学网站,冲冲冲!!!

相信学习 Java 的你对于 Java SE 所用到的 API 文档,一定不会陌生;里面所有的有关 Java 的东西对你都有用;这些网站可以提供一些最新 Java 的资料;里面的相关技术文档都很详细,对于学习 Java 很有帮助;java学习资源全面系统、丰富翔实、分门别类、由浅入深、理论与实战相结合,是全网服务最好/性价比最高的java编程学习论坛。动力节点的 Java 教学视频还是很不错的,比较全面;三:Oracle网址:www.oracle.com。四:菜鸟教程网址:www.runoob.com。

Java___interview的博客 6205

实验十一 ——————二层交换基础

实验内容实验网络拓扑图如上所示SW1以及SW2都创建VLAN10和VLAN20,按照上图所示,将接口添加到特定的VLAN;测试PC之间的连通性,要求相同VLAN内的PC能够相互通信要求设置两台交换机名称以及进行特权模式的密码,并允许通过Telnet方式管理交换机实验目的了解二层交换机工作原理掌握交换机基本配置命令理解VLAN的概念,掌握VLAN的配置理解trunk的概念,掌握trunk的配置实验步...

Fly_鹏程万里 1490

Java学习利器:这些网站让你事半功倍!

Java是一种简单易用、完全面向对象、与平台无关性、安全可靠的、面向Internet的开发工具。自问世以来,Java的快速发展已经让整个Web世界发生了翻天覆地的变化。作为一种静态面向对象编程语言的代表,Java极好地实现了面向对象理论,允许程序员以优雅的思维方式进行复杂的编程。此外,Java还具有功能强大且简单易用两个特征,不仅吸收了C++语言的各种优点,同时还摒弃了C++里难以理解的多继承、指针等概念

qq_45746668的博客 8412

SAP成本核算的核心逻辑

SAP成本核算采用"计划-归集-分析"闭环管理,以CO模块为核心,集成PP、MM等模块。核算前需配置标准成本控制范围、成本中心等主数据。标准成本通过BOM和工艺路线计算(CK11N),采购和生产过程记录实际成本差异。制造费用通过成本中心归集,作业成本按实际耗用量分配。完工产品按标准成本入库,月末通过KO88结算工单差异,物料分类账(CKMLCP)还原实际成本。整个流程实现FI与CO数据同步,确保账务一致。关键事务码包括CK11N(成本估算)、MIGO(物料移动)、CO11N(报工)等。

金牌架构师 544

本体论与AI人工智能:如何实现智能语义理解?

句法理解:解析符号序列的结构关系(已相对成熟)指称理解:建立符号与现实世界实体的对应(部分实现)概念理解:把握符号背后的概念内涵与外延(有限进展)情境理解:在特定语境中推断符号的意图与意义(重大挑战)当前AI系统主要停留在第一层级,部分触及第二层级,而真正的智能语义理解需要突破后两个层级。本体论通过提供结构化的概念体系和关系模型,为实现深层语义理解提供了理论框架。

大模型应用工坊 1546

征服Java面试官!dockerlinux内核

正文 ZooKeeper 很流行,有个基本的疑问: ZooKeeper 是用来做什么的? 之前没有ZK,为什么会诞生 ZK? OK,解答一下上面的疑问:(下面是凭直觉说的) ZooKeeper 是用于简化分布式应用开发的,对开发者屏蔽一些分布式应用开发过程中的底层细节 ZooKeeper 对外暴露简单的 API,用于支持分布式应用开发 ZooKeeper 在提供上述功能的同时,其还是一个 高性能、高可用、高可靠的分布式集群 上面说这么多,总结一下,ZK 能解决分布式应用开发的问题,ZK 能很好的解决

m0_57983661的博客 90

2018安徽省青少年信息学奥林匹克(AHOI)初中组

12 种合法的排列分别为:1, 3, 2, 4, 2, 3, 1, 4, 3, 1, 4, 2, 3, 2, 4, 1, 1, 3, 4, 2, 2, 3,4,1,1,4,2,3, 2,4,1,3, 4,1,3,2, 4,2,3,1, 1,4,3,2, 2,4,3,1。分为 2 组,一组的队员实力值是{4, 5, 2, 3},一组是{-4, -3, -5},其中最小的组人数为 3,可以发现没有比 3 更优的分法了。[0, 1, 1, 2]同样不是合法的分组方案,因为出现了两个实力值为 1 的选手。

weixin_42358969的博客 1143

掌握这6大技能体系:dockerlinux内核要求

三、堆空间 基本描述 JVM启动时创建堆区,是内存管理的核心区,通常情况下也是最大的内存空间,是被所有线程共享的,几乎所有的对象实例都要在堆中分配内存,所以这里也是垃圾回收的重点空间。 堆栈关系 栈是JVM运行时的单位,堆是存储单位,当栈中方法结束,相关对象失去所有引用后,不会马上被移除堆空间,要等到垃圾收集器运行的时候。 四、虚拟机栈 虚拟机栈(Java栈)在每个线程创建时都会生成一个虚拟机栈,栈的内部是一个个栈帧单元,对应Java方法的调用,其生命周期和线程周期保持一致。用来存储方法的局部遍历,部分执

m0_57767685的博客 210

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

RU DOS版、EFI版32bit/64bit BIOS常用工具

DOS版、EFI版的RU工具,可用来查看IO、MEM、PCI、SMBIOS等资源。亲测在EFI SHELL下可用。

docker(三)—linux-centos之docker的安装

1:安装docker的要求 必须linux的内核版本 必须在 必须在3.10以上的版本 1.1:查看linux内核的信息命令 uname -a 1.2:命令显示信息如图所示: 2:安装方式 2.1:使用官方脚本自动安装 一般不建议使用原因 一般是安装最新版本,而公司可能是需要一些稳定的版本 安装命令:curl -sSL https://get.daocloud.io/docker | sh 2.2:手动安装 1:先查看是否存在docker版本, 查看命令:docker -version 如出现如图所

xiaoqiang65的博客 216

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

Linux下Docker的详细安装过程(官网推荐方式,亲测可行)

前言 最近在搞微服务,要用到 docker,之前一直没用过,有找了不少的安装教程,说的比较杂乱,有的教程甚至会出现问题,也是头疼。现整理出一份 docker 的安装过程,做个记录,方便日后查看。 注:docker的安装对系统有要求,需要 CentOS 7,内核也得是 3.10 及以上,所以推荐使用 CentOS 7.x 版本(我的版本是 7.4) 1、如果你的虚拟机版本还是 6.x 的话,建议换...

一个任的博客 717

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

docker Linux安装以及日常使用

如果看到以下输出,则说明Docker安装成功。:查看所有悬空(没有名字和标签的)镜像列表。安装Docker前需先检查系统是否满足条件。也可以通过以下命令查看Docker的信息。:查看所有本地镜像列表,包括中间层镜像。:查看指定镜像名称的本地镜像列表。:查看所有本地镜像的 ID 列表。以上命令均可在终端中输入并执行。:列出所有本地镜像的完整信息。验证Docker安装是否成功。设置Docker开机自启。执行以下命令启动一个容器。:查看所有本地镜像列表。

JeromeDaniel的博客 54

java自学网站,看完不后悔,千万不要做收藏者!!!

java自学网站 Hello,好久不见,今天呢我给大家分享一些java自学的网站,相信有的小伙伴在自学java的过程中出现过迷茫,不知道怎么去学习,没有学习的方向(这里呢我可以推荐大家先去看一篇我前面的文章,java学习路线图,本文地址:https://blog.youkuaiyun.com/weixin_46227553/article/details/106609250),大家在网上找的可能有些杂,不够系统,所以呢,今天就推荐几个自学网站,希望可以帮助到大家!!! 1、HOW2j ​ 网址:https://how2

He Xin Fan 1699

使用Java制作流程图

​ 在Java语言以及其他程序设计语言中,程序包括顺序结构(Sequential Structure)、选择结构(Selection Structure)和循环结构(Repetition Structure)三种基本结构。这三种基本结构均可以使用程序流程图表示:这三种基本结构的共同特点:(1)每种结构只有一个出口(2)在任何一种结构内,每个处理框都有机会被执行。(3)对每个处理框来说,都应有一条从入口(a点)到出口(b点)的路径通过它。

weixin_43934728的博客 3453

java 自学网站推荐

感兴趣的朋友可直接查看最后的链接~ 出现的问题 网上的很多知识点都比较独立,导致每次看完一个知识点之后需要继续手动搜索下一个知识点,并且可能点击到的链接还不是自己想看的,或者下一次学习的时候又忘记上次看到哪了,浪费挺多的时间。 在找工作的途中发现虽然面试官问的问题零零碎碎基本都能说个一二,但是没有可以深入的项目,所以实际并不顺利。需要有一个偏完整的项目才有的聊,而网上的项目有时候运行不了,有时候...

小小阿萨姆的博客 1803

程序员自学网站整理大全(非常详细)零基础入门到精通,收藏这篇就够了

有些大厂,例如奇安信,甚至会将渗透岗位分为红蓝两方,对候选人的技术要求比较高,大部分刚入行的新人,也将渗透岗位作为后期的发展目标。①就业环境:网络安全可以在计算机科学与技术、信息通信、电子商务、互联网金融、电子政务等领域从事相关工作,还可以在政府机关事业单位、银行、保险、证券等金融机构,电信、传媒等行业从事相关工作。(有条件请支持实体书)

Libra1313的博客 1万+

java的流程图软件

如何实现一款Java的流程图软件 引言 在软件开发过程中,流程图是非常重要的工具之一,它可以帮助开发者可视化系统流程。对于刚入行的小白来说,创建一款简单的流程图软件是个不错的学习项目。本文将详细介绍实现这一项目的流程,并提供相应的代码示例。 实现步骤 我们可以通过以下步骤来创建一款流程图软件。下面是整个过程的简要流程表: ...

weixin_33283826的博客 264

30个Java自学网站

30个Java自学网站 1、learnjava 官网地址:https://www.learnjavaonline.org/ 是一个交互式学习java的网站,所谓的交互式,就是你只需要从第一开始,按照人家的提示进行操作即可,也可以说是傻瓜式学习,你看: 首先给你讲解理论知识,然后让你实际操作代码: 可以直接写代码直接输出打印。是一个非常不错的Java自学网站! 2、LeetCode/力扣 官网地址:https://leetcode-cn.com/ 这是一个相当重要的网站,建议每个程序员都需要去使用这个网站

梦想起飞的地方......... 4万+

教师节快乐,全网最全编程学习网站汇总来了,还不赶快收藏

教师节快乐! 程序员是一个需要不断学习的职业。幸运的是,在这个互联网时代,知识就在那里,等着我们去获取。 作为一个“收藏从未停止,学习从未开始”的博主,秉承着好东西不能独享的态度,把收藏的学习网站整理分享出来,希望大家不要学我,一定要好好学习,天天进步,升职加薪????。 一、在线教程 首先列出一些在线教程网站,这些在线教程网站通常都比较适合入门,可以作为开发学习路上的第一个阶梯,也可以作为工作中的在线文档。 1、how2j.cn 地 址:how2j.cn 简 介:一个Java全栈开

LLand520的博客 1271
上一篇: dockerkubernetes教程,隔壁都馋哭了
下一篇: dockernacos安装,圆我大厂梦!
普通网友
博客等级 码龄6年 39粉丝 387原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值