关于Clusters的一些相关知识和名词解释

关于Clusters的一些相关知识

                    TianYu 2002-12-16

 来自前段时间我在准备scea part1时所做的笔记.

Study Notes目录及下载à

http://www.arkee.org/forum/showthread.jsp?forumID=7&rootID=2533&announceID=2533

 

摘要

服务器集群增长了系统可用性(availability)和冗余(redundancy).也提供了容错(fault tolerance).使用集群,可以分布请求以便多个服务器可以共享负载.一些服务器也可能提供确定哪台服务器利用的不充分以便均衡负载的复杂处理.

服务器亲合力(Server Affinity)或者粘性负载均衡(Sticky Load Balancing)

从相同的客户端到相同的后端机器,路由请求.如果你使用Stateful Session 或者 Entity EJBs是必要的.那会使唯一的一个有效的服务器传输后面的请求.

负载分布(Load distribution)

负载分布和服务器亲合力一样承认多个服务器可接受请求目标.但是它也承认一些请求最好直接定位具体的服务器.

弱亲合力(Weak affinity)

        尽力强制亲合力.但是不总保证.

 

强亲合力(Strong affinity)

保证重视亲合力关系

Load Balancing vs. Load Sharing

负载分布通常在两个服务器之间通过负载共享(Load Sharing)完成.然而,共享负载是不适当的方式,因为相同点击的数量总是被分配到各个服务器,忽视在容量方面和当前负载的变化.服务器开始处理太多或者太少的负载共享,导致你的站点不一致的响应.

另一方面,均衡负载重视web服务器的容量和负载.因此所有的服务器将每次都将获得适当的负载,快速返回,一致的响应.

负载均衡靠尽力平等在所有处理器上的负载工作是更艰难的.

负载共享

   Pros::

设置简单

便宜

   Cons:

1. 如果一台服务器down掉了, 客户端将继续定位到这台机器,使用DNS,更加重了这个问题,因为客户端缓存DNS的事实和DNS的一些变更通过公共的DNS服务器花费时间传播 .

2. 负载共享不在需要它的地方分布负载.

举例来说server 1 过载, server 2 空闲

3. Web服务器重定向只适合HTTP.

 

DNS Round Robin

在许多DNS之间平等的分散接收IP包.这个意思就是说每个后续的包都被发送到清单里的下个IP地址,直到到达清单的最后,然后下个包又被发送到第一个地址.这是简单的负载均衡策略(事实上是load distribution,即load-share).它并不重视机器上的实际负载..

DNS Round Robin    负载分布不管请求的类型(也就是SSL, JSP, HTML)均匀的分离请求的过程.    如果你有三个服务器,第一个请求进入到第一台服务器,第二个请求到第二台服务器,第三个请求到第三台服务器.当第四个请求进入时,重新开始这个过程,所以这个请求来到第一台服务器.

DNS round robin支持一些应用服务的池,不只是web服务器.象Web池,email,ftp,数据库,和其他的服务器都可以使用DNS设置成load-share.

 

缺点:如果一台机器死掉了,将仍然把一些传输路由到已死的机器上.

DNS RR并不关心象cpu利用率这些东西,它被考虑为负载共享的解决方案.

    DNS MX records

MX 允许设置多个邮件主机

Web server redirect

 使用JSP/servlets/Javascript从www到www1/www2设置重定向

 

负载分割(Load partitioning)

基于客户端的状态,发送他们的请求到具体的服务器.

举例来说, if (userNum < 10,000) 就到server1.

Yahoo/Hotmail对于webmail使用这种技术. us.f206.mail.yahoo.com

Cons:不分布负载,用户锁定到一台服务器

 

负载平衡

分布处理和通信行为均匀的通过计算机网络,当单个设备失败时,可以不受影响.负载均衡对于那些很难预知发到服务器上的请求数量的网络来说是尤其重要的.典型的网站在负载均衡方案里使用两个或者更多的Web服务器.如果一台服务器开始难于应付,请求被转发到有着更大容量的别的服务器上,负载均衡也可以应用自己的通信通道.

  反转代理负载均衡

    根据请求的类型(也就是SSL, JSP, HTML)分开请求分别处理的过程.

通常当你的服务器有不同数量的CPUs和内存时使用.你可能使用一些强大的服务器来处理SSL sessions,其他的处理静态html.这么使用将最大化发挥你的应用的性能.

 

硬件负载均衡器

硬件负载均衡器提供了请求层次的失败转移.当负载均衡器检测到一个具体的节点down掉了,它将把以后到这个死节点的请求重新定位到集群里其他的活动节点上.

为了明显的获取session失败转移,集群里的节点必须彼此之间进行协作,同时具有所有的session数据都可以被存储的地方,例如共享内存区域或者一个公共的数据库.因此,如果集群里的一个节点有了问题,session会在另外一个节点上继续.

 

容错

容错是即使当一些系统组件有故障时防止失败的能力.完成容错的关键是冗余.冗余需要复制.

通过复制品的使用,服务器集群增加了系统的可靠性和可用性.他们给负载分布和负载均衡提供了一个容错机制.

Hot backup

在热备份(Hot backup)里,对象的活动的拷贝(复制品)为客户端请求服务,持续和原始对象同步.如果原始对象失败,一个拷贝立刻接管.

cold backups

在冷备份(cold backups)里,复制品不是经常更新.随着原始服务在定期的间隔同步它们的状态.如果原始服务失败,一个复制品在它可以为请求服务之前必须被同步.(可能用来自存储设备的数据).就是说,原始对象以某个时间间隔和稳定的存储器同步.万一失败,实例化一个新对象,读取存储器进行设置.

warm backups

在暖备份(warm backups)里,只有原始服务响应请求.然而所有的活动持续记入日志的.复制品也周期性的清洗,从这些日志里获得新状态.当原始服务失败时,一个复制品在它的状态和日志同步后立刻接管.

 

一个对象的备份拷贝运行时,不能为客户端服务.同步在某个固定时间间隔发生.万一失败,一个拷贝从最新的同步点接管.

 

错误处理包括服务复制,错误检测,错误恢复,错误通知.错误检测通常使用heartbeats(服务器周期性发送信号到监控器)或者轮询(监控器一段时间检查服务器一次)

Corba的容错处理涉及Replica Managers和Replica Service Agents.(略)

 

 

Active Replication和Passive Replication

积极复制是一种容错机制,在这里每个复制品都被认为是主要的服务,尽力为每个请求服务.所有的复制品的状态都是持续同步的.使用一个拦截器阻碍额外的响应,积极复制概念上和热备份是相似的. 意思是说每个复制品都处理请求和应答. 拦截器阻碍额外对第三个对象调用和额外的响应.

 

在消极复制里,原始服务处理所有请求.复制品的状态周期性的同步,如果原始服务失败,一个复制品在它的状态被同步(例如,使用日志文件)后立刻接管.一个原始复制品处理请求和同步第二个复制品状态.请求也被记录在日志里,对于失败转移来说,第二个复制品成为原始首要的,第一位的,在最新的同步点处理所有的请求.在概念上,消极复制和暖备份是相似的

聚类实战避坑指南:从业务动因到ChatGPT辅助决策 聚类是无监督学习中最常用也最易误用的技术,其本质不是寻找数学上最优的簇划分,而是对业务模糊需求的结构化求解。理解距离度量(如欧氏距离、余弦相似度、Gower距离)如何映射业务相似性定义,掌握K值确定的轮廓系数+业务验证双轨制,是避免‘模型准确、业务失效’的关键。特征缩放不当可导致结果偏差超300%,而ChatGPT的真实价值在于充当认知校准器——检验假设、审查参数、增强可解释性,而非替代建模。本文聚焦电商用户分群、设备故障归类、日志异常检测等典型场景,提供从数据病理诊断、算法选型(K-means/DBSCA 阅读详情

相关推荐

生物信息学必备:COG功能分类详解与可视化技巧

本文详细解析了COG(Clusters of Orthologous Groups)功能分类系统在生物信息学中的应用,包括其25个功能类别和四大功能组的划分。通过R语言实战技巧,展示了如何高效获取、预处理COG注释数据,并实现从基础条形图到高级热图的多维可视化,帮助研究人员提升基因组数据分析的深度与效率。

ss78901的博客 803

关于Clusters的一些相关知识

   关于Clusters的一些相关知识                    TianYu 2002-12-16 来自前段时间我在准备scea part1时所做的笔记.Study Notes目录及下载à http://www.arkee.org/forum/showthread.jsp?forumID=7&rootID=2533&announceID=2533 摘要

tytyty的专栏 2012

K-means聚类算法(基于轮廓系数来选择n_cluster)

轮廓系数: 如果一个簇中的大多数样本具有比较高的轮廓系数,则簇会有较高的总轮廓系数,则整个数据集的平均轮廓系数越高,则聚类是合适的。如果许多样本点具有低轮廓系数甚至负值,则聚类是不合适的,聚类的超参数K可能设定得太大或者太小。 现在有这样的散点图,如果采用KMeans聚类的话,如何选择合适的n_cluster(簇)呢? 我们先假设n_cluster=4 from sklearn.cluster ...

xlperpetual的博客 7798

Elasticsearch 入门到精通-Elasticsearch中的一些重要概念:cluster, node, index, document, shards及replica

首先,我们来看下一下如下的这个图: Cluster Cluster也就是集群的意思。Elasticsearch集群由一个或多个节点组成,可通过其集群名称进行标识。通常这个Cluster 的名字是可以在Elasticsearch里的配置文件中设置的。在默认的情况下,如我们的Elasticsearch已经开始运行,那么它会自动生成一个叫做“elasticsearch”的集群。我们可以在config/elasticsearch.yml里定制我们的集群的名字 一个Elasticsearch的集群就像是下面的一

741

VCSA 6.7证书过期别慌!手把手教你通过SSH修改系统时间恢复登录(附STS证书修复脚本)

本文详细介绍了VCSA 6.7证书过期的应急处理方案,包括通过SSH修改系统时间临时恢复登录、全面更新证书体系以及专项修复STS证书的实战步骤。文章还提供了后期验证和系统加固的建议,帮助运维人员有效应对证书过期问题,确保虚拟化平台的稳定运行。

weixin_31292729的博客 415

创龙 瑞芯微 RK3588 国产工业开发板—Qt交叉编译环境搭建与GPU图形渲染实战

本文详细介绍了在创龙RK3588国产工业开发板上搭建Qt交叉编译环境并利用GPU进行图形渲染的完整实战流程。文章从环境准备入手,讲解了交叉编译工具链的配置,并提供了命令行与Qt Creator两种编译方法。通过部署运行和自启动设置,确保程序在板卡上稳定运行。最后,通过OpenGL案例实战,展示了如何调用RK3588的GPU进行高效图形渲染,释放其图形处理潜力,适用于工业HMI、智能终端等高要求图形界面开发。

weixin_28278377的博客 450

Cluster

前言 最近 deno 的诞生,看着大牛们的分析文章,有很多看不懂的内容,作为一个立志成为大牛的大白,应该多向大牛们学习才是。 本人学艺不经,此文只作概念性介绍。 node node 保持了 JavaScript 在浏览器中单线程的特点。单线程最大的好处就是不用像多线程那样需要注意状态的同步,死锁问题等。但是单线程也有它不好的地方,比如说,健壮性,无法利用多核CPU等。 于是出现了 c...

技术小屋 1382

STM32CUBEMX 使用教程5 — DMA配置 & 串口结合DMA实现数据搬运

DMA(Direct Memory Access),直接存储器访问(或数据搬运),是STM32中很实用的一个外设。DMA 传输数据方式不需要 CPU 参与控制传输,也不用中断处理的方式进行数据搬运处理,纯粹通过硬件为 RAM 与 I/O 设备之间开辟一条直接传送数据的通路,使 CPU 的效率大大提高。

weixin_43866583的博客 1499

python 使用K-Means算法对数据进行聚类

K-Means是聚类算法的一种,以距离来判断数据点间的相似度并对数据进行聚类。前面的文章中我们介绍过K-Means聚类算法的原理及实现。本篇文章使用scikit-learn库对数据进行聚类分析。准备工作开始之前先导入要使用的各种库文件,首先是scikit-learn库,然后是数值计算numpy和科学计算pandas库,以及用于绘制图表的matplotlib库文件。1234from sklearn....

weixin_41151172的博客 5万+

【全开源】废品回收垃圾回收小程序APP公众号源码PHP版本

废品回收小程序是一款基于移动端的应用程序,它提供了废品分类、预约回收、积分兑换等多种功能,帮助用户更方便地进行废品回收,同时还能兑换到一些小礼品或优惠券,让回收变得更加有趣和有价值。随着环保意识的逐渐提高,废品回收成为了我们日常生活中的重要一环。但是,如何更方便、高效地进行废品回收呢?今天,我要向大家推荐一款超级实用的工具——废品回收小程序!废品回收小程序不仅让我们的生活更加便捷,还让我们为环保事业贡献了一份力量。让我们一起行动起来,用废品回收小程序为我们的家园添一抹绿色吧!

2401_84593614的博客 1359

Unity零基础到进阶 | Unity中的内存泄漏全解析,原因、排查及避免

Unity 内存泄漏并非传统C++语境中的野指针或未释放堆内存,而是基于其「托管内存(C#)+ 原生内存(引擎/非托管)」双架构的特殊问题——即已废弃、不再被业务逻辑使用的内存块,无法被引擎或系统自动回收,持续占用内存空间,最终引发内存暴涨、GC卡顿、OOM(内存溢出)崩溃,其中移动端、主机端受影响最显著。 Unity 内存主要分为三类,其中泄漏仅发生在前两类,栈内存因系统自动分配/释放,无泄漏风险:

努力前行,总会成为自己心中的那道光 1万+

[转载]关于Clusters的一些相关知识和名词解释

作者: wangding263 链接:http://wangding263.javaeye.com/blog/258916 发表时间: 2008年10月28日 关于Clusters的一些相关知识 TianYu 2002-12-16 来自前段时间我在准备scea part1时所做的笔记. Study Notes目录及下...

weixin_30896511的博客 295

uniapp APP端:蓝牙报错writeBLECharacteristicValue:fail property not support(uni.writeBLECharacteristicVal)

uni-app 蓝牙fail property not support、发现不了服务特征值的问题、突然发现微信蓝牙小秘密,使用uni-app编译成安卓APP后报错writeBLECharacteristicValue:fail property not support,发现不了服务特征值,uniApp APP调用蓝牙API发送指令过快导致,uniapp 蓝牙 writeBLECharacteristicValue property_not_support iOS Android BLE GATT 特征值写入

✅ 精选推荐文章 2943

复现原文(一):Single-cell RNA sequencing of human kidney(step by step)

肾脏是具有许多不同功能的高度复杂的器官,由几个功能和解剖上不连续的部分组成。肾小球和肾小管是肾单位的重要组成部分。足细胞与肾小球内皮细胞一起合成了肾小球基底膜,它是最终的过滤屏障,防止蛋白质损失到尿液中。顶叶上皮细胞(Parietal epithelial cells,PECs)是另一种常见的肾小球细胞类型,可能导致肾小球硬化、新月和假新月形成。近端小管(proximal

悟道西方 1186

华为OD机试 - 跳房子I(Java 双机位A卷 100分)

可行的两步组合有 [1, 2] (索引和 0+3=3)、[1, 2] (索引和 0+4=4)、[4, 2] (索引和 1+3=4)、[4, 2] (索引和 1+4=5)、[5, 2] (索引和 2+3=5)、[5, 2] (索引和 2+4=6)。此样例有多种组合满足两回合跳到最后,譬如[-1,9], [2,6],其中[-1,9]的索引和为0+3=3, [2,6]的索引和为1+4=5, 所以索引和最小的步数组合为[-1,9].[3, 2] 和 [1, 4] 都满足和等于 5,且索引和均为 3。

学Java,找哪吒 4508

全国区块链职业技能大赛国赛考题前端功能开发

全国区块链职业技能大赛国赛考题区块链应用前端功能开发

本郡主是喵 1333

Oracle RAC之名词解惑

什么是RAC   传说中的RAC,做为我们本文的主角,其全称是Real Application Cluster,官方的中译是真正应用集群,听起来和叫起来都很别扭是不是,我们还是就叫它RAC吧。RAC并非是个新技术,其前身叫OPS(Oracle Parallel Server),从9i开始才改名叫RAC(回头有空俺再写篇blog跟大伙数道数道rac的前世今生),这属于oracle的老把戏了

zylcon的专栏 561

怀旧版电脑GBC模拟器

再现原版GBC掌机的界面,电脑运行连游戏界面都一样大小,很怀旧,很真实,(英文版)强烈推荐,很小的文件,很难才找到的。

Kmeans参数n_clusters_labels_centers_

KMeans重要参数:n_clusters 参数n_clusters 是 KMeans 中的 K,表示我们告诉模型要分几类。这是 Kmeans 当中唯一一个必填的参数,默认为 8 类,但通常我们的聚类结果会是一个小于 8 的结果。通常,在开始聚类之前,并不知道n_clusters 究竟是多少,因此我们要对它进行探索。 当拿到一个数据集,如果可能的话,希望能够通过绘图先观察一下这个数据集的数据分布,以此为聚类时输入的 n_clusters 做一个参考。 尝试在代码框执行以下代码: 首先,我们来自己创建一个数据

oxygensss的博客 2万+

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

锂电池充电器电路设计 里面有电路

锂电池充电器电路设计 里面有电路 3.7V升压到5V电路设计。

分布式系统阅读笔记(十八)-----副本备份技术

介绍 在分布式系统中,副本和备份是一个用来提供高可用性和一定的容错能力的手段和措施。HA(高可用性)在当前越来越成为一个趋势在一些移动计算的领域和一些失去连接的状态场景之下。在这篇笔记中,我会介绍一些副本备份的相关技术点,比如基于隶属度管理的组通信,还有被动和主动备份技术,以及最后的副本分区的一些情况。 1、副本在分布式系统中被用的非常的广泛,比如说被用于资源的缓存的访问,放置在代理服务器上或

走在前往架构师的路上 3693

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

机器学习8:集群

集群算法非监督学习K-均值算法优化目标随机初始化集群中心点选取集群中心点数量K 非监督学习 如下图所示,,非监督学习是把相距较近的点划分为K个簇 具体可以应用于市场分割、社交网络分析、组织计算集群和天文数据分析 K-均值算法 输入:需要划分的集群数量K,以及训练集{x(1),x(2),…,x(m)}\{x^{(1)},x^{(2)},\dots,x^{(m)}\}{x(1),x(2),…,x(m...

wycgi的博客 1312

什么是集群(cluster)

 1、集群 1.1 什么是集群 简单的说,集群(cluster)就是一组计算机,它们作为一个整体向用户提供一组网络资源。这些单个的计算机系统就是集群的节点(node)。一个理想的集群是,用户从来不会意识到集群系统底层的节点,在他/她们看来,集群是一个系统,而非多个计算机系统。并且集群系统的管理员可以随意增加和删改集群系统的节点。 1.2 为什么需要集群 集群并不

liuliufa的专栏 1万+

sklearn.cluster.KMeans 报错 ValueError: n_samples=1 should be >= n_clusters=10

Python: List Comprehensions (列表推导)原来 python 支持列表推导的形式生成列表,但是还是不如 haskell 的列表推导好用。 下面是使用数学公式对列表的描述:S = {x² : x in {0 ... 9}} V = (1, 2, 4, 8, ..., 2¹²) M = {x | x in S and x even}其实不是什么新名词,大家看一下就知道了:>>

CY_TEC的博客 1万+

Cluster - 基本概念

1.1 什么是集群   简单的说,集群(cluster)就是一组计算机,它们作为一个整体向用户提供一组网络资源。这些单个的计算机系统就是集群的节点(node)。一个理想的集群是,用户从来不会意识到集群系统底层的节点,在他/她们看来,集群是一个系统,而非多个计算机系统。并且集群系统的管理员可以随意增加和删改集群系统的节点。   更详细的说,集群(一组协同工作的计算机)是充...

weixin_30394633的博客 2万+

RDD:基于内存的集群计算容错抽象

文章目录摘要1.引言2.弹性分布式数据集(RDD)2.1 目标和概述2.2 RDD抽象2.3 编程模型2.4 示例:控制台日志挖掘2.5 RDD与分布式共享内存3. Spark编程接口3.1 Spark中的RDD操作4. 应用程序示例4.1 迭代式机器学习4.2 使用RDD实现MapReduce4.3 使用RDD实现Pregel4.3.1 Pregel容错4.4 使用RDD实现HaLoop4.5 不适合使用RDD的应用5. RDD的描述及作业调度5.1 RDD实现举例5.2 Spark任务调度器5.3 检查

zhouhy1101的专栏 505

布局管理之-Place布局

Tkinter place()方法常用选项 绝对定位: x 指定组件的 X 坐标。x 为 0 代表位于最左边。 y 指定组件的 Y 坐标。y 为 0 代表位于最右边。 width 指定组件的宽度,以 pixel 为单位。 height 指定组件的高度,以 pixel 为单位。 相对定位: relx 指定组件的 X 坐标,以父容器总宽度为单位 1,该值应该在 0.0~1.0 之间,其中 ...

u011878611的博客 959

state machine replication 与 primary backup system 之间的区别

本作品采用知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议进行许可。 本作品 (李兆龙 博文, 由 李兆龙 创作),由 李兆龙 确认,转载请注明版权。 文章目录引言Active replication 与 Passive replication一致性算法与状态机发送日志的区别 引言 第一次看到这个问题是在看一些技术博客讨论ZAB与Paxos,Raft的区别的时候。这个问题困扰了我很久,我一直不清楚它们之间到底有什么不同。说实话,网上我看的的所有文章对这个问题的描述也是含含糊糊。本篇文章基于维基

李兆龙的博客 1072
上一篇: 折半查找
下一篇: java 安全沙箱模型 转载自galaxystar.javaeye.com
wangding263
博客等级 码龄19年 1粉丝 11原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值