ElasticSearch 不同角色分工

本文介绍了ElasticSearch的节点作用和优化,强调了分布式的重要性。节点包括Master节点负责集群状态维护,Data Node存储数据,Coordinating Node协调请求,Ingest Node处理索引文档预处理。节点分工协作解决了请求响应、读写和协调请求的性能瓶颈问题。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

节点作用

ES 是一个分布式全文检索引擎,既然是分布式那一定是设计多个节点甚至多个集群。为什么需要分布式呢?试想一下,如果 ES 节点只设计成一个,那么这个节点会涉及哪些工作呢?

  • 首先该节点应该具备响应用户的读写操作
  • 该节点应该具备存储数据的能力
  • ES应该具备协调多个用户集体请求的操作
  • 另外 ES 会自动映射用户输入的数据类型,因此ES应该具备自动映射数据类型的操作

节点优化

当然这些只是这个节点最基本,最应该做到的功能,节点应该具备的功能绝不会仅限于此。这么多工作都让这个单个节点来做,服务器撑得住恐怕这个节点也不乐意了。当多个用户触发写操作,节点会协调多个用户的请求,然后再把写的数据进行类型转换,然后再把数据写到磁盘中。整个过程,可以说任何一个过程都能够轻易的达到瓶颈。

  • 请求响应瓶颈:这个不难理解,如果请求过多,服务器宕机也不为过
  • 读写瓶颈:磁盘的写入能力是有限的,也就是经常说的 I/O 瓶颈
  • 协调请求以及自动映射数据类型:这个瓶颈来自于服务器 CPU 性能,CPU 需要协调多个线程来做这些事

节点分工

这个单个节点可以把它比喻为牛批的全栈工程师,啥都会,啥都干,但是一个的精力总是有限的,现在不是一个人单打独斗就能解决问题,需要有一个好的 Team 才能够成就伟大的事。ES 也是如此,既然单个节点不能够满足需求,那就按照任务多分配几个节点,将任务具体到节点,不同的节点负责不同的任务。

因此 ES 为分配不同的任务,定义了以下几个节点角色:Master,Data Node,Coordinating Node,Ingest Node

Master 节点:每个 ES 节点启动之前都会有个默认配置 node.master:true ,也就是说每个节点都有可能成为 Master 节点,这些节点被称作 Master-eligible nodes ,就是合格的有资格成为 Master 节点的节点。

当然 Master 只能有一个,所以会通过选举的方法对这启动的节点选举,被选中的节点才会成为 Master 节点。 Master 节点主要是负责维护集群的状态,像所有节点的信息,所有的索引和它相关的 Mapping 关系,配置信息,分片的路由等。既然 Master 节点维护了这么重要的信息,玩意它挂了怎么办?

挂了的话,将会对其他的有资格成为 Master 节点的节点重新选举出另一个 Master 节点,因此这就说明了其他 Master-eligible nodes 也会保存集群信息,但是只有 Master 节点有权限能够修改,试想如果其他节点也能修改的话,这将会导致数据不一致的问题。

Data Node 节点:这个节点从字面上就很容易理解,数据节点,这个节点主要负责数据的存储,在数据扩展上起到了至关重要的作用。也就是说读写数据都会找到相应的 Data Node 节点。

Coordinating Node 节点:协调节点主要负责协调客户端的请求,将接收到的请求分发给合适的节点,并把结果汇集到一起。比如客户端请求查询某个索引的数据,协调节点将会把请求分发给保存相关的数据的 DataNode 节点,找到相应的分片,并把查询到的结果都汇集返回。并且每个节点都默认起到了 Coordinating Node 的职责。

Ingest Node: Ingest node 专门对索引的文档做预处理,发生在对真实文档建立索引之前。在建立索引对文档预处理之前,先定义一个管道(pipeline),管道里指定了一系列的处理器。每个处理器能够把文档按照某种特定的方式转换。比如在管道里定义一个从某个文档中移除字段的处理器,紧接着一个重命名字段的处理器。集群的状态也会被存储到配置的管道内。

定义一个管道,简单的在索引或者bulk request(一种批量请求方法)操作上定义 pipeline 参数,这样 ingest node 就会知道哪个管道在使用。这个节点在使用过程中用的也不多,所以大概了解一下就行。

小结

本次课讲述了 ES 的不同节点角色功能,从简单的单节点 ES 可能会遇到的问题,引述到需要分布式才能解决这些问题,然后分布式需要不同的角色功能协助才能够完成,因此我们明白了为什么 ES 节点需要哪些角色,以及这些角色能起到什么作用?

为了在Windows安装ADB工具,你可以按照以下步骤进行操作: 1. 首先,下载ADB工具包并解压缩到你自定义的安装目录。你可以选择将其解压缩到任何你喜欢的位置。 2. 打开运行窗口,可以通过按下Win+R键来快速打开。在运行窗口中输入"sysdm.cpl"并按下回车键。 3. 在系统属性窗口中,选择"高级"选项卡,然后点击"环境变量"按钮。 4. 在环境变量窗口中,选择"系统变量"部分,并找到名为"Path"的变量。点击"编辑"按钮。 5. 在编辑环境变量窗口中,点击"新建"按钮,并将ADB工具的安装路径添加到新建的路径中。确保路径正确无误后,点击"确定"按钮。 6. 返回到桌面,打开命令提示符窗口。你可以通过按下Win+R键,然后输入"cmd"并按下回车键来快速打开命令提示符窗口。 7. 在命令提示符窗口中,输入"adb version"命令来验证ADB工具是否成功安装。如果显示版本信息,则表示安装成功。 这样,你就成功在Windows安装ADB工具。你可以使用ADB工具来执行各种操作,如枚举设备、进入/退出ADB终端、文件传输、运行命令、查看系统日志等。具体的操作方法可以参考ADB工具的官方文档或其他相关教程。\[1\]\[2\]\[3\] #### 引用[.reference_title] - *1* [windows环境安装adb驱动](https://blog.youkuaiyun.com/zx54633089/article/details/128533343)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] - *2* *3* [Windows安装使用ADB简单易懂教程](https://blog.youkuaiyun.com/m0_37777700/article/details/129836351)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值