
elasticsearch
文章平均质量分 67
elasticsearch
kgduu
这个作者很懒,什么都没留下…
展开
-
es中text和keyword的区别
es中text和keyword的区别原创 2022-08-17 19:46:08 · 1232 阅读 · 0 评论 -
提升es读写性能
提升es写入性能原创 2022-08-17 12:21:19 · 787 阅读 · 0 评论 -
es之TransportAction
用于处理es请求的通用action框架,比如搜索、索引查找以及更新文档。原创 2022-06-07 22:33:20 · 240 阅读 · 0 评论 -
es之NamedRegistry
NamedRegistry原创 2022-06-04 10:27:33 · 162 阅读 · 0 评论 -
es之搜索模块
es之搜索原创 2022-06-03 22:59:38 · 1216 阅读 · 0 评论 -
es之NamedXContentRegistry
NamedXContentRegistry原创 2022-06-03 10:58:14 · 670 阅读 · 0 评论 -
es之NamedWriteableRegistry
NamedWriteableRegistry原创 2022-06-01 22:03:53 · 237 阅读 · 0 评论 -
es中的Client
1、概述主要是执行一些action或者操作。2、相关client2.1 ElasticsearchClient执行通用的action,分为同步和异步的,以及使用的线程池。方法有方法 说明 ActionFuture<Response> execute(ActionType<Response> action, Request request) 执行异步操作 void execute(ActionType<Response> acti原创 2022-05-25 22:43:05 · 3143 阅读 · 0 评论 -
es-header安装
直接用下载chrome拓展程序添加到chrome添加成功后浏览器栏上有原创 2022-05-15 10:08:58 · 247 阅读 · 0 评论 -
es中的Rest层
1、概述RestHandler作为rest层的处理器,是es接收请求的处理抽象。2、Rest层相关抽象2.1 RestHandler处理rest的处理器,作为函数接口,其方法有方法 说明 void handleRequest(RestRequest request, RestChannel channel, NodeClient client) 处理rest请求 boolean canTripCircuitBreaker() 是否可以断路,默认返回true原创 2022-05-14 20:05:01 · 674 阅读 · 0 评论 -
es中的StepListener
1、概述StepListener提供了一种包含了多个异步操作的工作流方式。2、类结构StepListener:是NotifyOnceListener抽象类的实现类,其实现了抽象类方法中的innerOnResponse, innerOnFailure,两个实现都是调用代理类ListenableFuture的方法。NotifyOnceListener:对于响应及异常只触发一次的ActionListener的实现类。...原创 2022-05-08 17:11:38 · 317 阅读 · 0 评论 -
es中的ActionListener
1、概述ActionListener作为观察者模式的实现,主要处理行为响应以及行为异常2、ActionListener接口onResponse:处理响应onFailure:处理异常原创 2022-05-08 10:13:26 · 1380 阅读 · 0 评论 -
Es删除索引下所有数据
POST ${索引名称}/_delete_by_query{“query”:{“match_all”:{}}}原创 2022-05-06 20:42:06 · 8030 阅读 · 2 评论 -
es中的IndicesClusterStateService
1、概述IndicesClusterStateService作为ClusterStateApplier接口的实现类,在处理集群状态提交时,会执行ClusterStateApplier#applyClusterState。其作为索引的集群状态服务,管理索引及分片。2、applyClusterState其主要是管理索引以及分片。public synchronized void applyClusterState(final ClusterChangedEvent event) {原创 2022-05-05 21:51:51 · 1644 阅读 · 0 评论 -
es中的ClusterStateApplier和ClusterStateListener
1、ClusterStateApplier集群状态应用器2、ClusterStateListener集群状态监听器原创 2022-04-17 17:41:02 · 300 阅读 · 0 评论 -
es中的Gateway模块
1、简介负责集群元信息的存储和集群重启时的恢复2、元数据元数据信息包含以下几种集群元数据 索引层面元数据 分片层面元数据分别对应es中的数据结构2.1 Metadata其对应的文件名在datapaths/_state/目录下,对应文件名为global-{generation}.st包含的信息有名称 说明 version clusterUUID clusterUUIDCommitted coordinationMetadata原创 2022-04-09 23:05:28 · 1890 阅读 · 0 评论 -
es中的AllocationService
1、简介分配服务主要是作分片的分配,决定哪些分片应该在哪个节点上,以及哪个为主分片,哪个为副分片 。对于新建索引和已有索引,分片分配过程不相同。2、基本包含ShardssAllocator,ExistingShardsAllocator和AllocationDecider2.1 allocators...原创 2022-04-01 20:45:14 · 962 阅读 · 0 评论 -
es中的Cluster模块
1、内部封装和实现1.1 MasterService主要接口有方法 简介 pendingTasks 返回待执行的任务列表 numberOfPendingTasks 返回待执行的任务数量 submitStateUpdateTask 提交集群任务 主要数据成员有成员 简介 clusterStatePublisher 集群状态发布者 clusterStateSupplier 存储集群状态 slowTaskLoggingThr..原创 2022-03-27 14:46:05 · 2738 阅读 · 0 评论 -
es中的Coordinator
1、概述Coordinator作为Discovery的实现类,在集群选举中负责master的选举。2、创建Coordinator是通过DiscoveryModule创建的discovery = new Coordinator(NODE_NAME_SETTING.get(settings), settings, clusterSettings, transportService, namedWriteableRegistry,原创 2022-03-11 15:31:43 · 1188 阅读 · 0 评论 -
es中GatewayMetaState
1、概述GatewayMetaState是在启动时加载集群元数据,并且存储集群数据用于下次重启。2、启动2.1 主节点或者数据节点2.1.1 loadBestOnDiskState主节点或者数据节点时,通过PersistedClusterStateService#loadBestOnDiskState来加载存在磁盘上的集群元数据。先在当前数据目录下的state目录下通过createDirectory创建基于lucene的Directory,然后调用loadOnDiskState加载元数据原创 2022-03-10 22:15:31 · 343 阅读 · 0 评论 -
es中发现结点的角色
1、DiscoveryNodeRole其包含以下几咱类型的角色在7.x中通过属性node.roles来定义节点角色,其为数组形式。1.1 master是具有成为master节点资格的节点。主节点负责集群内的元数据(Cluster State)相关的操作,如创建索引或删除索引,跟踪哪些节点是集群的一部分以及确定将哪些shard分配给哪些节点。定义形式为node.roles:[master]或者node.master:true1.2 data数据节点包含已建立索引的文档的分片。数原创 2022-03-08 12:07:48 · 2575 阅读 · 0 评论 -
es中的DiscoveryModule
1、初始化node初始化时,构造函数中会创建DiscoveryModulefinal DiscoveryModule discoveryModule = new DiscoveryModule(settings, transportService, namedWriteableRegistry, networkService, clusterService.getMasterService(), clusterService.getClusterApplierSer原创 2022-03-06 20:43:30 · 561 阅读 · 0 评论 -
es中的网络模块
用于处理es内部节点通信及http请求通信的。类为NetworkModule,其主要管理三个主要的类Transport,HttpServerTransport以及TransportInterceptor。1、初始化node启动时,会创建NetworkModule,并且将网络插件传给NetworkModule。final NetworkModule networkModule = new NetworkModule(settings, pluginsService.filterPlugins(N原创 2022-03-04 18:18:55 · 2677 阅读 · 0 评论 -
es中的线程池模块
1、线程池类型有四种类型direct:调用线程直接调用 fixed:固守线程数 fixed_auto_queue_size:固定线程数,队列大小可以自动调节 scaling:线程数可调节,在[core,max]之间。通过枚举类型ThreadPoolType来定义public enum ThreadPoolType { DIRECT("direct"), FIXED("fixed"), FIXED_AUTO_QUEUE_SIZE("fixe原创 2022-03-03 18:04:18 · 1130 阅读 · 0 评论 -
es中的ResourceWatcherService
node启动时, 会创建ResourceWatcherServicefinal ResourceWatcherService resourceWatcherService = new ResourceWatcherService(settings, threadPool);ResourceWatcherService包含三个资源监视器ResourceMonitor,分别为低频、中频和高频,分别由属性resource.reload.interval.low, resource.reload.inte原创 2022-03-02 21:13:43 · 211 阅读 · 0 评论 -
es中的Plugin机制
node在初始化时,会创建PluginsService对象。this.pluginsService = new PluginsService(tmpSettings, initialEnvironment.configFile(), initialEnvironment.modulesFile(), initialEnvironment.pluginsFile(), classpathPlugins);参数包含modules目录,plugins目录。PluginsS原创 2022-03-01 21:43:29 · 1044 阅读 · 0 评论 -
es之聚合
1、查询结构{ "query": {…}, "aggs": { "aggregation_name": { "aggregation_type": { ... } } }}其中的aggs为aggregations缩写形式,两种都可以。聚合的数量没有限制。每个聚合需要指定唯一名字及对应类型。...原创 2021-04-10 16:23:02 · 4791 阅读 · 0 评论 -
es之更好查询
1、文档匹配文档评分因素文档加权:对文档建立索引时,对文档的加权值 字段加权:查询和索引时,对字段的加权值 协调:基于文档词条数的协调因子 逆文档频率:基于词条的因子,告诉评分公式,给定词条出现的频率有多低。逆文档频率越高,词条越罕见。 长度规范:基于字段的规范化因子,它基于给定字段包含的词条数。字段越长,该因子给的加权值越小。 词频:基于词条的因子,描述文档中给定词条的出现次数。词频越高,文档得分越高。 查询规范:基于查询的规范化因子。由每个查询词条的权重的平方之和计算得到。默认评分原创 2021-04-05 21:02:54 · 428 阅读 · 0 评论 -
es之索引
1、添加映射使用curl -XPUT 'localhost:9200/library/_mapping' -d @structured_mapping.json -H "Content-Type:application/json"。对于映射中存在数组时,使用"field":{"properties":{}}形式对于映射中存在对象时,使用"field":{"type":"object", "properties":{}}...原创 2021-04-04 15:48:40 · 640 阅读 · 0 评论 -
elasticsearch之查询扩展
1、过滤器与查询过滤器是不计算评分, 而查询需要原创 2021-03-31 22:37:48 · 603 阅读 · 0 评论 -
es启动分析
1、启动相关类2、启动时序原创 2021-03-30 21:43:05 · 1312 阅读 · 0 评论 -
elasticsearch查询
1、查询方式有两种查询方式,一种是通过在url中指定查询条件 ,另外一种是通过DSL查询。都是使用GET方法1.1 分页查询from 指定从文档的什么位置开始,默认值0 size 指定一次查询返回多少结果 curl 'localhost:9200/library/_search?pretty' -d '{"from":9, "size":20,"query":{"query_string":{"query":"title:crime"}}}' -H "Content-T.原创 2021-03-28 15:34:13 · 574 阅读 · 0 评论 -
elasticsearch7.x源码编译
1、下载源码git clonehttps://github.com/elastic/elasticsearch.git2、去除javaVersion检查修改elasticsearch-7.11.2\buildSrc\build.gradle文件3、去掉grant BaseCode修改elasticsearch-7.11.2\server\src\main\resources\org\elasticsearch\bootstrap\security.policy文件,将grant c.原创 2021-03-25 07:33:07 · 870 阅读 · 0 评论 -
elasticsearch基础
1、基本概念2、增删改查添加curl -XPUT 'http://host:port/{index}/{type}/{id}' -d '{json数据}'curl -XPOST 'http://host:port/{index}/{type}' -d '{json数据}' //id自动生成获取curl -XGET 'http://host:port/{index}/{type}/{id}[?pretty]'更新curl -XPOST 'http://host:port..原创 2021-03-24 22:22:58 · 316 阅读 · 0 评论