全文搜索Elastic Search 学习(TIME_OUT)

最新推荐文章于 2024-03-30 10:42:58 发布
原创 最新推荐文章于 2024-03-30 10:42:58 发布 · 355 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文深入探讨了全文搜索的概念和技术实现，介绍了非结构化数据检索的方法，并重点解析了Lucene、Solr及ElasticSearch等主流全文搜索引擎的工作原理及其在SpringBoot中的集成应用。

数据结构的两种类

这里写图片描述

非结构化数据的检索

这里写图片描述

全文搜索的概念

这里写图片描述

全文搜索实现原理

这里写图片描述

全文搜索实现的技术

这里写图片描述

Lucene  : 
ES  ：
Solr ：

ElasticSearch简介

这里写图片描述

ElasticSearch特点

这里写图片描述

ElasticSearch核心概念

近实时：
集群：
节点：
索引：
类型：
文档：JSON格式
分片：
副本：

ElasticSearch与SpringBoot集成

这里写图片描述

这里写图片描述

ElasticSearch7.3学习(十七)----搜索结果字段解析及time_out字段解析
09-08 1011
两个节点上都存在1亿条数据，假如说搜索10条，只需要10ms，这样对前端没啥影响，但是数据量太大时，搜索1个分片都需要10分钟的话，而且ES搜索的请求是每个。hits.max_score：score的含义，就是document对于一个search的相关度的匹配分数，越相关，就越匹配，分数也高。took：took表示Elasticsearch执行搜索所用的时间，单位是毫秒。_shards：指示搜索了多少分片，成功几个，跳过几个，失败几个。例如下图所示：存在一个book索引，2个分片，0副本。
ElasticSearch学习笔记
m0_50281408的博客
09-22 1703
Elaticsearch，简称为es，es是一个开源的高扩展的分布式全文检索引擎，它可以近乎实时的存储、检索数据；本身扩展性很好可以扩展到上百台服务器，处理PB级别的数据。
ElasticSearch-全文检索
weixin_49256870的博客
07-31 1740
ElasticSearch-全文检索
ElasticSearch最佳入门实践（三十三）search结果深入解析search timeout机制揭秘
Fireworks
11-06 1286
1、我们如果发出一个搜索请求的话，会拿到一堆搜索结果，这个搜索结果里的各种数据，都代表了什么含义 took：整个搜索请求花费了多少毫秒 hits.total：本次搜索，返回了几条结果 hits.max_score：本次搜索的所有结果中，最大的相关度分数是多少，每一条document对于search的相关度，越相关，_score分数越大，排位越靠前 hits.hits：默认查询前10条数据，完整...
ElasticSearch 实战：search结果分析及其timeout机制
qq_33240556的博客
03-30 1170
Elasticsearch 的searchAPI 返回的结果包含了丰富的信息，用于分析搜索性能、命中情况以及数据统计等。同时，Elasticsearch 提供了timeout机制来控制搜索请求的最长时间，防止长时间无响应导致的资源浪费或服务中断。以下是对search结果分析及其timeout。
Elasticsearch的timeout机制
Smart_cxr的博客
11-26 3438
1、我们如果发出一个搜索请求的话，会拿到一堆搜索结果，这个搜索结果里的各种数据，都代表了什么含义 2、搜索的timeout机制，底层的原理，画图讲解 GET /_search {   "took": 6,   "timed_out": false,   "_shards": {     "total": 6,     "successful": 6,     "failed": 0
elasticsearch search timeout机制
愿风裁尽尘中沙
06-07 1万+
一、timeout timeout：默认无timeout，latency平衡completeness， 手动指定timeout： timeout=10ms，timeout=1s，timeout=1m GET /_search?timeout=10m 二、timeout机制 指定timeout，就能在timeout时间范围内，将搜索到的部分数据（也可能全部都搜索到），直接返回给client...
Python操作Elasticsearch处理timeout超时
09-16
在执行Elasticsearch的操作时，如搜索、索引等，可以通过在请求参数中明确指定`timeout`来设置超时时间。例如，在使用`es.search()`方法时，可以添加`timeout`参数来控制超时时间，如下所示： ```python res = es....
<match **> @type elasticsearch @id out_es @log_level info include_tag_key true host "#{ENV['FLUENT_ELASTICSEARCH_HOST']}" port "#{ENV['FLUENT_ELASTICSEARCH_PORT']}" path "#{ENV['FLUENT_ELASTICSEARCH_PATH']}" scheme "#{ENV['FLUENT_ELASTICSEARCH_SCHEME'] || 'http'}" ssl_verify "#{ENV['FLUENT_ELASTICSEARCH_SSL_VERIFY'] || 'true'}" ssl_version "#{ENV['FLUENT_ELASTICSEARCH_SSL_VERSION'] || 'TLSv1'}" user "#{ENV['FLUENT_ELASTICSEARCH_USER'] || use_default}" password "#{ENV['FLUENT_ELASTICSEARCH_PASSWORD'] || use_default}" reload_connections "#{ENV['FLUENT_ELASTICSEARCH_RELOAD_CONNECTIONS'] || 'false'}" reconnect_on_error "#{ENV['FLUENT_ELASTICSEARCH_RECONNECT_ON_ERROR'] || 'true'}" reload_on_failure "#{ENV['FLUENT_ELASTICSEARCH_RELOAD_ON_FAILURE'] || 'true'}" log_es_400_reason "#{ENV['FLUENT_ELASTICSEARCH_LOG_ES_400_REASON'] || 'false'}" logstash_prefix "#{ENV['FLUENT_ELASTICSEARCH_LOGSTASH_PREFIX'] || 'logstash'}" logstash_dateformat "#{ENV['FLUENT_ELASTICSEARCH_LOGSTASH_DATEFORMAT'] || '%Y.%m.%d'}" logstash_format "#{ENV['FLUENT_ELASTICSEARCH_LOGSTASH_FORMAT'] || 'true'}" index_name "#{ENV['FLUENT_ELASTICSEARCH_LOGSTASH_INDEX_NAME'] || 'logstash'}" target_index_key "#{ENV['FLUENT_ELASTICSEARCH_TARGET_INDEX_KEY'] || use_nil}" type_name "#{ENV['FLUENT_ELASTICSEARCH_LOGSTASH_TYPE_NAME'] || 'fluentd'}" include_timestamp "#{ENV['FLUENT_ELASTICSEARCH_INCLUDE_TIMESTAMP'] || 'false'}" template_name "#{ENV['FLUENT_ELASTICSEARCH_TEMPLATE_NAME'] || use_nil}" template_file "#{ENV['FLUENT_ELASTICSEARCH_TEMPLATE_FILE'] || use_nil}" template_overwrite "#{ENV['FLUENT_ELASTICSEARCH_TEMPLATE_OVERWRITE'] || use_default}" sniffer_class_name "#{ENV['FLUENT_SNIFFER_CLASS_NAME'] || 'Fluent::Plugin::ElasticsearchSimpleSniffer'}" request_timeout "#{ENV['FLUENT_ELASTICSEARCH_REQUEST_TIMEOUT'] || '5s'}" application_name "#{ENV['FLUENT_ELASTICSEARCH_APPLICATION_NAME'] || use_default}" <buffer> flush_thread_count "#{ENV['FLUENT_ELASTICSEARCH_BUFFER_FLUSH_THREAD_COUNT'] || '8'}" flush_interval "#{ENV['FLUENT_ELASTICSEARCH_BUFFER_FLUSH_INTERVAL'] || '5s'}" chunk_limit_size "#{ENV['FLUENT_ELASTICSEARCH_BUFFER_CHUNK_LIMIT_SIZE'] || '2M'}" queue_limit_length "#{ENV['FLUENT_ELASTICSEARCH_BUFFER_QUEUE_LIMIT_LENGTH'] || '32'}" retry_max_interval "#{ENV['FLUENT_ELASTICSEARCH_BUFFER_RETRY_MAX_INTERVAL'] || '30'}" retry_forever true </buffer> </match> 怎么确定fluentd的日志已经输出到es集群,es集群通过怎么命令查看,helm部署的es,然后kibana怎么配置展示
最新发布
04-02
好的，用户的问题是关于如何确认Fluentd的日志是否成功输出到Elasticsearch集群，以及如何通过命令查看ES集群中的数据，还有Helm部署的ES如何配置Kibana展示日志。我需要一步一步地分析，确保回答结构清晰，符合用户...
es如何解决timeout超时30秒问题
qq_35515283的博客
10-09 2万+
es如何解决timeout超时30秒问题； 30,000 milliseconds timeout on connection http-outgoing-0
elasticsearch（七）java 搜索功能Search Request的介绍与使用
热门推荐
qq_2300688967的博客
11-09 4万+
目录 1，首先创建主搜索请求： 2，对主搜索请求进行参数设置        前端几节都是介绍的基于单个文档或着单个文档库的操作，        本节开始将介绍基于所有或指定的任何个数文档库的操作的api         SearchRequest用于与搜索文档、聚合、定制查询有关的任何操作，还提供了在查询结果的基于上，对于匹配的关键词进行突出显示的方法。 1，首先创建搜索请求对象： ...
ElasticSearch 常见错误
DearDreaming的专栏
10-20 1万+
一、 ElasticSearcg 报index.max_result_window错误 如果确实需要深度翻页，需要修改max_result_window： curl -XPUT "http://localhost:9200/my_index/_settings" -d '{ "index" : { "max_result_window" : 500000 } }' it r
生产服务器上ElasticSearch服务报错timeout超时
波波的博客
12-23 1万+
12月 22 18:40:57 host-172-31-2-46 java[39247]: at org.springframework.data.elasticsearch.core.ElasticsearchRestTemplate.index(ElasticsearchRestTemplate.java:698) 12月 22 18:40:57 host-172-31-2-46 java[39247]: at org.springframework.data.elasticsearch.reposit
ElasticSearch的超时搜索timout机制
user2025的博客
09-12 3225
ElasticSearch会在timeout时间范围内，将搜索到的部分数据（也可能全部都搜索到），直接返回给client，而不是等所有都数据搜索到再返回 GET /test/_search { "query": { "match_all": { } }, "timeout": "1s" } 返回结果中是否超时会根据阈值进行判断 ...
Elasticsearch的timeout机制与_search结果字段释义
【原】编程界的小学生
05-25 1201
编程界的小学生一、_search结果1、ES语句2、结果3、结果分析二、timeout机制1、用法2、demo3、详细说明4、总结 一、_search结果 1、ES语句 GET /product/_search 2、结果 { "took" : 1, "timed_out" : false, "_shards" : { "total" : 1, "successful" : 1, "skipped" : 0, "failed" : 0 }, "hits" :
python中关于requests里的timeout()
weixin_44642304的博客
05-14 2万+
timeout(超时) 首先是：为防止服务器不能及时响应，大部分发至外部服务器的请求都应该带着 timeout 参数。在默认情况下，除非显式指定了 timeout 值，requests 是不会自动进行超时处理的。如果没有 timeout，你的代码可能会挂起若干分钟甚至更长时间 其次是：连接超时指的是在你的客户端实现到远端机器端口的连接时（对应的是 connect() ），Request 会等待的秒...
org.elasticsearch.transport.ReceiveTimeoutTransportException:
u010011737的专栏
07-20 1万+
failed to get local cluster state for {#transport#-1}{GgJ8b9kQQjeoD4qdfacXRQ}{192.168.186.30}{192.168.186.30:9300}, disconnecting... org.elasticsearch.transport.ReceiveTimeoutTransportException: [][1
Elasticsearch运维经验总结
焦振清
12-10 2万+
版本说明：5.6.4（要严格注意ES及其插件、第三方工具的版本匹配关系） 系统负载：（日志集群，日均写入10TB，保留7天） 1，出于高可用的考虑，同一个分区的多个副本不会被分配到同一台机器 如下截图所示，Index：queries，设置20副本，5分片。这个集群当前有14个可用数据节点，queries的0分区在这14个数据节点上均有且仅有一个副本，剩余​​的7个副本显示UNASSIGN...
Elastic Search RestClient 报异常：listener timeout after waiting for [30000] ms
请叫我大师兄
07-09 1万+
java.io.IOException: listener timeout after waiting for [30000] ms at org.elasticsearch.client.RestClient$SyncResponseListener.get(RestClient.java:660) at org.elasticsearch.client.RestClient.p...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值