Easy-es框架,解决max_analyzed_offset问题

光模块MCU开发全解析:从架构原理到固件调试实战 在高速光模块中,MCU并非传统印象里的核心处理器,而是负责数字诊断、闭环控制和协议管理的嵌入式管家。随着800G、1.6T模块的普及,MCU与DSP/SoC的协同、I2C总线通信、ADC采集、APC/TEC控制等低速域任务愈发关键。理解MCU的选型规格、启动流程和固件设计,是保障光模块稳定运行的基础。本文从光模块架构切入,剖析MCU的角色定位,详细拆解I2C从机实现、电芯片配置、校准与升级等工程细节,并结合实际调试经验梳理常见故障与排查思路,为嵌入式工程师提供一份可落地的光模块MCU开发指南。 阅读详情

贴出原问题:

Caused by: org.dromara.easyes.common.exception.EasyEsException: search response failed ,failedShards: shard [[y5IlSlqJRd2hrlIN54BIFQ][article][2]], reason [ElasticsearchException[Elasticsearch exception [type=illegal_argument_exception, reason=The length [4710912] of field [content] in doc[3173515]/index[article] exceeds the [index.highlight.max_analyzed_offset] limit [1000000]. To avoid this error, set the query parameter [max_analyzed_offset] to a value less than index setting [1000000] and this will tolerate long field values by truncating them.]]], cause [ElasticsearchException[Elasticsearch exception [type=illegal_argument_exception, reason=The length [4710912] of field [content] in doc[3173515]/index[article] exceeds the [index.highlight.max_analyzed_offset] limit [1000000]. To avoid this error, set the query parameter [max_analyzed_offset] to a value less than index setting [1000000] and this will tolerate long field values by truncating them.]]

分析:

此问题是因为,es索引默认的单字段最大的可以进行高亮截取的长度为     index.highlight.max_analyzed_offset=1000000,但是字段存储的数据长度为4710912,长度超了很多,所以报错。

解决方案:

有两种解决方案

1、修改索引,put请求,设置 highlight.max_analyzed_offset=5000000,设置长一些,但是此方案会造成es内存消耗和开支更大,或许会影响查询,所以不建议,我也没有尝试。

2、代码中在请求查找的时候,添加参数   maxAnalyzedOffset(9999999)。

此方案可行,已测试。

具体做法如下,此处以和easy-es框架适配为例子。

//先正常封装查询,使用easy-es框架封装查询各类条件
LambdaEsQueryWrapper<ArticleSelect> leqw = queryWhere(dto);
//使用原生的高亮构造器   设置高亮条件maxAnalyzedOffset  及其他条件
HighlightBuilder highlightBuilder = new HighlightBuilder()
        .fragmentSize(200)                   // 每个片段最多200字符
        .numOfFragments(1)                   // 只返回1个片段
        .maxAnalyzedOffset(999999)            // 限制分析的最大字符数
        .preTags("<font color='red'>")       // 自定义高亮开始标签
        .postTags("</font>")                 // 自定义高亮结束标签
        .field("title")                      // 对 title 字段高亮
        .field("content");                   // 对 content 字段高亮
//注意,此处的SearchSourceBuilder不是new出来的,是selectMapper也就是easy-es的mapper  get出来的
SearchSourceBuilder searchSourceBuilder = selectMapper.getSearchSourceBuilder(leqw);
//高亮构造器设置进入SearchSourceBuilder 
searchSourceBuilder.highlighter(highlightBuilder);
//easy-es的框架混合插入SearchSourceBuilder 
leqw.setSearchSourceBuilder(searchSourceBuilder);
//正常查询即可避免刚刚出现的错误  下面的查询是深分页查询,其他查询如queryList,pageQuery也是可以的,而且这个高亮设置和实体类字段上面的高亮注解@HighLight并不冲突,这个设置的优先级要高于注解。
SAPageInfo<ArticleSelect> data = selectMapper.searchAfterPage(leqw, dto.getNextSearchAfter(), dto.getPgSize());

布尔可满足性问题(SAT)深度研究 布尔可满足性问题(Boolean Satisfiability Problem, SAT)是计算机科学和数理逻辑中的一个核心决策问题。其定义为:对于一个给定的布尔逻辑公式,判断是否存在一组对其变量的真值赋值(即,为每个变量指定真 (True) 或假 (False)),使得该公式的最终计算结果为真。如果存在这样的赋值,则称该布尔公式是可满足的 (satisfiable);否则,称其为不可满足的 (unsatisfiable)。 阅读详情

相关推荐

AI对嵌入式的冲击分三波,大多数人只看到了第一波

摘要:AI对嵌入式行业的冲击将分三波递进:第一波(已发生)是代码生成,AI能完成底层驱动配置;第二波(1-2年内)是架构设计,AI将参与系统方案制定;第三波(2-3年)是需求验证,AI能穷举测试用例但无法替代安全决策。每波冲击都将重新定义工程师的价值标准,经验型工程师若不能将隐性知识转化为显性规则将面临淘汰。作者指出,完全不用AI的人第一波就会被淘汰,而仅满足于第一波应用的人将在后续冲击中落后。

u010898524的博客 961

index.highlight.max_analyzed_offset

elasticsearch问题集锦 index.highlight.max_analyzed_offset 为高亮显示请求分析的最大字符偏移量。 解决 可以尝试修改index.highlight.max_analyzed_offset,增大设置,但是不建议修改很大,会导致es内存问题,默认上限为1000000 curl -XPUT "127.0.0.1:9200/mason*/_settings" -H 'Content-Type: application/json' -d '{ "index"

qq_37828006的博客 6474

Grafana企业版vs开源版:从安装到插件管理的完整对比实测(含离线部署技巧)

本文深入对比Grafana企业版与开源版在安装流程、插件管理和功能限制等方面的差异,特别针对离线部署场景提供实用技巧。通过实测数据源支持、权限管理等核心功能,帮助企业用户做出明智选择,同时详细介绍离线安装和插件签名验证等关键操作。

weixin_29313817的博客 104

elasticsearch中index.highlight.max_analyzed_offset设置

max_analyzed_offset 用于高亮请求的可分析最大字符数量,仅对无`offsets`和`term vectors`的文本高亮请求有效。默认值`1000000`

weixin_60382322的博客 4345

银河麒麟V10系统下VLC播放器安装全攻略(附3.0.9.2版本离线包下载)

本文详细介绍了在银河麒麟V10操作系统无网络环境下,从零开始编译安装VLC 3.0.9.2播放器的完整攻略。通过构建本地YUM仓库解决依赖问题,提供离线资源包下载,并逐步指导完成编译环境配置、软件编译与安装,帮助用户在国产麒麟系统上成功部署强大的多媒体播放能力。

a2b3c4d5e的博客 1197

无GPS室内飞行:基于PX4与MID360的FAST-LIO定点悬停实战解析

本文详细解析了基于PX4飞控与大疆MID360激光雷达的无GPS室内飞行技术,重点介绍了FAST-LIO算法在定点悬停中的应用。通过硬件配置、软件环境搭建、坐标系转换等实战经验,帮助开发者解决室内定位难题,实现精准悬停与稳定飞行。

weixin_29056781的博客 262

index.highlight.max_analyzed_offset 偏移量设置

ndex.highlight.max_analyzed_offset这个参数只能通过命令行下设置,不能再kibana图形界面下设置。 之前做elk索引查询的时候报错: The length of [message] field of [blTnlXwBIN8mDOvDIrfq] doc of [epta-dispatch-2021.10.19] index has exceeded [1000000] - maximum allowed to be analyzed for highlighting..

lw_jack的博客 1870

详细推导波特图增益和相位曲线

文章来源:https://mp.weixin.qq.com/s/UCy9mRRok5Hc9qHq3qde5g 今天这篇文章想把近段时间关于波特图方面学习的内容整理一下。波特图将会是梳理闭环控制这个系列的开始。目前的计划是,以无源器件为基础,然后结合运放,再过渡到开关电源的环路控制方面。如果对这方面感兴趣的朋友,可以持续一起学习起来,目标就是掌握开关电源的闭环控制。 1. 什么是波特图? 波特图最常见的应用是在线性非时变的系统中,用于对传递函数的增益和相位进行分析,从而判断出系统随频率的响应是否稳定。因此,波

ltqdxl的博客 2万+

elasticsearch报错:exceeds the [index.highlight.max_analyzed_offset] limit [1000000]

意思是说es从5.*开始,不能在elasticsearch .yaml里面设置index.highlight.max_analyzed_offset了,需要通过配置文件或者http的PUT命令设置进去index.highlight.max_analyzed_offset。注意,不是get或者post,而是PUT。es启动起来后,在执行http的put。

Zhang Phil 3034

如何使用CPU-Z获取内存条频率信息(编程)

当我们需要获取计算机内存条的频率信息时,可以利用CPU-Z这个工具来实现。CPU-Z是一款专门用于获取计算机硬件信息的工具,它提供了API接口,我们可以通过编程的方式来获取内存条频率信息。你可以从CPU-Z官方网站下载适用于你的操作系统的CPU-Z程序,并从安装目录中找到。函数,我们可以初始化CPU-Z,如果返回值不为0,则表示初始化失败。函数来获取内存条频率信息,如果返回值小于等于0,则表示获取失败。函数来初始化CPU-Z并获取内存条频率信息。最后,我们将获取到的内存条频率信息打印输出,并使用。

ByteProwl的博客 457

【STM32系统】基于STM32设计的锂电池电量/电压检测报警器系统

本设计旨在研究一个基于STM32F103C8T6微控制器的锂电池电量/电压检测报警器系统,应用于便携式电子设备电池管理。系统通过STM32的ADC模块对18650锂电池电压进行采集,利用LCD1602显示模块实时显示电池电压,当检测到电池电量不足或电压异常时,蜂鸣器报警模块会发出警报提醒用户。系统采用简单的硬件结构和优化的软件架构,通过对实际电池电压数据的检测、处理和显示,实现了低功耗、实时监测的锂电池管理功能。本文将介绍系统的设计原理、硬件电路、软件实现以及调试测试过程。

嵌入式阿齐Archie 1万+

index.highlight.max_analyzed_offset 偏移量设置

这个参数只能通过命令行下设置,不能再kibana图形界面下设置。 之前做elk查询的时候报错: Caused by: java.lang.IllegalArgumentException: The length of [message] field of [VqCNQHkBFO-4K4CU-7tq] doc of [xxxx-node02-xxxx-2021.05.06] index has exceeded [1000000] - maximum allowed to be analyzed for

weixin_48114253的博客 3448

49、非合作目标运动参数估计与状态滤波方法研究

本文研究了非合作空间目标的运动参数估计与状态滤波方法。通过分析目标的章动运动特性,建立了运动方程,并分别提出了基于最小二乘法的质心运动参数估计方法和旋转运动参数估计方法。同时,设计了误差状态卡尔曼滤波器(ESKF)用于姿态滤波和角速度估计,以提高估计精度。仿真实验验证了所提方法的有效性,能够准确估计目标的运动参数和状态信息,为在轨服务提供了技术支持。

gpt4scribbler的博客 89

运用easy-es保存数据时,报错:cn.easyes.common.exception.EasyEsException: no such method:

导致以上可能是因为封装的实体没有配置主键id导致的;

qq_39086936的博客 2633

STM32F407中文手册

STM32f407中文手册 本参考手册面向应用开发人员,提供有关使用 STM32F405xx/07xx、STM32F415xx/17xx、 STM32F42xxx 和 STM32F43xxx 微控制器存储器与外设的完整信息。STM32F405xx/07xx、STM32F415xx/17xx、STM32F42xxx 和 STM32F43xxx 构成一个微 控制器系列,各产品具有不同的存储器大小、封装和外设。有关订购信息以及器件的机械与电气特性,请参见数据手册。有关 ARM Cortex™-M4F 内核的信息,请参见《Cortex™-M4F 技术参考手册》。

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

kibana展示的索引报错 index has exceeded [1000000] - maximum allowed to be analyzed for highlighting.

通过更改“index.highlight.max_analyzed_offset”的允许高亮分析文本的最大长度设置来避免类似于“message”字段长度超过默认最大值的问题。查看索引配置的参数service* curl -XGET "http://127.0.0.1:9200/service*/_settings?可以看到配置已经添加生效执行过这条命令之后可以返回kibana查看索引恢复正常。举例service* 将匹配所有service开头的索引在es节点执行。可以看到配置的参数为空了。

W1124824402的博客 1470

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

ElasticSearch查询报错index has exceeded [1000000] - maximum allowed to be analyzed for highlighting 解决方案

项目中通过ElasticSearch实现全文检索功能,查询含有指定关键字的文档并将关键字高亮显示,搜索过程中出现报错index has exceeded [1000000] - maximum allowed to be analyzed for highlighting.官方文档中有明确解释,index.highlight.max_analyzed_offset配置的是分析高亮请求的最大字符数。默认值为1000000。

secretdaixin的博客 1263

温度PID控制PLC程序

温度PID稳定控制程序,适用于欧姆龙PLC,对其他PLC也具有很大参考价值

spring-data-elasticsearch suggest实现错词纠正和自动补全

背景: 项目中使用了spring-data-elasticsearch注解式mapping的配置了对象实现了搜索功能。 接到需求需要实现错词纠正功能和自动补全功能: 在网上找的资料,可以通过ES的suggest功能实现,但大部分是直接使用elasticsearch client的方式实现的,于是对使用spring-data-elasticsearch实现的步骤做个总结,希望对有需要的同学有所帮助。 这边直接进行配置说明,不再介绍ES通过注解配置mapping和Suggest的基础知识点。 注意:这里只实现

qvc180的博客 3287

ElasticsearchSearchAPI

此文档基于版本6.3 Search API 除Explain API外,其他的所有Search API都支持多索引。 GET /kimchy,elasticsearch/_search?q=tag:wow routing参数 自动选择最佳分片curl -X PUT "localhost:9200/_cluster/settings" -H 'Content-Type: applicat...

Ω搬Θ砖O 485

关于kibana 查询出现 x分片有 x 个失败

关于kibana 查询出现 x分片有 x 个失败 打开控制台查看接口返回出现 The length of [msg] field of [pAuVMXYBWMKQqimE8lSp] doc of [filebeat-7.6.0-2020.12.05] index has exceeded [1000000] - maximum allowed to be analyzed for highlighting. This maximum can be set by changing the [index.hig

夜~狠冷 3616

ELK 日常问题

ES磁盘情况:可以通过自带的监控查看磁盘占用情况,以及jvm情况 # 获取所有索引:es机器上,如果是集群,任一es上即可 curl -XGET 'http://192.168.0.56:9200/_cat/indices/?v'|awk '{print $3}'|sort # 删除索引,如监控的索引,可根据情况,编写定期清理的脚本,比如保存一个月的日志等 curl -XDELETE 'ht...

一曲终了人未还的博客 1811

Elastic Stack学习之——Elasticsearch(二)

5. 索引模块

baidu_41566983的博客 925

使用ElasticSearch遇到的问题

在使用 ElasticSearch 的时候,如果索引中的字段是 text 类型,针对该字段聚合、排序和查询的时候常会出现 Fielddata is disabled on text fields by default. Set fielddata=true 的错误。本文总结这个错误出现的原因,可能的修复方法等。 这个问题的解决方法并没有尝试过 常见原因 在 ElasticSearch 中,Fielddata 默认在 text 类型的字段时是不启用的。设想,如果默认打开,那么你的数据中,每个字符串大概率不

梦想是很难很难的,所以先勇敢一点 5851

全文检索示例:ES用户和索引创建(6)

简介 本文主要介绍两方面知识 创建存放爬取文档的index 创建用于访问ES的用户 索引创建 第一个版本 创建一个名为es_doc_v1(第一个版本)的索引并为索引创建一个别名es_doc 索引字段信息 字段名 描述 类型 分词器 title 标题 text ik_max_word url url地址 keyword content 内容 text ik_max_wo...

huanqingdong的专栏 1442

Elasticsearch Search API之(Request Body Search 查询主体)

作者介绍:《RocketMQ技术内幕》作者,中间件兴趣圈微信公众号维护者,文末有对应的二维码,关注后可以与作者更好的互动。 本文有点长,看完可能需要点耐心,本文详细介绍了es三种分页方式、排序、from、size、source filter、dov values fields、post filter、高亮显示、rescoring、search type、scroll、preference、pref...

中间件兴趣圈 6612

ElasticSearch6更新与重大变化

截至 2018-06-10 Elasticsearch6.2.4 Elasticsearch更新 通常滚动更新,具体升级方案需要参考官网。 小版本更新,可以一次对集群中的单节点滚动更新(不支持在非升级期间在集群中使用多个版本,新版本分片的更新不会复制到运行中的老版本节点上) 主要版本更新需要重启整个集群 跨主要版本升级不被支持 需要检查是否用到了deprecated的特性 需要检查各种...

acbworld123456的博客 713

elasticsearch使用指南之Elasticsearch Index Setting一览表

索引的配置项按是否可以更改分为static属性与动态配置,所谓的静态配置即索引创建后不能修改。 1、索引静态配置 index.number_of_shards 索引分片的数量。在ES层面可以通过es.index.max_number_of_shards属性设置索引最大的分片数,默认为1024,index.number_of_shards的默认值为Math.min(es.index.max_num...

中间件兴趣圈 6063
上一篇: ElasticSearch专题篇
下一篇: Java总结
adminaddress
博客等级 码龄5年 59粉丝 11原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值