Painless 脚本中ctx 和 doc,params._source到底有啥区别?

最新推荐文章于 2024-09-25 10:53:04 发布
最新推荐文章于 2024-09-25 10:53:04 发布
阅读量470 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 百亿级elasticsearch实践指南 文章标签： elasticsearch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/yonggeit/article/details/129188859
本文详细介绍了Elasticsearch的Painless脚本在不同场景下使用ctx、doc、_source的区别。通过案例分析了ingest管道、update/update_by_query、reindex和search脚本中的应用，并提供了获取字符串子串和日期年份的脚本示例。文章总结了各种场景下选择ctx、doc、_source的依据，帮助读者更好地理解Painless脚本实战。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Elasticsearch X Scripting：高级脚本用法探索
JieLun_C的博客
08-21 141
其中，脚本是Elasticsearch中的一项重要功能，它允许用户以脚本的形式自定义和控制搜索和分析过程。在本文中，我们将深入探讨Elasticsearch中脚本的使用方法，以及如何利用脚本实现大数据处理。由于脚本是在每个文档上执行的，如果脚本逻辑复杂或处理的数据量庞大，可能会对性能产生负面影响。避免在脚本中频繁访问外部资源或进行复杂的计算操作，可以在脚本外部进行预处理，将结果存储在文档中，然后在脚本中直接使用。使用脚本缓存功能，可以将频繁使用的脚本缓存起来，以减少脚本的编译和解析开销。
【Elasticsearch】es脚本编程使用详解
congge
10-25 6110
es脚本编程使用详解
简易多线程爬取豆瓣电影图片
weifangwei100的博客
01-20 526
1.分析网站得知返回json的数据有图片的下载地址、评分和电影名 2.分析返回数据的url可以通过调整page_limit来得到更多的json数据 3.得到上面两点信息就好写爬虫了，代码如下： #!/usr/bin/python3 #--coding:utf-8-- #@Author:nono import requests from fake_useragent import UserAgent import time from concurrent.futures import Thr
painless语法入门
忽如一夜听春雨的博客
04-26 3665
painless语法 painless基础结构 "script": { "lang": "...", "source" | "id": "...", "params": { ... } } lang: 定义脚本使用的语言, 默认painless source, id: 脚本的主体, source后面跟着内联的脚本代码, id后面跟着脚本的id, 具体代码存在于脚本id对应的代码中 params: 定义一些变量的值, 使用params可以减少脚本的编译次数. 因为如果
[ElasticSearch]painless脚本获取字段方式及性能比较
weixin_42484190的博客
04-04 1252
2.通过params['_source']['fieldname']获取字段会获取到整个_source的json对象并从中获取字段，相比第1种,此种方式会相对较慢;例如在script_fields中,可以同时使用doc['fieldname']及params['_source']['fieldname']的方式。一般在进行查询时并需要对字段进行额外获取值,并利用值进行无状态化操作时,更推荐使用此方式;1.通过doc['fieldname']获取字段,将会加载该字段的相关术语及字段值本身；
干货 | Elasticsearch Nested 数组大小求解，一网打尽！
铭毅天下Elasticsearch
03-07 8341
1、实战线上 Nested 问题如何查询所有 objectList （Nested 类型）里面的 lossStatus="ENABLE" 且 objectList 的数组大小大于2的数据?...
Elastic：针对doc与params的一些思考；doc[‘field‘].value与params._source[‘field‘]的区别；doc循环依赖问题
55555的博客
12-01 1601
0.引用 今天有同学问到doc[‘field’].value与params._source[‘field’]用法的区别，起因在于下述的一道题的解法上，下面详细讲述下我的看法 【有错望指出，看完如果有表述的不清楚，或者不明白的，也请告诉我，我们一起完善这个知识点】 1 题目 题目是要求根据现有字段，利用runtime mapping计算原字段的值 这是索引mapping { "dur_log-1" : { "mappings" : { "properties" : {
elasticsearch之Painless脚本应用
种一颗十年前的树
06-21 2175
#########Demo for Painless############### Painless 简介 ● ⾃ Elasticsearch 5.x 后引⼊，专⻔为 Elasticsearch 设计，扩展了 Java 的语法。 ● 6.0 开始，ES 只⽀持 Painless。Groovy， JavaScript 和 Python 都不再⽀持 ● Painless ⽀持所有 Java 的数据类型及 Java API ⼦集 ● Painless Script 具备以下特性 ○ ⾼性能 / 安全 ○ ⽀持显示
elasticsearch painless脚本
疯狮子的博客
04-23 6867
来源： https://www.elastic.co/guide/en/elasticsearch/reference/6.5/modules-scripting-fields.html#_search_and_aggregation_scripts https://www.elastic.co/guide/en/elasticsearch/painless/6.5/painless-exampl...
ES学习记录6——ES的数据复制模型（单处理接口）
jacksonary的博客
09-28 2684
9. 数据复制模型  单处理和批处理操作主要围绕数据复制模型来理解，具体接口如下： 单文档处理接口： Index接口； Get接口； Delete接口； Update接口； 多文档处理接口： Multi Get接口； 批处理接口； Delete By Query API； Update By Query API； Reindex API；  每个ES索引都被分割为碎片shards，...
elasticsearch_script_01
寒夜
10-17 3039
文章目录1. script 简述1. script的类型和作用2. script使用的方式2. script的使用场景1. update scripts2. search 和agg 中使用script3. search中获取doc的打分数据3. script灵活使用的一些理解4. script的使用方式5. 样例1. 在search中使用 script_score功能2. 获取field的value，通过doc values3. 获取field value 通过_source字段4. 获取field val
elasticsearch 笔记二：搜索DSL 语法（搜索API、Query DSL）
热门推荐
LoveSummer
12-26 2万+
query 元素用 Query DSL 来定义查询。Domain Specific Language：领域特定语言Elasticsearch 基于 JSON 提供完整的查询 DSL 来定义查询。Leaf query clauses 叶子查询字句Leaf query clauses 在指定的字段上查询指定的值, 如：match, term or range queries. 叶子字句可以单独使用.Compound query clauses 复合查询字句以逻辑方式组合多个叶子、复合查询为一个查询。
Elasticsearch 中 Painless 脚本详解
lixinkuan的博客
09-25 1636
ElasticStack在升级到5.0版本之后，带来了一种内置的新型脚本语言：painless。painless针对Elasticsearch的场景来进行优化，只做Elasticsearch数据的操作，更加轻量级，速度要快好几倍，并且支持Java静态类型，语法保持Groove类似，还支持Java的lambda表达式。painless脚本分为两种类型：inline script 和 stored script。前者仅仅写在api请求中，后者可以存储起来。如同sql和存储过程的区别。
Elasticsearch中doc_value的认识
weixin_30735391的博客
01-11 525
前言：本文的目的是为后续磁盘空间利用优化做铺垫。主要知识点来源于官网文档 一、doc_value是什么 绝大多数的fields在默认情况下是indexed，因此字段数据是可被搜索的。倒排索引中按照一定顺序存放着terms供搜索，当命中搜索时，返回包含term的document。 terms 中包含很多term 当Sorting、aggregations、scripts acces...
es(elasticsearch)5.4下params参数的使用
Edocevol
06-08 6322
参考《ES权威指南》时，用到类似于下面的参数进行修改文档的属性时，遇到了问题。报错信息：Variable [new_tag] is not defined.
painless脚本应用及与elasticsearch，java的结合使用
保持不满足于简单解释的好奇心，提高戳中问题本质的能力
05-03 1万+
写在前面    painless是一个较新的脚本语言，毕竟不是一加一等于二那么简单，开始不懂是很正常的，如果看不懂 请看第二遍第三遍乃至N次  相信我 一定能看得懂的，书读百遍，其义自见 es5以上版本推出了简单安全快捷的painless脚本来替代原有的一些脚本语言，最近正好需要过滤查询一些逻辑相对复杂的数据并对原有的groovy脚本进行升级，所以对painless进行了学习，发现网上对这个脚本的...
es使用painless脚本自定义排序
何超杰的博客
03-29 7122
源文档： { “groupName”: “北京的俱乐部”, “deleted”: 0, “groupId”: “g1”, “allowAccess”: 1, “notice”: “介绍” } 脚本代码： // 定义脚本 String scriptText =" def groupScore = params.groupMap[doc['groupId.keyword'].value];" + ...
Elasticsearch脚本使用
大风的博客
12-14 2302
如何使用Elasticsearch脚本 Elasticsearch默认脚本语言为Painless。其他lang插件使您可以运行以其他语言编写的脚本。 语言 沙盒 是否需要插件 备注 painless 是 内置的 默认脚本语言 expression 是 内置的 快速的自定义排名和排序 mustache 是 内置的 范本 脚本语法 "script": { "lang...
es_search_in_server({'size': 10000, '_source': ['file_name'], 'query': {'bool': {'should': [{'match': {'recall_text': {'query': '幻方量化'}}}], 'filter': [{'script': {'script': {'source': "doc['recall_text.keyword'].value.length() < 5000","lang": "painless"}}}]}}}) 2025-06-13 11:39:08,871 - INFO - elastic_transport.transport - POST http://101.71.15.246:39200/hx_v3_04221821/_search [status:400 duration:0.075s] Traceback (most recent call last): File "/Applications/PyCharm.app/Contents/plugins/python/helpers-pro/pydevd_asyncio/pydevd_asyncio_utils.py", line 117, in _exec_async_code result = func() ^^^^^^ File "<input>", line 1, in <module> File "/Users/a123/Desktop/easyLink-code/xinai/rag_recall/search/tools.py", line 31, in es_search_in_server res = es_client.search(index=index_name, body=query) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "/opt/anaconda3/envs/env1/lib/python3.12/site-packages/elasticsearch/_sync/client/utils.py", line 455, in wrapped return api(*args, **kwargs) ^^^^^^^^^^^^^^^^^^^^ File "/opt/anaconda3/envs/env1/lib/python3.12/site-packages/elasticsearch/_sync/client/__init__.py", line 5061, in search return self.perform_request( # type: ignore[return-value] ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "/opt/anaconda3/envs/env1/lib/python3.12/site-packages/elasticsearch/_sync/client/_base.py", line 271, in perform_request response = self._perform_request( ^^^^^^^^^^^^^^^^^^^^^^ File "/opt/anaconda3/envs/env1/lib/python3.12/site-packages/elasticsearch/_sync/client/_base.py", line 352, in _perform_request raise HTTP_EXCEPTIONS.get(meta.status, ApiError)( elasticsearch.BadRequestError: BadRequestError(400, 'search_phase_execution_exception', 'runtime error') 还是报错
最新发布
06-15
我们正在解决Elasticsearch中使用脚本查询时出现的`BadRequestError`，具体错误是`runtimeerror`和`search_phase_execution_exception`，通常在执行类似`doc['field'].value.length()这样的脚本时发生。可能的原因及...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

少林码僧

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值