如何筛选只包含某个字段的业务数据

最新推荐文章于 2024-03-13 15:48:00 发布
最新推荐文章于 2024-03-13 15:48:00 发布
阅读量735 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： ElasticSearch 大数据搜索查询分析全指南
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/u014296502/article/details/108729454
本文介绍了如何在Elasticsearch (ES) 中使用Kibana Query Language (KQL) 筛选特定字段的数据。通过示例展示了查询email字段、范围查询以及组合查询条件的方法，帮助读者理解KQL的使用，以便在实际工作中进行日志或指标分析。

筛选数据

当选中某个索引的时候，本章选中的是 kibana_sample_data_ecommerce 索引，那么 ES 会把这个索引下的所有数据都显示出来。

前面说过 ES 的索引的概念就相当于传统数据库中的某个具体数据库，在使用数据库过程最常见的需求的就是查找某个字段为某个固定的值，比如说 查找数据库中 name 字段为小明的数据，经常会这么写select * from student where name='小明' 相信这个 sql 语句大家都不会陌生，那么在 ES 中如何实现这个需求呢？

同理想要查看电子商务订单中 email 为 elyssa@reese-family.zzz 的数据。可以在 KQL 中输入email:("elyssa@reese-family.zzz" )

image-20191119214116643

可以看到查询的结果，页面中有提示命中了几条数据，从提示上看只有一条数据，黄色部分是命中的字段，并且还能够清楚的看到该订单的下单时间。

查询条件

在 SQL 语句中，where 查询条件提供了 and，or ,同样 ES 查询条件 KQL(Kibana Query Language；一种基于 Lucence 查询的语法)也支持了这个操作。

给定需求：查询 email 为 elyssa@reese-family.zzz 与 stephanie@ho

了解本专栏 订阅专栏 解锁全文
Java反射Class类中getDeclaredField()和getField()的区别
litlit023的专栏
10-26 3711
1. getField和getFields方法 类中有一个字段叫 private String mysettDate; 该字段被private修饰 reqBean.getClass().getField("mysettDate")，方法调用时，报出了NoSuchFieldException 异常。 2. getDeclaredField和getDeclaredFields方法 类中有一个字段叫 private String mysettDate; 该字段被private修饰 reqBea.
ES java 查询指定列
weixin_49456013的博客
05-12 2656
@Autowired private RestHighLevelClient client; public List<Map<String,Object>> search(String index) { List<Map<String,Object>> hitList = new ArrayList(); try { //搜索请求 SearchRequest request = new
Es中查询数据存在某个字段或者数据的不存在某个字段（must_not,must的使用）
热门推荐
健康平安的活着的专栏
05-09 4万+
一.存在： 二.不存在:
五、elasticsearch查询操作
Tony_chenph的博客
06-19 1万+
elasticsearch更多查询操作
sql 筛选表中指定字段包含26某个小写字母
10-23 1242
SELECT *from 表名WHERE 字段 COLLATE Chinese_PRC_CS_AS LIKE '%[abcdefghijklmnopqrstuvwxyz]%'筛选表中指定字段包含26某个小写字母 转载于:https://www.cnblogs.com/foreverfendou/p/9834767.html...
es存在某个字段的查阅_查询elasticsearch查询结果包含或排除某些字段
weixin_31715353的博客
02-23 4364
通过_source字段中的include和exclude来指定返回结果包含哪些字段，排除哪些字段举例：根据关系单号，查询es，设置_source的include和exclude{"_source":{"include":["policyNo","policyRelationNo","policyStatus"],"exclude":["salesType"]},"query": {"bool": ...
使用tp框架和SQL语句查询数据表中的某字段包含某值
10-16
在IT开发过程中，使用tp框架和SQL语句查询数据表中的某字段包含特定值是一种常见的需求。本文主要讲解如何在tp（ThinkPHP）框架环境下，利用SQL的特定函数来实现此类查询，并提供了代码示例和注意事项。 首先，tp...
Mysql中批量替换某个字段的部分数据(推荐)
09-08
在MySQL数据库管理系统中，有时我们需要对表中的某个字段进行大规模的数据修改，例如替换特定的字符串或者满足特定条件的数据。本文将详细介绍如何在MySQL中批量替换某个字段的部分数据，并提供实际的SQL语句示例。 ...
SQL SERVER如何判断某个字段包含大写字母
09-11
在SQL SERVER中，判断某个字段是否包含大写字母是一个常见的需求，特别是在进行数据清洗、文本分析或者实现特定的业务逻辑时。SQL本身在比较字符串时默认是不区分大小写的，这意味着如果你试图通过直接比较来判断...
mysql数据表按照某个字段分类输出
09-10
例如，假设有一个名为area的数据表，其中包含serialize和area两个字段，serialize字段代表区域代码，area字段代表区域名称。如果我们想要按照serialize字段的不同值来分类输出area字段中的值，可以使用以下的SQL语句...
Arcgis:筛选指定字段的要素，并导出
u013523101的专栏
08-15 3万+
有很多朋友在做Gis的时候对于
kettle读取文件内容中是否含有某一字符串（JavaScript组件）
weixin_30376083的博客
08-04 872
最近在做优化监控程序的时候，想要读取每日kettle抽数的日志，并且判断日志文件中是否含有“Error”,来判断kettle抽数有没有报错的情况。 废话不多少，直接上图~~~ 第一步：使用组件文件内容加载至内存。【文件】填入需要读取文件的路径，【字段】中Filecontent，留作下一个步骤使用。 第二步：JavaScrip...
es如何精确查询某个字符串字段
艾斯比
08-13 4313
有时我们想精确查询某个字符串字段 使用 term 语法, 发现也有问题, 是因为该字符串默认的 mapping 是分词的, 这里我们可以指定查询 字段名.keyword 的方式 BoolQueryBuilder boolQueryBuilder = QueryBuilders.boolQuery(); // term 精确匹配 查询某个字段. 字符串默认会被分词, 不能直接精确查询, name 后面追加 .keyword // https://www.zhihu.com/question/544665
es-从搜索中检索选定的字段
童小绿 学无止境
07-18 1万+
（1）fields 使用fields 选项提取索引映射中存在的字段的值 （2）_source 使用_source选项访问在索引时传递的原始数据 （3）docvalue_fields 使用docvalue_fields参数获取选定字段的值。doc value类型主要是keyword和date。 （4）stored_fields 使用stored_fields参数获取特定存储字段（使用store映射选项的字段）的值。行式存储。 （5）script_fields 使用script_fields参数来提取字段...
Elasticsearch搜索详解（三）：返回字段筛选
afeiqiang的专栏
10-12 3万+
添加 _source 参数，可让 ES 不返回命中文档，而只返回查询的统计，或者只返回一部分的字段。对于单个文档较大的情景特备适用。 不返回文档 GET /_search { "_source": false, "query" : { "term" : { "user" : "kimchy" } } } 返回部分字段 GET /_search {...
es查询响应结果中获取某些字段的值
IT之一小佬的博客
12-03 4309
es查询响应结果中获取某些字段的值
Elasticsearch 查询之 单字符串多字段查询
i_wonder_how_的博客
12-14 3320
单字符串多字段查询 Disjunction Max Query 查询示例 示例代码 PUT /blogs/_doc/1 { "title": "Quick brown rabbits", "body": "Brown rabbits are commonly seen." } PUT /blogs/_doc/2 { "title": "Keeping pets healthy", "body": "My quick brown fox eats rabbits on a
ElasticSearch 花式搜索详解（第七更）
weixin_42469135的博客
10-21 428
ES复杂查询 先了解搜索后的结构体！ 注意 在kibana中每个key 在后面结合springboot后都是对应的对象！ 筛选字段 source "_source": ["field","field",...] 如果设置source就像mysql中指定字段名一样！ 排序 sort "sort": [ { "age": { #这是个集合，代表可以有多个值进行排序 "order": "desc" #asc或desc } } ] .
Kibana中的KQL语法
blood_Z的博客
03-13 2248
【代码】Kibana中的KQL语法。
java实现某个字段的数据包含的规则
最新发布
09-25
<think> 嗯，我现在需要解决用户的问题：查找使用Java实现字段数据包含规则的方法。首先，我需要回顾用户提供的引用内容，看看有哪些相关的信息可以利用。 用户引用了五个来源。引用[1]和[2]主要讨论了Java中字段与属性的区别，以及基于get/set方法实现字段映射的方法。这里提到属性通常对应getter和setter方法，而字段是类中的成员变量。引用[3]涉及MySQL字段类型与Java字段的对应关系，建议使用包装类而非基本数据类型，以避免处理null值的问题。引用[4]则关于数据库字段与Java Bean的映射规则，特别是驼峰命名法以及如何处理不规则的字段名，比如使用@Column注解来指定映射。引用[5]是关于自定义脱敏规则，通过MyBatis Plus的配置来实现字段的脱敏处理。 用户的问题是实现某个字段数据的包含规则。包含规则可能指的是验证字段值是否包含特定子字符串，或者更复杂的规则如数据脱敏。结合引用中的内容，有几个可能的方向： 首先，在实体类内部，可以在setter方法中添加验证逻辑。比如，用户希望字段值必须包含某个字符串，可以在setter中检查，如果不满足则抛出异常。引用[1]和[2]提到属性通过get/set方法访问，因此这里是添加逻辑的理想位置。 其次，使用注解验证，如JSR 303 Bean Validation。引用中的例子没有直接提到，但这是常见的做法。例如，用@Pattern注解配合正则表达式检查字符串是否包含特定模式。这种方式更声明式，无需手动编写验证代码。 第三，结合数据库映射框架，比如使用MyBatis的拦截器（如引用[5]中的EntityWrapperFactory）。这里可以自定义规则，在数据存入或读取时进行处理。例如，在插入前检查字段值是否符合包含规则，或者进行脱敏处理。引用[5]中的脱敏示例虽然处理的是敏感信息，但思路类似，可以通过拦截器实现包含规则的检查或其他处理。 另外，引用[4]提到的@Column注解可能用于指定字段映射，但本身不包含验证功能。不过，如果使用Hibernate Validator，可以在实体字段上添加验证注解，结合数据库操作进行校验。 可能的实现步骤： 1. 在setter方法中，使用条件判断，如value.contains("特定字符串")，否则抛出异常。 2. 使用注解如@Pattern(regexp = ".*特定字符串.*")，在Spring Boot中用@Valid触发校验。 3. 对于数据库操作框架，如MyBatis Plus，自定义拦截器或插件，在插入或更新前后检查字段值。 需要检查用户的问题是否涉及数据库操作，还是仅限业务层。用户的引用中有数据库映射和脱敏处理的内容，所以可能需要考虑持久层集成。例如，在MyBatis的拦截器中实现规则，在SQL执行前进行校验或处理。 此外，引用[5]中的脱敏规则实现方式，通过ObjectWrapperFactory，可能类似地可以用来处理包含规则，比如在字段写入前检查内容是否符合规则，不符合则拒绝或转换。 总结，用户的需求可能分为两种：验证字段值是否符合包含规则（验证），或对字段值进行处理以满足规则（转换）。根据引用内容，更可能的是验证，尤其是在数据传入时确保其正确性。因此，推荐在setter方法中添加逻辑或使用注解验证，这两种方法简单直接。如果涉及数据库操作，可以结合框架的拦截器实现更全局的处理。 </think> 以下是Java实现字段数据包含规则的几种核心方法及代码示例，结合引用资料中的关键实践： ### 一、在Setter方法中实现（基础校验） 通过字段的setter方法添加包含规则校验，符合引用[1][2]的属性控制原则： ```java public class User { private String content; // 强制要求字段值必须包含"INFO_"前缀 public void setContent(String content) { if (!content.contains("INFO_")) { throw new IllegalArgumentException("内容必须包含'INFO_'前缀"); } this.content = content; } } ``` ### 二、注解校验（企业级方案） 使用JSR 303 Bean Validation框架（如Hibernate Validator），符合引用[4]的注解驱动规则： ```java public class Document { @Pattern(regexp = ".*\\[APPROVED\\].*", message = "必须包含[APPROVED]标记") private String status; // 配合Spring的@Validated注解在Controller层自动触发校验 } ``` ### 三、自定义校验器（复杂规则） 实现`ConstraintValidator`处理多规则场景： ```java @Target({FIELD}) @Retention(RUNTIME) @Constraint(validatedBy = ContainsRuleValidator.class) public @interface ContainsRule { String[] requiredSubstrings(); String message() default "字段不符合包含规则"; } public class ContainsRuleValidator implements ConstraintValidator<ContainsRule, String> { private String[] requiredSubstrings; @Override public void initialize(ContainsRule constraint) { this.requiredSubstrings = constraint.requiredSubstrings(); } @Override public boolean isValid(String value, ConstraintValidatorContext context) { if (value == null) return false; for (String substr : requiredSubstrings) { if (!value.contains(substr)) return false; } return true; } } // 使用示例 public class Report { @ContainsRule(requiredSubstrings = {"FINAL_", ".PDF"}, message = "文件名需同时包含FINAL_和.PDF") private String fileName; } ``` ### 四、框架集成方案（MyBatis Plus拦截器） 基于引用[5]的拦截器思路，在持久层操作时自动校验： ```java public class RuleInterceptor implements Interceptor { @Override public Object intercept(Invocation invocation) throws Throwable { Object entity = invocation.getArgs()[0]; if (entity instanceof User) { User user = (User) entity; if (!user.getEmail().contains("@company.com")) { throw new RuntimeException("邮箱必须包含公司域名"); } } return invocation.proceed(); } } // 注册拦截器（Spring Boot配置） @Bean public ConfigurationCustomizer mybatisCustomizer() { return configuration -> configuration.addInterceptor(new RuleInterceptor()); } ``` ### 五、动态规则引擎（高级场景） 使用Drools等规则引擎实现可配置规则： ```java // rules.drl rule "Content Validation" when $u : User( !content.contains("VIP_") ) then throw new ValidationException("VIP内容标识缺失"); end // Java集成 KieSession kieSession = kieContainer.newKieSession(); kieSession.insert(user); kieSession.fireAllRules(); ``` --- **技术选型建议**： 1. 简单校验：直接在Setter中添加逻辑（适合业务封闭场景） 2. REST API：使用注解校验（Spring Boot原生支持@Valid） 3. 复杂业务规则：自定义校验器（可复用验证逻辑） 4. 持久层统一控制：MyBatis拦截器（需处理事务回滚） 5. 频繁变更规则：引入规则引擎（需评估学习成本） > 关键设计原则：根据引用[2][3]，**字段(field)应设为private**，通过属性方法(property)控制访问，同时使用包装类（如`Integer`）避免基本类型在`null`场景下的歧义问题[^3]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值