
中间件
小甄笔记
这个作者很懒,什么都没留下…
展开
-
为什么Elasticsearch对内存要求比较高
ES是比较依赖内存的,并且对内存的消耗也很大,内存对ES的重要性甚至是高于CPU的,所以即使是数据量不大的业务,为了保证服务的稳定性,在满足业务需求的前提下,我们仍需考虑留有不少于20%的冗余性能。一般来说,按照百万级、千万级、亿级数据的索引,我们为每个节点分配的内存为16G/32G/64G就足够了,太大的内存,性价比就不是那么高了。对于ES来说,磁盘可能是最重要的了,因为数据都是存储在磁盘上的,当然这里说的磁盘指的是磁盘的性能。磁盘性能往往是硬件性能的瓶颈,木桶效应中的最短板。原创 2024-03-07 17:22:00 · 1214 阅读 · 0 评论 -
elasticsearch分词器
Simple 分词器:英文按照单词分词 英文统一转为小写 去掉符号 中文按照空格进行分词。Whitespace 分词器:中文 英文 按照空格分词 英文不会转为小写 不去掉标点符号。英文统一转为小写 过滤标点符号 中文。IK分词器的版本要你安装ES的版本一致。在ES中支持中文分词器非常多 如。原创 2023-11-11 21:17:51 · 961 阅读 · 0 评论 -
ElasticSearch知识点
ElasticSearch: 智能搜索,分布式的搜索引擎,是ELK的一个非常完善的产品,ELK代表的是: E就是ElasticSearch,L就是Logstach,K就是kibanaElasticsearch是一个建立在全文搜索引擎 Apache Lucene基础上的搜索引擎,每个字段都被索引并可被搜索,可以快速存储、搜索、分析海量的数据。原创 2023-11-11 16:12:19 · 536 阅读 · 0 评论 -
QueryBuilders.rangeQuery
数字范围查询//闭区间查询QueryBuilder qb1 = QueryBuilders.rangeQuery("${fieldName}").from(${fieldValue1}).to(${fieldValue2}); //开区间查询QueryBuilder qb1 = QueryBuilders.rangeQuery("${fieldName}").from(${fieldValue1}, false).to(${fieldValue2}, false); //大于Quer.原创 2021-07-05 20:52:34 · 9606 阅读 · 1 评论 -
QueryBuilders的matchQuery
插入数据首先存入一条数据 i like eating and kuing 默认分词器应该将内容分为 “i” “like” “eating” “and” “kuing”二、查询2.1 QueryBuilders.matchQuery(“supplierName”,param)会将搜索词分词,再与目标查询字段进行匹配,若分词中的任意一个词与目标字段匹配上,则可查询到。param = “i” 可查出iparam = “i li” 可查出param = “i like” 可查出param =原创 2021-07-05 18:02:04 · 9601 阅读 · 2 评论 -
QueryBuilders.termsQuery
使用案例:private List<Integer> doctorIds;// id匹配多个值tempQueryBuilder.must(QueryBuilders.termsQuery("_id", doctorIds));最近在做es6.x 查询,有一个业务涉及到 类似sql in 查询功能。日志格式是自定义格式,按照某一个字段使用termsQuery 查询时,结果为空日志格式 {"host_name":"VM-TR73PO26-DB","time":"2018-12-..原创 2021-07-05 16:07:00 · 15845 阅读 · 2 评论 -
term query与match query区别
官方示例:PUT my_index{ "mappings": { "my_type": { "properties": { "full_text": { // 没有特殊说明,查询时会分词 "type": "string" }, "exact_value": { "type": "string", // 指明不使用分词 "原创 2021-06-21 21:15:23 · 1012 阅读 · 0 评论 -
ElasticSearch 模糊查询 wildcard 的一些问题
我们都知道在ES中如果我们想要实现MySQL中的like查询的时候可以使用wildcard 通配符来进行操作。其中?代表任意一个字符*代表任意的一个或多个字符GET booke/member/_search{"query": { "wildcard":{ "senderName": "李*" } } } #模糊查询,比如查询李政,PS:查不出李世民GET booke/member/_search{"query": { "wildcard"原创 2021-06-21 20:42:22 · 6005 阅读 · 0 评论 -
mongodb中日期范围查询
SimpleDateFormat sdf = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss"); sdf.setTimeZone(TimeZone.getTimeZone("GMT+0:00")); //转为格林尼治基准时区 Date beginDate = sdf.parse(startTime); Date endDate = sdf.parse(endTime); Criteria criteria...原创 2021-06-17 19:09:44 · 2455 阅读 · 0 评论 -
es客户端创建
ESProps配置类可对接apollo读取:@ConfigurationProperties(prefix = "elasticsearch")@Getter@Setterpublic class ESProps { private String clusterName; private String clusterNodes;}ESConfig客户端配置:@EnableConfigurationProperties(ESProps.class)public class ES原创 2021-05-29 15:32:22 · 502 阅读 · 0 评论 -
es应用模式
使用模式:原创 2021-05-29 15:01:55 · 285 阅读 · 0 评论 -
windows安装配置zookeeper后启动出现的错误:java.io.IOException: Unable to create data directory
问题1再点击zkServer.cmd出现闪退 需要用编译工具打开在最后一行加入pause命令也可以在cmd中手动执行问题3 zoo.cfg配置问题则需要去conf文件夹下面新建一个文本,zoo.cfg,然后把zoo_sample.cfg文件里面的信息copy一份到zoo.cfg,在去双击打开发现正常启动。问题4 dataDir路径设置问题需要设置zoo.cfg文件中的dataDir,以上错误是由于路径的反斜杠没有进行转义导致的。单个反斜杆需要加两个反斜杠例如data...原创 2021-03-12 11:38:34 · 1774 阅读 · 0 评论 -
FastDFS分布式文件系统
什么是FastDFS:FastDFS是用C语言编写的一款开源的分布式文件系统,具有冗余备份,负责均衡,线性扩容等机制,使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传,下载等服务FasfDFS架构:FastDFS架构包括Tracker server和Srorage server,客户端请求Tracker server进行文件上传、下载,通过Trackerserver调度最...原创 2020-01-20 18:16:28 · 276 阅读 · 0 评论 -
elastic-job
基本情况elastic-job是当当开源的一款非常好用的作业框架,在这之前,我们开发定时任务一般都是使用quartz或者spring-task(ScheduledExecutorService),无论是使用quartz还是spring-task,我们都会至少遇到两个痛点:1.不敢轻易跟着应用服务多节点部署,可能会重复多次执行而引发系统逻辑的错误。2.quartz的集群仅仅只是用来HA,节点...原创 2020-01-07 17:15:33 · 380 阅读 · 0 评论 -
mysql
mysql的数据量瓶颈:500w~1000w数据库的压力:IO压力,解决方式:加缓存,分区/分表/分库/读写分离/索引/sql优化分表:水平切分,按日期切分,按地区切分,订单号取模等业务字段在Linux上用docker便捷安装mysql:...原创 2019-12-11 21:02:11 · 105 阅读 · 0 评论 -
kafka广播和单播
使用Consumer high level API时,同一Topic的一条消息只能被同一个Consumer Group内的一个Consumer消费,但多个Consumer Group可同时消费这一消息。这是Kafka用来实现一个Topic消息的广播(发给所有的Consumer)和单播(发给某一个Consumer)的手段。一个Topic可以对应多个Consumer Group。如果需要...原创 2019-01-29 15:11:02 · 24440 阅读 · 0 评论