- 博客(16)
- 资源 (2)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 JAVA对象转json字符串性能优化
最近对自己写的elasticsearch客户端框架在进行性能优化，数据插入部分使用的是JAVABean对象方式传参，框架内部使用了fastjson进行对象转json字符串的操作，尝试着使用不同方式进行对象转json字符串操作。找到了一种性能更好的方式，具体请看下面代码段：package test;import com.alibaba.fastjson.JSON;import com.alibaba.fastjson.JSONObject;import com.google.common...
2021-01-18 15:18:52
4045
2
原创 elasticsearch6.x 中单字段支持精确查询和全文检索、对字段中数据进行in过滤查询.
业务需求需要对单个字段中内容进行in过滤查询，基于全文检索matchapi实现。废话不多说，直接看步骤:创建测试索引:curl -H "Content-Type: application/json" -H "Authorization: Basic ZWxhc3RpYzoxMjM0NTY=" -XPUT "http://172.16.1.119:9200/match_index" -d'{ "mappings": { "data": { ...
2020-09-29 16:20:51
598
原创 Elasticsearch进行and,or多条件嵌套组合DSL结构化查询
业务需求中有如下查询：( a=1 and (b=2 orb=3) ) or (a=2 and (b=1 or b=2))网上找了大半天没找到结果，只能自己尝试拼写DSL语句，功夫不负有心人，果然找到了正确的写法(使用es版本：6.8.0)参考以下DSL语句：should数组中的一个元素即为( a=1 and (b=2 orb=3) )查询{ "query": { "bool": { "should": [...
2020-08-06 09:40:39
8546
5
原创 elasticsearch6.8 基础查询类型(must、must_not、should、filter)
因为记不住DSL语句的写法，本文为个人记录elasticsearch查询示例，以免用到的时候到处百度。第一步：创建测试索引curl -H "Authorization: Basic ZWxhc3RpYzoxMjM0NTY=" -X POST "http://172.16.1.119:9200/test/_search?pretty" -H 'Content-Type: application/json' -d'{ "query": { "bool": {
2020-06-17 11:06:45
4876
4
原创 Elasticsearch分页代码(基于scroll api全量遍历elasticsearch数据)
全量遍历elasticsearch6.3索引数据的工具类，可以直接使用EsScrollQueryUtil和HttpUtil完成。直接上代码：查询类EsScrollQueryUtil：/** * Created by memory_fu on 2019/07/25. */public class EsScrollQueryUtil { private static fi...
2019-07-25 18:00:50
529
原创 Elasticsearch断电后启动异常(failed recovery, failure RecoveryFailedException)
断电遇到的elasticsearch6.3问题：重启es集群后索引的部分分片无法正常加载(UNASSIGNED状态)。问题现象：Elasticsearch head页面点击未加载的分片出现如下错误信息:{ "index": "objext_result", "primary": true, "recovery_source": { "type": ...
2019-07-23 15:29:46
4774
1
原创 Elasticsearch分页查询
今天收到测试提到的一个关于Elasticsearch分页查询的bug（当Elasticsearch查询到50万页(每页显示20条数据)的时候，es会卡顿很长时间也查不出数据）,之前一直没去研究过Elasticsearch的分页查询，正好趁着这个机会可以研究一下，以下内容是本人对Elasticsearch分页的理解：Elasticsearch分页查询的两种实现方式： ...
2019-07-03 16:31:03
1150
原创 Elasticsearch7.1权限管理(X-Pack API)
最近Elasticsearch官方宣布免费提供部分安全管理功能,发布内容在6.8.0和7.1.0版本中，详细内容请查看官网博客说明：https://www.elastic.co/cn/blog/security-for-elasticsearch-is-now-free想要对es进行权限相关的控制，需要借助X-Pack模块完成，现在步骤介绍如何使用X-Pack Api对es进行权限管理：1、安...
2019-06-29 11:26:31
7025
2
原创 crontab任务未执行
最近在ubuntu系统中使用crontab定时任务遇到了问题，现记录下来，希望能够帮助到遇到同样问题的同学。问题描述：使用crontab做mysql数据库的定时备份，发现到点确没有正常执行任务完成备份操作。解决思路： 1.使用 service cron status 查看crontab任务是否正常启动 （已正常启动，排除） 2.单独执行定时备份脚本是...
2018-12-11 21:54:46
732
原创 基于ubuntu系统如何制作deb包？
最近在研究elk体系中kibana组件，因为需要对原生kibana进行一些配置修改，所以涉及到kibana安装包的制作，现把整个制作过程做个整理，供有需要的同学参考。 其中小细节比较多， 可能写的不是很全面，如按照此教程制作的包不能使用请留言or加本人qq *********交流解决。下面直接上步骤(kibana的deb制作)：第一步：准备源软件包网上下载...
2018-10-25 11:06:29
492
原创 elasticsearch-6.3.0数据备份(单机&集群)
前段时间在公司研究了一下es6.3的数据备份和还原，今天总结一下，也算整理一下自己的工作内容吧。因为es提供了非常强大的api支持，备份和恢复也都是基于es提供的api进行的，所以备份恢复功能使用起来也是很简单的。步骤如下：单机备份恢复： 第一步：创建es备份仓库 mkdir -p /u2s/backup/elk ...
2018-09-12 14:53:52
1088
原创 elasticsearch6.3 head插件离线安装总结（ubuntu环境下）
最近公司有安装head插件的需要，由于生产环境是没有外网环境的，所以需要研究一下使用离线的方式进行安装。安装其实非常简单，只不过我在网上找资料的时候没找到写的比较详细的，所以写下总结供有需要的同学参考。 ps：若参考本文档未能安装成功，请添加本人qq：*********，一起交流学习。安装步骤如下：第一步：在有外网环境下安装nodejs、npm、grunt、...
2018-08-28 18:20:34
6775
6
原创 xshell 连接上之后无法输入命令(To escape to local shell.press 'Ctrl+Alt+]')
若Xshell连接Linux服务器后如上图所示，无法进行任何操作。直接在Xshell中将原有连接信息删除重新添加一次即可。
2018-08-20 10:54:48
39775
4
原创 ubuntu系统下mysql数据库的备份与恢复
shell脚本的形式备份/恢复mysql数据库（可通过定时任务定时执行）。1.mysql数据库的备份脚本如下：#!/bin/sh#mysqldump备份程序执行路径DUMP=/usr/bin/mysqldump#备份文件存放路径OUT_DIR=/home/fuhao/tablebackupmkdir -p $OUT_DIR#系统用户名LINUX_USER=root#要备份的数据库名字DB_NAME...
2018-05-03 18:19:48
1564
ubuntu完全分布式搭建CDH集群（Cloudera Manager）
2018-04-20
Http方式读HBase中图片内容
2018-05-31
TA创建的收藏夹 TA关注的收藏夹
TA关注的人