
ElasticSearch学习笔记
文章平均质量分 55
程裕强
开源是人类最大的公益事业!--程裕强
展开
-
AccessDeniedException: /opt/elasticsearch-7.0.0/config/elasticsearch.keystore
[elastic@node2 elasticsearch-7.0.0]$ bin/elasticsearchOpenJDK 64-Bit Server VM warning: Option UseConcMarkSweepGC was deprecated in version 9.0 and will likely be removed in a future release.Excepti...原创 2019-05-05 14:42:27 · 5496 阅读 · 0 评论 -
Kibana关闭停止失败解决办法
1、问题描述ElasticSearch服务异常停止了,这时Kibana提示无法连接到ElasticSearchlog [08:22:53.102] [warning][admin][elasticsearch] Unable to revive connection: http://node1:9200/ log [08:22:53.105] [warning][admin...原创 2018-04-24 16:37:35 · 5748 阅读 · 3 评论 -
Elasticsearch 5.x 安装X-Pack
x-pack是elasticsearch的一个扩展包,将安全,警告,监视,图形和报告功能捆绑在一个易于安装的软件包中,也是官方推荐的。1.关闭ElasticSearch服务需要关闭Elasticsearch 服务,如果已经启动的话,则安装安装x-pack失败。2、ElasticSearch5.x安装x-pack安装过程中遇到选项直接Y过去就可以了[elastic@n...原创 2018-04-24 14:39:10 · 3964 阅读 · 1 评论 -
ElasticSearch 6.x 学习笔记:elasticsearch+logstash+kibana 6.1.1
1、下载https://www.elastic.co/downloads/past-releases/logstash-6-1-1[es@node1 ~]$ tar -zxvf logstash-6.1.1.tar.gz[es@node1 ~]$ cd logstash-6.1.1[es@node1 logstash-6.1.1]$ lsbin CONTRIBUTORS...原创 2018-03-31 13:13:09 · 3124 阅读 · 0 评论 -
ElasticSearch 6.x 学习笔记:37.新闻搜索之页面设计
1、搜索页面(1)JSP页面<%-- Created by IntelliJ IDEA. User: Chengyuqiang Date: 2018/2/25 0025 Time: 17:24 To change this template use File | Settings | File Templates.--%><%@ page cont...原创 2018-02-25 17:42:07 · 1297 阅读 · 0 评论 -
ElasticSearch 6.x 学习笔记:36.新闻搜索之Maven项目创建
1、创建Maven项目(1)选择webapp (2)输入基本包名和项目名 (3)构建Maven项目成功 (4)编辑pom.xml<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaL...原创 2018-02-25 12:17:51 · 1651 阅读 · 0 评论 -
ElasticSearch 6.x 学习笔记:35.Java API之集群管理
https://www.elastic.co/guide/en/elasticsearch/client/java-api/6.1/java-admin-cluster.html1、ClusterAdminClientESUtil.java类中增加获取集群管理的ClusterAdminClient对象的方法 /** * 获取集群管理的ClusterAdminClient...原创 2018-02-23 21:46:16 · 949 阅读 · 0 评论 -
ElasticSearch 6.x 学习笔记:34.Java API之桶聚合
https://www.elastic.co/guide/en/elasticsearch/client/java-api/6.1/_bucket_aggregations.html1、terms聚合AggregationUtil.java中添加下面方法 /** * 分组聚合 * @param field * @return */ p...原创 2018-02-23 21:25:36 · 1783 阅读 · 0 评论 -
ElasticSearch 6.x 学习笔记:33.Java API之指标聚合
0、自定义工具类https://www.elastic.co/guide/en/elasticsearch/client/java-api/6.1/java-aggs.html To build aggregation requests, use AggregationBuilders helpers. Just import them in your class:import or...原创 2018-02-23 10:51:35 · 2636 阅读 · 0 评论 -
ElasticSearch 6.x 学习笔记:32.Java API之复合查询
https://www.elastic.co/guide/en/elasticsearch/client/java-api/6.1/java-compound-queries.htmlCompound queriesedit Compound queries wrap other compound or leaf queries, either to combine their result...原创 2018-02-22 11:15:09 · 2728 阅读 · 1 评论 -
ElasticSearch 6.x 学习笔记:31.Java API之词项查询
https://www.elastic.co/guide/en/elasticsearch/client/java-api/6.1/java-term-level-queries.html1、term查询Find documents which contain the exact term specified in the field specified.package cn....原创 2018-02-21 21:20:05 · 3631 阅读 · 2 评论 -
ElasticSearch 6.x 学习笔记:30.Java API之全文查询
1、全文查询概述https://www.elastic.co/guide/en/elasticsearch/client/java-api/6.1/java-full-text-queries.htmlThe high-level full text queries are usually used for running full text queries on full text fi...原创 2018-02-09 23:04:49 · 2910 阅读 · 3 评论 -
ElasticSearch 6.x 学习笔记:25.Java API之索引管理
25.1 判定索引是否存在package cn.hadron;import org.elasticsearch.action.admin.indices.exists.indices.IndicesExistsResponse;import org.elasticsearch.client.IndicesAdminClient;import org.elasticsearch.cl原创 2018-01-21 23:02:20 · 6149 阅读 · 5 评论 -
ElasticSearch 6.x 学习笔记:24.Java API连接Elasticsearch
24.1 实例演示package cn.hadron;import java.net.InetAddress;import java.net.UnknownHostException;import org.elasticsearch.action.get.GetResponse;import org.elasticsearch.client.transport.TransportC原创 2018-01-20 22:51:39 · 10406 阅读 · 9 评论 -
syslog listener died Errno::EACCES: Permission denied - bind(2)
local_syslog.conf input { syslog { port => "514" }}output { elasticsearch { hosts => ["node1:9200"] index => "syslog" } }启动logstash 报错:[...原创 2018-04-26 10:53:46 · 7554 阅读 · 1 评论 -
logstash 6.x 收集syslog日志
1、logstash端关闭logstash所在机器的rsyslog,释放514端口号[root@node1 config]# systemctl stop rsyslog[root@node1 config]# systemctl status rsyslog● rsyslog.service - System Logging Service Loaded: loaded (/u...原创 2018-04-26 14:48:58 · 4669 阅读 · 0 评论 -
Elasticsearch 7.x生产配置
虽然Elasticsearch需要很少的配置,但是有一些设置需要手动配置,并且必须在进入生产之前进行配置。1、官方文档这些重要配置说明,请参考官方文档:https://www.elastic.co/guide/en/elasticsearch/reference/7.x/important-settings.html2、参数说明2.1 path.data和path.logsIf yo...原创 2019-05-05 11:12:59 · 40413 阅读 · 1 评论 -
spring-boot-starter-data-elasticsearch整合elasticsearch 6.x实现高亮highlighter解决办法
spring-boot-starter-data-elasticsearch整合elasticsearch 6.x实现高亮highlighter解决办法注意:此文是解决springboot 2.x通过spring-boot-starter-data-elasticsearch整合elasticsearch 6.x实现高亮highlighter解决办法。参考官方文档:https://docs....原创 2019-03-14 17:44:30 · 3618 阅读 · 5 评论 -
BindTransportException: Failed to bind to [9300]
1、异常信息[2019-02-12T15:50:30,496][INFO ][o.e.n.Node ] [elastic1] starting ...[2019-02-12T15:50:30,775][WARN ][o.e.b.ElasticsearchUncaughtExceptionHandler] [elastic1] uncaught exception i...原创 2019-02-12 16:25:51 · 6300 阅读 · 4 评论 -
完整教程:spring-boot-starter-data-elasticsearch整合elasticsearch 6.x
1、前言网上很多言论:新版本的SpringBoot 2的spring-boot-starter-data-elasticsearch中支持的Elasticsearch版本是2.X,但Elasticsearch实际上已经发展到6.5.X版本了,为了更好的使用Elasticsearch的新特性,所以弃用了spring-boot-starter-data-elasticsearch依赖,而改为直...原创 2019-01-09 10:39:58 · 100423 阅读 · 41 评论 -
ES集群
官方网址:https://www.elastic.co/guide/en/elasticsearch/reference/current/getting-started-cluster-health.html1、集群健康Let’s start with a basic health check, which we can use to see how our cluster is doing...原创 2018-12-27 14:51:57 · 583 阅读 · 0 评论 -
elasticsearch 6.x 基本概念解读
官方网址Elasticsearch最新基本请参考官方介绍:https://www.elastic.co/guide/en/elasticsearch/reference/current/getting-started-concepts.html备注:以下是官方文档+谷歌翻译(翻译效果还可以)Basic Concepts/基本概念There are a few concepts that ...原创 2018-12-27 14:24:10 · 1182 阅读 · 0 评论 -
Elasticsearch 7.0变化
Elasticsearch 7.0变化1、官方文档https://www.elastic.co/guide/en/elasticsearch/reference/master/breaking-changes-7.0.html2、High-level REST client 改变API methods accepting Header argument have been removed...原创 2018-12-26 17:15:34 · 8150 阅读 · 1 评论 -
关闭Kibana进程
1、Elasticsearch异常停止,Kibana无法连接到Elasticsearch log [11:49:18.892] [warning][admin][elasticsearch] No living connections log [11:49:18.894] [warning][admin][elasticsearch] Unable to revive connect...原创 2018-11-29 14:15:23 · 4848 阅读 · 0 评论 -
Elasticsearch 6.x集群搭建
以下操作,每个节点相同1、关闭防火墙和SELINUXsystemctl stop firewalldsystemctl disable firewalldsetenforce 0sed -i "s#SELINUX=enforcing#SELINUX=disabled#g" /etc/selinux/config2、JDK安装rpm -qa|grep java|xargs rpm ...原创 2018-11-12 18:46:14 · 1885 阅读 · 0 评论 -
SpringMVC+jquery.pagination分页显示
最近在做ES全文搜索,需要做个类似于百度搜索下面分页的组件。 找了很多,最后发现jquery.pagination实现分页很方便。1、JSP页面从http://www.zhangxinxu.com/jq/pagination_zh/下载对应的JS、CSS文件。<%@ page language="java" contentType="text/html; charset=UTF...原创 2018-05-18 13:39:27 · 835 阅读 · 0 评论 -
Elasticsearch 6.x:先按照评分排序,再按照时间排序
最近在做一个搜索引擎,需要对文档进行中文分析,默认按照评分排序。现在需要先按照评分排序,再按照文档时间进行二次排序。核心代码如下:SearchResponse searchResponse = client.prepareSearch(&quot;test&quot;) .setTypes(&quot;doc&quot;) .setQuery(multiMatc...原创 2018-05-11 14:14:58 · 15995 阅读 · 1 评论 -
Apache日志配置远程Syslog采集
参考:http://www.biglog.cn1、安装Apache(httpd)[root@node2 ~]# yum install -y httpd[root@node2 ~]# systemctl start httpd查看httpd日志[root@node2 ~]# cd /var/log/httpd[root@node2 httpd]# lltotal 8-r...原创 2018-04-26 16:29:00 · 2043 阅读 · 0 评论 -
ElasticSearch 6.x 学习笔记:22.桶聚合
为了满足桶聚合多样性需求,修改文档如下。DELETE my-indexPUT my-indexPUT my-index/persion/1{ "name":"张三", "age":27, "gender":"男", "salary":15000, "dep":"bigdata"}PUT my-index/persion/2{ "name":"李四"原创 2018-01-19 23:16:51 · 6714 阅读 · 0 评论 -
ElasticSearch 6.x 学习笔记:29.Java API之Match All Query
https://www.elastic.co/guide/en/elasticsearch/client/java-api/6.1/java-query-dsl.html Elasticsearch provides a full Java query dsl in a similar manner to the REST Query DSL. The factory for query bui...原创 2018-02-09 22:50:15 · 2492 阅读 · 0 评论 -
ElasticSearch 6.x 学习笔记:4.IK分词器插件
4.1 elasticsearch-analysis-ik 6.1.1(1)源码 https://github.com/medcl/elasticsearch-analysis-ik (2)releases https://github.com/medcl/elasticsearch-analysis-ik/releases(3)复制zip地址 https://github...原创 2018-01-06 21:04:56 · 17844 阅读 · 0 评论 -
ElasticSearch 6.x 学习笔记:5.核心概念解读
5.1 索引索引(index)是ElasticSearch存放具体数据的地方,是一类具有相似特征的文档的集合。ElasticSearch中索引的概念具有不同意思,这里的索引相当于关系数据库中的一个数据库实例。在ElasticSearch中索引还可以作为动词,表示对数据进行索引操作。5.2 类型【2018-01-31修改】 在6.0之前的版本,一个ElasticSearch索引中,可以原创 2018-01-08 22:22:21 · 6112 阅读 · 3 评论 -
ElasticSearch 6.x 学习笔记:3.Kibana插件
3.1 下载Kibana插件https://www.elastic.co/downloads/kibana注意,ElasticSearch版本是6.1.1,kibana的版本必须对应,所以,此处下载kibana-6.1.1-linux-x86_64.tar.gz[es@node1 ~]$ wget https://artifacts.elastic.co/downloads/k...原创 2018-01-06 19:03:33 · 6710 阅读 · 7 评论 -
ElasticSearch 6.x 学习笔记:2.head插件
2.1 Head插件简介ElasticSearch-head是一个H5编写的ElasticSearch集群操作和管理工具,可以对集群进行傻瓜式操作。显示集群的拓扑,并且能够执行索引和节点级别操作搜索接口能够查询集群中原始json或表格格式的检索数据能够快速访问并显示集群的状态有一个输入窗口,允许任意调用RESTful API。这个接口包含几个选项,可以组合在一起以产生有趣的结果;原创 2017-12-18 23:19:38 · 14056 阅读 · 1 评论 -
ElasticSearch 6.x 学习笔记:1.下载安装与配置
1. 安装配置JDK 8(1)下载并解压缩[root@node1 ~]# tar -zxvf jdk-8u112-linux-x64.tar.gz -C /opt(2)编辑环境变量 vi /etc/profile.d/custom.sh[root@node1 ~]# vi /etc/profile.d/custom.sh[root@node1 ~]# cat /etc...原创 2017-12-18 22:21:27 · 7672 阅读 · 0 评论 -
ElasticSearch 6.x 学习笔记:7.文档
7.1 新建文档index/type/id(1)一般格式PUT blog/csdn/1{ "id":1, "title":"Elasticsearch简介", "author":"chengyuqiang", "content":"Elasticsearch是一个基于Lucene的搜索引擎"}{ "_index": "blog", "_typ原创 2018-01-09 10:13:18 · 6157 阅读 · 5 评论 -
ElasticSearch 6.x 学习笔记:12.字段类型
12.1 字段类型概述 一级分类 二级分类 具体类型 核心类型 字符串类型 string,text,keyword 整数类型 integer,long,short,byte 浮点类型 double,float,half_float,scaled_floa原创 2018-01-12 23:03:45 · 37091 阅读 · 1 评论 -
ElasticSearch 6.x 学习笔记:11.映射Mapping
11.1 Mapping概述前文已经把ElasticSearch的核心概念和关系数据库做了一个对比,索引(index)相当于数据库,类型(type)相当于数据表,映射(Mapping)相当于数据表的表结构。ElasticSearch中的映射(Mapping)用来定义一个文档,可以定义所包含的字段以及字段的类型、分词器及属性等等。映射可以分为动态映射和静态映射。 (1)动态映射 我们知道原创 2018-01-12 22:14:38 · 16542 阅读 · 0 评论 -
ElasticSearch 6.x 学习笔记:23.Java API之Maven项目
23.1 创建maven项目(1)新建工程项目 (2)选择maven类型 (3)输入名称 (4)确认maven安装路径 (5)项目路径 (6)构建maven工程 (7)构建完成 23.2 编辑pom.xml参考官网,编写pom.xml https://www.elastic.co/guide/en/elasticsearch/client/j原创 2018-01-20 21:47:57 · 7003 阅读 · 0 评论 -
ElasticSearch 6.x 学习笔记:21.指标聚合
https://www.elastic.co/guide/en/elasticsearch/reference/6.1/search-aggregations-metrics.html为了方便聚合统计,增加两条文档PUT my-index/persion/5{ "name":"程裕强", "age":28, "salary":10000}PUT my-index/pe原创 2018-01-19 14:57:13 · 2419 阅读 · 0 评论