Elasticsearch
关注
分享
扫一扫
vkingnew
Learning......
展开
-
Elasticsearch Java 客户端的选择
Elasticsearch 提供了三种Java API接口：Java client：这是TransportClient 提供的原生客户端，不能执行原生DSL语句必须使用它的Java API方法。注意：在Elasticsearch 7 版本中Elasticsearch官方宣布计划在7.0版本TransportClient被标记为Deprecated，将在8.0版本删除。REST A...原创 2020-01-05 17:44:46 · 1722 阅读 · 0 评论 -
Elasticsearch 6.8.4 安装中文分词器及分词示例
https://github.com/medcl/elasticsearch-analysis-ik/releaseshttps://github.com/medcl/elasticsearch-analysis-pinyin以上版本有Medcl维护，紧随Elasticsearch版本更新，更新比较及时。https://github.com/NLPchina/elasticsearch-...原创 2019-12-17 20:56:56 · 1979 阅读 · 0 评论 -
ElasticSearch 运行 操作系统重要的参数配置及启动检查
1.设置文件限制：# cat /etc/security/limits.conf * soft nofile 65536 * hard nofile 65536 * soft nproc 131072 * hard nproc 131072* soft nofile 65536 * hard nofile 65536 * soft nproc 131072 * hard npr...原创 2019-12-12 17:14:09 · 1359 阅读 · 0 评论 -
Elasticsearch之 cerebro 安装配置详细使用
运行环境：CentOS 7.6Elasticsearch 6.8.4软件下载：https://github.com/lmenezes/cerebro/releases概述：cerebro is an open source(MIT License) elasticsearch web admin tool built using Scala, Play Framework, An...原创 2019-12-12 12:14:19 · 8157 阅读 · 0 评论 -
Elasticsearch示例数据安装部署
# wget https://github.com/elastic/elasticsearch/blob/master/docs/src/test/resources/accounts.json?raw=true导入数据：# curl -H "Content-Type: application/json" -XPOST "192.168.8.102:9200/bank/_doc/_bulk...原创 2019-12-12 12:04:45 · 463 阅读 · 0 评论 -
MySQL 数据实时同步到Elasticsearch 实战
软件列表准备：CentOS 7.6MySQL 8.0.18MySQL JDBC driver 8.0.18Elasticsearch 7.4.2logstash 7.4.2插件：jdbc-input需求：1.可以将历史数据和增量数据同步到Elasticsearch2.MySQL中的增加 删除 修改记录可以实时同步到Elasticsearch注意：Elastic...原创 2019-12-12 17:23:30 · 734 阅读 · 0 评论 -
Elasticsearch 索引生命周期管理
创建一个策略：创建策略：curl -X PUT "localhost:9200/_ilm/policy/datastream_policy" -H 'Content-Type: application/json' -d'{ "policy": { "phases": { "hot": { ...原创 2019-06-14 12:07:34 · 4470 阅读 · 0 评论 -
Elasticsearch SQL 深度 体验
1.简介Elasticsearch SQL 自6.3版本集成到X_PACK_CORE包中，允许Elasticsearch执行实时的SQL查询。可以在在Elasticsearch中本地搜索和聚合数据，通过REST、JDBC、ODBC、CLI等多种方式。可以将Elasticsearch SQL理解为一个翻译器，它既能理解SQL又能理解Elasticsearch，并且通过利用Elasticsear...原创 2019-06-14 13:00:16 · 1030 阅读 · 0 评论 -
ElasticSearch 概述
目录1.Elasticsearch 概述2.选择Elasticsearch的关键原因：2.1.Elasticsearch stack 简史2.2Elasticsearch的优势2.3Elasticsearch的劣势3.Elasticsearch的工作原理3.1Elasticsearch的核心原则3.2Elasticsearch术语4.Elastic Stack...原创 2019-06-15 18:59:34 · 364 阅读 · 0 评论 -
Elasticsearch-Hadoop 介绍
概述：实现强强联合，助力实时分析Elasticsearch-Hadoop (ES-Hadoop) 连接器将 Hadoop 海量的数据存储和深度加工能力与 Elasticsearch 实时搜索和分析功能进行连接。它能够让您快速深入了解大数据，并让您在 Hadoop 生态系统中更好地开展工作。对 Hadoop 数据进行交互分析Hadoop 是出色的批量处理系统，但是要想提供实时结果则颇...原创 2019-06-16 22:03:30 · 3657 阅读 · 0 评论 -
Elastic stack 监控体系
Elastic stack 监控是从Elasticsearch节点、logstash节点和kibana节点收集数据进行监控。通常情况下监控的数据存储在本地的Elasticsearch中。注意:在生产环境，强烈建议使用单独的监控Elasticsearch集群。使用单独的监控集群可防止生产环境的集群中断影响监控数据的能力。它还可以防止监控影响生产群集的性能。出于同样的原因， 建议使用独立Kib...原创 2019-06-17 09:21:53 · 856 阅读 · 0 评论 -
ELasticsearch 跨集群复制（CCR）
跨集群复制概述CCR - Cross Cluster Replication - 跨集群复制是 Elasticsearch v6.5 发布的一个新的特性，这个特性可以让你将一个集群的索引数据同步复制到远程的另外一个集群上面去。或者反过来，将一个远程的集群的索引数据同步的复制到本地 Elasticsearch 集群中来。集群复制类似于数据订阅的方式，一个集群的数据可以被多个集群订阅，也就是可以被...原创 2019-06-18 14:31:54 · 6539 阅读 · 0 评论 -
Elasticsearch 6.5.4 集群部署记录及监控
Elasticsearch stack 6.5.4版本：IP地址 主机名 Elasticsearch角色 ELasticsearch 冷热 安装组件10.19.145.159 datanode3 master，data hot Elasticsearch10.19.162.134 datanode3 m...原创 2019-06-27 12:01:42 · 1348 阅读 · 0 评论 -
数据库与ElasticSearch的同步
MySQL--> ElasticSearch:logstash_output_jdbcMongoDB -->ElasticSearch:mongo connectorhttps://github.com/yougov/mongo-connectorMonstachehttps://github.com/rwynn/monstacheOracle --> E...原创 2019-05-05 11:59:00 · 1420 阅读 · 0 评论 -
数据生命周期管理（Lifecycle Management）
概述：oracle的生命周期管理叫做Information Lifecycle Management（ILM）SQL server的生命周期管理叫做Database Lifecycle Managemet(DLM)Elasticsearch的生命周期管理叫做Index Lifecycle Management（ILM）SQL server的生命周期管理：数据库生命周期管理 (DLM...原创 2019-06-13 17:49:30 · 9320 阅读 · 0 评论 -
Elasticsearch 自6.3版本以来的发布亮点
1.License管理和X-pack自Elasticsearch6.3版本开始Elasticsearch集成X-pack，无须额外安装，自带basic license2.ElasticSearch SQL6.3版本为experimental 功能，使用SQL访问Elasticsearch里的数据.3.Rollup6.3版本支持4.对新版Java的支持：Java9 ...原创 2019-06-13 19:55:03 · 877 阅读 · 0 评论 -
ElasticSearch 7.1 集群搭建 基于RPM
--规划：197.255.20.213 Elasticsearch data logstash kibana197.255.20.214 Elasticsearch data197.255.20.215 Elasticsearch master配置repo：--导入key：#rpm --import https://artifacts.elastic.co/G...原创 2019-05-22 17:56:22 · 2970 阅读 · 0 评论 -
dremio 体验
wget http://download.dremio.com/community-server/3.1.8-201903290151120189-36bb2bf/dremio-community-3.1.8-201903290151120189_36bb2bf_1.noarch.rpm## rpm -ivh dremio-community-3.1.8-201903290151120...原创 2019-04-04 02:20:34 · 4409 阅读 · 0 评论 -
Elasticsearch 监控工具elasticsearch-HQ
监控：#yum -y install epel# sudo sed -e 's!^mirrorlist=!#mirrorlist=!g' \ -e 's!^#baseurl=!baseurl=!g' \ -e 's!//download\.fedoraproject\.org/pub!//mirrors.ustc.edu.cn!g' \ ...原创 2019-05-25 00:38:17 · 3152 阅读 · 0 评论 -
elasticsearch head 插件 简单详细安装步骤
运行环境：CentOS 7需要设置npm的环境变量：#wget https://nodejs.org/dist/v10.15.3/node-v10.15.3-linux-x64.tar.xz或者选择新版本的LTS# wget https://nodejs.org/dist/v12.13.1/node-v12.13.1-linux-x64.tar.xz# tar -xJvf node...原创 2019-05-24 23:57:12 · 226 阅读 · 0 评论 -
ElasticSearch 性能压测工具esrally
概述：https://github.com/elastic/rallyRally is developed for Unix and is actively tested on Linux and MacOS. Rally supports benchmarking Elasticsearch clusters running on Windows but Rally itself nee...原创 2019-05-08 12:03:23 · 2589 阅读 · 1 评论 -
ElasticSearch stack 6.5.4下载地址
ElasticSearch：windows：https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.5.4.ziphttps://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.5.4.msiLinux：https://art...原创 2019-03-05 21:34:59 · 1826 阅读 · 0 评论 -
ElasticSearch 6.5.4 安装部署elasticsearch-dump
elasticsearch-dump可用ES的数据备份、迁移、同步操作等#wget https://nodejs.org/dist/v10.14.2/node-v10.14.2-linux-x64.tar.xz# tar -xJvf node-v10.14.2-linux-x64.tar.xz -C /usr/local/# mv /usr/local/node-v10.14.2-li...原创 2018-12-25 02:20:01 · 2704 阅读 · 0 评论 -
ElasticSearch 6.5.4 安装中文分词器 IK和pinyiin
ES的常用的中文分词有基于汉字的ik和基于拼音的pinyinhttps://github.com/medcl/elasticsearch-analysis-ik/releaseshttps://github.com/medcl/elasticsearch-analysis-pinyin安装的时候主要选择elasticsearch版本一致的插件：-- ES的版本查询：# /usr/...原创 2018-12-25 02:04:26 · 2929 阅读 · 0 评论 -
Elasticsearch的生态圈
https://github.com/Yelp/elastalert/releaseshttps://github.com/sirensolutions/sentinl/releasesdremio 工具https://github.com/NLPchina/elasticsearch-sql/releaseshttps://github.com/floragunncom/sea...原创 2018-12-25 01:37:40 · 671 阅读 · 0 评论 -
ElasticSearch 6.5.4 RPM安装
最近发布的ElasticSearch版本6.5.4基本不发布tar.gz包了(被官网隐藏了)，只发布DEB、RPM、MSI和Mac上的软件包，确实比较容易安装多了。下载rpm包：#wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.5.4.rpm## java -versionjava ve...原创 2018-12-23 02:50:36 · 2202 阅读 · 0 评论 -
Elasticsearch 客户端数据可视化 datagrip 和DBeaver
Elasticsearch 可使用odbc和JDBC进行数据可视化查询，但是需要购买Elasticsearch xpack的授权。作为体验可以参考网上进行破解。Datagrip 要求2019.1版本+DBeaver 需要6.0.1版本+通过DataGrip 客户端进行查询：选择datasource：若有用户名和密码需要指定用户名和密码，若无则可以不用写。...原创 2019-05-30 16:39:33 · 11643 阅读 · 1 评论 -
Elasticsearch 6.5.4 x-pack 插件破解
--查询license：#curl -u elastic:elastic -XGET 'http://localhost:9200/_xpack/license' { "license" : { "status" : "active", "uid" : "2dc3cf09-d3cd-4a34-8380-37be960fc587", "type" : "...原创 2019-05-30 17:36:50 · 1662 阅读 · 0 评论 -
ELK 7.1 监控logstash
默认的安装的logstash是没有被kibana监控的,需要经过一些设置进行监控。注释：以下配置文件的路径基于RPM安装的ELK7.1版本.1.Elasticsearch需要修改加一些配置：## vim /etc/elasticsearch/elasticsearch.yml...#action.destructive_requires_name: truexpack.securi...原创 2019-05-23 17:03:53 · 1931 阅读 · 0 评论 -
Elasticsearch 监控
https://www.jianshu.com/p/c8cbba119b9ahttps://www.jianshu.com/p/ec54c3bab79f?utm_campaign=maleskine&utm_content=note&utm_medium=seo_notes&utm_source=recommendation监控信息参考：https://www....原创 2019-05-31 17:45:55 · 716 阅读 · 0 评论 -
ElasticSearch Stack 各个版本收费情况
注释：绿色表示支持。 从 Elastic Stack 6.8 和 7.1 版本开始，Elasticsearch 的核心安全功能（TLS 加密、原生和基于文件的身份验证，以及基于角色的访问控制）将会免费提供，并且包含在默认发发包中。ElasticSearch 免费 收费 分类 项目 开源 基础版本 黄金级...原创 2019-06-12 16:10:18 · 38567 阅读 · 4 评论 -
Elasticsearch ILM(索引生命周期管理)
参考：https://www.elastic.co/guide/en/elasticsearch/reference/6.7/index-lifecycle-management.html索引生命周期管理：原创 2019-05-31 17:09:40 · 5811 阅读 · 0 评论 -
Elasticsearch SQL 开源
NLPchina的支持的版本比较延后，不支持最新的Elasticsearch 7.1版本:https://github.com/NLPchina/elasticsearch-sql社区版本有开发支持ES7.1版本的Elasticsearch-sql：https://github.com/iamazy/elasticsearch-sql支持的版本相对比较新.使用ES SQL ；E...原创 2019-05-24 11:07:49 · 986 阅读 · 0 评论 -
Elasticsearch SQL 官方 初体验
自Elasticsearch 6.3版本开始在x-pack中支持了SQL：ESQL 支持6.3及其以上版本.– 查看列的信息：DESCRIBE[table identifier | [LIKE pattern]] 注释：desc 等同于DESCRIBESHOW COLUMNS [ FROM | IN ]?[table identifier | [LIKE pattern] ...原创 2019-05-24 10:48:56 · 1108 阅读 · 0 评论 -
Elasticsearch SQL JDBC报错：current license is non-compliant for [jdbc]
使用客户端连接Elasticsearch 7.1 SQL，使用官方的jdbc驱动报错：current license is non-compliant for [jdbc]https://license.elastic.co/registrationhttps://www.elastic.co/guide/en/elasticsearch/reference/current/sql-...原创 2019-05-24 10:25:18 · 11983 阅读 · 4 评论 -
Elasticsearch 7 部署自带的数据示例
https://raw.githubusercontent.com/elastic/elasticsearch/master/docs/src/test/resources/accounts.jsonhttps://www.elastic.co/guide/en/kibana/current/tutorial-load-dataset.html下载到本地.参考：https://w...原创 2019-05-28 15:53:58 · 2335 阅读 · 4 评论 -
MySQL数据实时同步Elasticsearch 方案
需求：可以全量同步MySQL的数据到Elasticsearch可以增量同步MySQL的数据到Elasticsearch支持MySQL库中的增删改数据实时同步到Elasticsearch方案工具选择：https://github.com/jprante/elasticsearch-jdbc/tree/5.0最多支持到Elasticsearch 5版本https://github.c...原创 2019-06-05 14:39:56 · 7760 阅读 · 8 评论 -
elasticsearch索引管理利器 curator
功能：Elasticsearch curator 可以协助管理Elasticsearch的index，snapshot1.从集群中获取索引（或快照）的完整列表 2.迭代用户定义的过滤器列表，根据需要逐步从此可操作列表中删除索引（或快照）。3.对可保留在可操作列表中的项目 执行各种操作。起源：早期是一个脚本 clearESindices.py，唯一功能是删除索引，随后又被改...原创 2019-05-31 00:39:05 · 1386 阅读 · 0 评论