elasticsearch
关注
分享
扫一扫
小龙在山东
本博客为个人整理的技术笔记，仅用于学习。
展开
-
设置Elasticsearch索引
索引索引（Index）是个虚拟表空间，类型数据库中的table，一个索引由至少1个分片组成，一个索引由可以由主分片与福分片组成。索引别名索引是虚拟表空间，索引别名则是在索引之上又一层虚拟的索引空间。索引别名默认等同于索引名称用途：索引重建之后快速切换，应用无感知。索引命名命名规范建议：业务类型：索引名+数字版本如：article_001，video_001日志类型：索引名+日期时间如：system-log-2022.05.01应用意义：数据隔离查询便利模糊匹配精确指定索原创 2022-04-04 18:53:34 · 3425 阅读 · 0 评论 -
Elasticsearch环境配置
操作系统环境设置：关闭防火墙service firewalld stopchkconfig firewalld off建议配置下hostnamevim /etc/sysconfig/networkvim /etc/sysctl.conf内存与磁盘配置# 禁用内存与磁盘交换vm.swappiness=1# 设置虚拟内存大小vm.max_map_count=262144vim /etc/security/limits.conf# 进程线程数* soft nproc 131072原创 2022-04-02 18:29:32 · 3884 阅读 · 0 评论 -
ES源码运行报错： ERROR: the system property [es.path.conf] must be set
原因：缺少配置文件。去下载运行版的配置文件，然后修改源码版的配置到运行版的配置目录。ERROR: the system property [es.path.conf] must be set配置Configuration - VM options - -Des.path.conf=已经下载好的配置文件目录。path.home is not configured配置-Des.path.home=已经下载好的配置文件目录。...原创 2022-04-02 11:06:30 · 875 阅读 · 0 评论 -
Elasticsearch关键概念和算法
Cluster集群Node节点服务程序运行实例Index索引数据存储逻辑空间Shard分片数据存储实际逻辑空间，单分片就是完整索引数据Replicate副本分片分片数据备份复制，高可用高性能Segment分段分片数据实际存储空间Document文档一条完整数据，等同Mysql一行数据Filed字段等同Mysql数据列Term词项单个字段数据拆分成多个独立的词...原创 2022-04-01 16:21:31 · 1421 阅读 · 0 评论 -
Elastic Stack 能干什么？
全文索引分词-机器学习排序 Learning to Rank企业知识库、电商商品搜索、垂直领域搜索引擎地理应用继承Geohash算法向量检索相似图片、类似语音、问答系统、推荐系统业务系统查询加速查询性能瓶颈，分库分表合并查询、海量数据查询、复杂条件组合查询基于mysql binlog数据同步，Canel Kafka Scheduler调度程序 同步程序-》ES大数据领域查询服务、自由大数据处理能力、聚合、转换、上卷、大规模明细查询...原创 2022-04-01 16:19:37 · 2605 阅读 · 0 评论 -
python elasticsearch.exceptions.ConnectionError: ConnectionError(check_hostname requires server_host
代码from elasticsearch import Elasticsearchfrom elasticsearch import RequestsHttpConnectionfrom ssl import create_default_contextimport sslcontext = create_default_context(cafile="certificate.pem")es = Elasticsearch("https://localhost", ssl_context=原创 2022-01-24 17:34:43 · 3360 阅读 · 1 评论 -
ES 多个terms布尔查询和range过滤的组合
terms布尔查询和range过滤原创 2021-04-13 11:30:29 · 4677 阅读 · 0 评论 -
Elasticsearch批量更新、删除的2种方法：_bulk、_delete_by_query、_update_by_query
Elasticsearch 支持使用 _bulk API 进行批量更新操作。_bulk API 允许在一个请求中执行多个操作，如创建、索引、删除和更新。这样可以提高数据处理效率。以下是一个使用 _bulk API 进行批量更新的示例：假设您有一个名为 “my_index” 的索引，里面有一些文档，每个文档有一个 “status” 字段。现在您想要批量更新这些文档，将 “status” 的值从 “old” 更新为 “new”。每两行代表一个更新操作。原创 2020-06-23 11:42:34 · 4921 阅读 · 3 评论 -
elasticsearch更新某个字段的值
在elasticsearch索引存储里，如果要更新索引的某条记录里的某个索引，怎么实现呢？可以使用script脚本功能。POST index_test/_doc/5605830/_update{ "script" : "ctx._source.thumb='http://img.test.com/2020/04/08/test.jpg'"}这就类似于sql的：UPDATE ind...原创 2020-05-08 11:12:05 · 12265 阅读 · 1 评论 -
ELK 6.4.3 OSS版本安装配置
Elasticsearch OSSElasticsearch OSS 6.4.3 下载地址：https://www.elastic.co/downloads/past-releases/elasticsearch-oss-6-4-3解压修改配置文件：# 数据文件目录path.data: /data/disk/data/elasticsearch# 日志文件目录path.logs: /...原创 2018-11-15 16:39:23 · 3887 阅读 · 0 评论 -
max file descriptors [4096] for elasticsearch process is too low, increase to at least [65536]
切换到root用户su root查看硬限制 ulimit -Hnvim /etc/security/limits.conf 添加下面设置 hadoop是用户，也可以是所有用户*hadoop soft nofile 65536hadoop hard nofile 65536退出用户重新登录，使配置生效重新ulimit -Hn查看硬限制 会发现数值有409...原创 2018-08-27 17:10:55 · 4135 阅读 · 0 评论 -
Elasticsearch/Kibana/X-pack/Logstash 6.x版本的安装
能够安全可靠地获取任何来源、任何格式的数据，并且能够实时地对数据进行搜索、分析和可视化。原创 2017-12-04 16:12:16 · 1336 阅读 · 0 评论 -
max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]
报错Ubuntu下，运行elasticsearch报错：max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]解决sudo vi /etc/sysctl.conf 添加下面配置vm.max_map_count=655360然后执行命令sudo sysctl -p最后就可以启原创 2017-12-04 11:34:15 · 5546 阅读 · 0 评论 -
logstash导入日志并用Kibana可视化展示
Kibana 让您能够自由地选择如何呈现您的数据。或许您一开始并不知道自己想要什么。不过借助 Kibana 的交互式可视化，您可以先从一个问题出发，看看能够从中发现些什么。原创 2017-12-07 14:44:29 · 6277 阅读 · 0 评论 -
logstash时间戳转换
logstash的date过滤插件，支持从字段里分析日期格式，然后放入@timestamp字段里。原创 2017-12-11 17:58:44 · 22203 阅读 · 1 评论 -
Elasticsearch设置中文分词
安装分词插件在ES安装目录下：./bin/elasticsearch-plugin install https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v5.6.1/elasticsearch-analysis-ik-5.6.1.zip重启ES添加索引和类型在Kibana Sense下http://localhos原创 2017-10-19 14:52:20 · 4640 阅读 · 0 评论 -
logstash多个mysql的input导出到多个output
input { jdbc { jdbc_driver_library => "mysql-connector-java-5.1.33-bin.jar" jdbc_driver_class => "com.mysql.jdbc.Driver" jdbc_user => "usr" jdbc_password=> "pwd" jdbc_原创 2017-10-19 11:54:15 · 6512 阅读 · 0 评论 -
Elasticsearch的安装/术语/索引/查询API/DSL
下载安装安装或升级JDK(Java SE Development Kit 8)java -versionecho $JAVA_HOME下载Elasticsearch程序压缩包并解压，以2.2.1为例：curl -L -O https://download.elastic.co/elasticsearch/release/org/elasticsearch/distribution/tar/ela原创 2017-04-11 16:58:22 · 1766 阅读 · 0 评论