
Elasticsearch
技术栈之 Elasticsearch
余建新-18588497759
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
ES 查询缓存
服务端开启或禁用查询缓存。客户端开启或禁用查询缓存。原创 2023-07-11 10:56:19 · 2396 阅读 · 0 评论 -
ES 知识体系
https://www.easyice.cn/archives/367原创 2023-07-11 10:55:12 · 86 阅读 · 0 评论 -
ES trouble shotting
排查是es 2.3.0低版本的bug,LRUQueryCache 初始化后一直在占用着内存没有释放。KfES 实例不同节点,会出现隔断时间告警,需要kill后恢复。原创 2023-07-10 19:26:40 · 506 阅读 · 0 评论 -
【数据同步】读出 MySQL 数据,直接写入 ES
代码:#!/bin/env pythonimport MySQLdb,MySQLdb.cursorsimport datetimefrom elasticsearch import Elasticsearchfrom elasticsearch import helpersimport sys# start_time = datetime.datetime.strptime('2021-01-01', '%Y-%m-%d')# stop_time = datetime.datetime.原创 2022-03-11 10:02:35 · 3677 阅读 · 0 评论 -
ES esrally 部署
esrally原创 2022-06-14 16:13:03 · 317 阅读 · 1 评论 -
ES 容器化
ES 容器化原创 2022-06-07 18:29:32 · 470 阅读 · 0 评论 -
ES源码 研究 记录
1 源码环境-Des.path.home=/Users/jianxinyu/work/tencent/workspace/java/other/es/731/elasticsearch-7.3.1 -Des.path.conf=/Users/jianxinyu/work/tencent/workspace/java/other/es/731/elasticsearch-7.3...原创 2019-09-20 16:58:37 · 414 阅读 · 0 评论 -
ES 架构
1. ES内核的架构2. 不同包的功能bootstrap:启动入口action:action模块负责分布式读、写Client:请求的抽象模块,分开管理请求client、节点请求client等Cluster:集群管理模块,包括集群元数据、集群更新等Discovery:服务发现模块,包括master选举、服务探测、服务发现等Gateway:网关模块,用于数据恢复Http:htt...原创 2019-09-17 16:42:59 · 2475 阅读 · 0 评论 -
ES 源码,线程池
public class org.elasticsearch.threadpool.ThreadPool implements Scheduler, Closeable { public static class Names { public static final String SAME = "same"; public static final S...原创 2019-09-24 20:31:07 · 514 阅读 · 0 评论 -
ES keyworld与doc_values
原创 2019-01-07 13:10:59 · 1127 阅读 · 0 评论 -
ES复杂类型测试
## object类型curl -XPUT http://ES_IP:ES_PORT/test_json_type?pretty -H 'Content-Type: application/json' -d '{ "mappings" : { "type" : { "_all" : { "enabled" : true }, ...原创 2018-04-11 18:27:47 · 562 阅读 · 0 评论 -
【1】深入ES
一、概念同步索引分片(shard)段(segement)什么是段?curl ES_IP:ES_PORT/INDEX_NAME/_segment1、ES数据写入流程大体是下面这三个点让es比原生的lucene吞吐量下降了不少:1、为了数据完整性 ES额外添加了WAL(tanslog)2、为了能够并发修改 添加了版本机制3、对外提供服务的node节点存在瓶颈https://www.jianshu.co...原创 2017-12-30 19:46:44 · 699 阅读 · 0 评论 -
ES使用,ElasticSearch sql
#1# 明细查询curl -XGET http://ES_IP:ES_PORT/_sql?sql=select * from INDEX_NAME limit 10curl -XGET http://ES_IP:ES_PORT/_sql/_explain?sql=select * from INDEX_NAME limit 10#2# 聚合查询curl -XGET http://ES_IP:ES_...原创 2018-01-27 12:00:09 · 2718 阅读 · 0 评论 -
ELK logstash
# 1 grok { match => { "message" => "^\[%{TIMESTAMP_ISO8601:asctime}\] %{LOGLEVEL:levelname} %{URIPATH:pathname} %{NUMBER:lineno} %{WORD:funcName} %{NUMBER:process} %{NUMBER:thr...原创 2018-01-07 22:10:16 · 2032 阅读 · 3 评论 -
ES 源码
入口类org.elasticsearch.bootstrap.ElasticSearch1、启动过程2、recovery过程3、数据一致性怎么保证4、数据写存查过程参考urlelasticsearch源码分析之java客户端http://www.opscoder.info/es_javaclient.htmlhttp://www.op...原创 2017-08-27 21:21:13 · 702 阅读 · 0 评论 -
ES 记录
ES记录 转自 祝威廉ES ES优化11121问题记录这些属性在ES5.x中被移除了 discovery.zen.ping.multicast.enabled: false index.number_of_shards: 20 index.number_of_replicas: 1报错日志***************************************************原创 2017-06-13 10:40:56 · 3636 阅读 · 0 评论 -
Solr-1-介绍
一、总览Lucene、Solr介绍Solr单机安装Solr Cloud分布式安装Lucene CRUDSolrJ CRUD二、Lucene、Solr介绍1、Solr 是什么?Solr是一个开源的企业级搜索服务器,底层使用易于扩展和修改的Java来实现。服务器通信使用标准的HTTP和XML,所以如果使用Solr了解Java 技术会有用却不是必须的要求。Solr原创 2015-06-16 17:46:30 · 597 阅读 · 0 评论 -
Solr-2-单机安装
一、环境说明1.1、硬件环境1.2、软件环境solr-4.7.0apache-tomcat-7.0.571.3、其他工作节点 bigdata0工作路径 /opt/solr-tomcat/solr二、正式安装2.1、Tomcat方式1、安装tomcat2、cp solr-4.3.1/dist/solr-4.7.0.war $TOMCAT_H原创 2015-06-16 17:58:21 · 736 阅读 · 0 评论 -
IK Analyzer 2012FF_hf1使用
其他1、Lucene版本lucene-4.0.02、可以通过修改IKAnalyzer.cfg.xml,配置自己的扩展字典和配置自己的扩展停止词字典 IK Analyzer 扩展配置 ext.dic; stopword.dic;原创 2015-08-13 20:00:11 · 2676 阅读 · 0 评论 -
ElasticSearch--AdMaster使用案例
原创 2016-02-21 15:45:28 · 1098 阅读 · 0 评论 -
ES命令
curl 'host:port/_cluster/stats?pretty' "plugins" : [ { "name" : "sql", "version" : "2.3.0.0", "description" : "Query elasticsearch using SQL", "url" : "/_plugin/sql/原创 2016-11-11 16:50:41 · 735 阅读 · 0 评论 -
ElasticSearch数据操作
插入数据原创 2016-10-31 23:06:57 · 481 阅读 · 0 评论 -
ES版本
ES版本1.7.51.7.62.3.22.3.32.3.42.3.52.4.02.4.12.4.22.4.3v5.0.0-alpha15.1.1原创 2017-01-03 16:05:36 · 441 阅读 · 0 评论 -
ELK运维
logstash-1.4.2往ES 2.4.1写数据,ES后台报异常原创 2017-01-03 21:11:29 · 666 阅读 · 0 评论 -
ES运维总结
ES 5.0.2读取ES 1.4.0创建的索引,报错:原创 2016-12-27 20:29:59 · 2345 阅读 · 0 评论 -
ES 5.0.2报错记录
*************************************************************************************Found index level settings on node level configuration.Since elasticsearch 5.x index level settings can NOT原创 2016-12-28 13:16:03 · 7138 阅读 · 4 评论 -
日志处理架构
FilebeatKafkaElasticSearch文件搜集--队列--ESFilebeatKafkaElasticSearch文件搜集--队列--ES原创 2016-12-29 20:33:42 · 839 阅读 · 0 评论 -
ElasticSearch总结
ElasticSearch mapping原创 2017-01-13 12:30:19 · 893 阅读 · 0 评论 -
ES Java api
searchRequestBuilder.addSort("publish_time", SortOrder.DESC);按照某个字段排序的话,hit.getScore()将会失效参考https://www.elastic.co/guide/en/elasticsearch/client/java-api/2.4/java-docs-bulk-processor.html原创 2017-01-19 10:39:45 · 868 阅读 · 0 评论 -
ELK
beatskibana部署http://blog.youkuaiyun.com/mydeman/article/details/54743893vi /data/mapleleaf/kibana/config/kibana.yml server.basePath: “/kibana-datalog”访问: http://domainName/kibana-datalog/app/kibana原创 2017-04-07 11:29:35 · 660 阅读 · 0 评论 -
ES Python 操作
1 2ORSELECT * FROM indexName WHERE host_ip=”ip1” OR host_ip=”ip2” ORDER BY host_ip LIMIT 0, 3curl ip:8080/indexName/_search?pretty -d ‘query_dsl’{"query": { "bool": { "should": [原创 2017-04-07 12:19:32 · 1250 阅读 · 0 评论 -
ES 其他公司使用参考
1Elastic Meetup_pk.pdf2转载 2017-05-30 01:53:49 · 515 阅读 · 0 评论 -
Solr-3-Solr Cloud分布式安装
Solr-3-Solr Cloud分布式安装原创 2015-06-16 17:59:18 · 534 阅读 · 0 评论