Cocktail_py的博客

一.安装并创建core1.1安装cd /usr/local/wget http://mirrors.hust.edu.cn/apache/lucene/solr/7.7.3/solr-7.7.3.tgztar -zxvf solr-7.7.3.tgz# 启动cd /usr/local/solr-7.7.3/bin./solr start -force1.2安装创建core#### 环境添加corecd /usr/local/solr-7.7.3/server# 添加自己的solr

安装elasticsearch 6.0.01.下载和配置相应的elasticsearch文件# 进入到 cd /opt 下wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.0.0.zipunzip elasticsearch-6.0.0.zipcd elasticsearch-6.0.0/...

一.查看elasticsearch对应log4j版本cd /opt/elasticsearch-7.8.1/libll二.修复vim config/jvm.options-Dlog4j2.formatMsgNoLookups=true昨日爆出的 Log4j 安全漏洞，业界一片哗然，今天给大家介绍一下，如何使用极限网关来快速处置 Elasticsearch 的 Apache Log4j 漏洞。【CVE 地址】https://github.com/advisories/GHSA-jfh8-

构建Shingles模版并指定相应字段使用该属性PUT /my_index{ "settings" : { "index" : { "analysis": { "filter": { "my_shingle_filter": { "type": "shingle", "min_shingle_size": 2,

1. Check the cluster allocation explain APIGET /_cluster/allocation/explain2.根据错误提示执行相应命令POST /_cluster/reroute?retry_failed=true3.查看原先“红色”状态的索引分片情况GET /_cat/shards?index=index_name参考：Health check on my ES cluster shows 99.7%记一次ElasticSearch重启之后

公司规定每次往es重中写入数据的时候都需要自动生成三个时间:create_time(创建时间),update_time(更新时间 默认等于创建时间),delete_time(删除时间默认为0)一.es默认为utc时间es默认是按UTC时间计算存储,国内的时区是+8(东八区)，所以比UTC时间快8小时二.script脚本自动生成时间以及默认值1.定义管道(Pipeline)# 通过管道修改默认utc时间为东八区时间,并将默认值赋值给 create_time,update_time,delete.

elasticsearch，查询时会打印大量无用的日志logging.getLogger("elasticsearch").setLevel(logging.WARNING)参考:https://www.jianshu.com/p/05610c9c897e

在使用elasticsearch7.x的过程中,发现elasticsearch默认的副本数和分片数都为1,随着数据量不断增多，一个分片导致写入索引的效率越来越低，之后决定对业务层和数仓的索引进行重建# -*- coding: utf-8 -*-# @Time : 2019/9/21 13:48# @Author : Cocktail_pyimport loggingimport tracebackimport requestsfrom elasticsearch import .

根据公司需求利用es做hbase二级索引,编写相应的python sdk1.目录结构2.安装相关依赖pip install setuptools==41.0.1 -i http://pypi.douban.com/simple --trusted-host pypi.douban.com3.编写setup.py文件from setuptools import setup, find_packagessetup( name="hbase-thrift-py-sdk", .

平时在工作中,发现定义的字段类型不对,然后需要新建索引,将旧的数据导到新的索引上,往往会出现超时现象 {"statusCode":502,"error":"Bad Gateway","message":"Client request timeout"}解决方法wait_for_completion=falsePOST /_reindex?slices=9&refresh&wait_for_completion=false{ "source": { "i.

在之前的<<ElasticSearch 7.4集群部署 启用x-pack验证 Kibana7.4用户管理>>,新建一个没有superuser权限的用户之后,发现该用户没有写入索引的权限功能一.分析异常elasticsearch.exceptions.AuthorizationException: AuthorizationException(403, ‘security_exception’, ‘action [indices:admin/create] is unauthori

一.es7.4集群搭建1.1下载es以及修改相应配置1.1.1节点规划内网ip节点192.168.18.126node-1192.168.18.125node-2192.168.18.133node-31.1.2下载cd /optwget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.4.2-linux-x86_64.tar.gztar -zxvf elasti

Elasticsearch有两种分页方式，一种是通过from和size条件来实现，另一种是利用scroll来实现# -*- coding: utf-8 -*-# @Time : 2019/10/21 8:59# @Author :from elasticsearch import Elasticsearches = Elasticsearch(hosts="ip:9200...

我这里安装的是6.0.0版本https://blog.youkuaiyun.com/Cocktail_py/article/details/90451207pip install elasticsearch==6.0.0# 导包import jsonfrom elasticsearch import Elasticsearch创建Indexes = Elasticsearch(hosts=...

本文基于<<python操作ElasticSearch–文档增删改查>>进行创作1.query string search# 搜索全部商品GET /ecommerce/product/_searchimport jsonimport requestsresponse = requests.get("http://ip:9200/ecommerce/product...

本文基于<<python操作ElasticSearch–文档增删改查>>进行创作第一个分析需求：计算每个tag下的商品数量"""# Fielddata is disabled on text fields by default. Set fielddata=true on [tags] in order to load fielddata in memory by u...

1、Elasticsearch对复杂分布式机制的透明隐藏特性Elasticsearch是一套分布式的系统，分布式是为了应对大数据量隐藏了复杂的分布式机制分片机制（将一些document插入到es集群中去了，没有考虑过数据怎么进行分片的，数据到哪个shard中去）cluster discovery（集群发现机制）shard负载均衡（举例，假设现在有3个节点，总共有25个shard要分配到3...

ElasticSearch基于_version进行乐观锁来并发控制,version可分为ElasticSearch内部维护的version和外部自己维护的external version1. ElasticSearch内部的_version第一次创建一个document的时候，它的_version内部版本号就是1；以后，每次对这个document执行修改或者删除操作，都会对这个_versi...

基于普通api进行partial update# 创建一条数据PUT /test_index/test_type/10{ "test_field1": "test1", "test_field2": "test2"}POST /test_index/test_type/10/_update{ "doc": { "test_field2": "updated tes...

mget是很重要的，一般来说，在进行查询的时候，如果一次性要查询多条数据的话，那么一定要用batch批量操作的api,尽可能减少网络开销次数，可以将性能提升数倍，甚至数十倍1.mget批量查询GET /_mget{ "docs" : [ { "_index" : "test_index", "_type" : "test_type"...

bulk有哪些类型的操作可以执行呢?# 1.bulk的语法是怎样的呢?每一个操作要两个json串，语法如下：{"action": {"metadata"}}{"data"}# 2.bulk的操作有以下几种（1）delete：删除一个文档，只要1个json串就可以了（2）create：PUT /index/type/id/_create，强制创建（3）index：普通的put操作，可...

如何一次性搜索多个index和多个type下的数据# /index1,index2/_search 同时搜索两个index下的数据es.search(index="test_index,test_index2")# /*1,*2/_search 按照通配符去匹配多个索引es.search(index="*1,*2")# /index1/type1,type2/_search 可以...

创建索引 忽略大小写PUT /ecommerce{ "settings": { "analysis": { "normalizer": { "my_normalizer": { "type": "custom", "char_filter": [], "filter": ["lowercase"...

centos7安装elasticsearch伪集群####### 主从节点首先需要安装java环境1.下载elasticsearch-7.0.1安装包# 进入到/opt目录下wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.0.1-linux-z# 解压tar -zxvf elastic...