a904364908的博客

elasticsearch版本:7.1.1#ik分词插件elasticsearch-plugin install https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v7.1.1/elasticsearch-analysis-ik-7.1.1.zip#hanlp分词插件elasticsearch-plugin install https://github.com/KennFalcon/elasticsearch-a

前言最近sparksql写入elasticsearch数据量逐渐增大,所以需要优化写入的速度.先说一下集群情况.es集群:elasticsearch-6.2.4, 机器配置:5台4C*16G阿里云机器.spark: 2.1.3.优化方向从spark参数和es索引两个方向进行优化spark参数es提供了一套完整的hadoop生态支持.可以完整的支持spark读写es.在...

elasticsearch-5.5.2安装最近在自己电脑上折腾elasticsearch,安装过程中出现许多问题,记录下来,供以后查阅参考,也希望可以帮到遇到同样问题的小伙伴本人安装的是elasticsearch-5.5.2,软件安装目录/export/servers,我采取的是集群安装,三台虚拟机,node01:192.168.25.120,node02:192.168.25.121,nod...

最近有需求,要将spark的数据写入es.在网上查找了一番,再测试过后,顺利将任务完成,记录下.直接上代码:pom文件:<dependencies> <dependency> <groupId>org.apache.spark</groupId> <artifactId&gt...

最近在进行spark数据写入es的时候,发生了报错,[FORBIDDEN/12/index read-only / allow delete (api)].在网上查了一下,有可能是因为磁盘空间不够,索引变为只读,不可以写入数据,但是能删除数据,修改参数就可以解决.PUT /twitter/_settings{ "index.blocks.read_only_allow_delete":...