day_ue的博客

如果业务场景支持将一批数据聚合起来，一次性写入Elasticsarch，那么尽量采用bulk的方式，bulk批量写入的速度远高于一条一条写入大量document的速度。并不是bulk size越大越好，而是根据写入数据量具体来定的，因为越大的bulk size会导致内存压力过大，因此最好一个请求不要发送超过10MB的数据量，以5-10MB为最佳值。

Spark读取Es空字符串问题问题描述：order_tp在Es中存储为空字符串，读取到Spark中会出现各种意想不到的问题。ES中存储格式{ "_index": "dwd_monitor_yuepengfei_test", "_type": "doc", "_id": "15", "_score": 1, "_source": { "chnl_cd": "10", "order_tp": "" }}

设计type的初衷之前es将index、type类比于关系型数据库（例如mysql）中database、table，这么考虑的目的是“方便管理数据之间的关系”。移除type的原因在关系型数据库中table是独立的（独立存储），但es中同一个index中不同type是存储在同一个索引中的（lucene的索引文件），因此不同type中相同名字的字段的定义（mapping）必须一致。不同类型的“记录”存储在同一个index中，会影响lucene的压缩性能。基于index的统计，一个type下的文档分数

1. Lucene写操作存在的问题Lucene提供了：增加，更新和删除操作。但是存在如下问题没有并发设计lucene只是一个搜索引擎库，并没有涉及到分布式相关的设计，因此要想使用Lucene来处理海量数据，并利用分布式的能力，就必须在其之上进行分布式的相关设计。非实时将文件写入lucence后并不能立即被检索，需要等待lucene生成一个完整的segment才能被检索数据存储不可靠写入lucene的数据不会立即被持久化到磁盘，如果服务器宕机，那存储在内存中的数据将会丢失

简述默认情况下，ES集群节点都是混合节点，即在elasticsearch.yml中默认node.master: true和node.data: true。当ES集群规模达到一定程度以后，就需要注意对集群节点进行角色划分。ES集群节点可以划分为三种：主节点、数据节点和客户端节点。这是一种分而治之的思想，也是一种术业专攻的体现。三类节点说明master - 主节点：elasticsearch.yml :node.master: truenode.data: false主要功能

lucene相关知识总结，帮助理解ES