浅谈Solr和ElasticSearch建索引性能优化策略

2019独角兽企业重金招聘Python工程师标准>>>

 



由于Solr和ElasticSearch都是基于Lucene构建的，所以他们之间有很大程度的相似性，故而他们的一些优化策略基本也是通用的，面对越来越多的海量数据，如何优化全量索引的写入性能呢？ 散仙简单总结了下面几个方向的优化策略，如有疑问，欢迎拍砖。 


（一）硬件优化： 
（1）CPU加大，有利于并发写入 
（2）内存提升，加大写入缓冲 
（3）磁盘IO，使用SSD或者IO读写更快的磁盘 
（4）网络IO，保证客户端与服务端的通信带宽充足 

（二）服务端框架优化： 
（1）加大shard的数目，理论上shard越多，写入速度越快 
（2）设置较大的索引flush触发条件，ramBufferSizeMB 或者 maxBufferedDocs 
（3）写索引时，关闭副本，因为同步索引会大大降低写入速度 
（4）监控GC，调整JVM参数 
如果Full GC频繁，加大JVM堆内存， 
如果Yong GC频繁，加大新生代的比例，如果使用的是CMS垃圾收集器，必要时，可以关闭survive区，避免survive区和Eden区来回拷贝 
（5）尽量使用稳定的新版本如JDK和框架本身 
（6）内存大的，可以尝试G1垃圾收集器 


（三） 客户端优化 
（1）如果公司有大数据部门，可以使用Hadoop或者Spark分布式集群构建索引 
（2）如果公司没有大数据产品，可以使用多线程或者多进程并行构建索引 
（3）使用批量提交 
（4）减少commit次数，让服务端控制flush索引，索引完成之后，可手动commit一次。 



有什么问题可以扫码关注微信公众号：我是攻城师(woshigcs)，在后台留言咨询。 
技术债不能欠，健康债更不能欠， 求道之路，我们同行。 

转载于:https://my.oschina.net/u/1027043/blog/667172