东城庞太师

基础题1、清楚描述 MapReduce 的 shuffle 过程Map方法之后，数据首先进入到分区方法，把数据标记好分区，然后把数据发送到环形缓冲区；环形缓冲区默认大小100m，环形缓冲区达到80%时，进行溢写；溢写前对数据进行排序，排序按照对key的索引进行字典顺序排序，排序的手段快排；溢写产生大量溢写文件，需要对溢写文件进行归并排序；对溢写的文件也可以进行Combiner操作，前提是汇总操作，求平均值不行。最后将文件按照分区存储到磁盘，等待Reduce端拉取。2、HBa...

您可以通过 Elasticsearch 的 RESTFul API 来创建索引：PUT http://127.0.0.1:9200/commodity注意：默认情况下，创建的索引分片数量是 5 个，副本数量是 1 个。您可以通过如下参数来指定分片数、副本数量：{ "settings": { "number_of_shards": 3, "number_of_replicas": 2 }}1.1 实战演示通过 CURL 命令来上手操作一下，我们尝试创建一个商品

原因：分词器。。。解决：

执行启动命令后，发现es启动不起来，访问不到！排查：1.进入到es的bin目录下，查看端口监听情况2.发现没有启用9200，则代表es启动失败。切换到日志logs目录下3.查看日志，执行 more myes.log原因：ES不允许超级管理员root账户启动服务。解决：创建es用户，使用es用户启动服务。...

数据查询速度对比分析（MySql + InnoDB）mysql：MyISAM索引原理：B+树查找InnoDB：InnoDB索引总结：mysql的磁盘IO次数太多ElasticSearch优化：尽量使数据先在内存中查询

1、用bulk批量写入你如果要往es里面灌入数据的话，那么根据你的业务场景来，如果你的业务场景可以支持让你将一批数据聚合起来，一次性写入es，那么就尽量采用bulk的方式，每次批量写个几百条这样子。bulk批量写入的性能比你一条一条写入大量的document的性能要好很多。但是如果要知道一个bulk请求最佳的大小，需要对单个es node的单个shard做压测。先bulk写入100个document，然后200个，400个，以此类推，每次都将bulk size加倍一次。如果bulk写入性能开始变平缓

原因：虚拟机内存太小解决：修改/etc/sysctl.conf文件，最后一行添加一行vm.max_map_count=262144