对于ElasticSearch与Hadoop是如何互相调用的？

 

1、在HDFS中，数据是以文件形式保存的，比如JSON:

https://blog.youkuaiyun.com/napoay/article/details/68945483

 

2、python读写HDFS,一般是使用hdfs这个库

https://www.cnblogs.com/Jims2016/p/8047914.html

 

3、再加上python读写elasticsearch,这样，整个架构图最右边的办法就都有了。

 

4、最后需要关注的问题就是，每个JSON文件是如何组织的？比如是一个月一个文件？还是一年一个文件？我的经验是一个月一个业务一个JSON，这样容量可以控制，而且数量也可以控制。