spark 读取elasticsearch中数据不完整问题

最新推荐文章于 2023-02-03 22:20:45 发布

疯狂的程序猿88888

最新推荐文章于 2023-02-03 22:20:45 发布

阅读量2.7k

点赞数

分类专栏： spark 机器学习文章标签： spark elasticsearch

在使用Spark通过Elasticsearch API读取logstash索引的数据时，发现读取到的结果存在数据不完整的问题。尝试了直接使用sc.esRDD("logstash")和sc.esRDD("logstash/count")，发现在某些情况下后者能解决数据缺失的状况。这可能涉及到Elasticsearch的索引设置或者Spark的读取配置。进一步的调查和调整是必要的，以确保完整且正确地获取所有数据。

使用spark读取elasticsearch中的数据，使用es提供的api来进行，

sc.esRDD("logstash").values

官方网站也是这种方式读取数据的，但是我测试的时候有时候会出现读取数据不完整的情况，比如本来读取的数据是这样的

Map(msg -> 2016-03-18 15:24:14 System_ID=ruijie sp_malware:Client_IP=172.40.1.100 Server_IP=61.4.184.50 URL=app.weather.com.cn/dataService/appManage file_name=web scanner2,virus_name=CIH3 Action=block_log Method=POST, srcip -> 172.40.1.100

但是我读取的数据却是这样的

Map(@version -> 1, @timestamp -> Wed Jun 28 14:36:03 CST 2017)
Map(@version -> 1, @timestamp -> Wed Jun 28 14:36:04 CST 2017)
Map(@version -> 1, @timestamp -> Wed Jun 28 14:36:04 CST 2017)
Map(@version -> 1, @timestamp -> Wed Jun 28 14:36:04 CST 2017)
Map(@version -> 1, @timestamp -> Wed Jun 28 14:36:04 CST 2017)
Map(@version -> 1, @timestamp -> Wed Jun 28 14:36:05 CST 2017)
Map(@version -> 1, @timestamp -> Wed Jun 28 14:36:05 CST 2017)
Map(@version