spark读取esField ‘xx‘ not found； typically this occurs with arrays which are not mappedas single value

西安人走哪都要吃泡馍

于 2020-11-04 19:20:32 发布

阅读量689

点赞数

CC 4.0 BY-SA版权

分类专栏： spark 文章标签： spark elasticsearch 大数据

本文链接：https://blog.youkuaiyun.com/data_curd/article/details/109497002

10 篇文章

订阅专栏

解决Spark读取Elasticsearch中带有Array类型字段时出现的错误，通过配置文件指定将特定数组字段作为单值处理。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

spark读取es数据时，数据中含有array类型，发出报错：

Field 'collect_list(comm).time' not found; typically this occurs with arrays which are not mapped as single value

则增加配置文件即可：

conf.set("es.read.field.as.array.include","数组名字")

在这里插入图片描述