Canal同步Elasticsearch坐标不符合规范报错解决方案

最新推荐文章于 2023-05-30 18:52:30 发布

苹果维修

最新推荐文章于 2023-05-30 18:52:30 发布

阅读量1.6k

点赞数 1

分类专栏： elasticsearch 文章标签： elasticsearch

本文链接：https://blog.youkuaiyun.com/qq_38277228/article/details/111355609

版权

在使用Canal将MySQL数据同步到Elasticsearch时遇到坐标格式不合法的问题，导致解析失败。解决方案包括检查并修正坐标数据，以及在Elasticsearch中设置全局的`index.mapping.ignore_malformed`选项来忽略格式错误。但即使如此，Canal仍可能报错。最终的解决办法是在Canal的同步语句中进行特殊处理，并更新Elasticsearch的索引Mapping以确保正确处理异常坐标。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

使用Canal同步mysql数据到Elasticsearch时，坐标不符合规范报错：

failed to parse field [location] of type [geo_point]]]; nested: ElasticsearchException[Elasticsearch exception [type=illegal_argument_exception, reason=illegal latitude value

原因：
使用Canal同步数据含有坐标时，需要确保坐标存在、格式正确。
Canal同步mysql经纬度字段数据至es的geo_point类型数据，同步语句先处理一下。

解决：

1、官方解决方案：

concat(IFNULL(ws.lat,0),',',IFNULL(ws.lng,0)) as location

实际上这样依然报错，因为数据库部分坐标数据格式不正确，语句需要修改，还需要ES忽略错误的格式。

2、忽略不正确的格式：
使用 index.mapping.ignore_malformed 全局忽略异常

"index.mapping.ignore_malformed": true   // 允许在所有映射类型中全局忽略格式错误的内容

但是即使ignore_malformed已配置，canal依然报错。

3、最终解决方案：
Canal同步语句设为：

concat(IF(ws.lat,ROUND(ws.lat,6),&#

最低0.47元/天解锁文章