背景:官网后台(MySQL)需要从CRM系统(Oracle)抽一张表,然后我使用ETL工具kettle来抽取数据。
问题:200W左右的数据抽到150W左右的时候突然抛出了一个错误,你说气不气:
【------2019-12-11更新一下问题:
最近几天项目需要,导数中又遇到这个问题,解决办法看另一篇 👇
】
经查询,这个问题应该是这个字段中的数据编码不统一导致的,但是我按着别的方法都试了也没解决问题,删除数据的时候把官网都搞卡了。最后把wyn_address这个字段删掉就成功了。(这个字段里面的数据比较乱:文字数字各种不规范)
最后的最后,从Oracle中把包含报错字段wyn_address的所有数据拷到本地,结果一次成功,
本地测试结果: