Robod的博客

最近接到一个需求，每天定时从一个外部的第三方BI系统中拉取数据到我们的系统中，使得两边系统数据保持一致。本想以接口的形式，就是对方系统提供一个查询接口，我们每天查询一次，然后落到我们的系统中。但是后来开会讨论的时候得知对方系统数据量比较多，接近百万，未来数据量还可能更大，一个接口传输不了这么多数据。所以后来讨论了一下，想了几个方案，和小伙伴们分享一下。以上就是对从外部系统同步百万数据的一些方案的介绍，希望小伙伴们看完能有一些收获！

解析的时候，拿到的是中文的字段名。但是数据表的字段名，一般都是英文的，比如name，age等，所以通过company_table_field表中配置的的field_name和field_excel_name就可以知道Excel中的字段名与数据库中字段名的对照关系，然后与对应上相应的数据库表字段。每一列又与什么对应？这样导入的时候，通过公司id查询company_table表，就可以知道将要导入的是哪张数据库表，然后再关联查询company_table_field表，就可以知道这张数据库表，有哪些字段。