关于Spark SQL外部表在实战中遇到的问题

笔者之前写过一篇关于Spark SQL外部表的比较全面的学习实验博客，参https://blog.youkuaiyun.com/u011817217/article/details/92403843 

本篇旨在描述和总结在实际工作中使用Spark SQL外部表遇到的一些问题以及相应的解决方案。

一、需求描述

外围系统通过文件接口的方式定期给一份数据文件，关于接口描述和数据文件示例如下：

1. 文件接口内容

2. 数据文件示例

1）Linux上查看

2）Windows上Notepad++查看

 

二、创建外部表并导入数据文件

1. 建表语句

create external table ci_interface_label_catelog(
  day_id              string,
  prvnce_id           string,