spark导入csv文件，其中string数据类型为'NULL'字符串，解决方案！

最新推荐文章于 2023-05-15 10:46:59 发布

meavoChen

最新推荐文章于 2023-05-15 10:46:59 发布

阅读量1.3k

点赞数

文章标签：大数据 csv spark

本文链接：https://blog.youkuaiyun.com/looo000ngname/article/details/105752662

版权

创建导入数据的外部表

create EXTERNAL table cyf_ce(
  attr1 STRING ,
  attr2 STRING ,
  attr3 STRING ,
  attr4 STRING ,
  attr5 STRING ,
  channel_account STRING ,
  channel_type STRING ,
  device STRING ,
  employee STRING ,
  inbound INT ,
  field_location STRING ,
  referrer STRING ,
  referrer_name STRING ,
  tag STRING ,
  target_id STRING ,
  target_name STRING ,
  campaign STRING ,
  campaign_name STRING ,
  content_name STRING ,
  source STRING ,
  summary STRING ,
  internal_content_id STRING ,
  last_forwarder STRING ,
  score INT ,
  last_updated BIGINT ,
  ref_score INT ,
  page_id STRING ,
  event_group STRING ,
  batch_id STRING ,
  from_collector INT ,
  app_name STRING ,
  app_version STRING ,
  quantity1 BIGINT ,
  quantity2 BIGINT ,
  amount1 DOUBLE ,
  amount2 DOUBLE ,
  identity_value STRING ,
  identity_type STRING ,
  identity_value2 STRING ,
  identity_type2 STRING ,
  identity_value3 STRING ,
  identity_type3 STRING ,
  is_first_try INT ,
  is_first_engage INT ,
  duration INT ,
  utma STRING ,
  utm STRING ,
  quantity3 BIGINT ,
  date1 BIGINT ,
  date2 BIGINT