Spark-处理GPS数据------记录

原始文件转CSV

1、DMP文件导入Oracle数据库

搭建好Oracle、Oracle客户端、PL/SQL，通过PL/SQL导入原始的DMP文件。

可能出现的问题：PL/SQL》Pool中没有出现对应的选项。

解决方法：先安装Office（注意Office 64位还是32位）,再在PL/SQL中添加对应的驱动，然后导入数据，数据很大，需要耐心等待。

2、Oracle数据库中导出CSV文件

导出时选择CSV文件格式，注意选择空间较大的分区，避免文件较大，导致空间不足。文件较大，导出需要耐心等待。

数据去重和数据时间转换代码：

import java.text.SimpleDateFormat
import java.util.Date
import java.lang.Long
import org.apache.spark.sql.Row


import org.apache.spark.sql.SparkSession
/**
  * Created by ro