spark加载Oracle表的Number字段,直接写入关系表会被转成decimal双精度类型

解决方式:
1.构建Jdbc会话
public class JdbcOracleDialect extends JdbcDialect {
@Override
public boolean canHandle(String url) {
return url.startsWith("jdbc:oracle");
}
@Override
public Option<DataType> getCatalystType(int sqlType, String typeName, int size, MetadataBuilder md) {
if (sqlType == Types.NUMERIC && typeName.equals("NUMBER")){
return Option.apply(DataTypes.LongType);
}
return Option.empty();
}
}
然后注册在SparkSession声明后进行注册
JdbcDialects.registerDialect(new JdbcOracleDialect());
当使用Apache Spark加载Oracle表中的Number字段时,数据会被错误地转换为decimal类型。解决这个问题的方法是创建一个自定义的JdbcOracleDialect类,在`canHandle`方法中检查URL,而在`getCatalystType`方法中,针对Types.NUMERIC和typeName等于'NUMBER'的情况,返回DataTypes.LongType。完成类定义后,在SparkSession初始化后注册该方言。
1638

被折叠的 条评论
为什么被折叠?



