Oracle Number 自动转Decimal问题修正

当使用Apache Spark加载Oracle表中的Number字段时,数据会被错误地转换为decimal类型。解决这个问题的方法是创建一个自定义的JdbcOracleDialect类,在`canHandle`方法中检查URL,而在`getCatalystType`方法中,针对Types.NUMERIC和typeName等于'NUMBER'的情况,返回DataTypes.LongType。完成类定义后,在SparkSession初始化后注册该方言。

spark加载Oracle表的Number字段,直接写入关系表会被转成decimal双精度类型

 

解决方式:

1.构建Jdbc会话

public class JdbcOracleDialect extends JdbcDialect {

    @Override

    public boolean canHandle(String url) {

        return url.startsWith("jdbc:oracle");

    }

    @Override

    public Option<DataType> getCatalystType(int sqlType, String typeName, int size, MetadataBuilder md) {

        if (sqlType == Types.NUMERIC && typeName.equals("NUMBER")){

            return Option.apply(DataTypes.LongType);

        }

        return Option.empty();

    }

}

然后注册在SparkSession声明后进行注册

JdbcDialects.registerDialect(new JdbcOracleDialect());

评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值