spark读sqlserver出现的异常

SunnyRivers

于 2024-01-08 14:58:50 发布

阅读量1.2k

点赞数 18

CC 4.0 BY-SA版权

分类专栏：分析别人的Bug让自己“零”Bug 文章标签： spark sqlserver ssl 版本不匹配

本文链接：https://blog.youkuaiyun.com/Android_xue/article/details/135456744

分析别人的Bug让自己“零”Bug 专栏收录该内容

15 篇文章 ¥9.90 ¥99.00

订阅专栏

超级会员免费看

本文记录了在使用Spark通过JDBC读取SQL Server数据时遇到的版本不匹配和SSL认证失败的问题。首先，由于Java版本过低导致连接异常，解决方法包括升级JDK或降低SQL Server版本，但选择降低SQL Server版本更为常见。接着，出现SSL认证问题，通过在JDBC连接字符串中添加“trustServerCertificate=true”参数来信任服务器证书。成功解决后，分享了相关代码和参考资料。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

前言

Spark通过JDBC读取数据之前很早写过一篇博客，本以为所有通过jdbc读取的方式都一样，谁知道这次读sqlserver的时候竟然出现的很多异常，这里把异常的问题进行记录。

测试代码

import org.apache.spark.sql.Dataset;
import org.apache.spark.sql.Row;
import org.apache.spark.sql.SparkSession;


public class Test {
    public static void main(String[] args) {
        SparkSession spark = SparkSession.builder().appName("test").master("local").getOrCreate();
        String url = "jdbc:sqlserver://;serverName=10.xx.xx.xx;databaseName=db";
        String driver = "com.microsoft.sqlserver.jdbc.SQLServerDriver";
        String user = "user";