spark-sql 和 pyspark的配置

菜鸟冲锋号

于 2021-07-22 18:52:57 发布

阅读量420

点赞数

分类专栏： hadoop生态组件文章标签： spark

本文链接：https://blog.youkuaiyun.com/lxp90/article/details/119006482

版权

hadoop生态组件专栏收录该内容

13 篇文章

订阅专栏

1、

1、**执行spark-sql 报错 ：sparksql启动报错The specified datastore driver ("com.mysql.jdbc.Driver") was not found in the CLASSPATH**
解决方案：spark无法使用mysql的驱动，访问hive的元数据（mysql数据库），所以需要想办法让spark能引用已存在的访问mysql的驱动。
针对已经配置完毕的hive，一般的访问mysql的驱动放在hive的lib库之下，比如：/opt/hive/hive2.3/lib/mysql-connector-java-5.1.48.jar
第一步：将$HIVE_HOME/conf/hive-site.xml拷贝到$SPARK_HOME/conf下
第二步：配置$SPARK_HOME/conf里面的spark-defaults.conf 两个参数，使spark可以访问指定的mysql驱动
	spark.executor.extraClassPath /opt/hive/hive2.3/lib/mysql-connector-java-5.1.48.jar
	spark.driver.extraClassPath /opt/hive/hive2.3/lib/mysql-connector-java-5.1.48.jar
	当然，将mysql驱动包复制到$SPARK_HOME/lib下也是可行的。