报 error: not found: value sqlContext  import sqlContext.implicits._ 和  import sqlContext.sql 错误的解决方案

最新推荐文章于 2019-12-25 22:10:13 发布
最新推荐文章于 2019-12-25 22:10:13 发布
阅读量3.8k 收藏 1
点赞数 1
CC 4.0 BY-SA版权
分类专栏： hadoop 文章标签： spark spark-shell
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/py_tamir/article/details/88200084
本文介绍了解决在Spark中遇到SQLContext未找到错误的方法，包括切换到root用户、启动MySQL服务及在Spark shell中正确加载MySQL连接器。同时提供了在遇到运行失败时的备选代码。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

问题：

<console>:16: error: not found: value sqlContext
         import sqlContext.implicits._
                ^
<console>:16: error: not found: value sqlContext
         import sqlContext.sql

方案：

1. 切换root用户 

su  root

2.开启mysql 服务 

service mysqld start

3. 在spark目录下运行该命令

bin/spark-shell --master spark://192.168.2.181:7077 --executor-memory 4g  --total-executor-cores 4 --driver-class-path /home/hadoop/apache-hive-1.2.1-bin/lib/mysql-connector-java-5.1.35-bin.jar 

注意添加mysql-connector-java相关jar

 

上述运行若不成功的，则使用该代码：

hive --service metastore > matastore.log 2>&1 & 

error: not found: value sqlContext import sqlContext.implicits.error: not found: value sq
fairyss的博客
03-06 1480
今天在cmd中执行命令spark-shell启动apache spark的时候报错 308 <console>:16: error: not found: value sqlContext 309 import sqlContext.implicits._ 310 ^ 311 <console>:16: error: not fou...
error: not found: value sqlContext/import sqlContext.implicits._/error: not found: value sqlContext ...
weixin_30716141的博客
05-24 309
1、今天启动启动spark的spark-shell命令的时候报下面的错误，百度了很多，也没解决问题，最后想着是不是没有启动hadoop集群的问题 ，可是之前启动spark-shell命令是不用启动hadoop集群也是可以启动起来的。今天突然报错了。 1 [hadoop@slaver1 spark-1.5.1-bin-hadoop2.4]$ bin/spark-shell \ 2 ...
在Spark-Shell下启用SQL报错：error: not found: value sqlContext解决方案
骑驴撵大奔v的博客
11-29 4080
运行spark-shell时候正常启动，启动sqlContext时候报错，找不到sqlContext 但是在运行sqlContext时候报错error: not found: value sqlContext 换一种启动sqlContext方式，scala&amp;gt; spark.sql(“select * from t_person”).show() 成功 ...
Windows 平台运行spark-shell 报"java.lang.NullPointerException, not found: value sqlContext" error 解决办法
一路彷徨的专栏
01-01 1万+
错误背景描述在spark 官网下载 spark的安装版：spark-1.6.3-bin-hadoop2.6.tgz，然后解压，配好环境变量，在window下CMD下运行spark-shell,启动spark失败（本地模式）。然后搜索了一下，发现中文基本找不到什么参考资料，不过在stackoverflow上找到了解决办法，遂记录下，供国内的同学参考下 错误信息ava.lang.NullPointer
<console>:23: error: not found: value sqlContext
05-31
这个错误通常是由于没有正确创建`sqlContext`对象导致的。您可以尝试使用以下代码创建`sqlContext`对象： ```python from pyspark.sql import SparkSession # 创建SparkSession spark = SparkSession.builder....
scala> // 导入必要的包 scala> import org.apache.spark.sql.SparkSession import org.apache.spark.sql.SparkSession scala> import org.elasticsearch.spark.sql._ import org.elasticsearch.spark.sql._ scala> scala> // 创建SparkSession实例 scala> val spark = SparkSession.builder() spark: org.apache.spark.sql.SparkSession.Builder = org.apache.spark.sql.SparkSession$Builder@71e5cd05 scala> .appName("ElasticsearchReadExample") res0: org.apache.spark.sql.SparkSession.Builder = org.apache.spark.sql.SparkSession$Builder@71e5cd05 scala> .getOrCreate() res1: org.apache.spark.sql.SparkSession = org.apache.spark.sql.SparkSession@61267fa2 scala> scala> // 查看spark变量的类型，确保是SparkSession scala> println(spark.getClass) class org.apache.spark.sql.SparkSession$Builder scala> scala> val defaultQuery: String = "?q=phone_no:5143217" defaultQuery: String = ?q=phone_no:5143217 scala> val esTable = "mediamatch_usermsg" esTable: String = mediamatch_usermsg scala> val options = Map( | ("es.nodes", "master"), | ("es.port", "9200"), | ("es.read.metadata", "false"), | ("es.mapping.date.rich", "false"), | ("es.net.http.auth.user", "elastic"), | ("es.net.http.auth.pass", "i55on9YR90t+r8z8-OSpi"), | ("es.nodes.wan.only", "true") | ) options: scala.collection.immutable.Map[String,String] = Map(es.nodes.wan.only -> true, es.net.http.auth.user -> elastic, es.net.http.auth.pass -> i55on9YR90t+r8z8-OSpi, es.mapping.date.rich -> false, es.port -> 9200, es.read.metadata -> false, es.nodes -> master) scala> scala> val esDf = spark.esDF(esTable, defaultQuery, options) <console>:30: error: value esDF is not a member of org.apache.spark.sql.SparkSession.Builder val esDf = spark.esDF(esTable, defaultQuery, options) ^ scala> esDf.select("phone_no", "owner_name", "owner_code", "run_name", "run_time").show() <console>:27: error: not found: value esDf esDf.select("phone_no", "owner_name", "owner_code", "run_name", "run_time").show() ^ scala> val df = spark.read.format("org.elasticsearch.spark.sql") <console>:27: error: value read is not a member of org.apache.spark.sql.SparkSession.Builder val df = spark.read.format("org.elasticsearch.spark.sql") ^ scala> .options(options) <console>:28: error: value options is not a member of scala.collection.immutable.Map[String,String] options .options(options) ^ scala> .load(s"$esTable/$defaultQuery") <console>:30: error: value load is not a member of scala.collection.immutable.Map[String,String] options .load(s"$esTable/$defaultQuery") ^ scala> scala> df.select("phone_no", "owner_name", "owner_code", "run_name", "run_time").show() <console>:27: error: not found: value df df.select("phone_no", "owner_name", "owner_code", "run_name", "run_time").show() ^ scala> import org.elasticsearch.spark.sql._ // 确保此行有效 import org.elasticsearch.spark.sql._ scala> implicit none => _root_.org.elasticsearch.spark.sql.EsSparkSQL.registerFunctions(spark.sqlContext) <console>:1: error: expected start of definition implicit none => _root_.org.elasticsearch.spark.sql.EsSparkSQL.registerFunctions(spark.sqlContext) ^ scala>
最新发布
03-26
`value esDF is not a member of org.apache.spark.sql.SparkSession.Builder`** 错误信息表明`esDF`并不是`SparkSession.Builder`的一部分。这通常是因为： - 您对尚未完成构建的`SparkSession.Builder`对象调用了...
spark 2.x.x <console>:27: error: not found: value sqlContext
漫画家的博客
12-25 469
val sqlContext = spark.sqlContext
error: not found: value sc
weixin_30814329的博客
10-25 5831
【问题】 解压spark的tar包后，执行bin/spark-shell，执行val lines=sc.textFile("README.md")时，抛错error: not found: value sc 【解决办法】 这是因为shell启动时没有初始化sparkContext，修改conf/spark-env.sh文件，添加如下内容： export SPARK_LOCAL...
由sqlContext.implicits._带来的一场血案
weixin_34357962的博客
10-26 1112
为什么80%的码农都做不了架构师？>>> ...
Spark SQL | SQLContext 用法
weixin_37417954的博客
07-03 2830
声明：SQLContext 已在 2.x 被废除，建议使用 SparkSession 数据准备 person.json {"name":"路飞","age":17,"deptno":1,"money":15} {"name":"索隆","age":18,"deptno":1,"money":9} {"name":"乔巴","age":5,"deptno":1,"money":5} {...
spark中SQLContext的使用
zhaoguowei的博客
03-15 4175
####SQLContext的使用 Spark1.x中Spark SQL的入口点：SQLContext 下面是摘自官网的介绍 The entry point into all functionality in Spark SQL is the SQLContext class, or one of its descendants. To create a basic SQLContext, all...
spark集成Hive报错error: not found: value sqlContext
zhangkaixuan456的博客
11-28 1229
Caused by: org.datanucleus.exceptions.NucleusException: Attempt to invoke the "BONECP" plugin to create a ConnectionPool gave an error : The specified datastore driver ("com.mysql.jdbc.Driver") was n...
动态SQL笔记
JavaDarren的博客
07-22 255
动态SQL if choose (when otherwise) where set trim foreach if 我们直接使用if，的时候，有可能会有多余and or等符号的错误，因为不符合SQL语法。 解决方式以前的可以使用 添加额外的固定条件 1=1 where 使用mybatis提供的where标签来解决 可以去除多余的前缀的and or 如果一个条件没有，它会自动去除where本...
在spark中使用Hive报错error: not found: value sqlContext
图特摩斯科技-博客
05-15 1万+
<console>:16: error: not found: value sqlContext import sqlContext.implicits._ ^ <console>:16: error: not found: value sqlContext import sqlContext.sql ^ raini@biyuzhe:~$ spark-shell --jars /home/raini/spa
启动spark-shell后出现not found错误
热门推荐
PanPan的专栏
10-09 1万+
我曾遇到了类似于这样的问题： error:not found:value sqlContext error:not found:value sc 解决方案： 1.查看ifconfig，看ip地址是否和你在/etc/hosts中的ip地址一致，如果不一致，请修改/etc/hosts中的ip地址。 2.查看spark-env.sh中配置的SPARK_MASTER_IP是否和ifconfig中
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值