在Spark-Shell下启用SQL报错：error: not found: value sqlContext解决方案

最新推荐文章于 2021-01-28 14:42:39 发布
原创 最新推荐文章于 2021-01-28 14:42:39 发布 · 5.3k 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#error: not found: value sqlCon

本文介绍了在Spark Shell环境中启动SQL时遇到的错误“error:notfound:valuesqlContex”。该问题在Spark 2.X.X及更高版本中出现，解决方法为使用spark.sqlContext.sql()形式替代原先的命令。

在Spark-Shell下启用SQL报错：error: not found: value sqlContex


解决方案：在Spark2.X.X后，想要在Spark-shell中运行这个命令，你需要使用spark.sqlContext.sql()的形式。


Spark SQL 报错总结
weixin_33798152的博客
05-21 2369
报错一: 背景 启动spark-shell后查询hive中的表信息，报错 $SPARK_HOME/bin/spark-shell spark.sql("select * from student.student ").show() 日志 Caused by: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hi...
Windows 平台运行spark-shell 报"java.lang.NullPointerException, not found: value sqlContext" error 解决办法
一路彷徨的专栏
01-01 1万+
错误背景描述在spark 官网下载 spark的安装版：spark-1.6.3-bin-hadoop2.6.tgz，然后解压，配好环境变量，在window下CMD下运行spark-shell,启动spark失败（本地模式）。然后搜索了一下，发现中文基本找不到什么参考资料，不过在stackoverflow上找到了解决办法，遂记录下，供国内的同学参考下 错误信息ava.lang.NullPointer
error: not found: value sqlContext/import sqlContext.implicits._/error: not found: value sqlContext ...
HiterCoder
05-24 1563
error: not found: value sqlContext/import sqlContext.implicits._/error: not found: value sqlContext /import sqlContext.sql/Caused by: java.net.ConnectException: Connection refused ...
使用Linux的shell命令实现SparkSql操作数据库
weixin_43365615的博客
01-28 2195
1、在linux环境下，切换到spark下的sbin目录中，输入 ./start-all.sh 启动spark集群。同时，切换到spark的bin目录下，通过 ./spark-shell 切换到scala下。 2、输入以下指令，导入SparkSession对象 import org.apache.spark.sql.SparkSession 3、输入以下指令，使支持rdds转换为dataframes及后续的sql操作 import spark.implicits._ 4、创建sparksession
在虚拟机spark中输入<console>:22: error: not found: value textfile出现<console>:22: error: not found: value textfile有什么解决办法吗
最新发布
03-20
</think>### Spark报错'not found: value textfile'解决方案 #### 1. 检查方法名大小写 Spark API严格区分大小写，正确方法为`textFile`而非`textfile`。例如： ```scala // 错误写法 val lines = sc.textfile(...
spark-shell中运行val dforder_items = sqlContext.applySchema(roworder_items, schema)出现not found: value sqlContext
11-08
在Spark Shell中，`sqlContext`通常是用来创建`SparkSession`的，这个`sqlContext`是在早期版本的Spark中常见的做法，但在Spark 2.0及以上版本中，推荐使用`spark.sql()`函数来替代。如果你遇到`not found: value ...
Spark-Sql整合hive，在spark-sql命令和spark-shell命令下执行sql命令和整合调用hive
qq_44884269的博客
04-18 1122
Spark-Sql整合hive，在spark-sql命令和spark-shell命令下执行sql命令和整合调用hive
<console>:23: error: not found: value sqlContext
05-31
这个错误通常是由于没有正确创建`sqlContext`对象导致的。您可以尝试使用以下代码创建`sqlContext...在这个代码中，我们通过`spark.sqlContext`创建了`sqlContext`对象。然后，我们使用`sqlContext`对象来执行SQL查询。
在Shell 中 Spark-SQL 的调试
雨果等夏天的博客
09-11 1689
对于熟悉Scala开发的人来说，对于spark-sql的使用，直接jar包中写入代码处理就能轻松实现动态语句的执行。 但是对于我，不打算学习Scala和Java语言，但是又想定时执行时间推延的周期、定时任务，该肿么办？ 一 Spark-SQL 是什么 1: Spark-SQL参见参数 \ -d ：–define <key=value> 定义键值对 ：–database 定义使...
spark-shell与spark-sql的访问hive
H_hanwen的博客
11-22 2642
1.spark-shell的使用： 安装完spark之后，将spark/bin的路径配置到本地文件，即可不需要进入spark/bin目录下启动任务 1）直接打开，运行以下命令会发现无法访问hive表的数据： spark-shell --master local[2] spark.sql("show tables").show() 2）将hive/conf目录下的hive-site....
spark
weixin_30478757的博客
06-21 379
spark sql基础操作 SQLContext可能需要自己创建。 var sqlContext=new org.apache.spark.sql SQLContext(sc) sc 是指spark context。 scala> val textFile=sc.textFile("file:///usr/local/spark/README.md")textFile: o...
spark 2.x.x <console>:27: error: not found: value sqlContext
漫画家的博客
12-25 485
val sqlContext = spark.sqlContext
报 error: not found: value sqlContext  import sqlContext.implicits._ 和  import sqlContext.sql 错误的解决方案
py_tamir的博客
03-05 3828
问题： &lt;console&gt;:16: error: not found: value sqlContext import sqlContext.implicits._ ^ &lt;console&gt;:16: error: not found: value sqlContext import sqlContext.s...
spark-session 1
weixin_51021105的博客
09-28 484
1、 SparkConf和SparkContext 启动spark-shell 每个Spark应用程序都需要一个Spark环境，这是Spark RDD API的主要入口点。Spark shell提供了一个名为“sc”的预配置Spark环境和一个名为“spark”的预配置Spark会话。 使用spark-shell启动交互式命令的过程如下： 进入spark的安装目录，转到bin目录下，启动命令spark-shell，出现如下图所示的给出上spark和scala的版本号即启动成功。 使用Spark Shell
启动spark-shell后出现not found错误
热门推荐
PanPan的专栏
10-09 1万+
我曾遇到了类似于这样的问题： error:not found:value sqlContext error:not found:value sc 解决方案： 1.查看ifconfig，看ip地址是否和你在/etc/hosts中的ip地址一致，如果不一致，请修改/etc/hosts中的ip地址。 2.查看spark-env.sh中配置的SPARK_MASTER_IP是否和ifconfig中
spark安装测试过程中提示<console>:10: error: not found: value sc
清风不识字12138的博客
10-23 9171
终于要安装心心念念的spark了，安装过程参考的《深入理解spark-核心思想与源码分析》一书，但是在测试spark是否安装成功时，老是提示这样的错误： 在网上查资料，说是在spark配置过程中出现了问题。网上给出的解决方法是把/conf路径下的spark-env.sh文件中配置的IP地址改一下，由原来的127.0.0.1改为10.10.10.204 .但是我改了之后依然不行。 最后终于被
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值