error: value createSchemaRDD is not a member of org.apache.spark.sql.SQLContext

最新推荐文章于 2024-06-15 16:07:59 发布
原创 最新推荐文章于 2024-06-15 16:07:59 发布 · 2.7k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#spark

本文档介绍了在Spark 1.3之后如何将旧的createSchemaRDD方法替换为implicits，以适应SQLContext的更新。内容涵盖了适配新的API和可能遇到的问题解决方案。 
<console>:23: error: value createSchemaRDD is not a member of org.apache.spark.sql.SQLContext

在这里插入图片描述

在spark1.3以后spark SQL取消了createSchemaRDD，改为了implicits。

import sqlContext.implicits._

在这里插入图片描述

spark错题本
epitomizelu的专栏
04-15 9353
一，Task not serializable 原因：用了mysql的jdbc，其connect需要在各个服务器上单据创建，不能集群共享一个数据连接。 下图中的driver和excutor不在同一台服务器，connection不能共享。
SparkSQLExample.scala官方范例学习
naruto00001的专栏
03-19 1851
$ bin/spark-shell --master local[4]scala&gt; spark.baseRelationToDataFrame   conf              emptyDataFrame   implicits         range        sparkContext   stop      time      catalog               ...
SparkSQL转换报错 value toDS is not a member of org.apache.spark.rdd.RDD
weixin_46376562的博客
08-06 2128
问题详情 问题原因 因为需要进行类型转换（隐式转换），样例类位置放错了。。。 解决方法 改变样例类位置（放于 main 方法之外） 总结 启用隐式转换时，需要在 main 函数中自行创建 SparkSession 对象，然后使用该对象来启用隐式转换，而非在 object 对象之前启用。 case class 类的声明需要放在 main 函数之外。 ...
大数据【Scala】【Spark SQL】error: object read is not a member of package org.apache.spark
sunshine77_的博客
03-11 5811
1. 在创建DataFrame的时候出现了一个问题 scala> val df3 = spark.read.json("/usr/local/tmp_files/people.json") <console>:17: error: not found: value spark val df3 = spark.read.json("/usr/l...
关于Spark error: value write is not a member of org.apache.spark.sql.DataFrame的分析与总结
weidianlun的博客
10-23 3973
最近自己在spark集群云顶DataFrames向HDFS集群写入文件时候的遇到了下边错误信息的问题 error: value write is not a member of org.apache.spark.sql.DataFrame 其实通过上述错误信息描述并不能第一时间来进行确定问题所在之处，通过仔细检查代码，发现并无不妥之处，参考网上了说的一些说的主要几个场景，包括隐式转换位置错误，case class定义位置错误等等，关于说引入隐式转换的位置顺序出问题这个思路时，当时也有一点点怀疑，因..
spark报错：value xxx is not a member of Any
sisiel的博客
01-08 4897
df1.rdd.filter(x=>x(1).contains("腾讯")).take(5) 遇到这个问题 此时可以先做类型转换： df1.rdd.filter(x=>x(1).toString.contains("腾讯")).take(5) 对于变量类，可以使用asInstanceOf val a: Any = "123" val b = a.asInstanceOf[String] ...
scala> // 导入必要的包 scala> import org.apache.spark.sql.SparkSession import org.apache.spark.sql.SparkSession scala> import org.elasticsearch.spark.sql._ import org.elasticsearch.spark.sql._ scala> scala> // 创建SparkSession实例 scala> val spark = SparkSession.builder() spark: org.apache.spark.sql.SparkSession.Builder = org.apache.spark.sql.SparkSession$Builder@71e5cd05 scala> .appName("ElasticsearchReadExample") res0: org.apache.spark.sql.SparkSession.Builder = org.apache.spark.sql.SparkSession$Builder@71e5cd05 scala> .getOrCreate() res1: org.apache.spark.sql.SparkSession = org.apache.spark.sql.SparkSession@61267fa2 scala> scala> // 查看spark变量的类型，确保是SparkSession scala> println(spark.getClass) class org.apache.spark.sql.SparkSession$Builder scala> scala> val defaultQuery: String = "?q=phone_no:5143217" defaultQuery: String = ?q=phone_no:5143217 scala> val esTable = "mediamatch_usermsg" esTable: String = mediamatch_usermsg scala> val options = Map( | ("es.nodes", "master"), | ("es.port", "9200"), | ("es.read.metadata", "false"), | ("es.mapping.date.rich", "false"), | ("es.net.http.auth.user", "elastic"), | ("es.net.http.auth.pass", "i55on9YR90t+r8z8-OSpi"), | ("es.nodes.wan.only", "true") | ) options: scala.collection.immutable.Map[String,String] = Map(es.nodes.wan.only -> true, es.net.http.auth.user -> elastic, es.net.http.auth.pass -> i55on9YR90t+r8z8-OSpi, es.mapping.date.rich -> false, es.port -> 9200, es.read.metadata -> false, es.nodes -> master) scala> scala> val esDf = spark.esDF(esTable, defaultQuery, options) <console>:30: error: value esDF is not a member of org.apache.spark.sql.SparkSession.Builder val esDf = spark.esDF(esTable, defaultQuery, options) ^ scala> esDf.select("phone_no", "owner_name", "owner_code", "run_name", "run_time").show() <console>:27: error: not found: value esDf esDf.select("phone_no", "owner_name", "owner_code", "run_name", "run_time").show() ^ scala> val df = spark.read.format("org.elasticsearch.spark.sql") <console>:27: error: value read is not a member of org.apache.spark.sql.SparkSession.Builder val df = spark.read.format("org.elasticsearch.spark.sql") ^ scala> .options(options) <console>:28: error: value options is not a member of scala.collection.immutable.Map[String,String] options .options(options) ^ scala> .load(s"$esTable/$defaultQuery") <console>:30: error: value load is not a member of scala.collection.immutable.Map[String,String] options .load(s"$esTable/$defaultQuery") ^ scala> scala> df.select("phone_no", "owner_name", "owner_code", "run_name", "run_time").show() <console>:27: error: not found: value df df.select("phone_no", "owner_name", "owner_code", "run_name", "run_time").show() ^ scala> import org.elasticsearch.spark.sql._ // 确保此行有效 import org.elasticsearch.spark.sql._ scala> implicit none => _root_.org.elasticsearch.spark.sql.EsSparkSQL.registerFunctions(spark.sqlContext) <console>:1: error: expected start of definition implicit none => _root_.org.elasticsearch.spark.sql.EsSparkSQL.registerFunctions(spark.sqlContext) ^ scala>
最新发布
03-26
`value esDF is not a member of org.apache.spark.sql.SparkSession.Builder`** 错误信息表明`esDF`并不是`SparkSession.Builder`的一部分。这通常是因为： - 您对尚未完成构建的`SparkSession.Builder`对象调用了...
在IDEA中调试运行Spark SQL
美伊小公主的超级奶爸的专栏
08-04 7567
昨晚想通过调试的方式阅读一下Spark SQL的源码， 用spark-sql命令行需要跨进程调试，太麻烦，于是尝试了一下在IDEA中运行和调试. 结果不出所料，虽然最终可以在IDEA中成功运行了，不过中间还是遇到了不少问题，在这篇文章中总结一下. 应用程序比较简单: case class Person(name: String, value: String) object SparkS
spark sql 2.3 源码解读 - whole stage codegen (8)
Just a Benginner
08-18 4168
whole stage codegen 是spark 2.0 以后引入的新特性，所以在最后单独把这一块拿出来讲一下。 相关背景可以看spark官方的jira：https://issues.apache.org/jira/browse/SPARK-12795a whole stage codegen对性能有很大的提升。 如下图所示，将一课树翻译成了一段代码执行，性能肯定会大幅提升。 co...
Spark SQL入门：创建SparkSession时import spark.implicits._ 报错： error: value implicits is not a member of...
大强博客
02-02 3792
Spark SQL入门：创建SparkSession时import spark.implicits._ 报错： error: value implicits is not a member of... 如下所示： scala> import org.apache.spark.sql.SparkSession import org.apache.spark.sql.SparkSessio...
踩坑记录之spark：value toDF is not a member of org.apache.spark.rdd.RDD
imyLove7的博客
06-17 5646
用 sbt 打包 scala 程序时，遇到如下错误： [error] /home/hadoop/sparkapp/src/main/scala/RecommendApp.scala:25:144: value toDF is not a member of org.apache.spark.rdd.RDD[Movie] [error] val moviesDF = moviesRDD.map(x...
spark编译出错：Error:(57, 131) value toDF is not a member of org.apache.spark.rdd.RDD[Person]
weixin_43638075的博客
09-18 1250
import org.apache.spark.{SparkConf, SparkContext} import org.apache.spark.sql.SparkSession object SparkDataSet { def main(args: Array[String]): Unit = { val conf = new SparkConf().setMaster("...
error: object kafka is not a member of package org.apache.spark.streaming
zkyxgs518的博客
11-21 4162
该错误的原因是在 kafka-0-10 版本后 接口发生了变化 官方修改为：kafka010，就是说在原来的基础上需要在kafka后面添加010即可例如： 参考的官方文档链接是：http://spark.apache.org/docs/latest/streaming-kafka-0-10-integration.html ...
【Spark Streaming】（五）Spark Streaming 与 Kafka 集成实战！
云祁QI
04-06 1764
文章目录一、前言二、KafkaUtils.createDstream三、KafkaUtils.createDirectStream 一、前言 首先，我们先来简单的了解下 Kafka：是一种高吞吐量的分布式发布订阅消息系统。依赖Zookeeper，因此搭建Kafka的时候需要事先搭建好Zookeeper。对 Kafka 还不太了解的同学，可以看云祁 Kafka 专栏的博客，一定会有收获的嗷 ???? ！...
Kafka+ Spark Streaming 创建stream编译报错
meiyoujiaru的博客
12-19 3305
今天按照spark官网的例子进行stream的运用代码是很简单 但是遇到了两个编译问题让我甚是难受啊 官网给的api为 mvn注入jar包 groupId = org.apache.spark artifactId = spark-streaming-kafka-0-10_2.11 version = 2.2.0代码部分 import org.apache.kafka.clie
[ERROR] value createStream is not a member of object org.apache.spark.streaming.kafka010.KafkaUtils
weixin_45998042的博客
06-15 314
这通常是因为你使用的 Spark Streaming Kafka 连接器版本与你期望的版本不一致。在 Spark Streaming Kafka 0.10+ 集成中，需要使用。方法已被弃用，并在 Spark 3.x 中被完全移除。实际上不是一个需要直接引用的对象。遇到的错误是因为在代码中使用了。在 Spark 2.x 中，
图解spark sql解析过程
一群专业码农的笔记本
10-29 2943
前言 本文主要是通过轻松漫画方式将 复杂的spark sql转为RDD原理 呈现给大家. 版本 spark 2.3.2 准备 mysql表 CREATE TABLE employee ( id BIGINT UNSIGNED NOT NULL PRIMARY KEY AUTO_INCREMENT, name VARCHAR(15) NOT NULL, age INT NOT NULL ) ; ...
查数据println(res171.map(_.toBuffer).toBuffer)
大JAVA解决方案
04-22 1091
scala&gt; scala&gt; val rdd2 = sc.textFile("hdfs://centosnode1:9000/person.json")scala&gt; rdd2.collectres159: Array[String] = Array(1201 satish8 21, 1202 tom 21, 1203 xiaoming 22, 1204 satish1 21, 12...
解决value toDF is not a member of org.apache.spark.rdd.RDD[People]
热门推荐
就问你吃不吃药
10-19 1万+
编译如下代码时val rdd : RDD[People]= sparkSession.sparkContext.textFile(hdfsFile,2).map(line => line.split(",")).map(arr => People(arr(0),arr(1).trim.toInt)) rdd.toDF出现错误:value toDF is not a member of org.apa
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

zhangvalue

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值