- 博客(2)
- 收藏
- 关注
RSS订阅原创 SparkSQL问题汇总
实验使用环境为spark-3.0.0-preview2，教程观看的版本为spark1.6，spark2.0开始对sql进行改进，用sparksession实现hivecontext和sqlcontext统一，合并dataframe和datasets等，按照老的教程会引起问题。一. SQLContext报红，找不到依赖包。解决办法：在pom中添加依赖：<!--导入spark sql依赖--><dependency> <groupId>org.apache.sp
2020-11-13 14:27:01
688
原创 StringType报错，提示不是DataType类型
使用scala语言将RDD转化为sparkSQL时，构造StructType时StringType报错val schema = StructType( //构建函数，给每列数据一个统一的列名 Seq( StructField("phoneNum",IntegerType,true), StructField("time",IntegerType,true), StructField("id",StringType
2020-07-13 17:04:40
1264
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人