- 博客(3)
- 收藏
- 关注
RSS订阅转载 Spark DataFrame的函数|基本操作|集成查询记录——Spark学习日记
DataFrame的函数Action 操作1.collect() ,返回值是一个数组，返回dataframe集合所有的行2.collectAsList() 返回值是一个Java类型的数组，返回dataframe集合所有的行3.count() 返回一个number类型的，返回dataframe集合的行数4.describe(cols: String*) 返回一个通过数学计算的类表值(cou...
2019-01-08 17:26:08
608
原创 Spark DataFrame——Spark学习日记
运行toDF()时报错通过样本类实例化的对象生成DataFrame时（例：val stuDF=stu.toDF）报错错误原因：突然离线，易造成没能来得及删除自动创建的metastore_db文件夹(/home/hadoopadmin/spark-2.3.1-bin-hadoop2.7/bin),这时再次用spark-shell命令进入，则会产生如下报错。解决办法：将metastore_db...
2019-01-08 17:15:43
199
原创 spark-env.sh配置——Spark学习日记
大数据Spark 不显示Worker问题 配置好spark后，输入jps只有Master，没有Worker修改spark-env.sh文件找到spark-env.sh位置/home/hadoopadmin/spark-2.3.1-bin-hadoop2.7/conf ls如果有 template 结尾的文件，都重命名为去掉 template 文件编辑spark-env.sh文...
2018-12-10 17:09:39
15573
4
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人