
spark
wdd668
这个作者很懒,什么都没留下…
展开
-
spark spark-shell报错
相关版本:spark-1.6.0-cdh5.7.0spark-shell --master yarn --jars /home/hadoop/hive/lib/mysql-connector-java-5.1.44.jar 报错18/03/01 11:27:44 WARN util.NativeCodeLoader: Unable to load native-hadoop library for...原创 2018-03-01 13:52:22 · 1092 阅读 · 0 评论 -
spark spark-shell java.lang.NoClassDefFoundError: parquet/hadoop/ParquetOutputCommitter
spark版本:报错:Please instead use: - ./spark-submit with --driver-class-path to augment the driver classpath - spark.executor.extraClassPath to augment the executor classpath 18/03/01 11:36:50 WARN...原创 2018-03-01 14:08:02 · 2246 阅读 · 0 评论 -
spark-shell引用不了hive数据表的问题 sqlContext hiveContext
从上面两篇开始 一直进入一个错误中 关于 jack包引用的问题cdh下载文件安装的环境 centos 7.0hadoop-2.6.0-cdh5.7.0hive-1.1.0-cdh5.7.0scala-2.11.0spark-1.6.0-cdh5.7.0从hadoop伪分布试安装 mysql hive scala的安装都没问题直到spark安装 启动spark-shell --master yar...原创 2018-03-03 14:13:13 · 1774 阅读 · 0 评论