- 博客(5)
- 收藏
- 关注
RSS订阅原创 运行spark程序报错：Failed to locate the winutils binary in the hadoop binary path
在我的win7 idea环境下,运行spark程序，报错： ERROR Shell: Failed to locate the winutils binary in the hadoop binary path 看报错信息，应该是在hadoop目录下找不到winutils 于是，百度了一下，发现要下载hadoop-common-2.2.0-bin 去github下载，https://github...
2019-05-23 01:19:38
264
原创 IDEA搭建Spark开发环境
建工程 Maven，选择org.scala那一项 pom文件scala版本 官网上找配置文档 添加scala依赖 和spark依赖 hadoop依赖 变量 如果看不到导入的jar包，需要pom文件重新reimport 红色波浪线报错，原因默认cdh仓库访问不到 解决：加cdh 仓库地址 https://repository.cloudera.com/artifactory/cl...
2019-05-23 00:10:44
1146
原创 Spark编译安装
Spark环境搭建 权威： http://spark.apache.org https://github.com/apache/spark 源码 下载安装包： (1)、官网 pre-build 预编译 我们的要求是Spark必须是自己编译的 选择源码 选tgz，就是tar.gz (2) github (3) git clone https://github.com/apache/sp...
2019-05-21 01:42:49
471
原创 安装IDEA
安装idea 一直下一步 我这里勾64-bit launcher 打开软件 激活可参考： https://blog.youkuaiyun.com/zhangwenwu2/article/details/54948959 License Server用的是 http://idea.toocruel.net，亲测可用 改maven 路径 没安装 scala jdk 会出现no scala...
2019-05-07 00:51:22
212
原创 安装JAVA JDK
安装JAVA JDK 1.1 安装 我安装的版本是jdk-8u162-windows-x64.exe，如下图所示，一直默认下一步 1.2 配置环境变量 看下自己安装的jdk在哪个路径 打开环境变量 新建 JAVA_HOME C:\Program Files\Java\jdk1.8.0_162 ，这里是自己安装的jdk路径 新建 ClassPath .;%JAVA_HOME...
2019-05-06 00:47:24
618
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人