大数据入门
关注
分享
扫一扫
JDK+JAVA+Hadoop+Eclipse+Scala+Spark
(づど)
慢慢地
展开
-
【已解决】run as 没有Scala Application
背景：Eclipse配置了scala-IDE，但是运行右键并没有Scala Application。最后发现是博主自己小白了原创 2020-06-29 20:38:24 · 1129 阅读 · 0 评论 -
（五）win10 Eclipse配置Scala、Spark（详细步骤）
相关内容参考专栏：大数据入门【软件安装】（一）win10安装hadoop 2.8.5（详细步骤）（二）win10 Eclipse上配置Hadoop（详细步骤）（三）Hadoop简单应用 单词统计1 下载scala IDE官网下载2 解压安装得到的是一个压缩包，解压后，点击eclipse.exe即可安装3 示例3.1新建项目3.2 新建代码...原创 2020-06-29 17:49:36 · 717 阅读 · 0 评论 -
【已解决】Spark textFile报错InvalidInputException（小白踩坑记录）
目录1 问题 InvalidInputException2 背景3 解决3.1 hdfs导入 报错原因+解决3.2 本地导入 报错原因+解决3.2.1 【已解决】根目录file://到底在哪里3.2.2 hadoop看根目录3.2.3【已解决】本地目录里面不要空格1 问题 InvalidInputExceptionorg.apache.hadoop.mapred.InvalidInputException: Input path does not exi.原创 2020-06-27 01:27:20 · 4497 阅读 · 1 评论 -
（四）win10安装Scala和Spark
相关内容参考专栏：大数据入门【软件安装】（一）win10安装hadoop 2.8.5（详细步骤）（二）win10 Eclipse上配置Hadoop（详细步骤）（三）Hadoop简单应用 单词统计目录1 scala1.1 下载 1.2 .msi安装（无需配置） 1.3 .zip安装+配置 1.4 测试2 spark2.1 下载解压 2.2 配置测试1 scala1.1 下载官方下载网址或gi...原创 2020-06-26 17:02:15 · 1946 阅读 · 0 评论 -
【已解决】Hadoop报错：Name node is in safe mode.
问题C:\Users\Ashley>hadoop fs -checksum /user/root/temp/5.cppchecksum: Zero blocklocations for /user/root/temp/5.cpp. Name node is in safe mode.原因因为某些不当的操作，进入了安全模式，退出即可。解决C:\Users\Ashley...原创 2020-04-27 21:13:56 · 2125 阅读 · 0 评论 -
（三）Hadoop简单应用 单词统计
用Eclipse写的代码，配置可以参考win10 Eclipse上配置Hadoop0 上传被统计的文件可参考 博文1 编码（相关代码在文末）①新建项目：File->new->other->Map/Reduce Project（不要选成java project啦）②在src目录下新建一个package，Package下创建java类 WordCount.j...原创 2020-03-30 21:56:20 · 762 阅读 · 0 评论 -
（二）win10 Eclipse上配置Hadoop（详细步骤）
1 前期配置①JDK v1.8 ②hadoop v2.8.5 可参考：【软件安装】win10安装hadoop 2.8.5（详细步骤）③eclipse 官网下载安装很方便④hadoop-eclipse-plugin-2.8.5.jar github下载2 环境配置①把hadoop-eclipse-plugin-2.8.5.jar文件放到eclipse\plug...原创 2020-03-30 20:20:44 · 1361 阅读 · 4 评论 -
（一）win10安装hadoop 2.8.5（详细步骤）
1 JDK1.1 下载按照自己的版本去官网下载(需要注册登录) github下载1.2 安装安装按提示，唯一要注意的是：JDK的安装路径不要带空格！否则会报错“C:\Program不是内部或外部命令”。所以不能装到 Program Files 目录下。举栗子：E:\Hadoop\Java\jdk1.8.0_231嗯……顺手把jre的安装目录也...原创 2020-03-23 16:41:22 · 3540 阅读 · 2 评论