
hadoop
小兴安岭mx
取乎其下,则不知所得也。
展开
-
使用虚拟机(MobaXterm)从零开始搭建Spark1.3集群
准备工作1. Hadoop:hadoop-2.4.1.tar.gz2. Spark:下载编译好的基于对应hadoop版本的版本:spark-1.3.0-bin-hadoop2.4.tgz3.JAVA:jdk-7u80-linux-x64.tar.gz4. scala:scala-2.11.8.tgz5搭建环境在MobaXterm界面连接服务器,使用命令sudo vir...原创 2019-03-19 19:16:44 · 1285 阅读 · 0 评论 -
通过跑较大数据集测试Hadoop 2.4.1是否安装成功
1. 生成数据集testWordCount.txt生成代码如下 package problem.forthstudy.test;import java.io.File;import java.io.FileWriter;public class GenerationFile { public static void main(String[] args) throws E...原创 2019-03-18 17:44:10 · 329 阅读 · 0 评论