- 博客(6)
- 收藏
- 关注
RSS订阅转载 简化的分布式WordCount程序
本程序功能是用MapperReducer思想对实时输入的字符串做单词统计。MapperReducer模型如下（图是自己用画图工具画的）： 介绍： Driver主要是用户调用MapperReducer机制的接口，用户将作业构建好调用MapperRed...
2018-04-08 15:09:00
267
转载 用Scala书写一个简单的单机WordCount程序
WordCount程序主要是统计单词出现次数的程序，本例中将给出一个简单的本地单机WorldCount程序。 说明：首先建立一个文本文件，在文本文件中写入若干单词，每个单词占一行，程序每读一行即读入一个单词，然后对相同的单词进行分组并统计。 设在G盘根目录下建立个words文件，里面写入：...
2018-04-03 08:22:00
229
转载 Scala分布式编程--主机（进程）间通信（一）
首先两个主机（进程）间通信需要一个配置文件，这个配置文件主要是指定IP地址和端口号的，这个文件的内容是： akka { actor { provider = "akka.remote.RemoteActorRefProvider" ...
2018-04-01 15:55:00
256
转载 Scala入门并发程序
import akka.actor.Actorimport akka.actor.ActorSystemimport akka.actor.Props//类继承Actor并重写receive函数//定义case 变量接收消息case class T(val name:String ,...
2018-03-31 21:36:00
119
转载 运行第一个Hadoop程序--WordCount
1、在本地根目录下创建两个测试文件 echo "hello world">>test1echo "hello hadoop world" >>test2 2、在HDFS上创建一个input文件夹，用于存放要测试的文件 hadoop fs -mkdir /inpu...
2018-03-22 19:33:00
180
转载 hadoop2.6.0完全分布式搭建
整体步骤 1.配置hosts文件 2.建立Hadoop运行账号（可选） 3.配置SSH免密码登录 4.安装JDK8，下载并解压Hadoop安装包 5.配置环境变量，修改Java环境和Hadoop环境，配置Hadoop-env.sh文件，声明JDK路径 6.配置slaves文件 7.配置Had...
2018-03-18 09:17:00
159
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人