Hadoop
文章平均质量分 83
wendll
day day up
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Hadoop 2.2.0的安装配置
根据网上的文章搭建了Hadoop 2.2.0的环境,具体内容如下,备用后续自己做参考。环境介绍:我使用的是两台笔记本,都使用VMware安装了Fedora 10的系统。虚拟机1: IP 192.168.1.105 hostname: cloud001 用户:root虚拟机2: IP 192.168.1.106 hostname: cloud002 用户: root 准原创 2014-02-17 21:57:18 · 652 阅读 · 0 评论 -
Hadoop 2.2.0下Pig安装及Pig的基础使用
准备工作:1、正常运行的Hadoop2.2.0环境;2、自行编译好适用于Hadoop2.2.0环境的的Pig 0.12.0版本。 1)NameNode的机器上安装apache-ant,将ant的可执行文件路径放入环境变量PATH中; 2)确定NameNode能够连接网络,我使用的是虚拟机桥接的方式,可以连接互联网; 3)下载Pig 0.12.0的src文件,t原创 2014-03-23 10:23:27 · 1015 阅读 · 0 评论 -
R语言初学指南(笔记)
R语言的下载地址(Windows版本):http://ftp.ctex.org/mirrors/CRAN/R语言的安装,需要额外安装mikTex,Rtools,htmlhelp:R:D:\Program Files\R\R-3.0.3mikTex:D:\Program Files\MiKTeX 2.7Rtools:d:\Rtoolshtmlhelp:D:\Program Fil原创 2014-03-31 10:35:26 · 2981 阅读 · 1 评论 -
编写简单的Hadoop程序(自连接)
准备工作:如一个列为child,一个列为parent,需要找出grandchile, grandParent如数据Lucy TomLucy JoneTom HeimiTom QiQiJone CandyJone GodLucy有四个grandParent:Heimi, QiQi,Candy, God编写程序Mapper程序,Mapper中两次原创 2014-03-18 22:08:41 · 699 阅读 · 0 评论 -
编写MapReduce程序(简单的电话被呼叫分析程序)
由于Hadoop 2.2.0目前还没有好用的Eclipse插件,目前使用Eclipse上编写代码,而后放到Hadoop环境执行的形式。准备工作:1、搭建Hadoop环境,创建项目,项目的BuildPath中添加所有Hadoop中的jar包;2、构造数据集:每一行数据两个号码组成,呼叫号和被呼叫号,生成随机测试数据,将生成的文件放入hdfs中;import java.io.Buffe原创 2014-03-17 23:26:41 · 1061 阅读 · 0 评论 -
hadoop 2.2.0 执行MapReduce程序
环境:2台虚拟机搭建Hadoop环境系统Fedora 10Hadoop 2.2.0 准备工作:1、Hadoop 2.2.0 环境配置运行2、创建Hdfs的输入文件夹和输入文件:hadoop fs -copyFromLocal test1.txt /input/hadoop fs -copyFromLocal test2.txt /input/确认hdfs中没原创 2014-02-24 20:23:15 · 2006 阅读 · 1 评论 -
Hadoop 执行HelloWorld, 进一步执行对HDFS中的文件查询
准备工作:1、安装好Hadoop;2、创建HelloWorld.jar包,本文在Linux shell下创建jar包: 编写HelloWorld.java文件public class HelloWorld{ public static void main(String []args) throws Exception {原创 2014-02-20 20:59:02 · 1581 阅读 · 1 评论 -
Hadoop 2.2.0 环境 HIVE 0.11安装
准备工作:1、Hadoop 2.2.0环境运行正常;2、下载HIVE0.11版本。 操作步骤:1、解压HIVE 0.11的文件tar zxvf hive-0.11.0-bin.tar.gz -C /opt2、修改.bash_profile文件,添加:HIVE_HOME=/opt/hive-0.11.0-bin;export HIVE_HOME;expo原创 2014-03-23 15:40:50 · 572 阅读 · 0 评论
分享