
Hadoop
文章平均质量分 61
Valar_Morghulis
Open your world
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
在ubuntu上安装maven
下载maven http://maven.apache.org/download.cgi 解压 用压缩管理器打开,解压至home目录下 配置环境变量 sudo gedit /etc/profile添加 export M2_HOME=/home/weibo/apache-maven-3.0.5(视自己的情况而定) export M2=$M2_HOME/bin e原创 2014-07-22 18:12:37 · 804 阅读 · 0 评论 -
Ubuntu 的libstdc++.so.5安装
今天运行程序的时候总是有一个libstdc++5的错误,纠结了好长时间。网上百度了下终于找到了这个问题的原因和解决办法。具体的实现如下: 选择自动安装 sudo apt-get install libstdc++5 选择手动安装: .下载安装包: wget-c http://free.nchc.org.tw/ubuntu//pool/universe/g/gc原创 2014-08-02 16:29:26 · 9133 阅读 · 0 评论 -
Hadoop的Combiner
Hadoop的Combiner原创 2014-08-05 09:28:31 · 1146 阅读 · 0 评论 -
Hadoop里的Partitioner
Haooop Partitioner原创 2014-08-04 17:27:18 · 1005 阅读 · 0 评论 -
hadoop之WordCount源码分析
最近在研究hadoop,第一个想要要开始研究的必定是wordcount程序了。看了《hadoop应用开发实战讲解》结合自己的理解,对wordcount的源码进行分析。原创 2014-08-05 11:54:52 · 1077 阅读 · 0 评论 -
hadoop的wordcount的修改版
//这个是在原来的基础上修改以后得到的,将其中的分词的依据给换掉了,并且进行词频统计的时候会自动的忽略大小写 packageorg.apache.hadoop.mapred; importjava.io.IOException; importjava.util.ArrayList; importjava.util.Iterator; importjava.util.List;原创 2014-09-01 10:06:32 · 1086 阅读 · 0 评论 -
hadoop之单机模式与伪分布式模式部署
参考wenz 我的环境是ubuntu12.10+hadoop1.1.0. Hadoop的运行模式有以下三种。 单机模式(standalone) 单机模式是Hadoop的默认模式。当首次解压Hadoop的源码包时,Hadoop无法了解硬件安装环境,便保守地选择了最小配置。在这种默认模式下所有3个XML文件均为空。当配置文件为空时,Hadoop会完全运行在本地。因为不需要与转载 2014-07-26 19:33:59 · 738 阅读 · 0 评论 -
Hadoop伪分布模式配置部署
二、Hadoop伪分布式模式配置 本实验需要按照上一节单机模式部署后继续进行操作 1. 配置core-site.xml, hdfs-site.xml,mapred-site.xml及yarn-site.xml 1).修改core-site.xml: $ sudo gvim /usr/local/hadoop/etc/core-site.xml configurat原创 2014-12-23 21:07:48 · 1911 阅读 · 1 评论 -
Hadoop单机模式安装
1. 添加用户及用户组 创建用户hadoop $ sudo adduser hadoop 需要输入shiyanlou的密码:shiyanlou。并按照提示输入hadoop用户的密码。 2. 添加sudo权限 将hadoop用户添加进sudo用户组 $ sudo usermod -G sudo hadoop 四、安装及配置依赖的软件包 1. 安装openssh-server、ja原创 2014-12-23 21:02:14 · 1209 阅读 · 0 评论