
hadoop
文章平均质量分 88
xiaocaichonga
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Ubuntu下eclipse开发hadoop应用程序环境配置
环境:Vmware 8.0 和Ubuntu11.04Ubuntu下eclipse开发hadoop应用程序环境配置第一步:下载eclipse-SDK-4.2.1-linux-gtk.tar.gzhttp://mirrors.ustc.edu.cn/eclipse/eclipse/downloads/drops4/R-4.2.1-201209141800/eclipse-SDK-4.2原创 2012-10-16 20:28:13 · 10230 阅读 · 0 评论 -
Hadoop 实战之Streaming(二)
环境:Vmware 8.0 和ubuntu11.04Hadoop 实战之Streaming(三)---通过Unix命令使用Streaming第一步: 首先在/home/tanglg1987目录下新建一个start.sh脚本文件,每次启动虚拟机都要删除/tmp目录下的全部文件,重新格式化namenode,代码如下:sudo rm -rf /tmp/*rm -rf /home/tang原创 2012-10-22 09:02:55 · 503 阅读 · 0 评论 -
Hadoop 实战之Streaming(九)
环境:Vmware 8.0 和ubuntu11.04Hadoop 实战之Streaming(八)---通过Aggregate包使用Streaming第一步: 首先在/home/tanglg1987目录下新建一个start.sh脚本文件,每次启动虚拟机都要删除/tmp目录下的全部文件,重新格式化namenode,代码如下:sudo rm -rf /tmp/*rm -rf /home/原创 2012-10-22 09:05:13 · 387 阅读 · 0 评论 -
Hadoop 实战之运行AveragingWithCombiner(二)
环境:Vmware 8.0 和ubuntu11.04Hadoop 实战之运行AveragingWithCombiner---使用计数器统计缺失值个数的MapClass第一步:首先创建一个工程命名为HadoopTest.目录结构如下图:第二步: 在/home/tanglg1987目录下新建一个start.sh脚本文件,每次启动虚拟机都要删除/tmp目录下的全部文件,重新格式化原创 2012-10-22 09:07:27 · 897 阅读 · 0 评论 -
Hadoop 实战之Streaming(四)
环境:Vmware 8.0 和ubuntu11.04Hadoop 实战之Streaming(四)---通过脚本使用Streaming第一步: 首先在/home/tanglg1987目录下新建一个start.sh脚本文件,每次启动虚拟机都要删除/tmp目录下的全部文件,重新格式化namenode,代码如下:sudo rm -rf /tmp/*rm -rf /home/tanglg19原创 2012-10-22 09:03:32 · 501 阅读 · 0 评论 -
Hadoop 实战之Streaming(八)
环境:Vmware 8.0 和ubuntu11.04Hadoop 实战之Streaming(八)---通过脚本使用Streaming第一步: 首先在/home/tanglg1987目录下新建一个start.sh脚本文件,每次启动虚拟机都要删除/tmp目录下的全部文件,重新格式化namenode,代码如下:sudo rm -rf /tmp/*rm -rf /home/tanglg19原创 2012-10-22 09:04:54 · 384 阅读 · 0 评论 -
Hadoop 实战之Streaming(十)
环境:Vmware 8.0 和ubuntu11.04Hadoop 实战之Streaming(十)---通过Aggregate包使用Streaming第一步: 首先在/home/tanglg1987目录下新建一个start.sh脚本文件,每次启动虚拟机都要删除/tmp目录下的全部文件,重新格式化namenode,代码如下:sudo rm -rf /tmp/*rm -rf /home/原创 2012-10-22 09:05:29 · 359 阅读 · 0 评论 -
Hadoop 实战之Streaming(十一)
环境:Vmware 8.0 和ubuntu11.04Hadoop 实战之Streaming(十)---通过Aggregate包使用Streaming第一步: 首先在/home/tanglg1987目录下新建一个start.sh脚本文件,每次启动虚拟机都要删除/tmp目录下的全部文件,重新格式化namenode,代码如下:sudo rm -rf /tmp/*rm -rf /home/原创 2012-10-22 09:05:45 · 402 阅读 · 0 评论 -
Hadoop 实战之Streaming(十二)
环境:Vmware 8.0 和ubuntu11.04Hadoop 实战之Streaming(十二)---通过脚本使用Streaming第一步: 首先在/home/tanglg1987目录下新建一个start.sh脚本文件,每次启动虚拟机都要删除/tmp目录下的全部文件,重新格式化namenode,代码如下:sudo rm -rf /tmp/*rm -rf /home/tanglg1原创 2012-10-22 09:06:01 · 504 阅读 · 0 评论 -
Hadoop 实战之Streaming(三)
环境:Vmware 8.0 和ubuntu11.04Hadoop 实战之Streaming(三)---通过脚本使用Streaming第一步: 首先在/home/tanglg1987目录下新建一个start.sh脚本文件,每次启动虚拟机都要删除/tmp目录下的全部文件,重新格式化namenode,代码如下:sudo rm -rf /tmp/*rm -rf /home/tanglg19原创 2012-10-22 09:03:16 · 489 阅读 · 0 评论 -
Hadoop 实战之Streaming(六)
环境:Vmware 8.0 和ubuntu11.04Hadoop 实战之Streaming(六)---通过脚本使用Streaming第一步: 首先在/home/tanglg1987目录下新建一个start.sh脚本文件,每次启动虚拟机都要删除/tmp目录下的全部文件,重新格式化namenode,代码如下:sudo rm -rf /tmp/*rm -rf /home/tanglg19原创 2012-10-22 09:04:19 · 496 阅读 · 0 评论 -
Hadoop 实战之Streaming(一)
环境:Vmware 8.0 和ubuntu11.04Hadoop 实战之Streaming(一)---通过Unix命令使用Streaming第一步: 首先在/home/tanglg1987目录下新建一个start.sh脚本文件,每次启动虚拟机都要删除/tmp目录下的全部文件,重新格式化namenode,代码如下:sudo rm -rf /tmp/*rm -rf /home/原创 2012-10-22 09:02:32 · 755 阅读 · 0 评论 -
Hadoop 实战之Streaming(五)
环境:Vmware 8.0 和ubuntu11.04Hadoop 实战之Streaming(五)---通过脚本使用Streaming第一步: 首先在/home/tanglg1987目录下新建一个start.sh脚本文件,每次启动虚拟机都要删除/tmp目录下的全部文件,重新格式化namenode,代码如下:sudo rm -rf /tmp/*rm -rf /home/tanglg19原创 2012-10-22 09:04:03 · 396 阅读 · 0 评论 -
Hadoop 实战之运行PutMerge
环境:Vmware 8.0 和Ubuntu11.04Hadoop 实战之运行PutMerge----把本地一组文件合并后复制到HDFS文件第一步:首先创建一个工程命名为HadoopTest.目录结构如下图:第二步: 在/home/tanglg1987目录下新建一个start.sh脚本文件,每次启动虚拟机都要删除/tmp目录下的全部文件,重新格式化namenode,代码如下:su原创 2012-10-16 21:42:28 · 10543 阅读 · 0 评论 -
Hadoop 实战之运行AveragingWithCombiner
环境:Vmware 8.0 和ubuntu11.04Hadoop 实战之运行AveragingWithCombiner---使用combiner提升性能第一步:首先创建一个工程命名为HadoopTest.目录结构如下图:第二步: 在/home/tanglg1987目录下新建一个start.sh脚本文件,每次启动虚拟机都要删除/tmp目录下的全部文件,重新格式化namenod原创 2012-10-16 21:14:25 · 9494 阅读 · 0 评论 -
Hadoop 实战之使用RegexMapper
环境:Vmware 8.0 和Ubuntu11.04Hadoop 实战之RegexMapper第一步:首先创建一个工程命名为HadoopTest.目录结构如下图:第二步: 在/home/tanglg1987目录下新建一个start.sh脚本文件,每次启动虚拟机都要删除/tmp目录下的全部文件,重新格式化namenode,代码如下:sudo rm -r原创 2012-10-19 10:12:07 · 3939 阅读 · 0 评论 -
Hadoop 实战之分析专利引用数据集(一)
环境:Vmware 8.0 和Ubuntu11.04Hadoop 实战之分析专利引用数据集(一)---计算专利引用数据并排序第一步:首先创建一个工程命名为HadoopTest.目录结构如下图:第二步: 在/home/tanglg1987目录下新建一个start.sh脚本文件,每次启动虚拟机都要删除/tmp目录下的全部文件,重新格式化namenode,代码如下:sudo原创 2012-10-18 14:08:08 · 6927 阅读 · 0 评论 -
Hadoop 实战之分析专利引用数据集(三)
环境:Vmware 8.0 和Ubuntu11.04Hadoop 实战之分析专利引用数据集(三)---从专利引用数据集中计算专利被引用的次数第一步:首先创建一个工程命名为HadoopTest.目录结构如下图:第二步: 在/home/tanglg1987目录下新建一个start.sh脚本文件,每次启动虚拟机都要删除/tmp目录下的全部文件,重新格式化namenode,代码如下:原创 2012-10-19 10:13:31 · 4585 阅读 · 0 评论 -
Hadoop 实战之分析专利引用数据集(二)
环境:Vmware 8.0 和Ubuntu11.04Hadoop 实战之分析专利引用数据集(二)---计算专利引用数据并排序第一步:首先创建一个工程命名为HadoopTest.目录结构如下图:第二步: 在/home/tanglg1987目录下新建一个start.sh脚本文件,每次启动虚拟机都要删除/tmp目录下的全部文件,重新格式化namenode,代码如下:sudo原创 2012-10-19 10:13:12 · 5784 阅读 · 0 评论 -
Hadoop 实战之单词计数wordcount
环境:Vmware 8.0 和Ubuntu11.04Hadoop 实战之单词计数wordcount第一步:首先创建一个工程命名为HadoopTest.目录结构如下图:第二步: 在/home/tanglg1987目录下新建一个start.sh脚本文件,每次启动虚拟机都要删除/tmp目录下的全部文件,重新格式化namenode,代码如下:sudo rm -rf /tmp/*原创 2012-10-15 22:13:56 · 9490 阅读 · 1 评论 -
Hadoop 实战之运行CitationHistogram
环境:Vmware 8.0 和Ubuntu11.04Hadoop 实战之运行CitationHistogram---计算不同引用次数专利的数目第一步:首先创建一个工程命名为HadoopTest.目录结构如下图:第二步: 在/home/tanglg1987目录下新建一个start.sh脚本文件,每次启动虚拟机都要删除/tmp目录下的全部文件,重新格式化namenode,代码如下:原创 2012-10-19 10:13:50 · 3932 阅读 · 0 评论 -
Hadoop 实战之运行DataJoin
环境:Vmware 8.0 和Ubuntu11.04Hadoop 实战之运行DataJoin第一步:首先创建一个工程命名为HadoopTest.目录结构如下图:第二步: 在/home/tanglg1987目录下新建一个start.sh脚本文件,每次启动虚拟机都要删除/tmp目录下的全部文件,重新格式化namenode,代码如下: sudo rm -rf /tmp/*原创 2012-10-16 22:03:55 · 10302 阅读 · 0 评论 -
Ubuntu下搭建Hadoop开发环境
环境:Vmware 8.0 和ubuntu11.04Ubuntu下搭建Hadoop开发环境第一步:首先安装jdk和hadoop1.1 下载jdk1.7注意:一定要下linux 下32位的jdk1.7,不要下64位的jdk1.7http://download.oracle.com/otn-pub/java/jdk/7u7-b10/jdk-7u7-linux-i586.tar.原创 2012-10-15 23:20:39 · 9347 阅读 · 1 评论 -
Hadoop 实战之MapReduce链接作业之预处理
环境:Vmware 8.0 和Ubuntu11.04Hadoop 实战之MapReduce链接作业之预处理第一步:首先创建一个工程命名为HadoopTest.目录结构如下图:第二步: 在/home/tanglg1987目录下新建一个start.sh脚本文件,每次启动虚拟机都要删除/tmp目录下的全部文件,重新格式化namenode,代码如下:sudo原创 2012-10-18 14:10:14 · 5638 阅读 · 0 评论 -
Hadoop 实战之Streaming(七)
环境:Vmware 8.0 和ubuntu11.04Hadoop 实战之Streaming(七)---通过脚本使用Streaming第一步: 首先在/home/tanglg1987目录下新建一个start.sh脚本文件,每次启动虚拟机都要删除/tmp目录下的全部文件,重新格式化namenode,代码如下:sudo rm -rf /tmp/*rm -rf /home/tanglg19原创 2012-10-22 09:04:37 · 378 阅读 · 0 评论