lzq123_1的专栏

觉先  博客园 :: 首页 :: 博问 :: 闪存 :: 新随笔 :: 联系 :: 订阅  :: 管理 ::  69 随笔 :: 49 文章 :: 623 评论 :: 0 引用2014年11月>

首先配置好，secondarynamenode如果也想让这个单独的计算机，也作为datanode呢，用一下方法，就可以了，把原来的secondarynamenode的节点加入到，从节点的文件里面就可以了。[work@master conf]$ cat slavesnode1node2node3[work@master conf]$ cat secondarynameno

操作系统centos6.3(64位) 一个namenode 两个datanodeHadoop版本：hadoop-1.1.2Eclipse版本：eclipse-standard-kepler-SR2-linux-gtk-x86_64.tar.zip（Eclipse SDK For Linux 4.4 RC 2(64 Bit )）JDK：版本[work@

Hadoop集群（第9期）_MapReduce初级案例1、数据去重　　 "数据去重"主要是为了掌握和利用并行化思想来对数据进行有意义的筛选。统计大数据集上的数据种类个数、从网站日志中计算访问地等这些看似庞杂的任务都会涉及数据去重。下面就进入这个实例的MapReduce程序设计。1.1 实例描述　　对数据文件中的数据进行去重。数据文件中的每行都是一个数据。

hadoop1.1.2，很多公司也在使用hadoop0.2x版本，因此市面上的hadoop资料版本不一，为了让大家能够更好的学习hadoop，本节讲述hadoop0.2x版本重要api的不同。一. 自定义Mapper类的不同在新api中，是继承类org.apache.hadoop.mapreduce.Mapper。在旧api中，是继承类org.apache.hadoop.m

蓝色部分为文件的内容，橙色部分为新加的启动项目[root@master bin]# cat /etc/rc.d/rc.local#!/bin/sh## This script will be executed *after* all the other init scripts.# You can put your own initialization stuff in her

hadoop1.1.2分布式安装Hadoop简介Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统（HDFS，Hadoop Distributed Filesystem）和MapReduce（Google MapReduce的开源实现）为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。 

写MR过程中经常会遇到多个源路径的输入，我们可以在MR程序主函数中通过FileInputFormat.addInputPaths(job,args[0])方法来实现，args[0]可以是folder1或者folder1，folder2只要以逗号分隔就可以了。这样在执行MR的时候，输入会将多个源路径全部多为map输入进行执行。另外一种实现单输入的方法（只支持一

24小时制：new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");2014-11-20 16:13:4112小时制：new SimpleDateFormat("yyyy-MM-dd hh:mm:ss");2014-11-20 04:13:41

Hadoop -- MapReduce过程    昨天我们对MapReduce作了大概了解，知道它如何进行数据处理。今天我们走进MapReduce，分析MapReduce源代码，看看它到底是如何实现的，我们会根据数据流动的顺序来进行分析 :-)1.读取数据（InputFormat）读取数据由InputFormat类完成。InputFormat类的功能

错误信息：Exception in thread "main" java.lang.NumberFormatException: For input string: "6.50685140537736"at sun.misc.FloatingDecimal.readJavaFormatString(Unknown Source)at java.lang.Double.parseDou

环境：Linux系统centOS6.3(64bit)hadoop1.1.2Linux下Eclipse版本最大值算法代码：package yunSave;import java.io.IOException;  import org.apache.hadoop.conf.Configuration;  import org.apache.hadoop.

Hadoop端口说明：默认端口                            设置位置                                    描述信息8020        namenode RPC交互端口8021        JT RPC交互端口50030       mapred.job.tracker.http.address    

当时，hadoop已经安装成功，但是secondarynamenode没有启动后来经过研究，原来是配置的目录有问题首先修改一下shell文件文件路径：/home/work/hadoop/bin原来：master  现在：secondarynamenode [work@master bin]$ cat start-dfs.sh#!/usr/bin/env bash