白飞飞_Alan

Hadoop业界正在迅速发展，从业企业拿出的解决方案也多种多样，其中包括提供技术支持、在托管集群中提供按时租用服务、为这套开源核心开发先进的功能强化或者将自有工具添加到方案组合当中。在今天的文章中，我们将一同了解当下Hadoop生态系统当中那些最为突出的杰作。总体而言，这是一套由众多工具及代码构成的坚实基础、共同聚集在"Hadoop"这面象征着希望的大旗之下。Hadoop

案例1：新增节点，新节点没有任何数据，但是旧节点已经存储了很多数据，那么，怎么把旧节点的数据移动到新节点呢？数据块重分布sbin/start-balancer.sh -threshold percentage of disk capacityHDFS达到平衡状态的磁盘使用率偏差值值越低各节点越平衡，但消耗时间也更长这是一个进程，启动之后他就会在后台不停的扫描，从而进行负

建库：hive> CREATE DATABASE IF NOT EXISTS mydb;建表：Hive默认分隔符：\n                              记录间的分割符，默认一行一条记录^A (“control” A)        列分隔符，通常写成“\001”^B                              ARRAY或

=====================================================一、将数据从关系型数据库导入Hadoop中=====================================================1、Sqoop import使用sqoop import \--connect jdbc:mysql://mysql.ex

=====================================================主要配置一下几个配置文件=====================================================1.core-site.xml      fs.default.name    hdfs://YARN001:8020 

书籍各种书~各种ppt~更新中~ http://pan.baidu.com/s/1EaLnZ机器学习经典书籍小结 http://www.cnblogs.com/snake-hand/archive/2013/06/10/3131145.html机器学习&深度学习经典资料汇总 http://www.thebigdata.cn/JiShuBoKe/13299.htm

===============================================================学习大数据，一步一个脚印  1 2 3 走起来！！！===============================================================一、Hadoop入门，了解什么是Hadoop1、Hadoop产生背景

一、准备一台机器（我的是centos 6.7 64位）-----------------------------------------------------------------------------------------------------------主机名和ip地址映射：[hadoop@hadoop ~]$ cat /etc/hosts127.0.0.1

http://blog.javachen.com/2014/06/24/tuning-in-mapreduce/本文主要记录Hadoop 2.x版本中MapReduce参数调优，不涉及Yarn的调优。Hadoop的默认配置文件（以cdh5.0.1为例）：core-default.xmlhdfs-default.xmlmapred-default.xml说明：在had

配置文件具体内容：1、hadoop-env.sh# Copyright 2011 The Apache Software Foundation# # Licensed to the Apache Software Foundation (ASF) under one# or more contributor license agreements.  See the NOTICE

脚本:例1：#!/bin/bashHADOOP_HOME=/home/alan/hadoop/hadoop-0.20.2-cdh3u6${HADOOP_HOME}/bin/hadoop jar\   ${HADOOP_HOME}/contrib/streaming/hadoop-streaming-0.20.2-cdh3u6.jar\  -files wc_

1、配置ip并修改主机名sudo vi /etc/hostname2、主机名解析sudo vi /etc/hostsscp hosts hadoop@datanode1:/etcscp hosts hadoop@datanode2:/etcscp hosts hadoop@datanode3:/etc3、关闭防火墙sudo ufw disable4、免密

# hadoop前言# Hadoop试验集群的部署结构# 系统和组建的依赖关系 # 生产环境的部署结构# Day1 搭建伪分布实验环境# 准备软件# vmare 9.0.2# 操作系统 CentOS 6.4# jdk-6u45-linux-i586.bin# hadoop-1.1.2.tar.gz# 开始搭建环境一 （基础环境）# 在虚拟

Sqoop 是 apache 下用于 RDBMS 和 HDFS 互相导数据的工具。本文以 mysql 数据库为例，实现关系数据库导入到 hdfs 和 hive。1. 安装 Sqoop使用 rpm 安装即可。yum install sqoop sqoop-metastore -y安装完之后需要下载 mysql jar 包到 sqoop 的 lib 目录。这里使用 h

一、修改主机名：vi /etc/sysconfig/networkNETWORKING=yesNETWORKING_IPV6=yesHOSTNAME=hadoop二、修改主机名解析配置文件：vi /etc/hosts# Do not remove the following line, or various programs# that require network

新加datanode的安装步骤:1、ssh无密码配置和上面详细步骤一样，在新datanode上的/root 上建一个/.ssh的目录，把namenode的authorized_keys复制到新datanode的/.ssh目录上。在namenode上ssh验证一下是否需要密码。2修改机器名，和上面详细步骤一样。记得重启一下。3建/usr/program这个目录，把jdk的安装文件放进去，

1、单节点环境搭建步骤：http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html2、集群环境搭建步骤：http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/ClusterSe

步骤1：将安装包hadoop-2.2.0.tar.gz存放到某一目录下，并解压；步骤2：修改解压后的目录中的文件夹etc/hadoop下的xml配置文件（如果文件不存在，则自己创建），包括hadoop-env.sh、mapred-site.xml、core-site.xml、hdfs-site.xml和yarn-site.xml；步骤3：格式化并启动HDFS；步骤4：启动YARN。

一、前期准备四台机子，配置如下：[root@datanode1 usr]# cat /etc/hosts# Do not remove the following line, or various programs# that require network functionality will fail.127.0.0.1               localhost.loca

1、运行在YARN上的MapReduce应用程序2、运行在YARN上的Storm应用程序3、YARN应用程序基本构成①客户端 ：主要作用是提供一系列访问接口供用户与YARN交互，包括提交Application、查询Application运行状态，修改Application属性（比如优先级）等。②ApplicationMaster： 向ResourceMana

配置文件内容：1、hadoop-env.sh# Copyright 2011 The Apache Software Foundation# # Licensed to the Apache Software Foundation (ASF) under one# or more contributor license agreements.  See the NOTICE f