maying6024的博客

#!/bin/bash #set java env export JAVA_HOME=/home/hadoop/apps/jdk1.7.0_80 export JRE_HOME=${JAVA_HOME}/jre export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib export PATH=${JAVA_HOME}/bin:$PATH #set ...

1介绍 设计思想是分而治之，将大文件、大批量文件，分布式存放在大量服务器上，以便于采取分而治之的方式对海量数据进行运算分析。 在大数据系统中的应用是为各类分布式运算框架提供数据存储服务。 2.特性 hdfs中的文件在物理上是分块存储(block),块的大小可以通过配置参数(dfs.blocksize)来规定，默认大小在hadoop2.x版本中是128M,老版本是64M. hdfs文件系统会...

一、准备的资料 · 64位linux系统。我使用的是 CentOS · JDK 1.7+。注：使用1.7即可，如果是1.8则会编译失败，1.6没有试过，看网上大牛的帖子说也能过 · maven-3.2.5。 这是apache的一个产品，hadoop的编译要就是3.0以上 · protobuf 注：谷歌的产品，最好是提前百度准备...

0.服务器节点规划 hdp01 nn dn nm snn rm hdp02 dn nm hdp03 dn nm 1.修改主机名 vi /etc/sysconfig/network 在NETWORKING_IPV6=no PEERNTP=no后追加一行 HOSTNAME=hdp03 reboot 之后主机名并没有修改，若是centos7以上的系统则继续使用以下命令 host...

1.介绍 HADOOP是apache旗下的一套开源软件平台 HADOOP提供的功能：利用服务器集群，根据用户的自定义业务逻辑，对海量数据进行分布式处理 HADOOP的核心组件有 ： HDFS（分布式文件系统） YARN（运算资源调度系统） MAPREDUCE（分布式运算编程框架） 2.产生背景 HADOOP最早起源于Nutch。Nutch的设计目标是构建一个大型的全网搜索引擎...