努力就是魅力

Hadoop架构的特性1.官网：http://hadoop.apache.org2.Apache  孵化器项目  升级到顶级的项目3.特性 可靠性： 数据存储的可靠性，机器宕机的情况出现后，考虑数据是否会丢失 HDFS策略，多个副本，一般是3个，存在不同节点上 用户自定义副本数量 数据的安全性（以硬盘空间的消耗作为代价） HDFS存储文件的方式：以block为单位，块的大小在2版本中是1...

HDFS HA高可用性1.active namenode 对外提供服务,standby namenode 时刻待机准备2.保证两个namenode的元数据相同3.共同读取日志文件4.一写写多份,再读取5.JournalNode 日志节点,专门管理日志文件 JN是轻量级的,可以和其他守护线程放在一起6.DataNode需要实时想standby 提供信息7.在任何时候都保证只有一个namenode提供...

zk的简单环境配置单节点配置 1.下载zk的tar包,解压到moduels文件夹下 2.修改zk目录下conf/下的zoo_sample.cfg文件,文件名改为zoo.cfg dataDir=/opt/moduels/zookeeper-3.4.11/data/zkdata          //修改成自己指定的目录 3.启动 ls bin/               //查看所有的启动脚本...

集群时间的同步 1.集群中每台机器的时间都是必须要一致的2.模拟内网环境,操作集群时间的一致 //在集群中找一台机器作为时间服务器,其他机器与这台同步 3.ntp服务 sudo service ntpd status   //查看ntpd服务的状态 sudo service ntpd srart    //开启服务 sudo chkconfig ntpd on     //设置开机自启动 sud...

PV  page view, 浏览量 --每打开一次网页,记录一次UV  unique vistor, 独立访客数 --一天内访问某站点的人数(以 cookie | session 为依据)IP  Internet Protocol --访问数(以IP为依据)VV  Vistor View  访客的访问次数 --同一访客在一天内的访问次数跳出数 打开网站什么都不干,就退出了.***********...

回顾1.MapReduce input>map>shuffle>reduce>output2.wordcount 输入input <keyvalue>  map处理 shuffle >默认内存 100M 当内存不够的时候回触发溢写操作,本地磁盘 每个map task 都有一个内存缓冲区,存储map输出的结果 spill partition sort &gt...

shuffle1.发生的阶段,map->reduce的中间过程2.流程 input数据输入-> <keyvalue> -> <0,hadoop spark> map接受输入的数据,<0,hadoop spark>  3.进入shuffle阶段 map的结果输出到内存中(每个map任务) 内存大小默认是100M //用户可以自定义 环形...

 Mapreduce的编程模板(eclipse)1、map和 reduce都分别需要继承两个基类, Mapper和 Reducer 》两个函数map()和 reduce()2、还有一个上下文 context,封装了很多东西,便于编程3、 Mapreduce模板分为三大块 Mapper区 map () Reducer区 reduce( Driver区 job4、in代表的是输入,out代表输出...

hadoop在Windows环境下配置eclipse 1.解压hadoop-2.5.0.tar.gz文件到Windows本地2.安装JDK和eclipse3.解压maven压缩包到Windows本地(并配置环境变量)4.在Windows本地创建一个m2命名的文件,将repository仓库放在m2目录下5.在maven解压目录中的conf里面找到settings.xml文件copy到m2目录下6....

MapReduce计算模型 1.计算抽象到两个函数 map() reduce() 2.input>map>shuffle>reduce>output MapReduce可以没有reduce部分,但是必须要有map部分 3.MapReduce可以编写成一个固定的模板 键值对<keyvalue>是整个程序的流向 输入数据如何转换为<keyvalu...

配置克隆虚拟机1.修改id和主机名 sudo vi etc/sysconfig/network            //进入文件编写主机名 NAT配置ip 2.修改机器码 编辑 sudo vi /etc/udev/rules.d/70-prisident-net.rules 有两段相同的数据,干掉第一组数据 修改NAME="eth0"   复制ATTR(address)="**.**.**.*...

HDFS架构深入 1.不支持HDFS文件的修改2.HDFS有升级回滚机制，升级不成功，回到原来的状态3.修改块的大小hdfs.site.xml里面设置 <property>        <name>dfs.blocksize</name>        <value>134217728</value>    </property&...

ssh远程协议免密码登录1. cd /home/user/ //切换到用户目录 ll -a                       //查看所有文件以及隐藏文件 cd .ssh                      //进入.ssh文件夹 ll                           //查看里面的文件 rm -rf known_hosts //删除里面所有的文件夹和...

HDFS的用户权限检测1.设置HDFS的用户权限不检测（在HDFS中，文件目录的权限和Linux是一致的） 在hdfs.site.xml文件中设置 <property>        <name>dfs.permissions.enabled</name>        <value>false</value>    </p...

MapReduce自带的历史服务器1.修改mapred.site.xml文件，指定两个参数 <property>        <name>mapreduce.jobhistory.address</name>        <value>bigdata-senior.ibeifeng.com:10020</value>    </...

一、Hadoop日志 1.在环境搭建好后，会生成日志在hadoop-2.5.0/logs目录下 2.只查看以.log结尾的文件 3.只有看日志才能准确定位错误二、SecondaryNameNode 1.格式化namenode会生成元数据文件，系统会有一个根目录 2.元数据放在namenode内存中（启动以后） 3.namenode在启动之前，元数据同样会在本地的文件系统中 4.fsimage元数...

hadoop环境部署1.按照官方的文档进行配置 http://hadoop.apache.org/docs/r2.5.2/hadoop-project-dist/hadoop-common/SingleCluster.html Single Node Setup进入方式： Hadoop官网》documention>hadoop2.5.2>Single Node Setup2.上传和下载...

hadoop基本数据类型Nullwritable:当< key, value>中的key或 value为空时使用Text:使用UTF8格式存储的文本LongWritable:长整型数writable:整型数Floatwritable:浮点数Doublewritab|e:双字节数值ByteWritable:单字节数值BooleanWritable:标准布尔型数值◆数据类型都实现 Writ...