qq_45769990的博客

集群之间的数据拷贝distcpbin/Hadoop distcp hdfs://node01:8020/jdk-8u141-linux-x64.tar.gz hdfs://主机IP:8020/hdfs快照snapShot管理1、开启指定目录的快照功能hdfs dfsadmin -allowSnapshot 路径 2、禁用指定目录的快照功能（默认就是禁用状态）hdfs dfsadmin -disallowSnapshot 路径3、给某个路径创建快照snapshothdfs df

HDFS-Web界面介绍目标：掌握如何使用HDFS的Web浏览器了解集群登录HDFSWeb浏览器打开浏览器输入 http://node01:50070 （node01是NameNode所在的节点，或IP）Overview:集群概述Datanode:：数据节点datanode-volume-failures: 数据节点卷故障snapshot: 快照startup-progress: 启动进度Started：启动Version：版本Compiled：已编译Cluster ID:

创建maven工程并导入jar包 <repositories> <repository> <id>cloudera</id> <url>https://repository.cloudera.com/artifactory/cloudera-repos/</url> </repository> </repositories> <dependenc

前言： 服役新数据节点目标：掌握HDFS新添加节点到集群的步骤需求基础： 随着公司业务的增长，数据量越来越大，原有的数据节点的容量已经不能满足存储数据的需求，需 要在原有集群基础上动态添加新的数据节点。、准备新的节点第一步：创建一台新的虚拟机出来第二步：IP地址第三步：关闭防火墙，关闭selinux service iptables stop第四步：更改主机名 vim /etc/sysconfig/network第五步：四台机器更改主机名与IP地址映射第六步：

HDFS高级使用命令数量限额hdfs dfs -mkdir -p /user/root/lisi #创建hdfs文件夹hdfs dfsadmin -setQuota 2 lisi # 给该文件夹下面设置最多上传两个文件，上传文件，发现只能上传一个文件hdfs dfsadmin -clrQuota /user/root/lisi # 清除文件数量限制空间大小限额hdfs dfsadmin -setSpaceQuota 4k /user/root/lisi # 限制空间

安全模式是HDFS所处的一种特殊状态，在这种状态下，文件系统只接受读数据请求，而不接受删除、修改等变更请求。在NameNode主节点启动时，HDFS首先进入安全模式，DataNode在启动的时候会向namenode汇报可用的block等状态，当整个系统达到安全标准时，HDFS自动离开安全模式。 如果HDFS处于安全模式下，则文件block不能进行任何的副本复制操作，因此达到最小的副本数量要求是基于datanode启动时的状态来判定的，启动时不会再做任何复制（从而达到最小副本数量要求），hd..

HDFS文件限额配置hdfs文件的限额配置允许我们以文件大小或者文件个数来限制某个目录下上传的文件数量或者文件内容总量，以便达到我、们类似百度网盘网盘等限制每个用户允许上传的最大的文件的量1、文件夹内文件数量限制HDFS高级命令a)设置数量：hdfs dfsadmin -setQuota 2 /aab)取消设置：hdfs dfsadmin -clrQuota /aa2、文件夹内存储空间大小限制a)设置大小：hdfs dfsadmin -setSpaceQu

HDFS优点1、海量数据存储： HDFS可横向扩展，其存储的文件可以支持PB级别或更高级别的数据存储。2、高容错性：数据保存多个副本，副本丢失后自动恢复。可构建在廉价的机器上，实现线性扩展。当集群增加新节 点之后，namenode也可以感知，进行负载均衡，将数据分发和备份数据均衡到新的节点上。3、商用硬件：Hadoop并不需要运行在昂贵且高可靠的硬件上。它是设计运行在商用硬件（廉价商业硬件）的集群上的。4、大文件存储：HDFS采用数据块的方式存储数据，将数据物理切分成多个小的数据块。所以再大的数

常用命令实操1）查看hdfs某个文件夹的信息 hdfs dfs -ls +目录名2）在hdfs上创建目录hdfs dfs -mkdir -p + 路径3）从本地剪切粘贴到hdfshdfs dfs -moveFromLocal 本地文件夹路径 hdfs目标文件夹位置4)追加一个文件到已经存在的文件末尾hdfs dfs -appendToFile 原文件 hdfs中目标文件5)显示文件内容hdfs dfs -cat hdfs的文件6)显示文件的末尾hdfs df

和namenode不同的是，datanode的存储目录是初始阶段自动创建的，不需要额外格式化。在/export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/datanodeDatas/current这个目录下查看版本号[root@node01 current]# cat VERSION #Thu Mar 14 07:58:46 CST 2019storageID=DS-47bcc6d5-c9b7-4c88-9cc8-6154b8a2bf39cluste

机架感知需要人为进行配置，编写Python脚本“RackAware.py”。内容为服务器IP与交换机的对应关系。（开源hadoop,使用RackAware.sh）#!/usr/bin/python #-*-coding:UTF-8 -*- import sys rack = { "12.12.3.1":"SW6300-1", "12.12.3.2":"SW6300-1", "12.12.3.3":"SW6300-1", "12.12.

Hadoop内部组成HDFS: 海量数据的存储MapReduce: 海量数据的离线计算arn: 集群资源调度HDFS全称 Hadoop Distribute File System 即 Hadoop分布式文件系统主要作用：即存储海量数据 为什么能存储海量数据？？ 因为其空间大，空间大的原因为服务器多、磁盘多。且支持扩展HDFS组成部分 管理者-Master NameNode 集群中有1-2个，用于管理集群中的工作者 工作者-Slave DataNode 集群

目标：了解jobHistory的配置与作用我们可以通过Hadoop jar的命令来实现我们的程序jar包的运行，关于运行的日志，我们一般都需要通过启动一个服务来进行查看，就是我们的JobHistoryServer，我们可以启动一个进程，专门用于查看我们的任务提交的日志第一步：node01修改mapred-site.xmlcd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoopvim mapred-site.xml <propert

1、linux 服务器添加硬盘并进行分区，实现自动挂载添加硬盘：在虚拟机中添加硬盘 添加后重启服务器 发现新硬盘硬盘分区：查看硬盘 fdisk –l分盘步骤 Fdisk /dev/sdb m n p 分区一的开始 1 分区一的结尾 自定义1 分区二的开始 自定义1+1 分区二的结尾 自定义2 w （保存数据）...

1.Shell编程2.bash 和 sh的关系 **sh 是bash的快捷方式**3.创建一个 .sh文件 权限不够怎么办 chmod 777 a.sh修改权限即可4shell变量 4.1 在shell脚本中, 定义变量时，变量名不加美元符号（$），如： your_name="runoob.com" 注意 : 变量名和等号之间不能有空格，这可能和你熟悉的所有编程语言都不一样。 同时，变量名的命名须遵循如下规则： 命名只能使用英文字母，数字和下划线，首个字符不能以

Cut按照字符提取 head -2 1.txt | cut -c 5指定分隔符 head -2 1.txt | cut -d ‘:’ -f 1,2Sort文本排序 sort 文件名文本排序反转 sort -r 文件名文本排序去重 sort -u 文件名数值按大小排序 sort -n 文件名指定分隔符、指定排序列 sort -t ‘分隔符’ -k2nr 文件名Wc查看文件基本信息 wc 文件名查看文件行数 wc –

1.时间①查看②按照 格式进行查看③设置系统时间date -s“时间”2.日历①查看当前月的日历cal②查看当前年的日历cal -y③查看 某年某月的日历cal 某月 某年3.查看磁盘信息①df -h 显示磁盘剩余空间du -h 查看当前目录下的目录大小※-h 人性化显示大小 带单位②top 动态显示运行中程序 和 排序③kill -9 表示强制终止程序进程...

1.查找2 . 解压 压缩 命令①②使用gzip格式压缩文件③使用bz2格式压缩文件3.用户权限基本概念:4.组管理 终端命令①添加组②删除组5.用户管理 终端命令①添加用户②设置密码③删除用户④ 查看用户输入 cat /etc/passwd6.注意事项 超级用户root进入普通用户 不需要密码7.给指定用户赋予超级用户权限(只有五分钟)①输入命令 vi /etc/soduers②查找/ALL 进入编辑模式 手动添加超级用户权限③

tab键：命令或者路径提示及补全;ctrl+c：放弃当前输入，终止当前任务或程序；ctrl+l：清屏；ctrl+shift+c：复制；ctrl+shift+v：粘贴；alt+b ：打开connect窗口；alt+1/2/3/4/5… ：切换会话窗口ll:查找目录内容命令(包含权限)ls:查找目录内容命令(不包含权限)pwd查看当前路径位置cd 进入文件创建文件夹的命令格式：mkdir 目录名mkdir -p 目录名1/目录名2/目录名3(嵌套)注意: 新建目录的名称 不能与当前

1.找到Linux文件 复制即可2打开虚拟机 找到复制的文件3.运行虚拟机 选择我已复制该虚拟机4.1（第一种）.输入 ifconfig -a 发现eth1①此时 由于是复制了旧的虚拟机 此时根目录下为eth0 所以要将eth0改为eth1 进行一一对应②输入 mv /etc/sysconfig/network-scripts/ifcfg-eth0 /etc/sysconfig/network-scripts/ifcfg-eth1将eth0 改为 eth1③输入vi /etc/sy

1.输入setup进入管理系统2.0选择network configuration 按回车2.1选择device configuration 按回车2.2 选择第一个 按回车3.编写静态IP3.1USE DHCP 把*改为空格3.2 打开编辑------->找到虚拟网络编辑器-------------->点击NAT设置3.3差4.设置完成以后 保存并退出5.重启网关 输入/etc/init.d/network restart6.输入ifconfig 查看当前ip