<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[nothair的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/nothair</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; nothair]]></copyright><item><title><![CDATA[产品经理入门：二、一个需求的奋斗史]]></title><link>https://blog.youkuaiyun.com/nothair/article/details/114437704</link><guid>https://blog.youkuaiyun.com/nothair/article/details/114437704</guid><author>nothair</author><pubDate>Sat, 06 Mar 2021 14:06:59 +0800</pubDate><description><![CDATA[shq000912@163.com 2021/3/6
文章目录一、从用户中来，到用户中去1.1、用户是需求之源①、人类为什么有需求②、用户VS客户③、以用户为中心的思想④、不要试图满足所有的用户1.2、打入用户内部①、体会真正的用户与描述用户②、用户研究二、需求采集的大生产运动2.1、定性的说：用户访谈①、用户访谈的常见问题与对策②、访谈技巧2.2、定量的说：调查问卷①、调查问卷的常见问题与对策②、如何设计一份调查问卷2.3、定性的做：可用性测试①、可用性测试的常见问题与对策2.4、定量的做：数据分析①、数]]></description><category></category></item><item><title><![CDATA[产品经理入门：一、产品、产品经理]]></title><link>https://blog.youkuaiyun.com/nothair/article/details/114437231</link><guid>https://blog.youkuaiyun.com/nothair/article/details/114437231</guid><author>nothair</author><pubDate>Sat, 06 Mar 2021 13:16:36 +0800</pubDate><description><![CDATA[2021/3/4 shq000912@163.com
文章目录一、和产品的渊源1.1、新生创新创业训练赛1.2、大学生创新创业训练赛二、产品三、产品经理3.1、产品经理概念的进化3.1.1、行业形态不同：成熟行业VS新兴行业3.1.2、产品形态与成本结构不同：实物VS虚拟物品3.1.3、生命周期不同：几年VS几个月3.1.4、盈利模式不同：单一卖产品赚钱VS多元盈利3.1.5、用户心态不同：花钱买VS免费用3.1.6、小结3.2、非典型产品经理3.3、管理能力3.4、入行
序言：
​	写下这段文字时，我正在]]></description><category></category></item><item><title><![CDATA[9_HDFS的存储策略]]></title><link>https://blog.youkuaiyun.com/nothair/article/details/114436785</link><guid>https://blog.youkuaiyun.com/nothair/article/details/114436785</guid><author>nothair</author><pubDate>Sat, 06 Mar 2021 12:20:49 +0800</pubDate><description><![CDATA[2020/12/17 sunhaiqi@bonc.com.cn
文章目录HDFS的存储策略一、存储类型1.1、DISK1.2、SSD1.3、RAM_DISK1.4、ARCHIVE二、存储策略2.1、COLD2.2、WARM2.3、HOT（HDFS默认存储策略）2.4、ONE_SSD2.5、ALL_SSD2.6、LAZY_PERSIST2.7、综述三、存储策略设置
HDFS的存储策略
一、存储类型
​	HDFS支持如下四种存储类型：
1.1、DISK
​	普通磁盘(机械硬盘)
1.2、SSD
​	固态硬盘
1]]></description><category></category></item><item><title><![CDATA[8_HDFS的短路读机制]]></title><link>https://blog.youkuaiyun.com/nothair/article/details/114436773</link><guid>https://blog.youkuaiyun.com/nothair/article/details/114436773</guid><author>nothair</author><pubDate>Sat, 06 Mar 2021 12:20:10 +0800</pubDate><description><![CDATA[2020/12/22 sunhaiqi@bonc.com.cn
文章目录HDFS的短路读机制一、背景二、短路读的演进2.1、网络读2.2、HDFS-2246 不安全短路读2.3、HDFS-347 安全短路读三、HDFS安全短路读3.1、短路读共享内存3.2、短路读流程
HDFS的短路读机制
一、背景
​	Hadoop的一个重要思想就是移动计算，而不是移动数据。我们更愿意尽可能将计算移动到数据所在节点。因此，HDFS中经常出现客户端和数据在一个节点上，当客户端读取一个数据块时，就会出现本地读取。例如HBase]]></description><category></category></item><item><title><![CDATA[7_纠删码]]></title><link>https://blog.youkuaiyun.com/nothair/article/details/114436717</link><guid>https://blog.youkuaiyun.com/nothair/article/details/114436717</guid><author>nothair</author><pubDate>Sat, 06 Mar 2021 12:19:10 +0800</pubDate><description><![CDATA[2020/11/4 sunhaiqi@bonc.com.cn
文章目录一、纠删码（Erasure Coding/EC）1.1背景1.2纠删码原理1.3块存储方式1.4NameNode端扩展1.5Client端扩展1.6DataNode扩展1.7纠删码策略1.8纠删码配置1.9使用Intel ISA-L1.10HDFS-EC子命令
一、纠删码（Erasure Coding/EC）
1.1背景
​	从存储领域来看，数据冗余机制其实这几十年来没有太多进展，RAID，副本一直是当仁不让的最终选择。而近几年，尤其是规]]></description><category></category></item><item><title><![CDATA[6_联邦-viewFs]]></title><link>https://blog.youkuaiyun.com/nothair/article/details/114271295</link><guid>https://blog.youkuaiyun.com/nothair/article/details/114271295</guid><author>nothair</author><pubDate>Mon, 01 Mar 2021 20:53:39 +0800</pubDate><description><![CDATA[2020/11/2 sunhaiqi@bonc.com.cn
文章目录一、Federation（联邦）1.1背景（HDFS的两个层面）1.2联邦的概念1.3联邦的优点1.4联邦的配置二、ViewFs2.1背景2.2ViewFs配置2.3路径使用的最佳实践为简写路径2.4不同命名空间建的路径重命名2.5常见问题
一、Federation（联邦）
1.1背景（HDFS的两个层面）
命名空间：

命名空间：由目录，文件和块组成。
它支持所有与名称空间相关的文件系统操作，例如创建，删除，修改和列出文件和目录

块存]]></description><category></category></item><item><title><![CDATA[5_HDFS常用操作指令及管理命令（权限、节点上下线、balancer、disk balancer）]]></title><link>https://blog.youkuaiyun.com/nothair/article/details/114271275</link><guid>https://blog.youkuaiyun.com/nothair/article/details/114271275</guid><author>nothair</author><pubDate>Mon, 01 Mar 2021 20:45:14 +0800</pubDate><description><![CDATA[2020/12/16 sunhaiqi@bonc.com.cn
文章目录HDFS常用操作指令及管理命令（权限、节点上下线、balancer、disk balancer）一、HDFS权限1.1、HDFS权限简介1.2、HDFS基本权限管理1.2.1、初始目录权限1.2.2、修改默认权限配置umask1.3、HDFSACL权限管理1.3.1、开启HDFS ACL1.3.2、HDFS ACLshell命令1.3.3、HDFS ACL权限实体类别1.3.4、HDFS ACL权限生效的算法规则二、节点上下线2.1、黑]]></description><category></category></item><item><title><![CDATA[5_HDFS常用操作指令及管理命令（FSCK、安全模式、配额）]]></title><link>https://blog.youkuaiyun.com/nothair/article/details/114271258</link><guid>https://blog.youkuaiyun.com/nothair/article/details/114271258</guid><author>nothair</author><pubDate>Mon, 01 Mar 2021 20:44:39 +0800</pubDate><description><![CDATA[2020/12/15 sunhaiqi@bonc.com.cn
文章目录HDFS常用操作指令及管理命令（FSCK、安全模式、配额）一、常用操作指令1.1、基本语法1.2、参数大全1.3、操作实例:二、FSCK2.1、基本语法2.2、参数大全2.3、操作实例查看文件中损坏的块（-list-corruptfileblocks）损坏文件的处理（-move/-delete）检查并列出所有文件状态（-files）检查并打印正在被打开执行写操作的文件（-openforwrite）打印文件的Block报告（-blocks]]></description><category></category></item><item><title><![CDATA[4_HDFS的HA机制（ZKFC、QJM）]]></title><link>https://blog.youkuaiyun.com/nothair/article/details/114271161</link><guid>https://blog.youkuaiyun.com/nothair/article/details/114271161</guid><author>nothair</author><pubDate>Mon, 01 Mar 2021 20:43:39 +0800</pubDate><description><![CDATA[2020/12/14 sunhaiqi@bonc.com.cn
文章目录HDFS的HA机制（ZKFC、QJM）一、HA（HighAvailable）概述二、HDFS-HA工作机制2.1、工作要点2.2、工作机制2.3、运行模块2.3.1、ZKFailoverController(DFSZKFailoverController):2.3.2 、HealthMonitor:2.3.3 、ActiveStandbyElector:2.3.4 、FailoverController:2.4、系统架构2.5、线程模型]]></description><category></category></item><item><title><![CDATA[3_HDFS读写流程及一致性模型]]></title><link>https://blog.youkuaiyun.com/nothair/article/details/114271118</link><guid>https://blog.youkuaiyun.com/nothair/article/details/114271118</guid><author>nothair</author><pubDate>Mon, 01 Mar 2021 20:38:24 +0800</pubDate><description><![CDATA[2020/12/7 sunhaiqi@bonc.com.cn
文章目录一、HDFS中的数据写入读出原理1.1、HDFS写数据流程1.2、HDFS读数据流程二、HDFS文件系统的一致性2.1、从客户端解读文件系统一致性2.2、从服务端解读文件系统一致性2.3、文件系统的一致性模型
一、HDFS中的数据写入读出原理
1.1、HDFS写数据流程
hadoop fs -put /home/bduser/xxx.txt /animals/tiger/

当我们执行上面这条语句时，集群将执行以下几个步骤（以一台Name]]></description><category></category></item><item><title><![CDATA[2_HDFS的基本架构，工作原理]]></title><link>https://blog.youkuaiyun.com/nothair/article/details/114271105</link><guid>https://blog.youkuaiyun.com/nothair/article/details/114271105</guid><author>nothair</author><pubDate>Mon, 01 Mar 2021 20:37:41 +0800</pubDate><description><![CDATA[2020/12/10 sunhaiqi@bonc.com.cn
文章目录HDFS的基本架构1.1、Client1.2、NameNode1.3、DataNode1.4、Secondary NameNodeHDFS的工作原理2.1、基本概念2.2、NameNode2.2.1、磁盘与内存2.2.2、NameNode运行原理2.2.3、NameNode工作原理、checkpoint合并机制2.3、DataNode2.3.1、两种文件2.3.2、DataNode工作机制2.3.3、动态服役、退役DataNode节点
]]></description><category></category></item><item><title><![CDATA[1_Hadoop安装部署及常用配置(HDFS+YARN)]]></title><link>https://blog.youkuaiyun.com/nothair/article/details/114271051</link><guid>https://blog.youkuaiyun.com/nothair/article/details/114271051</guid><author>nothair</author><pubDate>Mon, 01 Mar 2021 20:36:32 +0800</pubDate><description><![CDATA[2020/12/5 sunhaiqi@bonc.com.cn
文章目录一、hadoop伪分布式集群搭建1.1、添加主机名称（ip空格机器名）1.2、为当前用户bduser101赋予root权限1.3、设置ssh无密登录1.4、关闭防火墙，并将默认状态改为关闭1.5、准备好jdk、hadoop压缩包1.6、修改配置文件1.7、格式化namenode（第一次启动集群之前格式化）二、hadoop完全分布式集群搭建2.1、创建节点2.2、网络配置(node102，node103)2.3、修改主机名(node102,]]></description><category></category></item><item><title><![CDATA[Hadoop性能测试-Benchmarking]]></title><link>https://blog.youkuaiyun.com/nothair/article/details/110873882</link><guid>https://blog.youkuaiyun.com/nothair/article/details/110873882</guid><author>nothair</author><pubDate>Tue, 08 Dec 2020 15:12:18 +0800</pubDate><description><![CDATA[2020/11/27 sunhaiqi@bonc.com.cn
文章目录Hadoop Benchmarking一、调试集群二、测试组件2.1、TestDFSIO2.1.1、向HDFS上传10个100MB的文件2.1.2、从HDFS读取10个1000MB的文件2.2、nnbench2.2.1、使用12个mapper和6个reducer创建1000个文件2.3、mrbench2.3.1、运行一个小作业50次2.4、Teragen-TeraSort-Teravalidate2.4.1、Teragen生成测试数据2]]></description><category></category></item><item><title><![CDATA[0_Hadoop知识学习安排]]></title><link>https://blog.youkuaiyun.com/nothair/article/details/110873825</link><guid>https://blog.youkuaiyun.com/nothair/article/details/110873825</guid><author>nothair</author><pubDate>Tue, 08 Dec 2020 15:10:44 +0800</pubDate><description><![CDATA[Hadoop
		序号
			学习内容
		1
			Hadoop安装部署及常用配置（HDFS+YARN）
		2
			HDFS的基本架构，工作原理
		3
			HDFS读写流程及一致性模型
		4
			HDFS的HA机制（ZKFC，QJM）
		5
			HDFS常用管理命令的使用（FSCK、安全模式、配额、权限、节点上下线、balancer、disk balancer等）
		6
			HDFS联邦(viewfs、RBF)
		7
			HDFS纠删码
		8
			HDFS的短路读机制
		9
]]></description><category></category></item><item><title><![CDATA[hadoop3.X版本特性：路由器联邦]]></title><link>https://blog.youkuaiyun.com/nothair/article/details/110393135</link><guid>https://blog.youkuaiyun.com/nothair/article/details/110393135</guid><author>nothair</author><pubDate>Mon, 30 Nov 2020 17:27:17 +0800</pubDate><description><![CDATA[2020/11/15 shq000912@163.com
文章目录一、路由器联邦（Router-based Federation/RBF）1.1背景1.2代理服务-Router层次设计1.3可用性和容错能力1.4接口1.5配额管理1.6 客户端-路由器配置(详见官网文档)
一、路由器联邦（Router-based Federation/RBF）
1.1背景


在 HDFS 单集群的架构中，随着集群规模的扩大，Block Manager 和Namespace 会消耗掉 NameNode 越来越多的资源，最终]]></description><category></category></item><item><title><![CDATA[hadoop3.X版本特性：联邦-viewFs]]></title><link>https://blog.youkuaiyun.com/nothair/article/details/110393067</link><guid>https://blog.youkuaiyun.com/nothair/article/details/110393067</guid><author>nothair</author><pubDate>Mon, 30 Nov 2020 17:26:19 +0800</pubDate><description><![CDATA[2020/11/10 shq000912@163.com
文章目录一、Federation（联邦）1.1背景（HDFS的两个层面）1.2联邦的概念1.3联邦的优点1.4联邦的配置二、ViewFs2.1背景2.2ViewFs配置2.3路径使用的最佳实践为简写路径2.4不同命名空间建的路径重命名2.5常见问题
一、Federation（联邦）
1.1背景（HDFS的两个层面）
命名空间：

命名空间：由目录，文件和块组成。
它支持所有与名称空间相关的文件系统操作，例如创建，删除，修改和列出文件和目录

块存储服]]></description><category></category></item><item><title><![CDATA[大数据学习之hadoop——11MapReduce组成结构_WordCount案例]]></title><link>https://blog.youkuaiyun.com/nothair/article/details/105235573</link><guid>https://blog.youkuaiyun.com/nothair/article/details/105235573</guid><author>nothair</author><pubDate>Sat, 25 Apr 2020 02:47:03 +0800</pubDate><description><![CDATA[在MapReduce程序中，WordCount案例的地位就相当于HelloWord在Java程序中的地位，虽然逻辑简单，但是该有的环节都不少。一个标准的MapReduce程序应由以下三部分组成，且通过context对象进行数据传输
一. Mapper类(简称map)


1、一个标准的map类需要继承org.apache.hadoop.mapreduce.Mapper类，设置四个泛型（keyin ...]]></description><category></category></item><item><title><![CDATA[大数据学习之hadoop——10Windows环境搭建+IDEA_maven配置]]></title><link>https://blog.youkuaiyun.com/nothair/article/details/105743762</link><guid>https://blog.youkuaiyun.com/nothair/article/details/105743762</guid><author>nothair</author><pubDate>Sat, 25 Apr 2020 02:45:55 +0800</pubDate><description><![CDATA[1、将hadoop.tar.gz解压


解压路径为：E:\study\2020BigData\hadoopHome\hadoop
把hadoop-2.6.1bin下的所有文件粘贴至解压目录下的bin下

将其中的hadoop.dll文件复制到C://Windows/System32下
2、修改配置文件 所有关于路径的配置都要使用  “ / ”

core-site.xml

&lt;config...]]></description><category></category></item><item><title><![CDATA[大数据学习之hadoop——09一次完整的edits、fsimage、edits_inprogress、chkpoint、NameNode运行原理分析]]></title><link>https://blog.youkuaiyun.com/nothair/article/details/105002457</link><guid>https://blog.youkuaiyun.com/nothair/article/details/105002457</guid><author>nothair</author><pubDate>Sat, 21 Mar 2020 00:49:40 +0800</pubDate><description><![CDATA[分析edits、fsimage、edits_inprogress、文件系统元数据维持原理，这一篇文章就够了~
本文较长的日志分析，运行分析，请耐心观看，仔细观看每一张图片中的文件后缀名
截图较小，请放大网页观看，快捷键ctrl＋鼠标滚轮缩放网页大小
格式化集群，启动集群
此时的文件状态

执行了-put和-ls操作后关闭集群
此时的文件状态

再次开启集群时文件状态

现在执行一次滚动操作

现在...]]></description><category></category></item><item><title><![CDATA[大数据学习之hadoop——08NameNode、DataNode工作机制、原理]]></title><link>https://blog.youkuaiyun.com/nothair/article/details/104956763</link><guid>https://blog.youkuaiyun.com/nothair/article/details/104956763</guid><author>nothair</author><pubDate>Thu, 19 Mar 2020 20:10:42 +0800</pubDate><description><![CDATA[NameNode原理
问题：如何存元数据？、如何保证集群的状态？
1、两种文件

edits：临时的操作过程数据
fsimages：某一时刻的最终完整状态

在hdfs文件系统开始服务时，将会读取磁盘上的一些文件、配置等等，在内存(缓存)使用这些数据
原因：和磁盘多次交互会导致效率变低，从内存读取则是高效的选择
在hdfs第一次启动时，会在name目录下创建edits和fsimage文件，hdfs...]]></description><category></category></item></channel></rss>