ergouy's blog

先欠着，周三组会弄明白后补充。。

不是解释源码，只是把过程总结一 读取阶段把输入文件做逻辑切分，切分成split   读取文件列表   按照规则将文件进行逻辑切分(剩余文件大小/split大小>1.1)   Split包含的属性：      Path      起始位置      大小    &nbsp.

对hdfs底层的写入进行分析一 流程图1. 流程图2. 过程解析create 阶段： 1.1 在hdfs系统上创建文件，过程会经历大量的判断； 1.2 创建DataQueue数据队列来接收本地的数据，启动DataStreamer线程监控和处理队列中的数据。write阶段： 2.1 向DataStreamer中的DataQueue队列中写数据，有则唤醒，满则等待 2.2 建立数据通信管道以及创建输出流 2.2.1 从nameNode获取bl.

最近学习了linux相关的知识，做一些必要的笔记，一来是对自己学习的知识的巩固，二来对有同样问题的人有参考作用第一步：查看整体情况> df -hFilesystem Size Used Avail Use% Mounted on/dev/sda3 195G 195G 0 100% /tmpfs 3.9G 12K 3.9G 1% /dev/shm/dev/sda1 190M 57M 124M 32% /b.

最近学习了一些Linux知识，做一些必要的笔记，一来是对自己学习的知识的巩固，二来对有同样问题的人有参考作用文章目录一 概念二 losetup命令三 使用举例四 总结一 概念在类 UNIX 系统里，loop 设备是一种伪设备(pseudo-device)，或者也可以说是仿真设备。它使我们能像块设备一样访问一个文件。在使用之前，一个 loop 设备必须要和一个文件进行连接，这种结合方式给用户提供了一个替代块特殊文件的接口。因此，如果这个文件包含有一个完整的文件系统，那么这个文件就可以像一个磁盘.

最近学习了一些陌生知识，做一些必要的笔记，一来是对自己学习的知识的巩固，二来对有同样问题的人有参考作用意义如下：第一个软驱 /dev/fd0第二个软驱 /dev/fd1第一块硬盘 /dev/sda第二块硬盘 /dev/sdb, 以此类推.第一个SCSI CD-ROM /dev/scd0, 可以用/dev/sr0sda1, sda2是sda这块硬盘上的两个分区。举例：总结如有错误恳请指正，如有侵权请联系我删除参考文章: sda, sdb, sdc, sda1, sda2在Li.

最近学习了大数据知识，用到了一些命令，做一些必要的笔记，一来是对自己学习的知识的巩固，二来对有同样问题的人有参考作用文章目录一 概念1. du2. df二 举例1. du使用举例2. df使用举例三 总结一 概念1. dudu estimates and displays the disk space used by files.可知du基于文件计算和显示磁盘占用情况,简单说就是查看文件占用磁盘的大小，或者说就是文件的大小。du常用参数：a：显示全部目录和其次目录下的每个档案所占的磁.

最近运行Hadoop程序的时候遇到了这个Bug，很久才改好，做一些必要的笔记，一来是对自己学习的知识的巩固，二来对有同样问题的人有参考作用。文章目录一 问题描述二 解决思路和步骤三 修改完成后的结果四 总结一 问题描述今天遇到了一个ip能ping通，但是telnet报错：Unable to connect to remote host: No route to host二 解决思路和步骤看了下资料说是有可能是icmp(Internet Control Message Protoco.

最近运行Hadoop程序的时候遇到了这个Bug，很久才改好，做一些必要的笔记，一来是对自己学习的知识的巩固，二来对有同样问题的人有参考作用。文章目录一 问题描述二 错误的原因三 解决思路和步骤1. 安装xinetd和telnetd2. 创建文件/etc/inetd.conf3. 修改文件/etc/xinetd.conf4. 创建文件/etc/xinetd.d/telnet5. 重启系统，查看端口状态四 修改后的结果五 总结一 问题描述执行命令：telnet 127.0.0.1报错：.

最近运行Hadoop程序的时候遇到了这个Bug，很久才改好，做一些必要的笔记，一来是对自己学习的知识的巩固，二来对有同样问题的人有参考作用。文章目录一 问题描述二 解决思路和步骤1. 关闭集群中所有节点的防火墙2. 测试集群中节点的联通性3. 测试节点的控制性4. 修改防火墙的设置三 修改完成后的结果四 总结一 问题描述执行程序时，在控制台报的错(或者类似的错误)：在Hadooop的日志中的错误(或者类似的错误)：2021-03-12 22:21:14,316 INFO hdfs.D.

最近学习了大数据Hadoop相关知识，做一些必要的笔记，一来是对自己学习的知识的巩固，二来对有同样问题的人有参考作用文章目录一 NameNode结构二 双向链表三 顺序表和链表对比四 总结一 NameNode结构主从结构二 双向链表三 顺序表和链表对比四 总结如有错误恳请指正，如有侵权请联系我删除参考文章：http://wiki.xuwei.tech/hadoop1/quick.html...

最近学习了hadoop3的伪分布式配置，做一些必要的笔记，一来是对自己学习的知识的巩固，二来对有同样问题的人有参考作用文章目录一 前置工作二 安装hadoop三 测试四 总结一 前置工作1、修改主机名首先，命令行输入：hostnamectl set-hostname hadoop001在hosts文件中修改域名映射：vi /etc/hosts在hosts文件中添加：内网ip hadoop001测试是否修改成功：ping hadoop0012、安装jdk1.8点击下载.