- 博客(56)
- 收藏
- 关注
RSS订阅原创 集群数据均衡之磁盘间数据均衡
生产环境，由于硬盘空间不足，往往需要增加一块硬盘。刚加载的硬盘没有数据时，可以执行磁盘数据均衡命令。（Hadoop3.x新特性）（3）查看当前均衡任务的执行情况。
2022-08-18 20:32:24
473
原创 Mapreduce编程
1）分布式的运算程序往往需要分成只少2个阶段（2）第一个阶段的MapTask并发实例。完全并行运行，互补相干（3）第二个阶段的ReduceTask并发实例互不相干，但是他们的数据依赖于上一个阶段的所有MapTask并发实例的输出。（4）MapReduce编程模型只能包含一个Map阶段和一个Reduce阶段，如果用户的业务逻辑非常复杂，只能多个MapReduce程序，串行运行。...
2022-08-13 21:22:02
954
原创 DataNode工作机制
3）心跳是每3秒一次，心跳返回结果带有NameNode给该DataNode的命令如复制块数据到另一台机器，或删除某个数据块。如果超过10分钟没有收到某个DataNode的心跳，则认为该节点不可用。（1）一个数据块在DataNode上以文件形式存储在磁盘上，包括两个文件，一个是数据本身，一个是元数据包括数据块的长度，块数据的校验和，以及时间戳。（2）DataNode启动后向NameNode注册，通过后，周期性（6小时）的向NameNode上报所有的块信息。DN扫描自己节点块信息列表的时间，默认6小时。...
2022-08-12 22:03:32
179
原创 NameNode和SecondaryNameNode
1）第一次启动NameNode格式化后，创建Fsimage和Edits文件。如果不是第一次启动，直接加载编辑日志和镜像文件到内存。（2）客户端对元数据进行增删改的请求。（3）NameNode记录操作日志，更新滚动日志。（4）NameNode在内存中对元数据进行增删改。）Secondary NameNode询问NameNode是否需要CheckPoint。直接带回NameNode是否检查结果。（2）Secondary NameNode请求执行CheckPoint。...
2022-08-12 20:56:05
135
原创 HDFS的API操作：准备工作
1.打开idea导入jar包依赖2.将hadoop的windows依赖导入到环境变量中3.双击xxxxx\hadoop-3.1.0\bin\winutils.exe 如果没有报错就是可以使用 如果有报错需要去安装微软运行库（一般前三步即可）4.需要将winutils.exe和hadoop.dll文件放到C:\Windows\System32...
2022-08-10 21:30:08
753
原创 Hadoop运行模式：完全分布式运行模式（虚拟机准备、 编写集群分发脚本xsync、SSH无密登录配置、集群配置、群起集群、 配置历史服务器、配置日志的聚集、集群启动/停止方式总结、编写Hadoop）
虚拟机准备、 编写集群分发脚本xsync、SSH无密登录配置、集群配置、群起集群、 配置历史服务器、配置日志的聚集、集群启动/停止方式总结、编写Hadoop集群常用脚本、 常用端口号、集群时间同步...
2022-08-09 14:47:50
768
原创 Hadoop组成、HDFS、YARN、 MapReduce、 Hadoop环境搭建
Hadoop组成、HDFS、YARN、 MapReduce、 Hadoop环境搭建、1.最小化安装2.安装一些必要软件3.修改IP为静态IP4.修改主机名和hosts映射文件5.关闭防火墙并且关闭开机自启6.创建普通用户at 并且配置sudo权限7.需要在/opt目录创建 module（存放安装好的软件）software（软件安装包） 8.module/software......
2022-08-07 22:52:51
381
原创 线程：创建（创建线程Thread、Runnable、线程之间数据共享）、线程优先级setPriority、线程让步yield、线程参与join、后台线程setDaemon
线程：创建（创建线程Thread、Runnable、线程之间数据共享）、线程优先级、线程让步、后台线程setDaemon
2022-07-21 15:03:12
91
原创 Properties类
Properties类public Properties() :创建一个空的属性列表。public void load(InputStream inStream)： 从字节输入流中读取键值对。public Set stringPropertyNames() ：所有键的名称的集合。
2022-07-20 16:15:27
56
原创 打印流（字节打印流 PrintStream； 字符打印流PrintWriter）
打印流（字节打印流 PrintStream; 字符打印流PrintWriter）
2022-07-20 15:09:47
121
原创 序列化和反序列化
序列化：ObjectOutputStream -> oos.writeObject()反序列化: ObjectInputStream -> ois.readObject()
2022-07-20 14:34:22
224
原创 转换流（InputStreamReader、OutputStreamWriter）
转换流（从字节流 转换成字符流InputStreamReader、从字符流 到字节流OutputStreamWriter）
2022-07-20 08:35:39
416
原创 缓冲流（字节输入缓冲流字节输出缓冲流字符输入缓冲流字符输出缓冲流）
缓冲流（字节输入缓冲流BufferedInputStream、 字节输出缓冲流BufferedOutputStream、字符输入缓冲流BufferedReader、字符输出缓冲流BufferedWriter）
2022-07-20 00:16:02
384
原创 IO流的用法
文件字节输入流（FileInputStream）、文件字节输出流（FileOutputStream）文件字符输入流（FileReader）文件字符输出流（FileWriter）
2022-07-19 22:14:11
219
原创 异常、try、catch、finally、throw、throws、自定义异常
异常、try、catch、finally、throw、throws、自定义异常
2022-07-15 11:14:38
545
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人