- 博客(4)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 eclipse memory analyzer GC overhead limit exceeded
GC overhead limit exceeded异常eclipse memory analyzer默认启动最大内存限制只有1g，在加载大型dump文件时，可能会超过1g的内存限制。此时eclipse会抛出GC overhead limit exceeded异常，导致加载dump文件失败。解决方案：找到MemoryAnalyzer安装目录，如下图：修改调大MemoryAnalyzer.ini中的-Xmx参数，如下图：重启MemoryAnalyzer即可打开大型dump文件eclipse
2020-06-03 15:18:34
437
原创 NameNode与SecondaryNameNode（下）
Fsimage与EditsFsimage与Edits概念nameNode在被格式化后会生成四个文件。如下图：Fsimage：hdfs文件系统元数据的永久检查点，包括hdfs文件系统的所有目录和文件iNode的序列化信息Edits:存放hdfs文件系统的所有更新操作路径，文件系统客户端执行的所有写操作首先会记录在edits文件中seen_txid：保存的edits_inprogress_后的数字每次NameNode启动时，都会将fsimage文件读入内存，加载edits里的更新操作，保证内存中
2020-06-01 21:25:16
327
原创 NameNode与SecondaryNameNode（上）
NameNode工作机制NameNode数据存储:NameNode数据存储分为三部分：内存、FsImage、Edits。内存：为了提供高效、快速的服务，NameNode将所有的元数据处理在内存中进行。FsImage:考虑到数据安全，以及保证数据持久化，提出了FsImage元数据文件存储，将元数据保存在文件中。Edits:但是如果NameNode一边复制数据处理，一边负责将元数据保存在FsImage文件中，效率会特别低。从而有了Edits，Edits只负责将操作步骤追加起来（不包括查询操作）Sec
2020-05-27 16:16:09
191
原创 hdfs文件处理过程
hdfs文件处理过程上传文件过程：上传文件过程：创建分布式文件系统（distribute File System）FileSystem作为客户端请求NameNode,上传文件NameNode返回是否同意请求FileSystem请求datanode信息NameNode返回datanode元信息列表FileSystem请求datanode链接，datanode内部逐级请求链接到最后一个datanode后依次返回链接成功结果FileSystem向datanode逐级，异步、无需等待传输byt
2020-05-27 00:57:57
522
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人