Forever_ck的博客

上篇我们介绍了hdfs的一些概念和优缺点那么我们这篇便来说说hdfs的读写流程和一些常用的命令： 《一》读写流程 一、hdfs 读流程（下载文件） 　1） client向namenode发出下载请求，namenode查询元数据信息，找到文件块所在的datanode，返回给client。　　 　2） client从返回的datanode中选择（就近原则，再随机）一...

再给大家分享一些小知识，一起来瞧瞧吧！ 一、namenode & secondarynamenode　 　 1）namenode启动（namenode格式化时会创建fsimage，edits两个文件，如果不是第一次启动，会直接加载这两个文件到内存）。　　 2）secondarynamenode向namenode发出请求执行checkpoint（默认是一个小时请求执行一次，或者操作达到一百万...

很多时候，在我们操作不同的虚拟机时，常常因为一些需要密码的操作，因此，各虚拟机之间的免密设置必不可少。那么这篇我们就来介绍关于虚拟机之间配置SSH免密操作的详细流程！ 准备条件：两台以上的虚拟机，因为想要给大家介绍关于Hadoop集群的搭建，所以我这边准备了三台虚拟机，分别为： hadoop01,hadoop02,hadoop03 闲话少叙，开始咯： 重点：你要确保你有操作权限，这一点一定要记得！...

一、在调优之前，我们需要清楚以下两个问题： MapReduce为什么跑的慢？ MapReduce程序的瓶颈是什么？ 二、MapReduce程序效率的瓶颈可以概括为以下两点： 2.1：计算机性能（即硬件） CPU、内存、磁盘健康、网络状况 2.2：I/O操作优化 1. 数据倾斜 2. map和reduce数设置不合理 3. map运行时间太长，导致reduce等待时间过长 4. 小文件过多 5....

今天给大家介绍个日志处理的工具。 一、Flume简介 Flume 提供一个分布式的，可靠的，对大数据量的日志进行高效收集、聚集、移动的服务，Flume 只能在 Unix 环境下运行。 Flume 基于流式架构，容错性强，也很灵活简单。 Flume、Kafka 用来实时进行数据收集，Spark、Storm 用来实时处理数据，impala 用来实时查询。 二、Flume中的角色 2....

毫无疑问，Hadoop 里面最复杂的是MapReduce，那么今天咱们就来看看它的整体工作流程： 怎么样？是不是懵了？ 简单说下我的理解： 上面的流程是整个 mapreduce 最全工作流程，但是 shuffle 过程只是从第 7 步开始到第16 步结束，具体 shuffle 过程详解，如下： 1） maptask收集我们的 map()方法输出的 kv对，放到内存缓冲区中 2） 从内存缓冲区不...

相信绝大多数程序员在看到 HelloWorld这个词的时候，总会情不自禁的翘起嘴角吧！虽然早已离开了校园，但每每看到这个词，我总会自然而然地想起曾经和我的那群“狐朋狗友”在大学里肆无忌惮敲代码的日子。。。 似乎有点跑题了（尴尬脸），看了上篇的原理，是不是手痒，想来操作一下了！ https://blog.youkuaiyun.com/Forever_ck/article/details/84589932 下面我...

不得不说，懒在某方面也促进了人类技术的发展。。。 由于测试集群的时候，Zookeeper 集群启动非常不方便，所以就简单写了个脚本，上篇还写了一个Kafka集群的脚本，想了解的朋友可以去看看： https://blog.youkuaiyun.com/Forever_ck/article/details/84677819 这里把zk脚本分享给大家： 因为是简单测试，所以就随便搭了三台服务器的，大家根据自己的情况...

电脑重装了系统，需要重新搭建一个Hadoop集群，就在时间同步的时候，发现网上很多关于时间同步的步骤都不能用，就自己整理了一份，特来分享给大家： 一、同步互联网时间，并修改时区 依次执行如下命令; 1.1 ntpdate.ntp.api.bz 1.2 tzselect 1.3 cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime 1.4 ...

一、HBase概述 HBase是一个分布式的、面向列的开源数据库，该技术来源于 Fay Chang 所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统（File System）所提供的分布式数据存储一样，HBase在Hadoop之上提供了类似于Bigtable的能力。HBase是Apache的Hadoop项目的子项目。HBa...

在Hadoop集群启动时，报错如下： 错误原因： Kafka 中莫名出现大量日志文件，导致磁盘空间不足 解决办法：查找日志过大文件，删除重启即可。 查找大于 200M的日志文件命令 find / -size +200M -exec du -h {} \; ...

搭建一个Hadoop集群，为了方便就随手写了一个一键操作集群脚本如下： #!/bin/bash pcount=$# if((pcount==0));then echo no args; exit; fi echo -------------localhost---------- params=$@ host=1 for((host=1; host<=3; host++)); do echo ...