Hadoop
关注
分享
扫一扫
huicooling
个人平常总结，方便取用！
展开
-
Hadoop核心知识
一、hadoop核心 HDFS: （Hadoop Distributed File System） 分布式文件系统 ，用于海量数据的存储 YARN: （Yet Another Resource Negotiator）资源管理调度系统，用于资源管理调度 Map/Reduce：分布式运算框架，用于海量数据的分析二、Hadoop特点 · 扩容能力（Scalable）：能可靠地（reli...原创 2018-06-20 22:25:58 · 275 阅读 · 0 评论 -
大数据常见面试题型
1、如何安装配置Apache的一个开源Hadoop，无需细讲？1）使用root账户登录2）修改IP3）修改host主机名4）配置SSH免密码登录5）关闭防火墙6）安装JDK7）解压hadoop安装包8）配置hadoop的核心文件hadoop-env.sh，core-site.xml,mapred-site.xml，hdfs-site.xml9）配置hadoop环境变量10）...原创 2019-08-25 16:34:17 · 576 阅读 · 2 评论 -
启动hbase后没有hmaster进程
配置好HBASE的环境变量和配置文件后，启动HBASE后，查看进程，没有hmaster进程，于是百度后参考了这篇博客解决了问题，需要编译一下，命令：[root@cluster-3 conf]# cp $HBASE_HOME/lib/client-facing-thirdparty/htrace-core-3.1.0-incubating.jar $HBASE_HOME/lib/再次启动后...原创 2019-01-27 14:55:51 · 15398 阅读 · 0 评论 -
Logging initialized using configuration in jar:file:/usr/local/apache-hive-2.3.4/lib/hive-common-2.3
执行./hive后，一直卡在这里Logging initialized using configuration in jar:file:/usr/local/apache-hive-2.3.4/lib/hive-common-2.3.4.jar!/hive-log4j2.properties Async: true最后给我报错：Exception in thread "main" jav...原创 2019-01-26 15:36:55 · 19675 阅读 · 8 评论 -
bash: schematool: 未找到命令的解决办法
初始化hive百度了一下是，输入后报错，如下：[root@cluster-1 conf]# schematool -dbType mysql -initSchemabash: schematool: 未找到命令...于是我就通过yum命令安装嘛，出错，报错如下：[root@cluster-1 conf]# yum -y install schematool已加载插件：faste...原创 2019-01-26 15:20:14 · 31159 阅读 · 11 评论 -
Hadoop HA集群的搭建（5个节点）
特别说明，做大数据需要特别好的电脑配置，处理器至少i5吧,i5-8300H，显卡尽量GTX的，GTX1050，内存得有8G吧（我的是16G）软件准备：jdk-1.8.0_191;hadoop-2.8.5；zookeeper-3.4.12,软件下载可以就不说了，直接去官网下载即可系统准备：Centos7 64位一、集群规划：主机名 IP ...原创 2019-01-25 17:29:13 · 6437 阅读 · 1 评论 -
19/01/24 22:39:30 WARN ipc.Client: Failed to connect to server: cluster-6/192.168.79.136:8485: 的解决办法
搭建HA集群，格式化namenode，一直出现这种现象，说我的集群6连接不上百度，试了很多种方法，还是不行，最后进入cluster-6查看防火墙是否开着，利用命令systemctl status firewalld结果防火墙正在运行，如下所示：[root@cluster-6 logs]# systemctl status firewalld● firewalld.se...原创 2019-01-24 22:46:56 · 4537 阅读 · 1 评论 -
zookeeper的下载、安装以及配置和zookeeper集群的搭建
我这里只有六台集群：192.168.79.131 cluster-3192.168.79.130 cluster-1192.168.79.133 cluster-2192.168.79.134 cluster-4192.168.79.135 cluster-5192.168.79.136 cluster-6一、zookeeper下载这里从官网...原创 2019-01-24 13:50:09 · 285 阅读 · 0 评论 -
Hadoop下载、安装、配置、免密码登录以及shell命令说明
镜像环境：centos7_64位，可去官网进行下载hadoop版本：hadoop-2.8.5,可去官网下载安装hadoop的前提必须要安装jdk，这个很简单的，不易细说jdk的安装。一、hadoop下载，我这里下载的是hadoop-2.8.5.tar.gz二、hadoop安装（1）、在虚拟机下新建目录soft,命令：mkdir soft（2）、将下载的hadoop上传到虚拟...原创 2019-01-24 13:27:14 · 511 阅读 · 0 评论 -
HDFS下写文件流程、NameNode的作用？
这里的符号说明： NN→NameNode SN→Secondary NameNode一、写文件 写文件流程图如下所示： 第一步：客户端上传文件时，NN首先往edits log文件中记录元数据操作日志； 第二步：客户端开始上传文件，完成后返回成功信息给NN，NN就在内存中写入这次上传操作的新产生的元数据信息； 第三步：每当edits lo...原创 2018-06-20 23:05:14 · 620 阅读 · 0 评论 -
Hadoop下HDFS架构，NameNode、DataNode、Secondary NameNode
一、HDFS架构 三部分：NameNode、DataNode、Secondary NameNode 图一：HDFS架构图二、NameNode 是整个文件系统的管理节点。它维护着整个文件系统的文件目录树，文件/目录的元信息和每个文件对应...原创 2018-06-20 22:50:04 · 702 阅读 · 0 评论 -
Hadoop中核心命令
一、HDFS fs命令 -help [cmd] //显示命令的帮助信息 -ls(r) <path> //显示当前目录下所有文件 -du(s) <path> //显示目录中所有文件大小 -count[-q] <path> //显示目录中文件数量 -mv <src> <dst> //移动多个文件到目标目录 ...原创 2018-06-20 22:32:26 · 168 阅读 · 0 评论 -
如何选择消息队列？如何保证MQ的高可用？
一、为什么选用消息队列？ 消息队列这个东西，听起来很高大上，但是我们思考第一个问题： （1）我们为什么要使用消息队列呢？ 回答这个问题就需要了解MQ的作用，核心作用就四个：解耦、异步、削峰填谷、发布消息 ①、解耦：A系统同时向B、C、D三个系统发送数据，若BCD三个系统同时挂掉怎么处理呢？一个系统同时调用多个系统或者模块，且互相调用非常...原创 2019-08-22 21:42:56 · 292 阅读 · 0 评论