chun的博客

title: HDFS–分布式文件系统date: 2019-07-21 19:58:27tags: 大数据categories: 大数据开发学习top: 98HDFS–分布式文件系统1.Hadoop生态系统简介2.HDFS基本架构3.HDFS的核心原理4.shell命令行操作5.JAVAAPI的操作6.HDFS集群运维与调优经验...

由于zookeeper启动需要在每台虚拟机都进行zkServer.sh start，很不方便，由此写个shell脚本来进行一个命令全部启动。前提：配置好ssh免密登录，并且每台虚拟机都可以互通，没配置好的可以看下我的hadoop集群搭建里有免密登录上代码：echo "start zkServer..."for i in 1 2 3 4 5dossh chun$i "source /et...

Hbase搭建-基于hadoop31-首先下载Hbase官网下载，点击here咱们下载的是bin下载后上传到hadoop，解压，提取，我这里用的是图形界面，命令行下自行提取。上传可以用sftp或者MobaXterm，MobaXterm里面也是用的sftp。2-修改三个配置文件，配置文件都是在conf下2-2-修改Hbase.env.sh添加jdk路径，把export...

先准备三台或者五台虚拟机（我这里写三台，实际我用的五台）在安装centos时可以在选择（最小安装还是图形化界面处）有配置网络的，把网络先配置好，这样就不需要在重新配置了先配置一台主机，后两台克隆即可，我这里搭建的主机用的图形化界面，从节点用的最小安装ip和主机名ip主机名192.168.228.138chun1192.168.228.139chun219...

我这里是用的五台机器。官网下载解压zookeeper，这里用的3.4.6解压到/usr/local下修改配置文件1- 首先进入到zookeeper-3.4.6下的conf文件夹下cd /usr/local/zookeeper/zookeeper-3.4.6/confls查看文件，然后拷贝zoo_sample.cfg并重命名为zoo.cfg1.修改zoo.cfg在zookeepe...

Hive部署：前提：在安装Hive之前，要求先：- 安装JDK 8- 安装Hadoop-2.7.7- 安装MySQL 5.6.x！！！我这里主节点叫chun1，根据自己的进行修改一、安装1. 下载hive最新的稳定版本的包，并解压缩到用户主目录下：tar -xzvf apache-hive-2.1.5-bin.tar.gz改名：mv apache-hive-2.1.5-bin...

sqoop1）概述sqoop是apache旗下一款“Hadoop和关系数据库服务器之间传送数据”的工具。导入数据：MySQL，Oracle导入数据到Hadoop的HDFS、HIVE、HBASE等数据存储系统；导出数据：从Hadoop的文件系统中导出数据到关系数据库mysql等2）工作机制将导入或导出命令翻译成mapreduce程序来实现，在翻译出的mapreduce中主要对inpu...

一、 Fetch抓取Fetch抓取是指，Hive中对某些情况的查询可以不必使用MapReduce计算。例如：SELECT * FROM employees;在这种情况下，Hive可以简单地读取employee对应的存储目录下的文件，然后输出查询结果到控制台。在hive-default.xml.template文件中hive.fetch.task.conversion默认是more，老版本hi...

Shuffle为何需要shuffle• Reduce阶段的数据来源于不同的MapShuffle由Map端和Reduce端组成Shuffle的核心机制• 数据分区+排序Map端• 对Map输出结果进行spillReduce端• 拷贝Map端输出结果到本地• 对拷贝的数据进行归并排序Shuffle Map端Map端会源源不断的把数据输入到一个环形内存缓冲区达到阈值(默认80%)...