MySQL技术

环境要求：java、ssh1.上传并解压tar包[root@hadoop000 software]# rz #上传hadoop-2.8.1.tar.gz[root@hadoop000 software]# tar -xzvf hadoop-2.8.1.tar.gz 2.配置环境变量[root@hadoop000 software]# vi /etc/profile...

1.hive是什么?基于Hadoop的一个数据仓库工具2.hive的默认使用什么数据库?生产上我们一般用什么?默认使用derby 生产使用MySQL3.hive的元数据存储在哪? 数据存储在哪?MySQL HDFS4.hive的SQL语法和什么类似和MySQL语法类似5.hive底层执行计算引擎是什么MapReduce/tez/spark...

1.sqoop是什么?主要用于在Hadoop与RDBMS间进行数据的传递2.sqoop分为哪两个分支，各最新版本是什么?sqoop1：1.4.7 sqoop2：1.99.73.在工作中我们用的最多的是sqoop1，那么导入和导出，谁给谁的导入是RDBMS到Hadoop 导出是Hadoop到RDBMS4.假如输入一个命令找不到not found，你们觉得该怎么...

1.yarn的进程哪两个?NodeManager,ResourceManager2.rm进程包含哪两个?Applications Master, Resource Scheduler3.容器什么单词? 是在NM节点上还是RM节点?container, 在NM节点4.内存参数和CPU参数 能记得几个?假如让你们去官网搜，你们会知道以什么关键词搜搜吗yarn.n...

1.昨晚若泽分享了一个开源组件叫什么？hystrix2.jps如果看了信息不可用，我们该怎么做ps一下进程 进入相应用户下去看3.hadoop pid默认在哪?哪个变量和参数文件修改默认在 /tmp 目录下 在hadoop-env.sh参数文件 修改HADOOP_PID_DIR变量4.hdfs日志显示 是在safe mode，那么哪个命令可以尝试让hdfs离开...

1.MapReduce谈谈你们的理解执行引擎 计算2.Map是什么map：映射函数3.Reduce是什么reduce：规约函数4.shuffle谈谈你们的理解相当于洗牌 按key进行分组5.wordcount那副图，脑子是否有印象?不太深入6.输入分片一般和什么有关?多少个分片就可以有多少个map task，对不对?块大小 不对 会合...

Hadoop编译步骤：1.解压Hadoop源码包[root@hadoop000 ~]# mkdir -p /opt/sourcecode[root@hadoop000 ~]# mkdir -p /opt/software[root@hadoop000 sourcecode]# cd /opt/sourcecode# 将hadoop-2.8.1-src.tar.gz下载（或者用...

1.hadoop是什么狭义: Hadoop软件(HDFS、MapReduce、Yarn) 广义: 以hadoop为主的生态圈2.hadoop三大组件是什么?分别做什么HDFS: 分布式文件管理系统 存储 MapReduce: 执行引擎 计算 Yarn: 资源(memory cpu)和作业调度平台 资源3.hdfs在部署时，要配置信任关系，请问root和hadoop用户...

前言： 前几篇文章 我们介绍了HDFS组件的配置及启动，Yarn是Hadoop集群的资源与作业调度平台，下面介绍下Yarn的伪分布部署及MapReduce简单使用。1.配置文件及启动[hadoop@hadoop000 hadoop]$ pwd/opt/software/hadoop-2.8.1/etc/hadoop[hadoop@hadoop000 hadoop]$ cp m...

简介： jps(Java Virtual Machine Process Status Tool)是JDK 1.5提供的一个显示当前所有java进程pid的命令，简单实用，非常适合在linux/unix平台上简单察看当前java进程的一些简单情况。 详细参数请参考：https://www.cnblogs.com/toSeeMyDream/p/5747412.html *注：*jps命令有个地...

前言： 在这篇文章中https://www.jianshu.com/p/eeae2f37a48c 我们使用的是root用户来部署的，在生产环境中，一般某个组件是由某个用户来启动的，本篇文章介绍下怎样用hadoop用户来重新部署伪分布式(HDFS)1.前期准备 创建hadoop用户，及配置ssh免密登录 参考：https://www.jianshu.com/p/589bb4...

一般生产环境 Hadoop组件都是由hadoop用户来启动，首先需要配置hadoop用户ssh免密登录1.创建Hadoop用户[root@hadoop000 ~]# useradd hadoop[root@hadoop000 ~]# id hadoopuid=1102(hadoop) gid=1102(hadoop) groups=1102(hadoop)[root@hado...

1.hadoop的广义和狭义的理解狭义: Hadoop软件(HDFS、MapReduce、Yarn) 广义: 以hadoop为主的生态圈2.hadoop三大组件是什么?分别是做什么?HDFS: 分布式文件管理系统 存储 MapReduce: 执行引擎 计算 Yarn: 资源(memory cpu)和作业调度...

1.hdfs是属于什么架构高可用的分布式架构2.hdfs部署后进程哪些?按启动顺序说NameNode,DataNode,SecondaryNameNode3.一个文件180M，请问实际存储多少，多少块?多少map task?（副本为3）540M, 6块， 假如文件支持分割，那么就2个map task。假如文件是压缩的，那么正好压缩不支持分割，那么就一个map task...