Forest_sld的博客

目录HIVE的数据倾斜什么是数据倾斜主要表现三级目录 HIVE的数据倾斜 什么是数据倾斜 由于数据分布不均匀，造成大量的数据集中到一个分区里，造成数据热点 主要表现 三级目录

RDD概念 学习spark已经第四天了，对RDD还是云里雾里。 RDD是spark最重要的一部分，RDD的英文全名是Resilient Distributed Dataset 就是 弹性 分布式 数据集 弹性：优先考虑内存，内存不够自动去落盘 RDD是一个不可变的分布式对象集合，每个RDD都被分成多个分区，这些分区运行在集群的不同节点上。 这里我们就从spark的源码入手，一个RDD包含一下内容： A list of partitions A function for computing each

目录问题Mysql中文错误异常 问题 Mysql 中文错误 mysql不允许插入中文的解决方法 #进入mysql查看当前字符集信息 show variables like 'char%'; #如果出现以下信息，是不允许中文插入的原因 character-set-database latin1 character-set-server latin1 #ctl+c退出mysql返回lunix #查找mysql配置文件路径 find -name '*.cnf' #编辑配置文件 vi /etc/my.cnf

目录一、HDFS副本机制二、Yarn容错机制Map/Reduce TaskAppMasterNodeManager三、zookeeper的高可用集 一、HDFS副本机制 文件上传 HDFS默认是三个副本，当前节点一份，同一机架不同节点一份，不同机架任意节点一份，如果某一节点上传失败，那整个块都会上传失败，需重新启动该副本的上传 文件下载 下载失败可能因为副本丢失或者节点坏掉，会优先调用同一机架的另一个节点的数据备份，这样会减少数据开销 二、Yarn容错机制 Map/Reduce Task AppMaster

HADOOP -YARN一、 yarn的基本架构ResourceManagerNodeManagerApplicationMasterContainer二、job提交的全过程 一、 yarn的基本架构 ResourceManager ResourceManager:资源调度（全局管理），接受并且处理client请求监控NodeManager并向其发送指令，启动或监控appmaster的指令 NodeManager NodeManager：单节点的资源管理，监控Container生命周期和使用的资源，处理来自

MapReduce 目录一、什么是MapReduce?二、MapReduce的流程三、MapReduce优缺点优点缺点 一、什么是MapReduce? 二、MapReduce的流程 三、MapReduce优缺点 优点 缺点

HDFS什么是HDFS ？HDFS组件以及作用HDFS优缺点优点缺点HDFS的读写流程读操作写操作HDFS的shell命令 什么是HDFS ？ HDFS （Hadoop Distributed File System）是 Hadoop 下的分布式文件系统。HDFS是一个高度容错性的系统。具有高容错、高吞吐量等特性。并且能部署在廉价的机器上。 HDFS组件以及作用 组件 作用 Client 1、文件上传HDFS的时候对文件进行切分，文件下载HDFS时对文件进行合并 。 2、与NN通信，上

Sqoop什么是Sqoop?Sqoop数据传输RDBMS ->HDFSincremental appendincremental lastmodifiedMYSQL->HBASESqoop job常用命令 什么是Sqoop? 什么是Sqoop？ sqoop其实是一个桥梁，主要在关系型数据库和Hadoop之间进行数据传输，进行数据的导入和导出 关系图 导出和导入 Sqoop数据传输 RDBMS ->HDFS mysql到hdfs通过sqoop进行数据传输 分两种，一是只支持新