weixin_42804692的博客

Hive Hadoop cascade 字段

hadoop shell

文章目录catchgrpchmodchowncopyFromLocalcopyToLocal FS Shell 调用文件系统(FS)Shell命令应使用 bin/hadoop fs 的形式。 所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path。对HDFS文件系统，scheme是hdfs，对本地文件系统，scheme是file。其中scheme和authority参数都是可选的，如果未加指定，就会使用配置中指定的默认scheme。一个HDFS文件或目

文章目录一、MapReduce慢的原因二、MapReduce优化方法1、数据输入2、Map阶段3、Reduce阶段4、Shuffle阶段5、I/O传输6、数据倾斜三、HDFS小文件优化方法1、小文件弊端2、解决方案 一、MapReduce慢的原因 MapReduce程序效率的瓶颈在于两点: 1.计算机性能 CPU、内存、磁盘健康、网络 2./O操作优化 (1)数据倾斜 (2) Map和Reduce...

文章目录一、Yarn基本架构二、Yarn工作机制三、资源调度器1、FIFO调度器2、Capacity Scheduler（容量调度器）3、Fair Scheduler（公平调度器）    Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序则相当于运行于操作系统之上的应用程序。 一、Yarn基本架构 YARN主要由Res...

分布式计算的基本原理 思想 mapreduce执行过程 整个运行过程 Yarn资源调度 shuffle阶段 环状数组，超出80M溢出写入硬盘

Hadoop Hadoop: 框架最核心的设计就是：HDFS和MapReduce Hadoop分布式文件系统：HDFS: Hadoop File System 计算引擎：MapReduce 下载地址： http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.14.2/ HDFS工作原理： NameNode:元数据节点 记录数据 D...

文章目录一、创建虚拟机配置基本环境二、无密登录三、配置hadoop安装配置 一、创建虚拟机配置基本环境 创建三台虚拟机 1、下载jdk包 2、解压配置环境变量 3、具体安装步骤参考 link 二、无密登录 三台虚拟机互通，决定好谁做主机谁做从机 主机生成密钥对，id_rsa.pub公钥 [root@yang ~]ssh-keygen –t rsa –P '' [root@yang ~]cd /et...