- 博客(3)
- 收藏
- 关注
RSS订阅原创 hive自定义udf函数
1.创建一个简单的maven项目2.pom文件设置需要的依赖<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.
2020-07-06 16:50:49
1018
2
原创 HDFS-文件的上传、下载与合并
HDFS 是一个主从架构（Master/Slave） master ===> nameNode slave ===> dataNode文件是按照 blocksize 分 block（块）后存在不同的 dataNode 上的nameNode 的工作： 1. 维护目录树 2. 管理元数据（metadata，文件对应所有 block
2018-01-23 20:04:20
1958
原创 MapReduce详解
MapReduce 执行的过程中会有三种进程： 1. MRAppMaster：负责整个任务的调度和协调 2. MapTask：负责 map 阶段的任务处理 3. ReduceTask：负责 reduce 阶段的任务处理当我们提交任务：hadoop jar xxxx.jar /input /output 首先启动 MRAppMaster 进
2018-01-23 19:51:21
394
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人