hadoop outline

原创 已于 2024-03-14 20:53:22 修改 · 1.2k 阅读 · 7 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hadoop

于 2022-07-01 00:21:07 首次发布
本文深入介绍了Hadoop的核心组件，包括HDFS的Shell操作及读写流程、MapReduce的工作机制与Shuffle过程、YARN的调度机制等，并探讨了小文件问题解决方案及系统优化方法。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

目录

hadoop outline

hadoop outline

hadoop

hadoop 简介

hadoop 简介

hadoop 分布式部署

hadoop 分布式部署

hadoop 集群崩溃处理

hadoop 集群崩溃处理

hadoop 中配置历史服务 日志聚集

hadoop 中配置历史服务 日志聚集

hdfs

hdfs Shell操作

hdfs Shell操作

NameNode和SecondaryNameNode 工作机制

NameNode和SecondaryNameNode 工作机制

hdfs 读写数据流程

hdfs 读写数据流程

hdfs 小文件影响 解决方案

hdfs 小文件影响 解决方案

mr

mr-WordCount 简单测试代码

mr-WordCount 简单测试代码

mr-InputFormat OutputFormat

mr-InputFormat OutputFormat

mr-MapTask ReduceTask并行度决定机制 FileInputFormat切片源码解析

mr-MapTask ReduceTask并行度决定机制 FileInputFormat切片源码解析

mr-Job源码提交流程

mr-Job源码提交流程

hadoop 压缩

hadoop 压缩

mr 工作机制

mr 工作机制

mr-Shuffle 机制 mr-属性控制优化

mr-Shuffle 机制 mr-属性控制优化

yarn

Yarn 调度器

Yarn 调度器

Yarn 工作机制

Yarn 工作机制

yarn 参数调整

yarn 参数调整

金融产品个性化推荐引擎
AI天才研究院
03-08 410
在编写本文之前，我们需要明确每个章节的内容、格式要求以及核心概念，以确保文章的完整性和专业性。以下是对各个章节的概述与格式要求的详细说明。内容概述：第一章将介绍金融产品个性化推荐服务的背景，解释为何个性化推荐在金融领域至关重要，并探讨现有金融推荐系统面临的挑战。此外，还将介绍核心概念，如金融产品的分类、用户画像的构建以及推荐算法的基本原理。格式要求使用Markdown格式，一级标题为##，二级标题为###，三级标题为####。在每个二级标题下，详细阐述相关概念，使用段落格式，确保内容连贯。内容概述。
2023.11.16 hivesql 函数之类型转换,脱敏,与加密函数
白白的wj的博客
11-15 1176
cast:主要用于类型转换,如果转换失败则返回null很多时候,底层也默认做了自动转换实际应用场景:concat_ws用指定分隔符拼接到一起生成新的字符串,但拼接的内容必须是字符串类型,所以可以用cast来先进行类型转换。
Hive结合Apache Ranger进行数据脱敏
Carson073的博客
04-18 1492
Apache Hive是构建在Hadoop之上的数据仓库，支持通过SQL接口查询分析存储在Hadoop中的数据。在Hive出现之前，数据分析人员需要编写MapReduce作业分析Hadoop中的数据，这种方式繁琐低效，对数据分析人员不友好，因为数据分析人员大部分比较精通SQL，但是编程功底较浅。在这种背景下，2007年Facebook在论文。
Hive 3.x数据静态脱敏与加密
最新发布
qq_42773076的博客
06-16 902
在Hive数据加密中，选择合适的加密算法至关重要。常见的加密算法包括对称加密算法（如AES、DES）和非对称加密算法（如RSA）。对称加密算法加密和解密使用相同的密钥，具有加密速度快、效率高的特点，适用于大量数据的加密；非对称加密算法使用公钥加密、私钥解密，安全性更高，但加密和解密速度相对较慢，常用于密钥交换和数字签名。以AES（高级加密标准）算法为例，它是一种分组加密算法，支持128位、192位和256位密钥长度，安全性高且性能出色，被广泛应用于数据加密场景。
如何使用Sentry实现Hive/Impala的数据脱敏
延宝小白马的博客
08-09 309
1.环境准备及描述2.创建脱敏视图3.权限分配及测试4.总结。
hive outline
qq_43192537的博客
07-01 976
hive outline
Hive内置杂项函数
荣耀之路
12-15 3492
Built-in Misc. Functions
python爬虫部署hadoop_让python代码在hadoop上运行
weixin_35049095的博客
02-21 874
使用Python编写MapRecuce代码的技巧就在于我们使用了Hadoop streaming来帮助我们在map和reduce之间传递数据通过stdin和stdout，我们仅仅使用Python的sys.stdin来输入数据，使用Python的sys.stdout来输出数据，其他的streaming都会帮我们做好。别不信这一点！首先创建map和reduce处理程序,用python实现。mapper...
Hadoop之多行读取数据
young_so_nice的博客
05-06 7748
一，需求： 在map执行前，即setInputFormatClass过程，会进行数据的读入，默认的是每次读入一行数据，进行计算。现在需要改成每次读入两行数据并且合并结果输出。二，思路及解决方法： 建议先看看他们的源码，理解思路。 我这里是采用的TextInputFormat.class的输入格式。它的key是每一行的偏移位置，value就是它这一行的内容。其中有创建LineRecordRead
下载 outline-cli Python 库最新版本 1.0.2
Zookeeper是Hadoop的一个子项目，但其设计是通用的，可以用于任何分布式应用。它采用了一个类似于文件系统的层次命名空间，支持Java和C两种语言的API。 #### 分布式 分布式系统是由一组通过网络进行通信、为了完成...
Ubuntu安装单机1.2.1hadoop与伪分布式模式进行WordCount实验
挑灯看剑的专栏
04-10 2100
一、hadoop单机和伪分布式配置步骤
Hadoop大数据平台安全问题和解决方案的综述
01-30
Hadoop大数据平台安全问题和解决方案的综述,可以从这里学习到处理问题的思路。
* hive脱敏UDF函数 *对一些敏感信息进行脱敏处理，替换位置可自定义，脱敏符号可随机也可自定义
04-28
* 脱敏UDF函数 * 功能：对一些敏感信息进行脱敏处理，替换方式可选择自定义替换，如'#','*'等,，如不指定脱敏符号，使用个随机字符替换 * 脱敏位置可自定义，不指定位置，会对数据进行全脱敏 * 例如身份证信息： 411421199508186496 * 脱敏后：411***1995****649*
sha256算法
07-30
sha256加密签名算法
HIVE字段简单加密
yipiantian的博客
06-23 2478
HIVE字段简单加密
大数据技术架构(组件)14——Hive：掩码函数&杂项函数
sysocc的博客
02-02 453
计算 SHA-2 系列哈希函数（SHA-224、SHA-256、SHA-384 和 SHA-512）（从 Hive 1.3.0 开始））。默认情况下，大写字母转换为“X”，小写字母转换为“x”，数字转换为“n”。例如， mask("abcd-EFGH-8765-4321", "U", "l", "#") 结果为 llll-UUUU-####-####例如， mask_show_last_n("1234-5678-8765-4321", 4) 结果为 nnnn-nnnn-nnnn-4321。
impala/hive脱敏导数方法，建表跟hdfs路径关联
自律
07-28 694
经常使用的脱敏规则 1.md5()函数加密，需要用hive，用hive容易报内存不足，set mapreduce.map.memory.mb=1024的倍数 2.保留第一位，后面用*代替 concat(strleft(coalesce(Cst_no ,''),1),regexp_replace(substr(coalesce(Cst_no ,''),2),'.','*')) 脱敏导数常用方法 1.导出格式化数据到文本文件，（有表头，字段间分割），可以直接浏览数据 ①
关于数据脱敏的两种解决方案之二基于springmvc json处理时候的数据脱敏
傻根她弟
08-30 2387
接上一篇 关于数据脱敏的两种解决方案之一基于mybatis Interceptor的脱敏 这里只写基于springmvc json处理类 继承alibaba.fastjson import java.lang.reflect.Field; import java.util.ArrayList; import java.util.Arrays; import java.util.List;...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值