Hadoop实现数据清洗ETL

最新推荐文章于 2024-08-21 03:44:55 发布
最新推荐文章于 2024-08-21 03:44:55 发布
阅读量8.2k 收藏 19
点赞数 3
分类专栏： Hadoop 文章标签： Hadoop ETL 数据清洗
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/waectr/article/details/97369441
版权
本文介绍了使用Hadoop进行数据清洗的ETL过程。首先，文章讲解了数据的结构，包括视频ID、上传者、类别等字段，特别指出类别以&分隔，而相关电影ID以tab分隔，部分数据缺失。接着，提到了开发环境为IDEA、Maven和Hadoop。随后，展示了Mapper代码和ETL工具类，通过测试验证了代码能按要求完成任务。最后，提到将打包后的jar文件部署到Hadoop集群上运行。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

准备

LKh7zAJ4nwo	TheReceptionist	653	Entertainment	424	13021	4.34	1305	744	DjdA-5oKYFQ	NxTDlnOuybo	c-8VuICzXtU	DH56yrIO5nI	W1Uo5DQTtzc	E-3zXq_r4w0	1TCeoRPg5dE	yAr26YhuYNY	2ZgXx72XmoE	-7ClGo-YgZ0	vmdPOOd6cxI	KRHfMQqSHpk	pIMpORZthYw	1tUDzOp10pk	heqocRij5P0	_XIuvoH6rUg	LGVU5DsezE0	uO2kj6_D8B4	xiDqywcDQRM	uX81lMev6_o

这是一行我们准备清洗的数据，它的每个数据的意思是（依次）
视频唯一id 视频上传者 视频年龄 视频类别 视频长度 观看次数 视频评分 流量 评论数 相关视频id
要注意的是：

  1. 视频类别：可能有多个分类，中间要以&分割，但是在有的数据中会以如下形式显示
People & Blogs   & 中间有空格，我们要处理掉它
  1. 相关电影id是以tab(" \t ")分割的，我们要将他换为空格
  2. 有的电影没有相关电影，我们要将这些数据过滤掉

了解需求后，我们开始做！

环境

IDEA + Maven +hadoop

相关依赖

<dependencies>
        <dependency>
            <groupId>junit</groupId>
最低0.47元/天 解锁文章
Hadoop数据压缩 与 数据清洗ETL
FunnyPrince_的博客
09-14 419
目录一、压缩概述优缺点原则二、MR 支持的压缩编码三、压缩方式选择Gzip压缩Bzip2 压缩Lzo压缩Snappy压缩压缩位置选择四、压缩参数配置五、压缩案例 一、压缩概述 优缺点 优点：减少磁盘IO、减少磁盘存储空间； 缺点：增加CPU开销。 原则 运算密集型的job，少用压缩； IO密集型的job，多用压缩。 二、MR 支持的压缩编码 压缩算法对比 压缩性能比较 三、压缩方式选择 压缩方式选择时重点考虑:压缩/解压缩速度、压缩率(压缩后存储大小)、压缩后是否可以支持切片。 Gzip压缩 优
Hadoop-MapReduce（数据清洗）
啊晨
12-30 4866
文章目录数据清洗1)简单解析版2)复杂解析版 数据清洗 在运行核心业务Mapreduce程序之前，往往要先对数据进行清洗，清理掉不符合用户要求的数据。清理的过程往往只需要运行mapper程序，不需要运行reduce程序。 1)简单解析版 （1）需求： 去除日志中字段长度小于等于11的日志。 （2）输入数据 这里简单列举一些，实际工作要比这多很多 194.237.142.21 - - [18/Sep...
apache日志hadoop大数据分析项目：清洗数据核心功能解说及代码实现
11-23
apache日志hadoop大数据分析项目：清洗数据核心功能解说及代码实现
Hadoop学习笔记—20.网站日志分析项目案例（二）数据清洗
雲的博客
07-22 2840
Hadoop学习笔记—20.网站日志分析项目案例（二）数据清洗 网站日志分析项目案例（一）项目介绍：http://www.cnblogs.com/edisonchou/p/4449082.html 网站日志分析项目案例（二）数据清洗：当前页面 网站日志分析项目案例（三）统计分析：http://www.cnblogs.com/edisonchou/p/4464349.h
Hadoop案例：数据清洗（ETL）
小M呀~之大数据系列
12-08 4699
目录 1.概述 2.需求 ​3.代码实现 3.1编写WebLogMapper类 3.2编写WebLogDriver类 1.概述 “ETL，是英文 Extract-Transform-Load 的缩写，用来描述将数据从来源端经过抽取 （Extract）、转换（Transform）、加载（Load）至目的端的过程。ETL 一词较常用在数据仓 库，但其对象并不限于数据仓库 在运行核心业务 MapReduce 程序之前，往往要先对数据进行清洗，清理掉不符合用户 要求的数据。...
Hadoop（18）：MapReduce框架原理之数据清洗（ETL）
yang_shibiao的博客
05-03 2662
目录 0. 相关文章链接 1. 数据清洗（ETL）概述 2. 需求 3. 需求分析 4. 实现代码 0. 相关文章链接 Hadoop 文章汇总 1. 数据清洗（ETL）概述 “ETL，是英文Extract-Transform-Load的缩写，用来描述将数据从来源端经过抽取（Extract）、转换（Transform）、加载（Load）至目的端的过程。ETL一词较常用在数据仓库，但其对象并不限于数据仓库。 在运行核心业务MapReduce程序之前，往往要先对...
Hadoop 教程 - MapReduce框架原理之数据清洗
qq_33240556的博客
06-24 639
在Hadoop的MapReduce框架中，数据清洗是预处理阶段的一个重要环节，用于去除或修正原始数据中的错误、重复、不完整或格式不一致的信息，确保后续分析和处理的数据质量。
【MapReduce篇07】MapReduce之数据清洗ETL1
08-04
本文将深入探讨MapReduce之数据清洗ETL（Extract，Transform，Load），并结合实例代码详细介绍数据清洗的实现过程。 数据清洗的重要性 数据清洗是数据处理过程中非常关键的一步。原始数据可能包含噪音、缺失值、不...
基于Hadoop平台的分布式ETL系统设计与实现.pdf
08-10
综上所述，基于Hadoop平台的分布式ETL系统设计与实现涉及了分布式计算、大数据处理、并行计算、容错机制和负载均衡等多个技术领域。对于大数据时代下的企业而言，采用先进的分布式ETL系统是提升数据处理能力、满足...
Hadoop计数器的应用以及数据清洗
01-10
数据清洗（ETL） 在运行核心业务MapReduce程序之前，往往要先对数据进行清洗，清理掉不符合用户要求的数据。清理的过程往往只需要运行Mapper程序，不需要运行Reduce程序。 1．需求 去除日志中字段长度小于等于11的...
hadoop的数据清洗
曜耀的博客
07-19 647
大家好，我是曜耀。 今天发一篇，关于大数据清洗数据的java代码 public class accesstMapper extends Mapper<LongWritable, Text, Text, NullWritable>{ @Override protected void map(LongWritable key, Text value, Mapper<LongWritable, Text, Text, NullWritable>.Context context
Hadoop | 数据清洗
很开心你能来~
05-10 643
hadoop -- 数据清洗
数据清洗hadoop
最新发布
weixin_40608634的博客
08-21 110
我整理的一些关于【HA】的项目学习资料（附讲解～～）和大家一起分享、学习一下：https://d.51cto.com/xltfov数据清洗与Hadoop：处理大数据的基础实践 引言 在大数据时代，信息的快速增长使得数据处理变得愈发重要。其中，数据清洗（Data Cleaning）是数据预处理的重要步骤，它旨在去除错误、重...
Hadoop_数据清洗示例
m0_67401228的博客
04-03 2298
Hadoop_数据清洗 示例（去除空行、开头为空格的数据）： 原始数据：D:data estdata.txt zhangsan 500 450 jan zhangsan 550 450 feb lisi 210 150 jan lisi 200 150 feb zhangsan 400 150 march zhangsan 600 500 april lisi 190 150 april 800 100 jan BLU 2000 200 feb lisi 110 10 may DataCleanMa
共同好友统计（上）
shyming's blog
08-07 200
共同好友统计------->删除单边好友 import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.conf.Configured; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.*; import org.apache.hadoop.mapreduce.Job; import org.apache.hadoop.mapreduce.Mappe
Hadoop(21)-数据清洗(ELT)简单版
weixin_30840253的博客
12-14 272
有一个诸如这样的log日志 去除长度不合法,并且状态码不正确的记录 LogBean package com.nty.elt; /** * author nty * date time 2018-12-14 15:27 */ public class Log { private String remote_addr;// 记录客户端的ip地址 ...
Hadoop离线项目之数据清洗
゛Never give up~
04-06 1500
#前言 企业级项目开发流程 项目调研：技术？业务？ 产品经理、非常熟悉业务、项目经理 需求分析：做什么 做成什么样 用户提出来的：显式 隐式 方案设计 概设 详设 系统设计 功能开发 开发 测试：单元测试 CICD 测试 功能 联调 性能 用户 试用 部署上线 试运行 DIFF 稳定性 正式上线 灰度 后期 二期、三期、四期等运维保障 功能开发 bug修复（涉及到功能开发...
hadoop离线项目之数据清洗
qq_37283909的博客
03-30 438
企业级项目开发流程 一、项目调研： 以业务为导向 产品经理、非常熟悉业务、项目经理 二、需求分析：做什么 做成什么样 用户提出来的：显式 隐式：用户不清楚，团队需提供 三、方案设计 概设 详设 （具体到所有功能的实现，技术，表，模块，字段，有多少个类，类里的方法及方法名，参数，返回类型。。。） 系统设计 （系统的扩展，水平的扩展，是否容错，可不可以定制化，监控告警…） 四、功能开发 开发 测试：...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值