大数据(3j)Sqoop生产经验

大数据框架Flume和Sqoop 在我们了解Flume和Sqoop之前,让我们研究数据加载到Hadoop的问题: 使用Hadoop分析处理数据,需要装载大量从不同来源的数据到Hadoop集群。 从不同来源大容量的数据加载到Hadoop,然后这个过程处理它,这具有一定的挑战。 维护和确保数据的一致性,并确保资源的有效利用,选择正确的方法进行数据加载前有一些因素是要考虑的。 主要问题: 1. 使用脚本加载数据 传统的使用脚... 阅读详情

增量同步遇到的坑

  • 上游(业务系统)手动导入数据,导入的时间使用了事件时间而不是程序时间
  • 注意时区

并行度

  • Sqoop的底层运行任务是MR中的Map,没有Reduce,默认4个MapTask

  • 数据导入时,建议并行度设为1:--num-mappers 1
    并行度>1时,会产生多个文件

  • 数据量较大时,可以增加并行度,并指定切分的键:--split-by

列式存储导出问题

问题描述:
数仓表采用列式存储,Sqoop导出时可能出问题
解决方案:
1、应用层数据量不多,不采用列式存储(首选)
2、创建 常规存储的 临时表,再导出

Sqoop数据导出一致性问题

场景:
HIVE数据导出到MySQL时,使用4个Map任务,其中2个任务失败,导致MySQL只存了另两个任务的数据
原因:
Sqoop将导出过程分解为多个事务
解决方案:
添加 --staging-table选项,指定 表名(是个辅助表),使阶段数据在单个事务中移动到目标表
--staging-table 用于辅助的表名 \
--clear-staging-table \
  1. --staging-table不和--update-mode allowinsert同时使用
  2. 用于辅助的表要预先创建好
  3. 不写--columns默认是全部列,但在--staging-table情况下建议加上--columns
  4. --clear-staging-table会清空用于辅助的表的数据
  5. MySQL表设置主键可防止重复写入
  6. 更多报错信息请用yarn logs -applicationId查看

上游业务系统数据库按月分表

  • sqoop的Python脚本设置动态表名即可
from datetime import date, timedelta
# 今天
today = date.today()
# 上个月最后一天
last_day_of_last_month = today - timedelta(days=today.day)
# 上个月
month = last_day_of_last_month.month
# 上个月最后一天所在年份
year = last_day_of_last_month.year
# 年月
ym = '%4d%2d' % (year, month)
print(ym)
# 动态表名
tb_name = TB_NAME + ym

源头管理

1、源表规范

  • 表和字段必须要有注释
  • 遵循范式(见过一些不遵循范式的,表关联绕圈,乱的不行)
  • 单机低并发场景,可使用外键
    不使用外键的话,须要给列添加外键的注释

2、源表字段变更通知

源表字段变更时,要求按以下格式通知大数据部门

变更日期库库名表名变更操作变更字段
2021-10-24MySQLb1t1删除字段f5
2021-10-24MySQLb1t2增加字段f3,f4
…

3、源MySQL元数据概览

https://blog.youkuaiyun.com/Yellow_python/article/details/124276995

数据同步信息管理

源地址源类型源库名源表名主键表注释是否允许update操作是否允许delete操作行的创建时间字段行的更新时间字段同步工具目标类型目标路径目标库目标表目标表类别分区策略同步周期同步策略
host01MySQL商品信息是SqoopHIVE维度表按天天全量
host01MySQL用户信息是create_timeupdate_timeSqoopHIVE维度表按天天新增及变化
host01MySQL子订单流水否create_timeSqoopHIVE事务型事实表按天天增量
host01MySQL库存是SqoopHIVE周期型快照事实表按天天全量
host01MySQL订单状态是create_timeupdate_timeSqoopHIVE累积型快照事实表按天天新增及变化
…MaxwellHDFS…

是否允许update操作和是否允许delete操作需要联系后端同事帮忙填写

MySQL导入数据到的HIVE建表策略

  1. 表名:ods_源类型_源表名_同步策略
    同步策略:full表示全量同步,i表示增量同步(默认每天增量)
    例如:sku_info=>ods_mysql_sku_info_full;sub_order=>osd_mysql_sub_order_i
  2. 建表数据类型:
    多数情况下用STRING
    度量值要用数值
    金额用DECIMAL(16,2),表示:16位有效数字,其中小数部分2位
    (Java)程序生成的时间戳用BIGINT
    其它度量值转换规则如下:
MySQL范围HIVE范围
INT-2,147,483,648 ~ 2,147,483,647INT-2,147,483,648 ~ 2,147,483,647
INT UNSIGNED0 ~ 4,294,967,295BIGINT-9,223,372,036,854,775,808 ~
9,223,372,036,854,775,807
BIGINT-9,223,372,036,854,775,808 ~
9,223,372,036,854,775,807
BIGINT-9,223,372,036,854,775,808 ~
9,223,372,036,854,775,807
TINYINT-128 ~ 127TINYINT-128 ~ 127
TINYINT UNSIGNED0 ~ 255SMALLINT2-byte signed integer
-32,768 to 32,767
FLOAT和
FLOAT UNSIGNED
FLOAT
DOUBLE和
DOUBLE UNSIGNED
DOUBLE
DECIMALDECIMAL
BITSTRING
  1. 建议bit类型数据,用bin函数转成字符串,再导入到HDFS
create table t1 (a bit(1),b bit(4));
insert into t1 values (0,9),(1,7);
select a,b,bin(a),bin(b) from t1;


Appendix

en🔉cn
premiumˈpriːmiəmn. 保险费;额外价值;津贴;奖品,奖金
schemaˈskiːmən. (计划或理论的)纲要,图解
navinavigationabbr. 导航系统
navigationˌnævɪˈɡeɪʃnn. 导航;航海;水上运输;浏览;航海术;内河水道(尤指运河)
unsignedˌʌnˈsaɪndadj. 无符号的;未签名的
decimalˈdesɪmladj. 十进位的,小数的;n. 小数;十进制
stagingˈsteɪdʒɪŋn. 上演;分段运输;v. 表演;展现;分阶段进行;筹划(stage 的 ing 形式)
stagesteɪdʒn. 阶段;舞台;vt. 上演;主办
Sqoop数据导入:优化网络带宽和速度 在大数据处理中,Sqoop是一个常用的工具,用于在Apache Hadoop和关系型数据库之间进行数据传输。然而,对于大型数据集,使用更高效的文件格式,如Parquet或Avro,可以显著提高导入速度。综上所述,通过调整并行度参数、启用压缩和选择合适的文件格式,您可以优化Sqoop数据导入的网络带宽和速度。参数,它用于指定并行导入的数量。通过增加并行度,可以同时从源数据库的多个分区读取数据,并将其并行导入到Hadoop集群中。在数据导入过程中,启用压缩可以减少数据在网络上的传输量,从而提高传输速度。 阅读详情

相关推荐

大数据开发之Sqoop详细介绍

通过Sqoop的help命令可以看到sqoop有哪些工具。

萌兔兔MMQ!! 1096

千万级数据通过sqoop从hive orc分区表导出到mysql的提速经验

背景 数仓算好的数据需要导出到MySQL,但现有的操作流程导出千万级的数据耗时近2小时,2小时的导出速度无法忍耐,且失败成本较高,故急需优化提速。 Hive表为orc格式,按月分区,数据每月通过spark任务执行,并且insert 命令后会带上distribute by语句,保证每个月分区内只有一个文件 MySQL环境为开发环境,硬件配置极低 思路 正常我们执行sqoop命令导出数据时,都有固有的模板,类似: sqoop export \ --connect "${conn_info}" \ -

H_Shun的博客 1906

【大数据Sqoop系列】Sqoop 简介与安装

【大数据Sqoop系列】Sqoop 简介与安装

weixin_54707168的博客 387

Sqoop将hive处理的数据导出到MySQL

sqoop将hive数据导出到mysql

weixin_62369128的博客 5607

数据同步工具—Sqoop

Sqoop 作为一个数据同步工具,主要用于关系型数据库和Hadoop的数据相互同步。table 模式query 模式job 主要解决了增量同步的元数据(last-value)维护问题,当然本身也可以用来做非增量的同步,ETL 中更常用的增量模式是通过query 来完成的,这是因为query 模式更加灵活。

4万+

从VBA到Python:探索CODE V API在MTF数据分析中的跨语言实践

本文详细介绍了如何从VBA转向Python,利用CODE V API实现MTF数据分析的高效工作流。通过Python的科学计算库和现代API设计,光学工程师可以大幅提升数据处理和可视化效率,实现自动化报告生成和性能优化。

weixin_29239661的博客 444

Sqoop并行度控制

7.2.4 并行度控制 Sqoop并行地从大多数数据库源导入数据。您可以使用-m或--num-mappers参数指定用于执行导入的map任务(并行进程)的数量。每个参数都取一个整数值,该整数值对应于要使用的并行度。默认情况下,使用四个任务。一些数据库可以通过将这个值增加到8或16来改善性能。不...

chennaihuan0842的博客 2954

PX4固件下VTOL固定翼的3种起飞方式对比:手抛vs弹射vs跑道

本文深度解析PX4固件下VTOL固定翼的三种起飞方式:手抛、弹射与跑道起飞,对比其技术差异与适用场景。通过详细的参数配置和工程实践指南,帮助开发者优化起飞性能,提升无人机在不同环境下的适应性和可靠性。文章特别针对PX4飞控系统的最新特性进行了技术探讨。

weixin_30296405的博客 89

sqoop导入数据遇到的参数问题 ,导出–staging-table

sqoop import参数 –query "select XXXXX and $CONDITIONS " 按条件导入 -m1 指定map 在导入的时候采用指定–columns的方式来进行导入 sqoop import --hive-import --hive-database test --create-hive-table --connect jdbc --username user–password user–bindir //scratch --outdir /Java --table

少年阿宏 3849

碳化硅外延层厚度测量:红外干涉光谱与FFT技术详解

薄膜厚度测量是半导体制造中的关键工艺控制环节,其核心原理基于光的干涉现象。当光在薄膜上下界面反射并叠加时,会产生与厚度相关的干涉条纹。通过分析这些条纹,可以非接触、无损地获取薄膜的精确厚度信息。这项技术的核心价值在于实现了对关键工艺参数的在线、快速监控,对于提升器件性能与生产良率至关重要。在第三代半导体,尤其是碳化硅功率器件的制造中,外延层厚度直接决定了器件的击穿电压和导通电阻等核心性能。红外干涉光谱法因其对碳化硅材料在红外波段的良好透过性,成为该领域主流的厚度测量方案。通过快速傅里叶变换(FFT)对采集到

weixin_29032489的博客 309

HBuilderx 坑 之前没问题 改了几行代码 小程序上传报分包大小超过限制

Error: 分包大小超过限制,main package source size 4199KB exceed max limit 2MB [20221213 10:08:06][wx432abdb518bdc1eb]下面的我提示是都没超过2M,却提示我超过限制,代码改了不到20行吧,之前是正常上传的.....,比如这类,要压缩的,前提是没压缩过的,但是我肯定提交的时候是压缩的,没勾选此项的要注意,如果本文解决了你的困扰 来波666不为过吧!

爱就码上行动,奔赴热爱,追光而行。愿你带着从容与热爱,拥抱每一天的惊喜与美好 5221

大数据之Sqoop

大数据之Sqoop一 Sqoop简介二 Sqoop原理三 Sqoop安装1 下载并解压1) 下载地址2) 上传安装包sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz到虚拟机中3) 解压sqoop安装包到指定目录,如:2 修改配置文件1) 重命名配置文件2) 修改配置文件3 拷贝JDBC驱动4 验证Sqoop5 测试Sqoop是否能够成功连接数据库四 Sqoop的简单使用案例1 导入数据1.1 RDBMS到HDFS 一 Sqoop简介 Sqoop是一款开源的工具,主要用于

小坏说Java,一个专注Java微服务架构的实战,Java全栈教程,SpringBoot, SpringCloud微服务到分布式、高并发架构,大数据开发,运维实战,K8S、Docker容器为一体的教程,结合企业级内部的技术栈学习 1万+

CNC雕刻与VCarve Pro实战:将三维地形数据转化为木质景观时钟

计算机辅助制造(CAM)是现代数字制造的核心技术之一,它通过软件将设计模型转化为机床可执行的指令,驱动设备进行精准加工。其原理在于将三维模型离散为刀具运动路径(G代码),控制铣刀等执行机构进行“减材”成型。这项技术的价值在于实现了复杂三维形体的高精度、可重复制造,极大地拓展了创意实现的边界。在应用场景上,CAM广泛应用于模具加工、原型制作、个性化工艺品制造等领域。本文聚焦于一个具体实践:利用VCarve Pro软件,结合从在线地图服务获取的真实地形STL数据,通过CNC雕刻机在硬木上加工出具有真实地理特征的

weixin_30651345的博客 379

Sqoop 从入门到精通

Sqoop是Hadoop和关系数据库服务器之间传送数据的一种工具。它是用来从关系数据库如:MySQL,Oracle到Hadoop的HDFS,并从Hadoop的文件系统导出数据到关系数据库。传统的应用管理系统,也就是与关系型数据库的使用RDBMS应用程序的交互,是产生大数据的来源之一。这样大的数据,由关系数据库生成的,存储在关系数据库结构关系数据库服务器。

桃李不言下自成蹊 6万+

VFIO框架源码分析(二十一)- IOMMUFD 模式下的 DMA 映射机制

在虚拟化 I/O 的世界里,无论上层管理面(如对象模型、设备绑定)如何重构,数据面最核心的任务始终未变——DMA 映射(DMA Mapping)。即如何建立 Guest Physical Address (GPA) 到 Host Physical Address (HPA) 的映射关系,并将其填入 IOMMU 的硬件页表中,使得直通设备能够正确访问虚拟机内存。在 Legacy VFIO (Type1) 时代,这一职责由承担,它通过ioctl 操作 Container。

qq_36071928的博客 1012

汽车UDS诊断详解及Vector相关工具链使用说明——总述

1.什么是诊断 车辆在运行过程中,不可避免地会发生一些故障,为了确保行车安全,我们要求车上的ECU能够实时监测部件的运行状态,一旦发现异常情况,能通过点亮报警灯等方式提示驾驶员。但是,点亮报警灯只能告诉驾驶员车辆发生了故障,最多只能定位到故障ECU,比如ABS报警灯亮说明ABS系统出现故障,但具体是什么部件发生故障并不能通过报警灯显示出来。这时就需要ECU在本地存储一个与故障相对应的故障代码,在进行维修的时候,可以通过车上的OBD接口连接诊断仪,把这个存储的故障代码读取出来,从而进一步定位到更加具体的故障部

weixin_42967006的博客 2万+

大数据Sqoop搭建

目录1 启动条件2 下载或复制Sqoop安装包3 解压并安装Sqoop4 配置Sqoop4.1 配置MySQL连接器4.2 配置Sqoop环境变量4.3 配置Linux环境变量5 启动并验证Sqoop6 测试Sqoop与MySQL的连接 1 启动条件 Sqoop需要安装在成功部署,Hadoop的平台上,并且要求Hadoop已经正常启动。读者可以参见第6章中有关验证Hadoop是否处于正常运行状态的方法。 准备就绪后,就可以开始安装Sqoop了。我们打算将Sqoop安装在Master上,因此以下的操作均是在

赵广陆 739

Oracle EBS R12 主 / 辅助分类帐(主 / 辅助帐套)

本文档提供了Oracle EBS R12主/辅助分类帐的完整实施指南,包含主帐套(法定帐套)和辅助帐套(4种模式)的配置清单、科目映射规则模板(一对一、多对一、重分类、税会差异、币种转换)、4类典型调整分录示例(存货跌价、折旧差异、往来重分类、外币折算)以及完整业务闭环案例。重点说明了SLA子分类帐的核心配置逻辑,并提供了可直接用于项目交付的配置文档、调整规则清单和期末结账流程。文档采用R12主分类帐+辅助分类帐标准格式,适用于多准则、多币种、税务调整等复杂场景的实施。

金牌架构师 196

大数据-工具-sqoop

假如一个sqoop脚本执行一半报错了,再执行的时候就会报如上错误,相当于是hdfs中的 user/root/emp 是一个临时文件,如果sqoop导入成功,会删除这个临时文件的,但是由于没有成功,所以临时文件也没删除,第二次必定报错,解决方案:删了吧!1、一定要记得的是 Sqoop的执行脚本,底层使用的MR中的map,所以输出文件的名字都是part-m 开头。mysql 导入数据到 hive,hive 中的数据库必须提前有,hive 中的表无需创建,会自动生成的。

weixin_47070990的博客 969

IMSL CNL 7.0.0 (x86-64)Crack

IMSL CNL 7.0.0 (x86-64)Crack intel的算法库破解文件,这是C++版本的破解文件

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

Sqoop

Sqoop简介 Sqoop是大数据生态体系中数据传输层的工具,完成Haoop文件存储体系(HDFS、Hive、Hbase)与关系型数据库(Mysql)之间的数据导入导出。 Apache Sqoop(TM)是一种旨在有效地在Apache Hadoop和诸如关系数据库等结构化数据存储之间传输大量数据的工具。 Sqoop于2012年3月孵化出来,现在是一个顶级的Apac...

乔治大哥的博客 2058

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

Sqoop实战-- Sqoop的Job任务、增量导入、数据格式转换与Lombok的使用指南

Apache Sqoop 在促进关系型数据库和Hadoop之间的高效数据传输方面表现出色,使其成为大数据工作流程中不可或缺的工具。本文将详细介绍如何使用Sqoop执行Job任务以及进行增量导入,如何在HDFS上指定数据存储格式,以及如何利用Lombok简化Java实体类的编写。

天冬忘忧的博客 1249

IDEA的使用指南

IDEA基于java的使用手册,可以最快速的上手,在使用中不断的丰富自己的使用技巧.

sqoop异常

sqoop异常问题汇总1.Maven引起的依赖冲突 1.Maven引起的依赖冲突 问题过程: 在部署DolphinSchedule时,发现数据源不能添加hive,原因为hive版本冲突(集群为CDH5.12.2, hive为1.1; DS版本1.2.0,hive为2.1); 于是在带有sqoop的服务器中部署了Maven,对DS源码修改后进行了编译; 在这台服务器中sqoop运行就出现了如下错误: 20/06/18 18:50:23 FATAL conf.Configuration: error par

bytexiaobai的博客 584

【大数据开发运维解决方案】sqoop避免输入密码自动增量job脚本介绍

本篇文章将介绍如何将上一篇文章介绍的增量方式同sqoop自带的job机制和shell脚本以及crontab结合起来实现自动增量同步的需求

赵延东的一亩三分地 16万+

【大数据开发运维解决方案】Sqoop全量同步mysql/Oracle数据到hive

接下来本篇文章详细介绍一下使用sqoop全量同步oracle/mysql数据到hive,这里实验采用oracle数据库为例,后面一篇文章将详细介绍:1、sqoop --incremental append 附加模式增量同步数据到hive2、sqoop --incremental --merge-key合并模式增量同步到hive。

赵延东的一亩三分地 17万+
上一篇: 运行Sqoop任务的通用脚本Python实现(待优化)
下一篇: 大数据(9d)Flink流处理核心编程
小基基o_O
博客等级 码龄9年 4414粉丝 467原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小基基o_O

您的鼓励是我创作的巨大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值