使用Sqoop把ADS层数据导出到MySQL

数仓项目关于sqoop导出ads层数据到mysql 导出原因 因为我们需要对ads得到的数据做数据可视化,一般是java来做的,如果是大数据自己做,那么直接用hive这边的数据就好了,可是如果是java来做,就需要把ads的数据传到mysql中。 关于导出去重 ads数据导出到MySQL中最重要的问题就是去重,因为我们是全量同步,那么假设我们刚开始只有14号数据,导入到mysql中,那么第二天我们导入过去的就是14号和15的数据,那么如果追加到mysql中,就会出现有14,14,15号的数据,所以,如何对mysql中的数据进行去重就是最关键的事情。 关于去重 阅读详情

文章目录

背景

  • 使用Sqoop把ADS层数据导出到MySQL
  • 使用sqoop export时要添加--columns,避免一些奇奇怪怪的报错
  • 使用正则表达式获取字段名

流程

  1. ADS层不分区,不压缩,行存
  2. ADS层建表SQL要有单独的文件,如果表更新就要更新该文件的建表语句
  3. 表名:ADS层的HIVE表有ads_前缀,对应到MySQL建表时去掉前缀
  4. 字段:ADS层表和MySQL表的 字段名及字段顺序都要一致,用`符号包裹
  5. 遍历ADS层建表语句,使用正则表达式获取 表名、所有字段名
  6. 传参到Sqoop命令

代码

ADS层建表语句(ADS层建表.sql)

-- HIVE建表语句,字段用`符号包裹,表名不需要包裹
CREATE EXTERNAL TABLE ads_purchase_order_info (
`prch_order_id` BIGINT COMMENT '采购订单头id',
`exfactory_total_price` DOUBLE COMMENT '出厂价总额',
`insert_time` STRING COMMENT '数据插入日期'
) COMMENT '采购信息';

MySQL建表语句

CREATE TABLE purchase_order_info (
`prch_order_id` bigint COMMENT '采购订单头id',
`exfactory_total_price` DOUBLE COMMENT '出厂价总额',
`insert_time` text COMMENT '数据插入日期',
PRIMARY KEY (`prch_order_id`)
) COMMENT '采购信息';

Python

class Sqoop(Shell):
    def sqoop(self, cmd):
        return self.sh_cmd_and_alert(' '.join(cmd.split()))

    def sqoop_export(self, mysql_tb, export_dir, columns='', update_mode='allowinsert', update_key='prch_order_id'):
        """
        --columns缺省默认是全部列;建议加上,避免一些莫名其妙的bug
        --update-mode缺省默认是updateonly,可改为allowinsert
        --update-key是用于更新的锚列;多个列用逗号分隔
        """
        return self.sqoop(r'''
        {sqoop} export
        --connect jdbc:mysql://{host}:{port}/{database}
        --username '{username}'
        --password '{password}'
        --table {table}
        --num-mappers 1
        --input-fields-terminated-by '\001'
        --input-null-string '\\N'
        --input-null-non-string '\\N'
        --export-dir '{export_dir}'
        {columns}
        '''.format(
            sqoop=self.get('sqoop', 'sqoop'),
            host=self.get('mysql_host', 'localhost'),
            port=self.get('mysql_port', '3306'),
            database=self['mysql_db'],
            username=self.get('mysql_user', 'root'),
            password=self['mysql_pwd'],
            table=mysql_tb,
            export_dir=export_dir,
            columns=columns,
        ))
from re import findall

s = get_sqoop()
for ads_ddl in read_sql_file('ADS层建表.sql').split(';')[:-1]:
    columns = '--columns ' + ','.join(findall('`([^`]+)`', ads_ddl))
    hive_tb = findall(r'CREATE EXTERNAL TABLE (\S+)', ads_ddl)[0]
    mysql_tb = hive_tb.replace('ads_', '')
    print(s.sqoop_export(mysql_tb, EXPORT_DIR_PREFIX + hive_tb, columns))

因为是你

数据仓库之电商数仓-- 3.4、电商数据仓库系统(ADS层) #!/bin/bash APP=gmall if [ -n "$2" ] ;then do_date=$2 else echo "请传入日期参数" exit fi dws_visitor_action_daycount=" insert overwrite table ${APP}.dws_visitor_action_daycount partition(dt='$do_date') select t1.mid_id, t1.brand, t1.model 阅读详情

相关推荐

写个数仓吧(15)品牌复购率——ADS层

建表语句 hive (gmall)> drop table ads_sale_tm_category1_stat_mn; create table ads_sale_tm_category1_stat_mn ( tm_id string comment '品牌id ' , category1_id string comment '1级品类id ', category1_name string comment '1级品类名称 ', buycount bigi

KujyouRuri的博客 426

Apache Sqoop : 导出

Sqoop导出 将数据从Hadoop生态体系导出到RDBMS数据库导出前,目标表必须存在于目标数据库中。 export有三种模式: 默认操作是从将文件中的数据使用INSERT语句插入到表中。 更新模式:Sqoop将生成UPDATE替换数据库中现有记录的语句。 调用模式:Sqoop将为每条记录创建一个存储过程调用。 以下是export命令语法: $ sqoop export (generic-arg...

4348

大数据-240 离线数仓 - 广告业务 测试 ADS层数据加载 DataX数据导出到 MySQL

DataX 是由阿里巴巴开源的分布式离线数据同步工具,用于解决不同存储系统之间的数据传输问题。它被设计为一种高效、稳定、易扩展的工具,能够适应多种复杂的数据同步需求。

m0_54851477的博客 1128

Sqoop操作 导入与导出

是一个用于在和之间高效传输数据的工具。它支持从关系型数据库(如 MySQL、Oracle、PostgreSQL 等)导入数据到 Hadoop 的 HDFS、Hive 或 HBase 中,同时也支持从 Hadoop 导出数据到关系型数据库。

2302_81096429的博客 1720

Sqoop数据导出导入命令 - MySQL

它提供了一组命令行接口,可以方便地将数据从关系型数据库导入到Hadoop集群中,或者将数据从Hadoop集群导出到关系型数据库中。执行上述命令后,Sqoop将从Hadoop集群中指定的目录中读取数据,并将其导入到MySQL数据库的指定表中。执行上述命令后,Sqoop将从MySQL数据库的指定表中读取数据,并将其导入到Hadoop集群的指定目录中。要将数据从Hadoop集群导出到MySQL数据库中,可以使用Sqoop的export命令。上述命令中的各个参数的含义与导出命令类似,只是导入命令使用了。

JfpBlockchain的博客 822

【项目实战】ADS 层数据导出

为了业务系统进行更快速的查询,需要将 ADS 层的结果数据导出到 MySQL 中,这个过程因为涉及到数据流转,所以需要通过 ETL 工具 Sqoop 来进行。 MySQL ADS 层创建 1. 在 Node02,MySQL 节点的 /home/warehouse/sql 目录下编写 mysql_sale_ddl.sql,创建与 ADS 层结果表一致的数据表: mkdir -p /home/ware...

pengpengsays 1319

sqoop的导入导出使用(详情步骤)

sqoop的导入与导出功能(import、export)。

weixin_62369128的博客 3208

【课后作业】ADS 层数据导出

ADS 层数据计算完成后,接下来使用 Sqoop 将数据导出到 MySQL 中。 MySQL ADS 创建 在 MySQL 节点(Node02)的 /home/warehouse/sql 目录下编写 mysql_gmv_ddl.sql,创建数据表: vim /home/warehouse/sql/mysql_gmv_ddl.sql SQL 脚本如下: -- 进入数据库 use mall; --...

pengpengsays 781

sqoop导出数据到MySQL

本文承接我的《大数据项目离线数仓》把ODS层的数据导出到MySQL,用于可视化的制作。《大数据项目离线数仓》的其它文章在我的专栏《项目》中。目录1.1创建MySQL数据库1.2创建MySQL表1.3sqoop导出脚本创建gmall_report数据库 1.2创建MySQL表 创建表(mysql表和ADS中的表同步,但不需要全部创建,根据自己的可视化内容创建)下面给出我的一些mysql表:###创建用户主题表 ###创建地区主题表 ###创建活跃设备数表 ###创建漏斗分析表 ###创建

qq_55906442的博客 2900

sqoop导出数据到mysql故障处理---完整检查日志方法总结.txt

sqoop问题处理通用办法,首先详细描绘了一个sqoop实际问题得处理过程,然后延申到完整得hadoop日志得处理过程。非常具体实用。

华硕ROG枪神双系统实战:Ubuntu安装避坑指南

本文是华硕ROG枪神笔记本安装Ubuntu双系统的详细避坑指南。针对其独特的硬件与BIOS设计,文章核心解决了VMD控制器导致硬盘无法识别、驱动兼容性等关键难题,并提供了从BIOS设置、分区方案到安装后驱动配置与性能调优的一站式解决方案,帮助用户实现稳定的双系统体验。

raspberrypi5的博客 547

sqoop操作hive,hdfs,mysql

sqoop

liutao3233的博客 803

不止于使能:用汇川PLC功能块封装,实现伺服轴状态管理与安全逻辑

本文深入探讨了汇川PLC功能块封装在伺服轴控中的应用,详细介绍了如何通过高级封装技术实现伺服轴的状态管理与安全逻辑。文章涵盖了从基础使能到全生命周期监控的进化,多轴协同的实例化管理策略,以及安全逻辑的防御性编程技巧,为工业自动化领域的工程师提供了实用的解决方案和最佳实践。

weixin_28684825的博客 274

oracle ads 导出表,百问中台:数据中台ODDA之ADS层数据导出

概述ADS层完成后,接下来就是进行ADS数据导出。ODDA数据导出ads数据导出查找文件[root@node01 ~]# hdfs dfs -ls /warehouse/mall/ads/ads_sale_tm_category1_stat_mnFound 1 items-rwxr-xr-x 2 root supergroup 50 2021-03-30 02:55 /ware...

weixin_42202724的博客 530

word 2013 长篇文档排版案例教程

office 2013 制作长文格式模板

1万+

PV-RCNN实战:如何在KITTI数据集上实现3D目标检测(附完整代码解析)

本文提供了在KITTI数据集上实战PV-RCNN 3D目标检测的完整指南,涵盖环境配置、数据预处理、模型训练与评估全流程。通过详细的代码解析和调参技巧,帮助读者掌握这一融合点与体素优势的经典3D目标检测模型,并实现从理论到实践的跨越。

weixin_29098391的博客 405

hive作为数仓,各个层次的存储格式

hive作为数仓,分为 1、业务数据的数仓,来源于mysql 2、用户行为数仓(日志),来源于采集系 hive : ods层:用sqoop将mysql的数据导入到hdfs 创建Snappy压缩格式的Parquet结构的表 drop table if exists ods_order_info; create table ods_order_info ( id string COMMENT ‘订单编...

qq_37301790的博客 2164

Win10环境借助DockerDesktop部署Open web UI集成DeepSeek

Win10环境借助DockerDesktop部署Open web UI集成DeepSeek,并借助DuckDuckGo实现联网查询

虎鲸不是鱼 1705

Hive进行网站流量日志分析导出

近年来,随着社会的不断发展,人们对于海量数据的挖掘和运用越来越重视,大数据的统计分析可以为企业决策者提供充实的依据。通过对移动APP的下载数据量进行统计分析,可得出应用程序的受欢迎程度,可通过不同维度进行更深层次的数据分析,为运营分析与推广决策提供可靠的数据依据。通过Flume采集到HDFS上的网站流量日志信息,通过MapReduce预处理后的结果集,请在完成实验2的基础上生成采集的日志信息。(2)使用DW层的表分组聚合查询结果创建ADS层的数据表,查询数据表中的记录。

m0_58540923的博客 278

Altair HyperWorks软件二次开发:二次开发成果展示与报告撰写

HyperMesh Python API允许用户通过Python脚本控制HyperMesh的大部分功能,包括模型创建、修改和分析。它提供了丰富的函数库,可以处理节点、元素、材料属性、载荷和边界条件等。二次开发可以用于创建自定义工具,这些工具可以集成到HyperWorks中,提供特定的功能或简化复杂的操作。

kkchenjj的博客 1642

金融机构和贷款产品数据抓取:使用Python爬虫技术获取金融机构的贷款产品信息与条件

本文介绍了如何使用Python爬虫技术抓取金融机构的贷款产品信息,包括静态网页抓取和动态网页抓取两种方法。通过requestsSelenium等工具,我们能够轻松抓取银行和消费金融平台上的贷款信息,并存储和分析数据。随着技术的发展,我们还可以扩展爬虫功能,抓取更多的金融机构网站,或者结合自然语言处理技术对贷款产品的评论进行情感分析,为用户提供更多维度的贷款决策支持。

2201_76125261的博客 1735

9(16)GMV指标获取的全调度流程16

8.2GMV指标获取的全调度流程 1)生成数据 CALL init_data(‘2019-02-12’,300,200,300,FALSE); 2)编写Azkaban程序运行job (1)import.job文件 type=command do_date=${dt} command=/home/hadoop/bin/sqoop_import.sh all dodate(2)ods.job文件typ...

weixin_42871374的博客 330

YOLOv5基于深度学习的道路缺陷检测系统

然而,由于长期的自然侵蚀、车辆磨损等因素,道路表面容易出现裂缝、坑洼等缺陷。这些缺陷不仅会影响驾驶舒适性,还可能引发交通事故,尤其是在恶劣天气或夜间行车条件下。随着人工智能技术的快速发展,基于深度学习的道路缺陷检测技术能够在降低人力成本的同时提高检测效率,为道路维护提供了新的解决方案。本项目构建了基于YOLOv5的道路缺陷检测系统,结合PyQt5开发了用户友好的UI界面,具备实时检测和图片分析功能。工具对图片进行标注,生成YOLO格式的标注文件。上传包含道路裂缝或坑洼的图片,系统会标注出缺陷的位置及类别。

YOLO 1077

大数据项目之电商数据仓库系统(四)

导入数据时采用--null-string和--null-non-string。sum(if(login_date_first=date_add('$do_date',-1) and login_date_last='$do_date',1,0)),--$do_date的1日留存数。sum(if(login_date_first=date_add('$do_date',-2) and login_date_last='$do_date',1,0)),--$do_date的2日留存数。

weixin_39458365的博客 274

迈瑞BS系列全自动生化分析仪LIS协议接口手册(内含HL7和ASTM)

迈瑞BS系列全自动生化分析仪LIS协议接口手册,内含HL7和ASTM)

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

sqoop重点总结

Hive中的Null在底层是以“\N”来存储,而MySQL中的Null在底层就是Null,为了保证数据两端的一致性。在导出数据时采用–input-null-string和–input-null-non-string两个参数。导入数据时采用–null-string和–null-non-string。Ads层数据用Sqoop往MySql中导入数据的时候,如果用了orc(Parquet)不能导入,需转化成text格式。5、Sqoop数据导出的时候一次执行多长时间。6、Sqoop在导入数据的时候数据倾斜。

2302_76808348的博客 358

廖雪峰Python教程[完整版]

廖雪峰的python教程整理的,已经排好版了,而且还是完整的,适合小白

上一篇: Linux设置开机自启
下一篇: HIVE常用的字符串处理函数
小基基o_O
博客等级 码龄9年 4414粉丝 467原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小基基o_O

您的鼓励是我创作的巨大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值