Parquet文件推送数据到OSS

使用Python处理Saas平台行为数据：从Impala导出Parquet并上传至OSS
原创 已于 2024-01-28 18:40:34 修改 · 710 阅读 · 6 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#大数据 #parquet #oss

于 2024-01-28 18:23:25 首次发布

1. 任务背景

  • 任务说明：公司 saas 数据分析类产品，客户需要把行为数据回传到客户指定文件系统中（oss）
  • 周期：T+1
  • 数据格式：parquet
  • 数据范围：部分表全量，部分表增量
  • 其他要求：

需要历史数据，部分应用部分周期需要全量一个文件，部分历史需要每天一个文件，新的数据 T+1 。

每个文件上传成功后需要一个状态空文件 _SUCCESS 文件

2. 任务分析

a. 分析

  • 本数据平台 impala+kudu+hive 架构，impala-shll可导出 csv文件。

注：如果系统简单，要求简单，也可以选择数据存成hive表形式，直接文件可parquet文件。这里选择用 impala- shell 导出方式是客户有复杂的要求等等。

  • csv 转 parquet ，并且 parquet文件需要携带 schema 信息。
  • 脚本需要支持按某一时间段的每天处理。

b. 方案

（1）python 做脚本

（2）impala-shell 命令方式导出符合要求的csv文件

（3）pandas 和 pyarraow.parquet 结合操作csv

（4）发送标准文件到 OSS

欢迎关注，一起学习

最低0.47元/天 解锁文章
大数据领域数据仓库在教育行业的应用模式
AI天才研究院
04-22 1138
数据孤岛问题：教务系统（如正方）、学生管理系统（如青果）、在线学习平台（如超星学习通）、校园卡系统等独立运行，数据格式、存储标准不统一；分析深度不足：传统BI工具仅支持基础报表（如出勤率统计），难以挖掘数据间的关联规律（如“某课程缺勤率与期末挂科率的相关性”）；决策支持滞后：教育管理决策依赖人工经验，缺乏实时、可量化的数据分析支撑（如教师教学质量动态评估）。本文聚焦“数据仓库”这一核心技术，探讨其在教育行业的应用模式，覆盖从数据整合到价值输出的全生命周期，范围包括K12、高等教育、职业教育等细分领域。
万字详解：ClickHouse 存算分离架构与数据一致性事务机制实现
AI天才研究院
03-31 429
成本效益存储成本降低60%，计算资源利用率提升40%弹性扩展支持秒级扩容千核计算资源数据强一致金融级事务支持能力云原生融合无缝集成现代云基础设施未来随着软硬协同优化技术的发展，ClickHouse有望在实时分析、HTAP等领域开创新的技术范式。多云/混合云部署环境需要弹性伸缩的SaaS应用强一致性要求的财务分析系统PB级历史数据交互式查询本文介绍的是如何实现ClickHouse的存算分离架构和数据一致性的事务机制，需要万字详解。首先，我得先理解存算分离是什么。
parquet数据格式读取和转换( 阿里云物联网平台)
supergirlll的博客
01-07 1532
阿里云物联网平台上设备上报的数据转储到OSS中后下载下来是parquet格式的，由于目前并不需要用到大数据处理，只需转换成我们可以看懂的格式，因此找到了这个转换软件。 软件下载：https://github.com/Eugene-Mark/bigdata-file-viewer 该软件需要javafx，安装请看：安装jfx 软件的安装及使用： ❯ java --module-path $PATH_TO_FX --add-modules=javafx.controls -jar /***/***/***/Bi
sqoop推数方式(csv,parquet)
m0_69556081的博客
12-18 275
1，可能遇到的问题,parquet推数，需要.metadata的情况,这种情况是你把parquet格式的文件上传到对应的表目录下面，然后推数的时候报错，.metadata文件不存在，这种情况下需要添加两个参数，并且删除--export-dir参数。csv推数只需要将csv文件上传到hdfs中，然后通过--export-dir指定hdfs位置即可，注意推送字段和表名为目标数据库中的字段和表名，csv文件中的顺序不变，需要csv文件中数据顺序与指定字段保持一致。--hcatalog-table 表名 \。
数据湖实操讲解【JindoTable 计算加速】第十九讲：Spark 对 OSS 上的 Parquet 数据进行查询加速...
weixin_45906054的博客
08-05 459
数据湖技术圈本期导读 ：【 JindoTable 计算加速 】第十九讲主题：Spark 对 OSS 上的 Parquet 数据进行查询加速讲师：流影，阿里巴巴计算平台事业部 EMR 技术...
java读写parquet_列式存储格式之parquet读写
weixin_32820805的博客
02-26 1524
ParquetFileReader读取，只需虚拟haddop列实体package com.kestrel;/*** @Auther: 12640* @Date: 2021/1/1 15:13* @Description:*/public class TableHead {/*** 列名*/private String name;/*** 存储 列的 数据类型*/private String typ...
Java向Parquet文件写数据代码示例
sx157559322的博客
07-28 2014
背景在生产环境种数据量每天达到上亿,需要增量存放在hive对应分区种,纯文本数据占用存储还是比较大的,所以存储紧张的情况下需要使用Parquet存储格式去存储数据,下面将给出两个示例,一个是往本地Parquet文件写入数据,一个是往HDFS Parquet文件上写入数据。往本地Parquet文件写入数据示例package com.htsc; import org.apache.hadoop....
数据湖在大数据场景下应用和实施方案调研笔记(增强版)
微信搜：import_bigdata，大数据领域硬核原创作者
08-24 1377
点击上方蓝色字体，选择“设为星标”回复”面试“获取更多惊喜在读本文前你应该看过这些：《我看好数据湖的未来，但不看好数据湖的现在》《数据湖解决方案关键一环，IceBerg会不会脱颖而出？》本...
震撼登场！AI应用架构师的企业数据价值挖掘成果
AI天才研究院
08-07 324
很多人把AI数据挖掘看成“技术问题”，但本质上，它是“人的问题”——解决业务人员的“痛点”，满足用户的“需求”。比如案例1中的个性化推荐，本质是“让用户买到自己需要的商品”；案例2中的设备故障预测，本质是“让维护人员不用熬夜修设备”；案例3中的欺诈识别，本质是“让用户的钱更安全”。AI应用架构师的价值，就在于把“技术的可能性”转化为“人的幸福感”——这才是数据价值挖掘最震撼的成果。附录：推荐资源书籍：《数据驱动：从方法到实践》（作者：桑文锋）、《特征工程入门与实践》（作者：陆鑫）；
TypeError: Expected bytes错误解决方法
热门推荐
weixin_42218868的博客
08-07 1万+
这个错误是字符类型错误，原因是传到页面的内容不是字符串格式。 错误原因，id不是字符串格式，将其转化为字符串就可以了。
已解决 TypeError: expected dtype object, got ‘numpy.dtype[int64]‘
小黄的博客
05-03 4759
遇到TypeError: expected dtype object, got 'numpy.dtype[int64]'问题的时候，百度了一下，发现说更新numba，但是在更新numba的时候又遇到了新的问题。 author：xiao黄 https://blog.youkuaiyun.com/Python_Matlab?type=blog 我的numba版本是0.44 更新后的版本是0.53 首先直接更新： pip install numba==0.53 但是我更新的时候遇到了这个问题 ERROR: Cannot
pyarrow.lib.ArrowInvalid: Needed to copy 1 chunks with 1 nulls, but zero_copy_only was True
Li_RuiQi的博客
11-15 864
思路1：x = np.nan_to_num(x,nan=-1)
Pycharm执行用例报错TypeError: expected str, bytes or os.PathLike object, not list
m0_60005887的博客
02-20 828
点击打开文件，添加list类型，重启pycharm。
impala 将查询数据导出为文件格式
weixin_42326851的博客
07-01 1123
用impala-shell 命令行将查询的结果导出到本地文件
使用Apache Impala(CDH6)查询OSS的数据
weixin_34321977的博客
10-30 713
CDH6 目前CDH的最新版本是6.0.1，支持Hadoop 3.0.0，本文将介绍如何使CDH6的相关组件(Hadoop/Hive/Spark/Impala等)能够读写OSS。CDH5对OSS的支持在这篇文章介绍。 CDH6支持读写OSS 搭建CDH集群 首先根据官方文档搭建好CDH6集群 增加OSS配置 通过CM来增加配置(对于没有CM管理的集群，...
Parquet文件测试（一）——使用Java方式生成Parqeut格式文件并直接入库的Hive中
LmingAn的博客
12-19 3050
验证Parquet格式的操作 验证目标 Parquet格式是否可以直接将上传到Hdfs中的文件，加载到目标数据表中（Hive）。 将无结构化数据转成Parquet格式文件，并上传到Hdfs中。 使用datax工具同步数据（将指定Parquet文件同步到Hive中）。 创建测试表   表信息如下(注意stored as parquet默认为orcfile)：   建表语句如下： create table parquet_test ( name string, age int ) comment 'p
数据湖学习笔记
Sojer的读书笔记
04-02 476
数据湖的理念：1、能够存储海量的原始数据 结构化数据 半结构化数据 非结构化数据 二进制数据（图片等）2、能够支持任意的数据格式 底层存储：S3、OSS、HDFS，Parquet、Avro、Orc 数据缓存加速 轻量级索引3、有较好的分析和处理能力 多种数据源接入、数据连接、Schema管理、权限管理， 批处理、流处理、交互式分析、机器学习 ============================= Hudi特性：廉价存储、table schema、acid语义保证，多版本保证、支持流批读写 不需强绑定
Spark，Parquet和S3 –非常复杂
danpu0978的博客
04-24 1153
（这篇文章的版本最初发布在AppsFlyer的博客中 。还要特别感谢来自AppsFlyer数据团队的Morri Feldman和Michael Spector ，他们做了大部分工作来解决本文中讨论的问题） TL; DR; Spark，Parquet和S3（＆Mesos）的结合是一个功能强大，灵活且具有成本效益的分析平台（并且是Hadoop的替代产品）。 但是，要使所有这些技术融为一体并完...
数据流转过程
最新发布
08-27
<think>嗯，用户想了解ODPS的数据流转过程和原理。之前讨论过ELT的概念，而ODPS（MaxCompute）作为阿里云的大数据平台，其数据流转正是ELT模式的典型应用场景。 用户提供的引用材料很有价值：引用[1]提到ODPS是多节点集群架构，通过主动推送数据实现高效吞吐；引用[3]描述了数据从业务系统经DataWorks/DTS进入ODPS，加工后输出到数据产品的完整流程；引用[5]则补充了MMA工具在数据迁移中的作用。这些正好能串联起数据流转的关键环节。 需要重点解释三个核心机制： 1）数据摄入阶段：通过DataWorks数据集成或DTS将源数据同步到ODPS内部存储，这里要强调ODPS的分布式存储特性（引用[1]的集群架构） 2）计算处理阶段：用户提交的SQL/MR任务会被分解成子任务调度到各节点，这里可以结合引用[3]的“清洗、加工、整合”描述计算逻辑 3）数据输出阶段：结果数据可回流到OSS或业务系统，引用[1]提到的OSS读写机制正好用在这里 技术细节上需要补充： - 计算引擎的DAG调度原理（引用[3]隐含的流程概念） - 数据分片（Partition）如何提升并行效率（呼应引用[1]的多节点特性） - 与外部系统的交互方式（引用[2]的DataHub/DataWorks生态） 用户可能是大数据工程师或架构师，提问聚焦在“过程与原理”而非操作步骤，说明需要深度技术解析。可以准备用架构图+阶段分解的方式呈现，最后用示例代码展示SDK层面的实现逻辑。</think>ODPS（MaxCompute）的数据流转过程是一个**分布式、分阶段的数据处理管道**，其核心原理基于大规模并行计算和存储分离架构。以下是关键流程及原理详解： --- ### **一、数据流转核心流程** #### 1. **数据摄入（Ingestion）** - **数据来源**：业务系统日志、数据库（RDS）、OSS对象存储、Kafka消息队列等。 - **摄入方式**： - **批量同步**：通过DataWorks数据集成或DTS服务，将数据周期性导入ODPS表[^3]。 - **实时写入**：通过DataHub将流数据实时推送至ODPS（需结合流计算引擎如Flink预处理）[^2]。 - **存储层**：数据以**列式存储**格式（ORC/Parquet）持久化在ODPS分布式文件系统中。 #### 2. **数据处理（Transformation）** - **计算引擎**： - **SQL引擎**：用户提交SQL任务，系统自动解析为分布式执行计划（DAG）。 - **MapReduce/Graph引擎**：复杂计算（如迭代算法）通过MR或图计算模型执行。 - **执行过程**： ```mermaid graph LR A[SQL/MR任务] --> B[优化器生成DAG] B --> C[调度器分派Task] C --> D[Worker节点并行计算] D --> E[中间结果写回存储] ``` - **关键特性**： - **动态分区裁剪**：自动过滤无关数据分区[^1]。 - **数据本地化**：计算任务优先调度到存储节点，减少网络传输。 #### 3. **数据输出（Export）** - **目标系统**：OSS、HybridDB、RDS或数据应用（如BI工具）。 - **输出模式**： - **直接推送**：ODPS通过内置连接器将结果数据推送到OSS或HybridDB（利用多节点并行推送能力）[^1]。 - **API拉取**：外部系统通过ODPS SDK或Tunnel服务主动抽取数据。 --- ### **二、核心原理剖析** #### 1. **分布式架构** - **存储计算分离**：数据存储在分布式文件系统（盘古），计算由飞天调度系统管理。 - **容错机制**：Worker节点故障时，调度器自动将任务迁移到健康节点。 #### 2. **数据分片（Partition）** - 数据按分区（如日期`ds=20230101`）物理隔离，显著提升查询效率。 - 示例：查询特定分区仅扫描对应文件 ```sql SELECT * FROM user_log WHERE ds = '20230101'; -- 只读取ds=20230101目录 ``` #### 3. **计算优化技术** - **列式处理**：仅读取查询涉及的列，减少I/O开销。 - **压缩编码**：ZSTD压缩算法降低存储成本，计算时自动解压。 - **向量化执行**：批量处理数据块，减少CPU指令开销。 #### 4. **数据流动加速** - **主动推送机制**：ODPS向OSS/HybridDB输出数据时，驱动多个计算节点并行推送[^1]。 - **Tunnel服务**：通过分片上传/下载实现高吞吐数据传输（支持TB级数据）。 --- ### **三、典型场景示例** **离线数仓ETL流程**（引用[3]描述）： ```mermaid graph LR 业务系统 -->|DataWorks/DTS同步| ODPS_Raw[ODPS原始表] ODPS_Raw -->|SQL清洗加工| ODPS_DW[ODPS数仓层] ODPS_DW -->|DataWorks输出| 数据产品 ``` --- ### **四、性能优化关键点** 1. **分区设计**：按时间、地域分区，避免全表扫描。 2. **数据倾斜处理**：对倾斜Key添加随机前缀分散计算。 3. **小文件合并**：定期合并小文件，减少元数据压力。 4. **资源调优**：调整作业并发度（`set odps.sql.mapper.split.size=256;`）。 --- ```python # 示例：使用ODPS Python SDK执行数据流转 from odps import ODPS # 连接ODPS o = ODPS('access_id', 'access_key', 'project_name', endpoint='endpoint') # 创建目标表（分区表） o.execute_sql(''' CREATE TABLE result_table (user_id STRING, total_cost DOUBLE) PARTITIONED BY (ds STRING); ''') # 执行ETL任务 with o.execute_sql(''' INSERT OVERWRITE TABLE result_table PARTITION (ds='20230101') SELECT user_id, SUM(order_amount) FROM source_table WHERE ds = '20230101' GROUP BY user_id; ''').open_reader() as reader: print(reader.count) # 验证输出行数 ``` --- ### **
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值