Apache Arrow优点

原创 已于 2023-11-10 18:56:33 修改 · 500 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#大数据 #Arrow #apache

于 2023-11-10 16:31:16 首次发布
文章介绍了ApacheArrow在数据处理中的优势，包括连续内存布局提高效率、列式存储支持向量化和高效查询、IPC优化的压缩和零拷贝技术，以及跨语言标准化减少转换时间，强调其在大数据场景下的价值。

优点

  • 采用连续的内存布局，在单机计算的时候，对操作系统友好，增加了缓存命中率以及读取数据的效率
  • 采用列式存储，在单机计算的时候，可以利用SMID向量化处理，并且增加了查询效率（一般查询的时候只是查询几列）
  • 采用列式存储，IPC进程间通信传输的时候，提高了压缩率
  • 采用零拷贝，IPC进程间通信传输的时候，减少了数据传输的开销
  • 跨语言的标准化规范，消除了各个格式之间转换所需要的序列化和反序列化的时间

以上优点实现了高速的数据传输和处理能力，使得它在大数据场景下有很好的优化价值

参考

为什么要对Apache Arrow使用Gandiva
科技博客的分析“工具人”
07-10 2673
凯利Stirman是战略与CMO的副总裁Dremio 。 在过去的三年中， Apache Arrow在一系列不同的开源社区中Swift普及。 仅在Python社区中，Arrow每月就被下载超过500,000次。 Arrow项目既是有关如何以高效方式表示数据以进行内存中分析的规范，又是一系列使用十几种语言的库，可用于Arrow列格式。 与大多数汽车制造商OEM自己的变速器而不是自行设计...
Apache Arrow 简介
AI天才研究院
12-17 1万+
arrow主要focus在帮助 data 序列化, 以便在各种system之间transfer. arrorw还解决了类型共享计算格式不统一的问题，是高性能计算的基础. 背景 https://arrow.apache.org/ 由于历史原因，Snowflake一直使用了JSON作为结果集(ResultSet)的序列化方式，引起了许多问题。首先，JSON的序列化/反序列化的成...
apache hive 使用概述
weixin_33971205的博客
11-08 469
2019独角兽企业重金招聘Python工程师标准>>> ...
apache arrow_Apache Arrow和Java：闪电般的大数据传输速度
cunfu6353的博客
07-10 5158
apache arrow 重要要点 Arrow为分析应用程序提供零拷贝数据传输 Arrow启用内存，列格式和数据处理 Arrow是跨平台，跨语言可互操作的数据交换 Arrow是大数据系统的骨干 从本质上讲，大数据太大，无法容纳在一台计算机上。 数据集需要在多台计算机上分区。 每个分区都分配给一台主机，并带有可选的备份分配。 因此，每台机器都拥有多个分区。 大多数大数...
Apache Arrow :零内存读取DataFrame
qq_43232373的博客
04-07 3557
Apache Arrow :零内存读取DataFrame 本文翻译自Dejan Simic的文章《Apache Arrow: Read DataFrame With Zero Memory》 参考链接：Medium原文 上周我看到了 Wes McKinney 的一条推文，他可能是最出名的 pandas 包的创造者： 所以，当我看到他引用威廉·吉布森的话时，我想一定有什么了不起的事情发生了。我没有失望。 开头的推文是关于自然语言处理库 Hugging Face 的。该项目收集可用于模型训练和基准测试的数据集
Apache Arrow的内存结构
ffjl1985的专栏
08-18 3612
本文的目标 清楚的描述Apach相对类型（原始类型和初始嵌套类型集）,到达可以实现的程度 每一种相对类型的内存结构和随机访问的模式 Null值的表达 最终使读者对Apache Arrow的底层有一个大致清晰的了解，如果能够从中了解到一点硬件级性能优化的概念，那么便是超出了期望。 字节顺序 Apache Arrow默认使用Little-Endian，在Apache Arrow的Schem...
Apache Arrow Nanoarrow 源代码库教程
gitblog_00694的博客
08-06 654
Apache Arrow Nanoarrow 源代码库教程 arrow-nanoarrowApache Arrow Nanoarrow 是一个开源的列式内存数据格式，用于加速大数据处理和分析。它适用于需要处理大规模数据集的场景，具有高性能、易用性和兼容性等优点。项目地址:https://gitcode.com/gh_mirrors/ar/arrow-nanoarrow 1. 项目目录结构及介绍 ...
Apache Arrow官方文档-内存结构
weixin_34025151的博客
08-16 942
定义/术语   由于不同的项目使用不同的词语描述各种概念，所以这里有一个小小的术语表来帮助消除歧义。 数组：已知长度具有相同类型的值序列。 槽或数组槽：一些特定数据类型的数组中的单个逻辑值 连续的内存区域：给定长度的顺序虚拟地址空间。任何字节都可以通过小于区域长度的单个指针偏移量来取到。 连续的内存缓冲区：存储Array的多值组件的连续内存区域。有时称为“缓冲区”。 基本类型：占用固定大小的内存...
2、深入了解 Apache Arrow：高性能数据处理的利器
最新发布
www00的博客
08-08 79
本文深入介绍了 Apache Arrow，一种用于高效数据处理和传输的开源平台。文章详细解析了 Arrow 的统一列式内存格式、零拷贝技术、向量化计算及其在不同场景下的应用优势。同时，还探讨了 Arrow 对数据科学家、数据工程师和软件工程师带来的性能提升和便利性，以及其在大数据领域的重要作用。
Rust DataFrame：借助Apache Arrow实现高效数据处理
资源摘要信息:"rust-dataframe基于Apache Arrow构建的Rust DataFrame实现" Apache Arrow是一个开源的内存模型规范，它允许不同编程语言间高效地进行数据交换。它的目标是使得跨语言的数据操作变得更加简单快捷。而...
Apache Arrow Go支持列表功能的开源项目
标题《开源项目-apache-arrow.zip》指向了一个与Apache Arrow相关的开源项目压缩包文件。Apache Arrow是一个开源项目，旨在提升大数据处理的效率和互操作性，它定义了一系列语言无关的列式存储格式，用于在不同的...
C++ 列式内存布局数据存储格式 Arrow
一个大佬的博客
07-25 2619
优化大数据处理： 特别是在与大数据框架（如Spark、Pandas）集成时，Arrow 可显著加速数据加载、处理和分析的速度，例如，与PySpark集成后数据处理速度提升高达53倍。高性能数据处理： Arrow 使用列式内存布局，这特别适合于数据分析和查询操作，因为它允许对数据进行高效批量处理，减少CPU缓存未命中，从而提升处理速度。零拷贝数据共享： Arrow 允许不同系统和进程之间直接共享内存中的数据而无需复制，这对于提高数据密集型应用的效率至关重要，减少了内存使用和CPU开销。
Spark DPP(动态分区裁剪)导致的DataSourceScanExec NullPointerException问题分析以及解决
热门推荐
monkeyboy_tech的博客
02-26 2万+
背景 本文基于spark 3.1.2,且运行在yarn模式下 最近在调试 spark sql的时候遇到了空指针的问题，如下： Caused by: java.lang.NullPointerException at org.apache.spark.sql.execution.DataSourceScanExec.$init$(DataSourceScanExec.scala:57) at org.apache.spark.sql.execution.FileSourceScanExec.<in
SPARK SQL中 CTE(with表达式)会影响性能么？
monkeyboy_tech的博客
03-22 7078
背景及问题 本文基于spark 3.1.2 最近在排查spark sql问题的时候，出现了一系列的(CTE)with操作，导致该任务运行不出来，而把对应的(CTE)with 替换成了临时表以后，任务很快的就能运行出来 对应的最简化的sql如下： with temp1 as ( select null as user_id ,a.sku_id ,int(sum(`可申请数量`)) `开放申请数量` from xxx.xxx `a` where pt between '20
Spark task过多导致任务运行过慢甚至超时
monkeyboy_tech的博客
03-15 6618
背景以及现象 本文基于 spark 3.1.2 设置spark.driver.memory=2g 在调试spark sql任务的时候，发现有几个任务产生了40多万个Task，而且任务长期运行不出来。 分析 运行此sql，可以得到如下的dag（我们只截取产生Task多的Stage），由此可以看到是scan的文件太大了（scan了日志文件半年的数据）。 但是为什么这种情况下会导致任务运行很缓慢甚至会超时呢？ 找到driver端， 用jstat -gcutil查看一下对应的gc情况(对应的内存都是调优完后的镜像
【k8s系列5】KubernetesClientException: too old resource version 原因分析
monkeyboy_tech的博客
11-18 5890
背景 公司目前在基于k8s做调度（基于io.fabric8:kubernetes-client:4.2.0），在运行的过程中，遇到了如下问题： OkHttp WebSocket https://10.25.61.82:6443/...] DEBUG io.fabric8.kubernetes.client.dsl.internal.WatchConnectionManager - WebSocket close received. code: 1000, reason: [OkHttp WebSocket
【mlflow系列1】mlflow 的搭建使用
monkeyboy_tech的博客
10-30 4975
背景 mlflow是Databrick开源的机器学习管理平台，它很好的解藕了算法训练和算法模型服务，使得算法工程师专注于模型的训练，而不需要过多的关注于服务的, 而且在我们公司已经有十多个服务稳定运行了两年多。 搭建 mlflow的搭建主要是mlflow tracking server的搭建，tracking server主要是用于模型的元数据以及模型的数据存储 我们这次以minio作为模型数据的存储后台，mysql作为模型元数据的存储，因为这种模式能满足线上的需求，不仅仅是用于测试 minio的搭建
【spark系列12】spark remote shuffle service(RSS)杂谈
monkeyboy_tech的博客
01-27 4732
背景 对于spark shuffle service（以下简称RSS）,在社区其实早就有探讨SPARK-25299,只不过一直没有达成一致，且目前的内置的shuffle service 也能满足大部分的场景，也就被搁置了，但是由于kubernetes的越来越火热,spark 社区也慢慢的集成了spark on k8s，当然k8s社区也集成了spark,具体区别见spark on k8s 与 spark on k8s operator的对比. 但是就目前的spark on k8s来说shuffle还是存在问题
FLINK JDBC SQL Connector遇到的类型转换问题
monkeyboy_tech的博客
04-14 4700
背景 Flink 1.3 最近在写Flink Sql的时候，遇到了java.lang.ClassCastException: java.lang.Integer cannot be cast to java.lang.Long 问题 分析 直接上报错的sql，如下： CREATE TABLE `xxx` ( `merchantId` BIGINT, `userId` BIGINT, `status` BIGINT ) WITH ( ); 具体的问题堆栈如下： java.lang.C
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值