【Spark Summit EU 2016】在数据仓库中引入Dataframes+Parquet

本讲义介绍了一种在现有数据仓库中引入Dataframes+Parquet的方法,该方法能够在不改变原有代码的基础上,通过重写较慢的工作流程为Dataframes管道来提升性能。利用Spark对输入数据进行高效处理。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data;此外,通过Maxcompute及其配套产品,低廉的大数据分析仅需几步,详情访问https://www.aliyun.com/product/odps

本讲义出自Sol Ackerman与Franklyn D'souza在Spark Summit EU上的演讲,在已存在的数据仓库中使用Dataframes+Parquet的经验方法,实现了在保证原有代码的情况下,引进Dataframes+Parquet,并且重写比较慢的工作作为Dataframes的管道,用Spark对从输入端流入的数据进行处理并输出。


ca7cd6861b02f8d1a4fb9bac559c996eca604d29
cec66b1e7363d15cfd6efe3978a279f8ed8ba822

18a67c1b98012e1501840f20048dbf84798b3a72

42d61af480f06b155913ed61436cdf6e9b6895e1

a60f51d5d96fb86d757b0ad4415d3c18fc21da81

05207b7dfb9b4e2daa2cc7e1d1cf37d285b56080

350cf31acab6d829826bab10c81daeda6c91d358

61dfa5fcd97fb36dda8a6bd1d7daf15fec82c6a0

f705081aea22a38d3bf4c5bcfbe8cb9ab9cb40ff

62bbf8987f1fc5aa3066e5db167f6010de06e13f

2a80221df8271ee892423cd3c671888973d7056b

0ac0cced25e92c83643c29fb0f7c353b4138bce3

cabb5345d4de3460dbb9a9eca631c44e5241c175

b7cb5cc230390b2e1fcd8a4812ec4186fedb6c69

6d1f7f3d2d2d4edaa76dad42a1fd203e10b64844

bdbb6f3e8b403f8c08f0d49eafd19999b9d5e9c9

96c0c5a09d4fbd1a65f00a0cff000cfedd6e3348

8b6c93489f1046a5560c7a70c1ea487aac22bab6

1ad8d0a92c1213c488e9d0b846795683480c070f

815e300ba38a5063c50feae060e4b0cba916a918

bf3cde5aa95b6e89ae6f5cd33695537c0f29e96f

da0fc5cce1f9bcf5e42193d46accd3145d767242

a247792e1da24f8dd3b548059a43e93a9d0d73ce

6e82d5c352700b7fc07713ac1a14ea76f0351377

4d5ba274759c04166c759db9321b342b3598c27d

20610162011b0346f8a35c313fc0d7ae95b2d227

3c4d716ec7efb351e0f9524bb10ba2b6405158fd

49c9450f4445cb6a1ef588126bcc29f63207b08e

e7133a121cef186e478c099c99d2e2fdf20de7b7

b9be11327cd339ed1ee6eec065aaf70024ffdc05

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值