大数据运算系统(4)--- 内存计算系统

本文聚焦于大数据处理中的内存计算系统,详细介绍了JavaRDD和JavaPairRDD的概念,以及JavaSparkContext的重要函数,如textFile用于从文本文件读取数据,每行作为String类型元素,而wholeTextFiles则能读取整个目录,返回文件路径和内容的键值对。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

内存计算系统
一、内存数据库
1、起源发展
(1)体系结构和硬件技术的巨大发展:GPU多核芯片+多级高速缓存+大容量内存+大容量硬盘SSD
(2)内存处理优点:去除硬盘读写开销,提高处理速度。
(3)关系型内存数据库:
Memory-resident:可能在buffer pool中。
MMDB:可能彻底不用buffer pool,改变了系统内部设计。
2、关键技术
Sorting优化:使用quick sort而不是replacement selection
Hash join优化
B+ trees
Vectorization;处理器加速;压缩
3、MonetDB
SQL -> MAL -> BAT;内存列式存储,数据
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值