
spark
_往事如烟_
天行健,自强不息
展开
-
spark-learn-01
spark是基于内存计算的分布式大数据计算框架;spark执行特点中间结果输出到内存,而非硬盘;抽象出分布式内存存储结构RDD;RDD支持粗粒度写操作,同时对读操作,能细化到每条记录;能控制数据在不同节点上的分区,即自定义分区策略;不同stage之间会shuffle,shuffle是连接有依赖的stage的桥梁,上游stage输出到下游stage必须经过shuffle,shuffle...原创 2020-03-23 15:54:03 · 334 阅读 · 0 评论 -
spark公开课
公开课:http://edu.51cto.com/lesson/id-31786.html原创 2017-09-12 09:51:27 · 461 阅读 · 0 评论 -
AboutYun Resources
about云资源共享 Nosql资源:http://www.aboutyun.com/thread-5655-1-1.html(1)redis安置 (2)RedisAdminUI.zip (3)redis安装部署 (4)redis技术深层剖析及应用实践经验(sina微博) (5)Redis内存存储结构分析 (6)redis起步 (7)Redis容量及使用规划 (8)Redis新的存储原创 2017-11-17 09:59:19 · 740 阅读 · 0 评论