- 博客(6)
- 收藏
- 关注
RSS订阅原创 大数据技术原理与应用 第三版 林子雨 期末复习（六） 十一章 流计算
大数据技术原理与应用 第三版 林子雨 期末复习（六） 十一章 流计算静态数据和流数据静态数据：流数据：批处理和流计算流计算要求STROMstrom设计思想Strom的工作流程Spark Streaming 与 Storm的对比 静态数据和流数据 静态数据： 不会随着时间变化的数据。 流数据： 数据快速持续到达，潜在数据量无法估计 数据来源多，格式复杂 数据量大，但是并不关注存储，处理后的数据要么被丢弃要么被归类存储 注重整体价值，不注重个别数据价值 数据顺序颠倒，不完整系统将会出错 批处理和流计算 流计算
2021-12-25 00:09:26
1405
2
原创 大数据技术原理与应用 第三版 林子雨 期末复习（五） 第十章 SPARK
大数据技术原理与应用 第三版 林子雨 期末复习（五） 第十章 SPARK
2021-12-24 23:46:50
1685
原创 大数据技术原理与应用 第三版 林子雨 期末复习（三）MapReduce
大数据技术原理与应用 第三版 林子雨 期末复习（三）MapReduce概念Map与Reduce函数输入输出Suffle过程详解Map端Reduce端Word Counts执行实例 概念 MapReduce是一种分布式并行编程模型，常用于处理大规模数据集。其将运行于分布式集群上的复杂的并行计算过程高度抽象为两个函数Map与Reduce，这两个函数思想都源自函数式编程思想。 Map与Reduce函数输入输出 函数 输入 输出 说明 Map <k1,v1> List(<k2,v2
2021-12-23 10:28:59
1078
原创 大数据技术原理与应用 第三版 林子雨 期末复习（二） Hadoop HDFS HBase
大数据技术原理与应用 第三版 林子雨 期末复习（二） Hadoop HDFS HBase
2021-12-22 22:42:10
1687
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人