- 博客(4)
- 收藏
- 关注
RSS订阅原创 Spark Core
1.RDD基本概念 1.1什么是RDD RDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。RDD具有数据流模型的特点：自动容错、位置感知性调度和可伸缩性。RDD允许用户在执行多个查询时显式地将数据缓存在内存中，后续的查询能够重用这些数据，这极大地提升了查询速度。 Dataset：一个数据集合，用于存放数据的。 Distributed：RDD中的数据是分布式存储的，可用于分布式计算。
2020-09-30 15:55:05
120
原创 Spark基础及安装环境
Spark基础及安装环境 (1) 概念: Spark是一站式大数据分析平台, Spark的计算速度在官网对比逻辑回归模型和Hadoop的对比, 其中spark比hadoop快100倍, Hadoop3.X比spark快10倍(仁者见仁智者见智) (2)为什么学习Spark? --> 对于Hadoop中的MapReduce计算仅仅支持一次计算模型, 但是对于图计算或者机器学习算法都需要迭代计算, 而且MapReduce又涉及多次写磁盘的操作(导致计算速度很慢). 而Spark可以使用关键数据抽象RD
2020-09-29 11:49:19
418
原创 HDFS的基础详解
概念: HDFS是Hadoop Distribute File System 的简称(Hadoop 分布式文件系统), 是hadoop核心组件之一, 作为最底层的分布式存储服务而存在.分布式文件系统解决的问题就是大数据存储问题. 设计目标 1. 硬件故障是常态: 故障检测和自动快速回复是HDFS的核心架构目标 2. HDFS主要是以流式读取数据, 更注重数据访问的高吞吐量.被设计成批量的处理 3. HDFS支持大文件 4. HDFS对文件的要求是一次写入多次读取 HDFS重要特性 首先是一..
2020-09-10 12:11:45
477
原创 HBase的基础知识总结
概念: Hbase是建立在Hadoop HDFS之上, 提供高可靠性, 高性能, 列存储, 可伸缩, 实时读写的nosql数据库 只支持通过主键 rowkey来检索数据 不支持SQL语句的查询, 不支持join等复杂查询, 不支持复杂的事务 支持的数据类型byte[] HBase, Hadoop, RDBMS三者之间的对比 (1) hbase依赖于Hadoop HDFS, 紧耦合依赖关系, 除此之外, hbase还依赖于zookeeper, 用于存储一些元数据. (2) Hbase不支持事务,..
2020-09-07 16:57:33
442
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人