分享
扫一扫
超级会员免费看
浅沫～
加油 (ง •̀o•́)ง (ง •̀o•́)ง
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Hadoop生态系统---各个模块介绍
Hadoop生态系统 1.1 HDFS HDFS是一个分布式文件系统，是做顺序读写的。HDFS主要负责整个分布式文件的存储，即怎么用成百上千台服务器完成数据的存储。 1.2 YARN YARN主要负责资源的调度，即数据存储之后需要进行相关的处理，处理之前需要有相关的框架去调度计算资源，底层资源主要靠YARN框架进行调度，YARN专门负责调度内存、cpu、带宽等计算资源。 以上组件如何完成具体的计算工作： 1.原创 2022-03-01 10:54:09 · 1992 阅读 · 0 评论
-
数据仓库---Hive
数据仓库Hive入门介绍原创 2022-09-02 20:15:19 · 992 阅读 · 0 评论 -
HBase实现原理及运行机制
HBase原理原创 2022-03-17 16:47:19 · 2181 阅读 · 0 评论 -
分布式数据库HBase
HBase基础原创 2022-03-02 21:20:30 · 1703 阅读 · 0 评论 -
Hadoop命令
Hadoop基本命令原创 2022-03-02 14:36:25 · 1534 阅读 · 0 评论 -
HDFS数据读写过程及编程实例
HDFS读写数据基本原理及代码实例详解原创 2022-03-02 10:36:39 · 1799 阅读 · 0 评论 -
HDFS体系结构
1. HDFS体系结构 3. HDFS存储原理 4. HDFS读写过程原创 2022-03-01 22:09:49 · 344 阅读 · 0 评论 -
Hadoop---HDFS＜分布式文件系统＞基本概念
大数据的两个核心技术之一---HDFS原创 2022-03-01 16:01:54 · 398 阅读 · 0 评论 -
spark相关知识
Spark基础知识原创 2019-07-16 16:53:22 · 325 阅读 · 0 评论 -
RDD编程总结
一：RDD相关知识 1.RDD特点：可持久化，可序列化，可分区。 2.对RDD进行分区的优点：增加并行度；减少通信开销。 3.RDD分区的一个原则是使分区的个数尽量等于集群中的CPU核心数目。 二：加载RDD（SparkContext简写为sc） 1.从文件系统中加载数据 file=sc.textFile("file://＋文件的具体路径) aq:从/home/hadoop/Down...原创 2019-07-15 21:44:35 · 577 阅读 · 0 评论 -
Hadoop和Spark环境的搭建（课后总结）
Hadoop和Spark环境的搭建原创 2019-06-20 23:24:07 · 291 阅读 · 0 评论 -
大数据技术原理与应用【Hadoop】（期末总结）
Hadoop入门概述原创 2018-06-03 15:16:25 · 251 阅读 · 0 评论