sxp_12138-优快云博客

原创 Sqoop 入门学习

Sqoop是一款开源的工具,主要用于在 Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库(例如:MySQL,Oracle,Postgres 等)中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。

2025-09-03 22:58:04 770

原创 Flume 入门学习

Interceptor 拦截器可以添加头信息，通过头信息可以判断信息应该发往哪channel，从而实现多路复用的效果。案例学习：使用 Flume 采集服务器本地日志,需要按照日志类型的不同，将不同种类的日志发往不同的分析系统。需求分析：服务在实际的开发中，器产生的日志类型可能有很多种，不同类型的日志可能需要发送到不同的分析系统。

2025-08-29 23:38:19 762 1

原创 HBase 入门学习

这意味着，往 HBase写入数据时，字段可以动态、按需指定。因此，和关系型数据库相比，HBase能够轻松应对字段变更的场景。（3）RowHBase 表中的每行数据都由一个RowKey和多个 Column(列)组成，数据是按照 RowKey的。

2025-08-22 19:38:42 931

原创 Kafka 入门学习

Kafka是一个消息中间件，可以降低数据之间的耦合性。常见的消息中间件有：ActiveMQ、RabbitMQ、RocketMQ和Kafka。

2025-08-18 10:14:33 972

原创 Hadoop 生产调优手册

每个文件块大概占用 150byte，一台服务器 128G内存为例，能存储多少文件块呢?128*1024*1024*1024 /150Byte≈ 9.1亿。

2025-07-24 17:38:18 1013

RDD(Resilient Distributed Dataset)叫做弹性分布式数据集，是Spark中最基本的数据抽象，代表一个不可变、可分区、里面的元素可并行计算的集合。Dataset：一个数据集合，用于存放数据的。Distributed：RDD中的数据是分布式存储的，可用于分布式计算。Resilient：RDD中的数据可以存储在内存中或者磁盘中，其分区可以动态的增加或减少。不可变（只读）：RDD 是只读的，创建后不可修改，只能通过转换操作（mapjoin等）生成新的 RDD。

2025-07-24 14:55:48 1492

原创 Hadoop入门学习（三）——MapReduce 分布式计算框架

MapReduce 提供了两个编程接口：Map 和 ReduceMap接口：提供了“分散”的功能，由服务器分布式对数据对数据进行处理。Reduce接口：提供了“汇总”的功能，将分布式的处理结果汇总统计。用户可以通过Java、Python等编程语言，实现MapReduce功能接口，即可使用MapReduce 框架完成自定义需求程序开发。通常MapReduce是基于YARN运行的。

2025-06-15 23:52:23 869

原创 Hadoop入门学习（二）——YARN 分布式资源调度

资源：通常指服务器的硬件资源，如CPU、内存、硬盘、网络等。资源调度：管控服务器硬件资源，提供更好的利用率。分布式资源调度：管控整个分布式服务器集群的全部资源，整合进行统一调度。YARN 在整个Hadoop 分布式集群内进行整体集群的资源规划。YARN 用来调度资源给MapReduce计算程序，进行资源的分配和管理。

2025-06-15 23:51:13 622

原创 Hive 入门学习

Apache Hive是一款分布式SQL计算的工具，其主要功能是：将SQL语句翻译成MapReduce程序运行，处理位于HDFS上的结构化数据。基于MapReduce构建分布式SOL执行引擎，主要需要两个功能组件：元数据管理和SQL解析器。元数据管理：记录数据存储位置，数据结构以及数据描述等。SQL解析器：其功能包括SQL分析，SQL到MapReduce程序的转换，提交MapReduce程序运行并收集执行结果。

2025-06-01 20:57:16 1821

原创 Hadoop入门学习（一）—— HDFS分布式文件系统

Hadoop是一个Apache基金会所开发的分布式系统基础架构主要解决：海量数据的存储和分析计算问题Hadoop的优势：（1）高可靠性：Hadoop底层维护多个数据副本，所以即使Hadoop某个计算元素或存储出现故障，也不会导致数据的丢失。（2）高扩展性：在集群间分配任务数据，可方便的扩展数以干计的节点。（3）高效性：在MapReduce的思想下，Hadoop是并行工作的，以加快任务处理速度。（4）高容错性：能够自动将失败的任务重新分配。Hadoop的功能主要有三个：分布式存储、计算和调度。

2025-05-25 00:42:05 2211

weixin_44361163的博客