萧邦主的技术博客导航

最新推荐文章于 2025-08-15 12:37:27 发布
原创 最新推荐文章于 2025-08-15 12:37:27 发布 · 置顶 · 3.9k 阅读 · 40 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#大数据 #JavaEE

这是一篇关于大数据技术的学习导航，涵盖了Hadoop、Hive、HBase的详细学习路径，包括Hadoop的分布式搭建、排序原理、数据倾斜解决，Hive的安装配置、内置函数使用，以及HBase的CRUD操作和过滤器应用。此外，还涉及Spark的Standalone集群搭建、RDD概念解析、性能优化等，以及Spring的IOC原理和Bean生命周期。同时，文章包含多个大数据实战项目和异常解决方案。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

内容简介

一、说明

  • 本文是博客目录导航页，会持续更新。
  • 本文的小标题就是对应文章标题，点击小标题会有传送门送到对应的文章处，方便阅读。
  • 以后会有新的板块添加，碍于时间暂时没有添加，比如Kafka、Flume、JavaEE实战等等。

二、Hadoop生态

1.Hadoop习之路

(1) Hadoop学习之路(一):Hadoop完全分布式搭建(附带实用集群管理脚本)
(2) Hadoop学习之路(二):Hadoop节点的委任与解除
(3) Hadoop学习之路(三):Hadoop排序之二次排序的原理及实现
(4) Hadoop学习之路(四):Hadoop排序之全排序的原理及实现
(5) Hadoop学习之路(五):Hadoop交互关系型数据库(MySQL)
(6) Hadoop学习之路(六):理解Hadoop三大核心组件之HDFS
(7) Hadoop学习之路(七):理解Hadoop三大核心组件之MapReduce
(8) Hadoop学习之路(八):MapReduce进阶案例之寻找社交共同好友
(9) Hadoop学习之路(九):数据倾斜的成因及其解决方法(详细代码演示)
(10) Hadoop学习之路(十):Hadoop学习之路(十):MapReduce进阶之链式MapReduce操作实战
(11) Hadoop学习之路(十 一):深入理解Hadoop三大核心组件之YARN

2.Hive学习之路

(1) Hive学习之路(一):Hive的基本概念与安装配置
(2) Hive学习之路(二):Hive表操作详讲
最低0.47元/天 解锁文章

200万优质内容无限畅学
HBase项目实战：HBase+Flume+Kafka+Hive+SSM实现电信大数据通话信息实时读写定位系统
萧邦主的城邦
08-21 4792
内容简介
Spark学习之路(四)：深度图解Spark算子运作原理
萧邦主的城邦
06-28 1816
内容简介一、Spark算子的概念二、Spark常用算子概览1. transform算子2.action算子三、Spark常用算子原理图解1.transform算子2.action算子四、总结 一、Spark算子的概念 在Spark中提供了大量的算子来操作RDD，所谓算子可以理解为操作RDD的方法或者函数。算子大致分为两种类型：transform算子和action算子，所谓transform算子是...
Spark项目实战:大数据实时流处理日志(非常详细)
热门推荐
萧邦主的城邦
04-02 3万+
实战概览一、实战内容二、大数据实时流处理分析系统简介1.需求2.背景及架构三、实战所用到的架构和涉及的知识1.后端架构2.前端框架四、项目实战1.后端开发实战1.构建项目2.引入依赖3.创建工程包结构4.编写代码5.编写pytohn脚本产生数据6.创建日志存放目录并编写Flume的配置文件7.创建Kafka主题8.在HBase中创建项目需要的表9.测试后端代码2.前端开发实战1.构建工程2.引入依...
Hadoop学习之路(十 一):深入理解Hadoop三大核心组件之YARN
萧邦主的城邦
07-17 1403
内容简介一、YARN的基本概述二、YARN的核心组件三、YARN应用运行机制四、YARN的调度机制五、总结 一、YARN的基本概述 二、YARN的核心组件 三、YARN应用运行机制 四、YARN的调度机制 五、总结 ...
Spark学习之路(五)：使用Java和Scala编写按词频降序排序的WordCount程序
萧邦主的城邦
06-29 1377
内容简介一、按词频降序排序的WordCount思路分析二、使用Java编写程序三、使用Scala编写程序四、总结 一、按词频降序排序的WordCount思路分析 WordCount，也叫词频统计程序是大数据里面一个最简单的入门程序，但是“麻雀虽小，五脏俱全”，WordCount涵盖了大数据处理的核心思想，因而非常之重要。而加入了排序功能之后的WordCount就更加具有价值了。现在分析按词频降序...
Spark学习之路(十)：Spark性能优化原理分点详细讲解与参数配置(纯干货)
萧邦主的城邦
07-23 1160
内容简介一、Spark性能优化概览二、Spark性能优化分点讲解与参数配置1、使用高性能序列化类库2、优化数据结构3、对多次使用的RDD进行持久化和Checkpoint操作4、合理使用序列化的持久化级别5、Java虚拟机垃圾回收调优6、提高程序执行的并行度7、使用广播操作共享数据8、数据本地化9、合理使用reduceByKey算子和groupByKey算子10、Shuffle调优三、总结 一、Sp...
Spark学习之路(三)：剖析RDD的概念及用三种方式创建RDD
萧邦主的城邦
06-26 943
内容简介一、RDD的基本概念二、创建RDD1.使用三种方式创建RDD2.使用Java演示三种方式创建RDD3.使用Scala演示三种方式创建RDD三、总结 一、RDD的基本概念 RDD ,弹性分布式数据集， 是分布式内存的一个抽象概念，是Spark中最为基本也最为重要的一个抽象，如果说Java的哲学是“万物皆对象”的话，可以笼统地认为Spark的哲学是“万物皆RDD”，这句话的意思是在Spark...
Spark学习之路(八)：分别使用Java与Scala实现Spark二次排序
萧邦主的城邦
07-13 581
内容简介一、Spark二次排序的概念二、实现二次排序的详细步骤(Java语言)三、二次排序代码演示1.Java版本2.Scala版本四、总结 一、Spark二次排序的概念 排序操作是数据处理过程中的常用操作步骤，Spark提供了诸如sortBy算子和sortByKey算子来实现排序，但是存在一些不足的地方，此类算子只能针对一个排序的依据进行排序，比如说sortByKey算子仅仅只能根据Key来排...
HBase学习之路(五)：理解过滤器的概念及比较过滤器的使用
萧邦主的城邦
07-31 1826
内容简介一、过滤器简介1.过滤器的基本概念2.过滤器的层次结构3.比较运算符4.运算器二、比较过滤器的使用0.比较过滤器的基本概念1.行过滤器2.列族过滤器3.列名过滤器4.值过滤器三、总结 一、过滤器简介 1.过滤器的基本概念 过滤器是HBase为客户端提供的一种高级API，是HBase的一种高级特性，它提供了非常强大的功能帮助用户处理表中的数据。HBase中读取数据的API主要是get()和...
FileLink：为企业跨网文件传输筑牢安全与效率基石
qq_73196442的博客
08-12 1177
在企业数据往来日益频繁的今天，跨网文件传输的安全性和高效性是企业顺畅运营的关键。传统传输方式在安全防护、系统融合及成本控制上的短板愈发明显，而 FileLink 凭借在这些方面的突出表现，成为企业跨网文件传输的得力助手。
基于SpringBoot的房产销售系统
最新发布
2501_90968670的博客
08-15 667
本项目是一个基于Java平台的在线房产销售系统服务平台，旨在为用户提供多样化的服务，包括房地产预约、订单管理、用户权限管理等功能。平台采用分模块开发，每个模块都有明确的功能范围和用户角色定位。通过标准化的接口定义，方便前后端的数据交互，确保系统的灵活性和扩展性。
MapReduce系统架构，颠覆了互联网分层架构的本质？
weixin_43209512的博客
08-14 223
摘要：MapReduce架构颠覆了传统互联网"固定CPU，移动数据"的分层架构，创新性地采用"固定数据，移动CPU"模式。这种设计针对离线业务特点（数据量大、时延容忍），让计算任务就近处理数据，大幅减少网络传输。与互联网架构（高吞吐、低时延）形成鲜明对比，体现了架构设计需因业务特点而异的核心理念。（149字）
时序数据库市场前景分析
m0_72638137的博客
08-14 762
随着物联网（IoT）、工业互联网、金融科技、智慧城市等领域的快速发展，数据呈现爆发式增长，其中时间序列数据（Time-Series Data）占据了重要地位。时序数据库正与AI/ML技术结合，支持异常检测、预测分析等高级功能，例如IoTDB的AINode支持自研时序大模型Timer，InfluxDB的Flux语言和Prometheus的PromQL扩展。未来的数据库可能不再严格区分时序、关系或图数据库，而是提供统一的数据处理能力，如IoTDB 2.0版本提供的动态+静态数据的多模态融合。
人工智能与金融：金融行业的革新
一套方法论打通全栈闭环，从 0 到 1 教你驾驭需求、设计、开发、项目、课题、论文和软著，速成全栈王者！
08-12 1197
人工智能正在重塑金融的形态，但技术终究是服务于经济发展的工具。从小微企业通过 AI 获得第一笔贷款，到普通家庭借助智能投顾实现财富增值，从跨境支付效率的革命性提升，到金融风险的精准防控，AI 正在让金融从 “精英专属” 走向 “全民共享”，从 “复杂晦涩” 走向 “简单透明”。未来的金融行业，将是 “技术的智能” 与 “金融的本质” 的完美融合：AI 解决效率、成本、风险等技术问题，金融人则坚守 “服务实体经济” 的初心。
大模型微调【1】之入门
缘友一世的博客
08-13 713
大模型微调【1】之入门
elasticsearch冷热数据读写分离！
专注深耕linux、容器云原生、运维自动化等方向
08-14 432
面对elasticsearch每天存储大量数据且存储时间很长的情况下，比较突出的一个问题是：非常大量的读IO及聚合计算时，很可能会导致后端Load升高，从而阻塞新数据的写入，影响效率。庆幸的是：es提供了一套冷热数据分离的机制。即：将冷数据与热数据通过node隔离；这样，写操作集中在 N 台热数据节点上，大范围的读操作集中在 M 台冷数据节点上。提升检索(消耗cpu及磁盘io)效率的同时，避免了堵塞影响。
Linux基础指令与权限管理完全指南
悲观者总是正确，乐观者正在前行。
08-13 575
本文全面解析Linux系统操作核心知识，主要包括：1）Linux发展历程及在服务器、嵌入式、云计算等领域的应用优势；2）关键目录结构与路径操作要点；3）40+实用命令详解，涵盖文件管理、权限设置、系统操作等；4）权限管理机制深度解析，包括权限三元组和粘滞位应用；5）Shell运行原理及操作技巧；6）实战场景解决方案，如文件传输、权限排查等。掌握这些内容可满足90%的日常运维需求，建议结合实践深入理解Linux"一切皆文件"的设计哲学。
Canal 技术解析与实践指南
熊骑士
08-15 532
摘要：Canal是阿里巴巴开源的MySQL数据库binlog增量订阅中间件，通过模拟MySQL Slave协议实现低延迟数据同步。采用Server-Client架构，支持集群部署和高可用，具备数据过滤、路由功能，适用于实时数据同步、缓存更新等场景。最佳实践包括集群部署、Kafka投递模式配置等，未来将加强云原生支持和多数据源适配。
import matplotlib.pyplot as plt import numpy as np y = np.array([5.0,14.9,11.2,15.6,11.5,10.5,12.8,8.8,5.0,4.7]) plt.rcParams['font.sans-serif'] = ['Microsoft YaHei'] #指定字体为雅黑，解决文字乱码问题 plt.pie(y, labels=['《Jay》', '《范特西》', '《八度空间》', '《叶惠美》', '《七里香》','《十一月的萧邦》', '《依然范特西》','《我很忙》','《魔杰座》','《跨时代》'], # 设置饼图标签 autopct="(%1.1f%%)" #饼块内标签。 colors=("r","blue","green","yellow","purple","r","blue","green","yellow","orange")， #设置各饼块的颜色，r表示red，blue代表蓝色 explode=[0,0,0,0.1,0,0,0,0,0,0] #离心率 ) plt.title("各专辑销量动态数据") plt.show()
07-11
这段代码是使用Matplotlib库绘制饼图的示例。你提供了销量数据和对应的专辑名称，然后使用`plt.pie()`函数绘制饼图。 在这段代码中，你使用了`plt.rcParams`来设置字体为微软雅黑，以解决中文文字乱码的问题。...
评论 8
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值