一站式搞定大数据平台(Hadoop+Spark+Flink)
关注
分享
扫一扫
文章平均质量分 85
本专栏主要是构建大数据平台，包含目前大数据常用的所有技术组件的环境部署，如Hadoop、Spark、Flink、Kafka、Hive、HBase、Doris、DataX、Hudi等。所有技术组件的安装部署，都是手把手操作，不会出现跳讲和断讲，0基础同学也能一站式搞定大数据平台环境。
俊哥大数据
现任某车企大数据高级工程师，负责自动驾驶与数据闭环，聚焦智能汽车、自动驾驶与数据闭环研发，具备真实产业场景与工程落地能力。
个人具备16年开发、13年大数据经验，精通Hadoop、Spark、Flink等主流技术，主导10余个重量级项目，具Hadoop源码级能力。曾为中国移动、中国农业银行、新华三内训，为首经贸、燕大等高校培训。出版《实战大数据(Hadoop+Spark+Flink)》等5本著作，其中单本书京东单平台销量超2万册；51CTO单平台40万粉丝。可支撑高校项目咨询、实训与产教融合。
有技术交流、课程培训、简历修改、面试指导等服务需求，可私信我哟
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
【亲测最新版本】DolphinScheduler 3.4.0 安装部署文档
DolphinScheduler 3.4.0 采用 Master/Worker 架构，依赖 Zookeeper 注册中心、MySQL 8.4 存储元数据、HDFS 作为资源中心。部署需规划多节点集群，推荐至少2个Master和Worker实现高可用。环境准备包括配置主机名与hosts、创建具备sudo权限的hadoop用户、配置SSH免密登录及安装JDK 17。MySQL 8.4通过RPM安装，需初始化并创建DS专用数据库与账号。Zookeeper集群部署于独立节点，DS安装包解压后拷贝驱动与配置文件，修改原创 2026-09-29 11:58:04 · 47 阅读 · 0 评论 -
【亲测有效】Kafka3.5.0分布式集群安装部署与测试-最新
Kafka使用Zookeeper作为其分布式协调框架，能很好地将消息生产、消息存储、消息消费的过程结合在一起。同时借助Zookeeper，Kafka能够将生产者、消费者和集群节点在内的所有组件，在无状态的情况下建立起生产者和消费者的订阅关系，并实现生产者与消费者的负载均衡。本文将基于三节点安装部署Kafka3.5.0最新版本分布式集群环境。原创 2025-01-06 08:11:19 · 885 阅读 · 0 评论 -
【亲测有效】k8s分布式集群安装部署
一站式解锁大数据处理全链路！从Hadoop的数据存储基石，到Spark的飞速计算引擎；从Flink的实时流处理，到Doris的高性能分析；再到Kubernetes的容器编排、Kafka的消息队列、HBase的列式存储、DataX的数据同步、Hive的数据仓库——我们一网打尽！无论您是大数据新手还是进阶者，此专栏都将带您深入大数据技术的核心，实战演练，轻松驾驭复杂数据处理场景。掌握这些利器，让您在数据洪流中游刃有余，开启数据智能的新篇章！原创 2024-12-28 14:51:31 · 632 阅读 · 0 评论 -
【亲测可用】三节点Hadoop分布式集群扩缩容
随着公司业务的增长，数据量越来越大，原有DataNode节点的容量已经不能满足数据存储的需求，需要在原有集群基础上动态添加新的数据节点，也就是俗称的动态扩容。此外，这台机器可能并非真正的DataNode，不在集群的控制之内，随时可能停止从而导致潜在的数据丢失。为了设置NameNode节点(hadoop1)到新增DataNode节点(hadoop4)的免密登录，我们需要将hadoop4节点的公钥id_ras.pub复制到hadoop1节点中的authorized_keys文件中，具体操作如下所示。原创 2024-12-27 16:35:36 · 570 阅读 · 0 评论 -
【亲测可用】Doris3.x分布式集群安装部署-最新版本
Doris 作为⼀款开源的 MPP 架构的OLAP 数据库，能够运⾏在绝⼤多数主流的商⽤服务器上。为了能够充分运⽤ MPP 架构的并发优势，以及 Doris 的⾼可⽤特性，我们建议 Doris 分布式集群的部署遵循以下要求。原创 2024-12-27 09:15:08 · 2603 阅读 · 1 评论 -
【亲测有效】Flink1.20分布式集群搭建-最新版本
手把手搭建最新版本的Flink1.20分布式集群，包含Standalone和YARN两种运行模式的集群搭建，并通过案例进行会话模式和应用模式的实际操作。原创 2024-12-20 12:11:19 · 4686 阅读 · 0 评论