离线数仓2.0—分布式虚拟机

rubyw rubyw 博客等级 墨衍会员 · AI 创作全网分发 墨衍智能分发 本文由作者通过墨衍一键同步至各平台 1分发平台 200+累计阅读 288平均单平台 已同步平台 优快云 微信公众号 微博 知乎 掘金 百家号 博客园 抖音 小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年，写一次发全网 我也要 码龄7年
关注
原创 2023-05-18 14:30:11 288 阅读 AI 写同款· GEO 优化 ›
尚硅谷大数据实战：从零搭建电商实时数仓（Flink+ClickHouse+ES）完整教程 本文提供了一份从零搭建电商实时数仓的完整实战教程。通过结合Apache Flink进行实时流计算、ClickHouse支撑高速分析、Elasticsearch实现灵活检索，构建了一套高效处理海量用户行为数据的黄金组合方案。文章详细解析了架构设计、环境搭建、核心代码实现及性能调优，帮助数据工程师快速掌握实时数仓的核心构建技能。 阅读详情

虚拟机：VMware WorkStation Pro15

数量：3台，hadoop102、hadoop103、hadoop104

部署好的镜像：

导入镜像前的设置：             

视频链接地址：

尚硅谷大数据项目数据仓库,电商数仓V2.0新版

虚拟机描述（账号密码）

数仓2.0
系统：CentOS 6.9
主机名：hadoop102/hadoop103/hadoop104
IP：192.168.88.102/192.168.88.103/192.168.88.104
Linux：root:123456 atguigu:123456
Mysql：root:000000 
Azkaban：atguigu:123456

注：只部署到Azkaban

收录于
大数据

当前文章被收录于：

大数据
4 篇文章 0 人学习
订阅专栏 查看详情
标签
#服务器 #数据库 #大数据 #linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
Kafka生产集群部署实战：从Linux内核调优到ISR故障排查 Apache Kafka并非传统消息队列，而是一个以日志为第一抽象的分布式持久化存储系统。其高性能本质源于顺序写磁盘与Page Cache协同的底层IO机制，而非Java实现；其可靠性则高度依赖Linux内核参数（如vm.swappiness、vm.max_map_count）与ZooKeeper会话治理的精准配置。理解Kafka即理解操作系统与分布式共识的交界——当Consumer Lag飙升、ISR频繁收缩或Broker静默退出时，问题往往不在Kafka配置本身，而在磁盘IO调度、网络延迟抖动或JVM与 阅读详情

相关推荐

大数据开发学习路线：从Hadoop入门到MapReduce实战

大数据开发入门绕不开分布式存储与计算这一核心命题。当数据量超出单机处理能力时，Hadoop作为经典的开源框架，提供了一套完整的解决方案：HDFS负责分布式文件存储，MapReduce实现分而治之的批量计算，YARN统一调度集群资源。理解这些底层原理，是后续学习Hive数仓、Spark实时计算的重要基础。本文从环境搭建出发，逐步讲解伪分布式集群配置、HDFS文件操作、MapReduce词频统计实战，并梳理新手最常见的排错思路，帮助读者建立从理论到实践的行动路径。无论你是准备毕业设计，还是计划转行大数据开发，掌

weixin_34208283的博客 1172

尚硅谷离线数仓4.0镜像以及项目执行流程（3个虚拟机）

实现好的离线数仓项目，内含搭建过程中遇到的问题。

qq_43567029的博客 3072

数据仓库系列：从零到一，构建你的第一个StarRocks实时分析平台

本文提供了一份详细的StarRocks入门培训教程，手把手教你从零开始构建实时分析平台。内容涵盖集群部署、表模型选择、实时数据导入及物化视图优化等核心步骤，帮助你快速掌握这一高性能MPP数据库，应对海量数据的秒级分析需求。

weixin_29248611的博客 213

大数据（hadoop分布式搭建--尚硅谷）手把手教学

二 Hadoop 运行环境搭建 1.创建虚拟机，创建名称为hadoop100 ![在这里插入图片描述](https://img-blog.csdnimg.cn/e89556e0b9b54d9fa3f25dea18873db2.png 2.配置三处网络环境 （1） 点击编辑—>虚拟网络编辑器，进行网络编辑，点击更改配置 将VMnet8网络模式改为NET模式，并且将子网IP地址配置为192.168.10.0，将子网掩码设置为：255.255.255.0 （2） 更改本机的ip地址配置 在设置中选

qq_43774324的博客 5026

网易大数据开发笔试考点复盘：从Java到Hive/Spark一次讲清

大数据开发工程师是连接底层存储计算与上层业务分析的关键角色，其核心能力体现在对分布式系统原理的深刻理解与工程落地能力。在技术面试与笔试中，Hadoop生态、Spark计算引擎、Hive数据仓库以及数据倾斜处理是高频考察点。理解HDFS副本放置策略、MapReduce Shuffle机制、Spark宽窄依赖与reduceByKey预聚合原理，不仅能应对概念题，更能解决真实集群中的性能瓶颈。数据仓库建模与窗口函数则支撑离线分析场景。以网易大数据开发校招笔试为样本，复盘从Java基础、JVM内存到分布式算法规避、

weixin_34416649的博客 612

Apache Doris 实时数仓实战：从架构原理到本地部署与核心操作

在数据驱动的业务场景中，实时数据分析已成为支撑电商大屏、金融风控和用户行为洞察的关键技术。传统方案如Hive和ClickHouse常面临高延迟或写入吞吐的瓶颈，而现代实时数仓架构旨在统一离线和实时数据处理，简化复杂的数据栈。Apache Doris作为一款高性能的MPP分析型数据库，通过其独特的存储引擎和索引设计，实现了高吞吐写入与低延迟查询的平衡，有效支持高并发点查与复杂分析。其核心价值在于重新定义了实时数仓的构建范式，提供极简的部署体验和丰富的生态集成，如无缝对接Flink、Kafka等工具。本文聚焦于

weixin_34005042的博客 728

尚硅谷Linux

Linux 尚硅谷笔记

只要学不死，就往死里学！！！ 2259

尚硅谷dubbo视频教程+课程资料（网盘地址，密码）

尚硅谷，dubbo视频教程，课程资料，是txt文本，内含百度网盘地址和密码，下载从速

Hadoop运行环境搭建

目录测试环境网络配置VMware的网络配置Windows的网络配置虚拟机网络IP修改地址配置修改主机名和hosts文件Hadoop运行环境搭建模拟虚拟机环境准备克隆虚拟机在hadoop102安装JDK在hadoop102安装HadoopHadoop目录结构 测试环境 Linux系统版本：CentOS 7 x86 Hadoop版本：hadoop-3.1.3 终端模拟软件：SecureCRT Java版本：jdk-8u162-linux-x64 安装模板虚拟机，IP地址192.168.10.100、主机名称.

qq_45491549的博客 680

基于Hive构建的企业级大数据离线数据仓库平台_在线教育行业数据分析与挖掘实战项目_实现教育机构学生行为分析_课程质量评估_教师教学效果追踪_学习路径优化_用户画像构建_业务决策支.zip

基于Hive构建的企业级大数据离线数据仓库平台_在线教育行业数据分析与挖掘实战项目_实现教育机构学生行为分析_课程质量评估_教师教学效果追踪_学习路径优化_用户画像构建_业务决策支.zip

离线数仓安装包.rar

亲测可用的JDK、Hadoop、HIVE安装包，配套博文： https://yellow520.blog.csdn.net/article/details/112253651

高并发系列

test

会算法的架构师 254

使用STM32制作简易数字时钟

连接LED数码管的电源和地线到STM32单片机的对应引脚，将数码管的A、B、C、D引脚连接到STM32单片机的I/O口引脚。通过编写和调试这个项目，可以熟悉STM32单片机的GPIO口和定时器的使用，以及数字显示的控制。步骤六：测试和调试 通过观察数码管的显示，可以验证时钟功能是否正常工作。步骤四：编写代码 在主程序中，我们将使用定时器中断来控制时钟的运行，并使用GPIO口控制LED数码管的显示。步骤五：编译和下载 编译代码并下载到STM32单片机中，通过调试器和串口监视器进行调试和查看输出结果。

qq_67153941的博客 1303

【从0开始离线数仓项目】——数据仓库的环境搭建（1）

Linux的环境变量可在多个文件中配置，如/etc/profile，/etc/profile.d/*.sh，~/.bashrc，~/.bash_profile等，下面说明上述几个文件之间的关系和区别。

lingxw的博客 3万+

Facebook登录协议逆向实战：从加密参数到完整流程解析（附Python代码）

本文深入解析Facebook登录协议的逆向工程，重点拆解`lgndim`和`encpass`等加密参数的生成逻辑，并提供完整的Python实现代码。通过Base64解码和RSA加密技术，帮助开发者理解并实现Facebook登录流程，同时涵盖工程优化与安全实践。

weixin_30687051的博客 479

Keil5与ARM编译器V5安装指南：从下载到配置全流程解析

本文提供Keil5与ARM Compiler V5的完整安装与配置指南。针对新版Keil5默认不包含V5编译器导致老工程编译失败的问题，详细解析了从软件下载、授权管理到获取并正确安装ARM Compiler V5（AC5）的全流程，确保开发者能顺利搭建兼容老项目的稳定开发环境。

weixin_29158047的博客 878

从0到1，成为大数据行业领袖

目前最火的大数据，很多人想往大数据方向发展，想问该学哪些技术，学习路线是什么样的，觉得大数据很火，就业很好，薪资很高。如果自己很迷茫，为了这些原因想往大数据方向发展，也可以，那么我就想问一下，你的专业是什么，对于计算机/软件，你的兴趣是什么?是计算机专业，对操作系统、硬件、网络、服务器感兴趣?是软件专业，对软件开发、编程、写代码感兴趣?还是数学、统计学专业，对数据和数字特别感兴趣。 其实这就是想告...

weixin_34161083的博客 117

一、数学建模层次分析法（AHP）【清风数学建模个人笔记】

层次分析法： 层次分析法主要用于解决评价类问题（例如：选择哪种方案更好、哪位员工、运动员等表现得更优秀） 评价类问题： 分析问题得出评判问题的子标，分别给不同子标赋予权重（权重和要为1） ...

m0_58882109的博客 1万+

大数据之hadoop入门

是一个分布式系统架构，Apache基金会所开发的。主要解决海量数据的存储和海量数据的分析计算问题。Hadoop通常指一个更广泛的概念，Hadoop生态圈（Hadoop, Hive, ）大数据之父：Doug Cutting，开发了Lucene，一个搜索引擎，类似谷歌搜索引擎。为了在对Lucene进行优化升级，提升面对大数据的查询效率，结合谷歌发布的三篇论文，实现了DFS和MapReduce机制，使Nutch搜索引擎性能飙升。之后项目立项更名为Hadoop，从此Hadoop诞生了。

qq_44273739的博客 987

C语言——利用矩阵LU分解法求逆、行列式

本章介绍了LU分解法，以及如何利用LU分解法求逆、行列式，针对每个公式、原理、代码进行了详细介绍，希望可以给大家带来帮助。

王元笙 1万+

ImportError: DLL load failed while importing _rust: 找不到指定的程序的解决方案

 本文主要介绍了ImportError: DLL load failed while importing _rust: 找不到指定的程序的解决方案，希望能对使用Python的同学们有所帮助。 文章目录 1. 问题描述 2. 解决方案

weixin_43178406的博客 19万+

剑指大数据：企业级数据仓库项目实战（金融租赁版）读书笔记__大数据测试集群的服务器节点服务分配规划表__解读（附：技术选型清单、数据同步工具选择）

本文展示了一个由3台服务器（hadoop102/103/104）组成的大数据测试集群服务部署方案。核心架构特点包括： 角色分工明确：hadoop102作为主控节点（部署NameNode、MySQL等16项服务），hadoop103专管资源调度（含ResourceManager），hadoop104承担辅助功能（如SecondaryNameNode）； 关键分布式服务（DataNode、ZooKeeper等）采用三节点部署确保基础功能； 采用非高可用模式（单NameNode/RM），适合测试环境；

木木的学习笔记 87

YOLOv12改进目录一览 | 涉及卷积层、轻量化、注意力、损失函数、Backbone、SPPF、Neck、检测头等全方位改进

1️⃣ 什么！不知道如何改进模型⁉️ 本专栏所使用并改进的每一个模块均包含详细的模块分析、原理讲解、个人总结、多种改进方式以及完整的修改流程，所有改进100%可直接运行，性价比极高。2️⃣ 找不到合适的模块⁉️ 所有改进点均为近三年顶会，顶刊提出的先进算法，将其融入到中，并进行二次创新，新颖度高，创新度高，能够适应不同的任务场景。3️⃣ 不确定自己改进的步骤、结果是否正确⁉️ 订阅专栏即可进群享受模型训练、模型改进、论文写作、投稿选刊，从入门到论文的各种答疑内容，非常适合新手。4️⃣ 团队内发表数篇SCI论

Limiiiing的博客 2万+

外贸业务数据架构升级：基于TiDB的弹性底座实践

分布式数据库通过自动分片与多副本协议，解决了传统单机数据库在容量扩展和高可用上的瓶颈。HTAP架构将在线事务处理与实时分析融合，让业务系统无需维护两套数据存储。弹性扩缩容能力则使平台能从容应对促销活动带来的流量脉冲。当MySQL分库分表面临扩容成本高、跨分片查询复杂、报表与在线业务互相干扰等现实挑战时，基于TiDB的分布式架构提供了一条平滑迁移路径。以外贸业务典型场景为例，从技术选型、集群部署、数据迁移到在线扩容，完整拆解了如何以TiDB构建数据弹性底座，实现交易与分析负载的隔离与动态扩展，为同类业务架构升

weixin_33508411的博客 310

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

VC中sqlite的使用

在VC中对sqlite的使用，实现数据库大批数据的快速插入，读取数据库中的数据在ListCtrl中显示

触宝2017校招后端大数据笔试题复盘：Java、大数据组件与系统设计全解析

在大数据后端开发岗位中，扎实的Java基础和分布式计算原理是必备技能。从类加载机制、并发安全，到MapReduce、Spark的Shuffle与依赖关系，再到Hive数仓分层与Flink实时计算，技术栈的深度决定系统吞吐与稳定性。本文以触宝科技2017秋季校招后端大数据岗位笔试题为案例，复盘每个考点背后的工程价值与踩坑点，帮助求职者构建从离线批处理到实时计算的全链路知识体系。

weixin_34187862的博客 421

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。，新界面，新视觉，
上一篇： Permission denied: user=dr.who, access=READ_EXECUTE, inode=“/tmp“:root:supergroup:drwx------
下一篇： Python处理样本不均衡问题
点赞 0
评论 1
书签 书签 0
rubyw
rubyw
博客等级 码龄7年 1528粉丝 234原创
+ 关注 专栏目录 订阅专栏
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

rubyw

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值