- 博客(11)
- 收藏
- 关注
RSS订阅原创 基于Spark RDD实现电商用户购买行为数据分析
本文介绍了基于Spark RDD实现电商用户购买行为数据分析的全流程。项目对原始购买日志进行数据清洗（过滤无效订单、去重）、标准化处理（统一时间/金额格式）和多维度聚合分析（按用户和商品类别统计消费金额、购买件数等指标）。通过Spark Shell分步执行数据加载、脏数据过滤、格式转换、维度扩展和聚合计算，最终将分析结果保存到本地文件。完整代码包含详细注释，适合Spark初学者学习RDD数据处理的基本方法。实验需提前部署Hadoop和Spark环境，并准备模拟的电商用户购买日志数据集。
2026-06-15 10:00:00
157
原创 Kafka部署(详细版)
本文详细介绍了Kafka集群部署的全过程，包含环境检查、安装配置、集群启动等关键步骤。主要内容包括：1）前置环境检查（JDK、ZooKeeper、防火墙）；2）Kafka安装包解压与环境变量配置；3）核心配置文件修改（broker.id、listeners等参数）；4）集群节点间的配置分发与差异化调整；5）ZooKeeper和Kafka的启动验证。文章通过图文结合的方式，逐步演示了在三节点Hadoop集群上部署Kafka的具体操作，适合初学者参考实践。
2026-06-12 10:00:00
221
原创 HBase部署(详细版)
这篇文章详细介绍了HBase分布式数据库的安装部署过程。主要内容包括：1)下载并解压HBase安装包；2)配置环境变量；3)修改hbase-env.sh、hbase-site.xml等核心配置文件；4)设置regionservers和backup-masters；5)将配置分发到集群各节点；6)依次启动Zookeeper、Hadoop和HBase服务；7)通过jps命令和WebUI(16010端口)验证服务状态。文章提供了完整的操作步骤和配置示例，适合初学者参考实现HBase集群部署。
2026-06-06 10:00:00
233
原创 Zookeeper部署(详细版)
本文详细介绍了Zookeeper集群的部署步骤，适用于Hadoop环境。主要内容包括：下载安装包并解压至指定目录；配置环境变量；修改Zoo.cfg配置文件，设置数据目录、日志目录和集群节点；创建myid文件标识节点；将配置分发至其他节点并同步环境变量；关闭防火墙；启动集群并验证状态。文章通过分步命令确保部署清晰可靠，最后提供启动/停止命令和状态检查方法。适合需要搭建Zookeeper集群或遇到部署问题的读者参考。
2026-05-31 15:06:12
417
2
原创 Spark部署(详细版)
本文详细介绍了Spark集群的部署过程，主要包括以下步骤：1.下载并解压Spark安装包；2.修改配置文件spark-env.sh；3.配置workers文件；4.解决节点文件缺失问题；5.启动Spark集群；6.运行示例程序测试。文章特别强调了部署过程中可能遇到的常见错误及解决方法，如workers文件路径错误、节点Spark目录缺失等问题，并提供了详细的解决方案。最后通过运行SparkPi示例程序验证部署结果。文章内容详实，配有具体命令和截图说明，适合Spark初学者参考学习部署过程。
2026-03-23 20:00:18
501
原创 Sqoop部署(详细版)
本文详细介绍了Sqoop的部署流程，包含7个关键步骤：1）下载并解压Sqoop安装包；2）修改环境变量文件sqoop-env.sh；3）配置系统环境变量；4）添加MySQL的JDBC驱动；5）添加依赖包commons-lang-2.6.jar；6）通过list-databases命令测试Sqoop连接MySQL；7）总结部署经验。文章以Hadoop3环境为例，提供了每个步骤的具体操作命令和配置示例，最后通过成功查询MySQL数据库验证部署结果，为读者提供了完整的Sqoop部署指南。
2025-12-12 10:00:00
739
原创 Flume部署(详细版)
本文详细介绍了Flume 1.9.0的部署过程，包含7个关键步骤：1)从官网下载安装包；2)上传至虚拟机指定目录；3)解压并重命名安装目录；4)复制模板文件创建环境变量配置文件，添加JDK路径；5)配置系统环境变量；6)通过版本命令验证安装成功。文章采用图文结合的方式逐步讲解，适合初学者跟做，全文结构清晰，操作步骤详细。
2025-12-09 10:00:00
840
原创 Hive部署(详细版)
本文详细介绍了Hive三种部署模式的具体步骤：内嵌模式（使用Derby数据库）、本地模式（使用MySQL替代Derby）和远程模式（支持多服务器远程连接）。文章包含完整的环境配置流程，重点解决了部署过程中常见的jar包冲突、MySQL安装报错、密码修改等问题的解决方案。每种模式都提供了详细的命令操作和配置示例，并配有执行结果截图。最后还介绍了通过MetaStore和HiveServer2服务实现远程连接的配置方法。文中特别标注了作者在实际部署中遇到的问题及解决方法，为读者提供了实用的参考经验。
2025-12-02 19:47:50
1251
原创 基于完全分布式模式部署Hadoop(详细版)
本文详细介绍了Hadoop完全分布式模式的部署过程。主要内容包括：1）虚拟机环境搭建，包括创建3个CentOS虚拟机、配置网络和SSH免密登录；2）JDK安装与环境变量配置；3）Hadoop集群部署，包括配置文件修改、环境变量设置、集群启动与验证；4）通过词频统计案例演示MapReduce程序运行。文章提供了从虚拟机创建到Hadoop集群部署的完整步骤，特别强调了配置细节和常见问题的解决方法，适合Hadoop初学者参考学习。
2025-11-30 14:46:29
1000
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人