- 博客(16)
- 收藏
- 关注
RSS订阅原创 Spark连接MySQL完整教程
本文详细介绍了如何在Ubuntu系统中安装和配置MySQL，并通过Spark进行数据读写操作。首先，通过终端命令安装MySQL并设置root密码，随后创建测试数据库和表。接着，下载并安装MySQL JDBC驱动，确保Spark能够连接MySQL。最后，通过PySpark从CSV文件创建DataFrame，并将数据写入MySQL数据库，同时演示了如何从MySQL读取数据。整个过程涵盖了MySQL的安装、配置、驱动准备以及Spark与MySQL的集成操作。
2025-06-16 20:53:53
546
原创 分布式集群常见问题排查手册
[ELK](https://www.elastic.co/cn/what-is/elk-stack)：日志分析系统。- [Ganglia](http://ganglia.info/)：集群资源监控。| 服务 | 日志路径 |- 内存不足：增加`--executor-memory`- 数据倾斜：优化`groupBy`操作。3. 善用WebUI的图形化监控功能。1. 遇到错误时先收集完整日志。定期备份HDFS元数据。
2025-06-16 20:52:34
525
原创 YARN集群WebUI监控与任务管理
YARN WebUI使用指南摘要：YARN WebUI提供集群任务监控和管理功能，可通过虚拟机IP:8088访问。主要功能包括查看运行/完成/失败任务状态、监控资源使用(Memory/VCores)、查看详细任务日志。操作包含强制终止异常任务、命令行/web两种日志查看方式。实战中可观察美妆分析任务状态变化(NEW→FINISHED)。常见问题排查：8088访问失败需检查防火墙和ResourceManager服务；日志不全需配置yarn-site.xml开启日志聚合。掌握WebUI使用可以高效管理YARN集
2025-06-16 20:47:24
807
原创 HDFS文件操作与数据分析准备
HDFS是Hadoop分布式文件系统，通过NameNode（目录管理）和DataNode（数据存储）实现文件分块存储。基础操作包括启动服务（start-dfs.sh）、常用命令（ls/mkdir/put等）及数据上传（如美妆数据集CSV文件）。可通过WebUI（50070端口）可视化查看文件，遇到上传失败时需检查权限（chmod）或调整副本数（setrep）。注意：默认数据块（Block）大小为128MB。
2025-06-16 20:18:28
303
原创 美妆订单数据分析实战（含代码解析）
摘要：本文介绍了一个电商美妆产品数据分析案例的实现过程。首先将销售数据(beauty_prod_sales.csv)和商品信息数据(beauty_prod_info.csv)上传至HDFS，然后使用PySpark编写分析程序(beauty_analysis.py)，通过SparkSession读取数据并进行分析计算，包括计算Top5畅销商品和各省份销量分布等。分析结果保存至HDFS，可通过命令行或SparkSQL查看。最后给出了项目目录结构和常见错误解决方法，如数据路径错误和内存不足问题。整个流程涵盖了从数
2025-06-16 20:10:50
750
1
原创 PySpark环境配置与测试
安装PySpark环境的简明指南 本文介绍如何为Spark配置Python3环境，支持PySpark开发。首先在所有节点安装Python3.6及依赖包，验证安装后修改Spark配置文件spark-env.sh，配置Python3路径并同步到其他节点。测试阶段通过pyspark交互式Shell和提交Python脚本验证环境是否正常。常见问题包括Python3命令缺失或PySpark启动失败，可通过检查安装、配置文件或环境变量解决。此配置使数据分析师能便捷使用Python进行Spark开发。
2025-06-16 20:07:51
423
原创 Spark on YARN集群配置
本文介绍了将Spark部署在YARN资源管理器上的完整流程。首先需要确保Hadoop集群和Spark基础安装已完成，并对比了Standalone和YARN两种模式的特点。关键配置包括设置spark-env.sh和上传Spark依赖包到HDFS。详细说明了两种提交任务模式（client和cluster）的命令示例，以及通过YARN WebUI和yarn logs监控任务的方法。最后给出模式选择建议：开发测试用client模式，生产环境用cluster模式，并提供了两个常见问题的解决方案（资源不足和ClassN
2025-06-16 19:54:01
520
原创 Spark Standalone集群部署
摘要：本文详细介绍了在三台CentOS7虚拟机上搭建Spark2.4.8独立集群的全过程。主要内容包括：1)准备工作：确认JDK8和Hadoop已安装，完成SSH免密配置；2)在vm01节点安装Spark并配置环境变量；3)修改关键配置文件spark-env.sh和workers；4)将Spark分发到vm02和vm03节点；5)启动集群并验证Master和Worker进程；6)通过WebUI(http://vm01:8080)监控集群；7)测试提交圆周率计算任务。最后提供了Worker节点未显示和WebU
2025-06-16 17:30:26
918
原创 Hadoop集群搭建
本教程详细介绍了Hadoop HDFS集群的安装配置过程。主要内容包括：从下载Hadoop 2.6.5安装包开始，到解压安装、配置环境变量、修改核心配置文件（hadoop-env.sh、core-site.xml、hdfs-site.xml和slaves文件）。教程还说明了如何将配置分发到其他节点，以及首次启动集群时需要格式化NameNode的操作步骤。最后提供了验证集群运行状态的方法（通过jps命令和Web UI访问）及常见问题的解决方案。整个流程确保用户能够成功搭建一个由三台节点（vm01、vm02、v
2025-06-16 16:51:50
897
原创 JDK8安装与多节点分发
本文介绍了在Linux虚拟机上安装JDK8的完整流程：1）下载JDK8并上传至vm01的/root目录；2）解压到/usr/local并创建软链接；3）配置环境变量并验证安装；4）通过scp命令将JDK和环境配置同步到其他两台机器。操作要点包括使用root权限、正确编辑/etc/profile文件、执行source命令使配置生效。常见问题排查涉及检查环境变量配置和目录权限设置。该方法可避免在多台机器上重复安装JDK。
2025-06-16 16:43:57
336
原创 三节点SSH免密登录配置
本文介绍了通过SSH密钥对实现集群节点间免密登录的方法。主要内容包括：1) 使用ssh-keygen生成RSA密钥对；2) 通过ssh-copy-id将公钥分发到各节点；3) 配置/etc/hosts简化主机名访问；4) 设置正确的文件权限。还提供了常见问题解决方案，如权限不足时应调整.ssh目录权限，连接失败时需检查公钥是否正确配置。该方法可有效解决集群管理时频繁输密码的问题，提升运维效率。通过文中步骤，可实现任意节点间的无缝互访。
2025-06-16 16:10:09
628
原创 CentOS7虚拟机克隆与网络配置
本文详细介绍了使用VMware Workstation 16搭建CentOS 7虚拟机的完整流程。主要内容包括：1)准备工作（软件下载和基础概念）；2)详细步骤：从安装母机、克隆虚拟机到配置静态IP；3)网络互通验证方法；4)常见问题解决方案。文中特别强调克隆操作可节省时间，静态IP配置需确保网卡名称与配置文件一致，以及防火墙关闭的必要性。通过清晰的命令操作和参数说明，帮助用户快速搭建可互联的多台CentOS虚拟机环境。
2025-06-16 15:59:09
784
原创 PySpark开发环境搭建教程
本文详细介绍了在Linux系统上搭建PySpark开发环境的完整步骤：首先安装PySpark核心包和py4j桥接工具，接着验证安装；然后配置Jupyter Notebook交互环境并测试PySpark集成；最后可选安装PyCharm专业IDE。整个过程包含具体命令、版本说明和功能解释，帮助用户建立包含PySpark核心、Jupyter Notebook和PyCharm的完整开发环境。
2025-05-27 13:11:10
969
原创 Spark Streaming流数据处理入门教程
本文详细介绍了Kafka的安装与测试步骤。首先，通过下载并解压Kafka安装包，设置权限并创建软链接，完成Kafka的安装。接着，启动Zookeeper和Kafka服务，并通过Jps命令检查服务是否成功启动。随后，创建测试主题并查看已有主题列表。最后，通过两个终端窗口分别启动Kafka的生产者和消费者，进行消息收发的测试。测试完成后，可通过快捷键结束客户端，保留服务端窗口。整个过程涵盖了Kafka的基本操作，为后续使用奠定了基础。
2025-05-21 14:30:37
245
原创 Spark RDD 常用操作详解
定义转换函数... return (x, 1) # 返回元组（元素，1）# 应用自定义函数>>> rdd2 = rdd1.map(trans) # 使用函数名而非lambda。
2025-04-13 18:39:45
1198
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人