【有源码】基于Hadoop生态的学生多维习惯数据挖掘与学业关联可视化分析系统-基于数据挖掘的学生习惯画像构建与学业表现可视化系统-优快云博客

注意：该项目只展示部分功能，如需了解，文末咨询即可。

本文目录

1 开发环境
2 系统设计
3 系统展示
3.1 功能展示视频
3.2 大屏页面
3.3 分析页面
3.4 登录页面

4 更多推荐
5 部分功能代码

1 开发环境

发语言：python
采用技术：Spark、Hadoop、Django、Vue、Echarts等技术框架
数据库：MySQL
开发环境：PyCharm

2 系统设计

当前高等教育阶段学生面临学业压力、数字化干扰与生活方式失衡等多重挑战，传统教育管理模式难以精准捕捉个体习惯差异对学业发展的深层影响。随着校园信息化系统积累的学生行为数据呈指数级增长，急需构建融合Spark分布式计算与Hadoop存储架构的大数据分析平台，将分散在教务、考勤、消费、门禁等多源异构数据转化为可洞察的知识。本项目依托Python生态的数据处理能力与Vue+Echarts前端技术栈，针对学生日常作息、学习投入、数字媒体使用、身心健康等核心维度，打造可视化分析系统，为教育管理者提供突破经验主义局限的量化决策工具，实现从粗放式管理向精准化育人模式的转型。

系统核心架构分为六大分析模块：学生多维分析整合学习时长、社交媒体使用、睡眠等基础行为指标，支持跨维度关联探索；背景因素分析聚焦父母教育水平、年龄段差异等人口统计学变量对学业的影响刻画；学业习惯分析主攻学习投入产出效率，涵盖出勤率、屏幕使用时间等关键预测因子；身心健康分析构建心理健康评分与作息规律的联动模型，监测身心状态平衡性；外部环境分析评估网络质量、兼职活动等校园外变量对学业过程的干扰效应；综合画像分析基于聚类算法生成学生群体标签，输出个体化发展建议报告。

3 系统展示

3.1 功能展示视频

基于hadoop大数据的学生习惯数据可视化分析系统毕设源码！！！请点击这里查看功能演示！！！

3.2 大屏页面

在这里插入图片描述

3.3 分析页面

在这里插入图片描述

3.4 登录页面

在这里插入图片描述

5 部分功能代码

    # 初始化SparkSession，配置Hadoop与MySQL连接参数
    spark = SparkSession.builder \
        .appName("StudentHabitClustering") \
        .config("spark.hadoop.fs.defaultFS", "hdfs://master:9000") \
        .config("spark.jars", "/opt/spark/jars/mysql-connector-java-8.0.30.jar") \
        .getOrCreate()
    
    # 1. 数据加载：从HDFS读取学生行为原始数据（学习时长、社交媒体、睡眠、锻炼等）
    # 数据格式：student_id, daily_study_h, social_media_h, sleep_h, exercise_freq, mental_score, grade
    raw_df = spark.read.parquet("hdfs://master:9000/data/student_habits.parquet") \
        .select("student_id", "daily_study_h", "social_media_h", "sleep_h", "exercise_freq", "grade")
    
    # 2. 特征工程：选择聚类关键维度并组装为向量
    # 选取4个核心行为指标作为聚类特征
    feature_cols = ["daily_study_h", "social_media_h", "sleep_h", "exercise_freq"]
    assembler = VectorAssembler(inputCols=feature_cols, outputCol="features")
    assembled_df = assembler.transform(raw_df)
    
    # 3. 特征标准化：消除量纲差异，提升聚类效果
    # 使用StandardScaler进行Z-score标准化
    scaler = StandardScaler(inputCol="features", outputCol="scaled_features", withStd=True, withMean=True)
    scaler_model = scaler.fit(assembled_df)
    scaled_df = scaler_model.transform(assembled_df)
    
    # 4. K-Means聚类：训练模型并分配群体标签
    # 根据业务经验设置k=3，对应三类典型学生群体
    kmeans = KMeans(featuresCol="scaled_features", k=3, seed=42, maxIter=50)
    model = kmeans.fit(scaled_df)
    predictions = model.transform(scaled_df)
    
    # 5. 业务标签映射：根据聚类中心特征值定义群体类型
    # 计算每个簇的中心点（原始尺度）
    centers = model.clusterCenters()
    
    # 定义标签规则：基于学习时长、社交媒体使用强度等维度判断群体属性
    cluster_labels = {}
    for i, center in enumerate(centers):
        study_h, social_h, sleep_h, exercise = center
        # 均衡发展型：各项指标处于中等水平，学习时长适中
        if 3.0 <= study_h <= 4.5 and 1.5 <= social_h <= 3.0:
            cluster_labels[i] = "均衡发展型"
        # 勤奋社交型：学习时长高但社交媒体使用也高
        elif study_h > 4.5 and social_h > 3.0:
            cluster_labels[i] = "勤奋社交型"
        # 低耗稳健型：社交媒体使用低，作息规律
        else:
            cluster_labels[i] = "低耗稳健型"
    
    # 6. 结果增强：为每个样本添加业务标签和群体统计特征
    from pyspark.sql.functions import udf
    from pyspark.sql.types import StringType
    
    # 创建UDF将聚类编号转换为业务标签
    label_udf = udf(lambda cluster_id: cluster_labels[cluster_id], StringType())
    labeled_df = predictions.withColumn("cluster_label", label_udf(col("prediction")))
    
    # 7. 群体画像统计：计算各簇的关键指标均值与人数占比
    cluster_stats = labeled_df.groupBy("cluster_label").agg(
        count("student_id").alias("student_count"),
        avg("daily_study_h").alias("avg_study_h"),
        avg("social_media_h").alias("avg_social_h"),
        avg("sleep_h").alias("avg_sleep_h"),
        avg("exercise_freq").alias("avg_exercise_freq"),
        avg("grade").alias("avg_grade")
    )
    
    # 8. 结果持久化：将带标签数据写回MySQL供Vue前端调用
    # 写入明细数据
    labeled_df.write.format("jdbc") \
        .option("url", "jdbc:mysql://localhost:3306/student_db") \
        .option("driver", "com.mysql.jdbc.Driver") \
        .option("dbtable", "clustering_results") \
        .option("user", "admin") \
        .option("password", "admin123") \
        .mode("overwrite") \
        .save()
    
    # 写入统计摘要
    cluster_stats.write.format("jdbc") \
        .option("url", "jdbc:mysql://localhost:3306/student_db") \
        .option("driver", "com.mysql.jdbc.Driver") \
        .option("dbtable", "cluster_statistics") \
        .option("user", "admin") \
        .option("password", "admin123") \
        .mode("overwrite") \
        .save()
    
    # 9. 结果返回与缓存：将核心统计结果注册为临时视图供下游调用
    cluster_stats.createOrReplaceTempView("cluster_stats_view")
    
    # 输出聚类质量评估指标
    evaluator = ClusteringEvaluator(predictionCol='prediction', featuresCol='scaled_features', metricName='silhouette')
    silhouette_score = evaluator.evaluate(predictions)
    
    print(f"聚类完成！轮廓系数: {silhouette_score:.3f}")
    print("群体分布与特征:")
    cluster_stats.show()
    
    return cluster_stats