计算机毕业设计Hadoop在线教育大数据分析可视化学情分析课程推荐系统机器学习深度学习人工智能大数据毕业设计

最新推荐文章于 2025-03-25 14:00:00 发布

B站计算机毕业设计大学

最新推荐文章于 2025-03-25 14:00:00 发布

阅读量654

点赞数 18

CC 4.0 BY-SA版权

分类专栏：大数据毕业设计文章标签：课程设计毕业设计 python hadoop spark 数据可视化大数据

本文链接：https://blog.youkuaiyun.com/spark2022/article/details/146430606

大数据毕业设计专栏收录该内容

3191 篇文章

订阅专栏

温馨提示：文末有优快云平台官方提供的学长联系方式的名片！

温馨提示：文末有优快云平台官方提供的学长联系方式的名片！

温馨提示：文末有优快云平台官方提供的学长联系方式的名片！

作者简介：Java领域优质创作者、优快云博客专家、优快云内容合伙人、掘金特邀作者、阿里云博客专家、51CTO特邀作者、多年架构师设计经验、多年校企合作经验，被多个学校常年聘为校外企业导师，指导学生毕业设计并参与学生毕业答辩指导，有较为丰富的相关经验。期待与各位高校教师、企业讲师以及同行交流合作

主要内容：Java项目、Python项目、前端项目、PHP、ASP.NET、人工智能与大数据、单片机开发、物联网设计与开发设计、简历模板、学习资料、面试题库、技术互助、就业指导等

业务范围：免费功能设计、开题报告、任务书、中期检查PPT、系统功能实现、代码编写、论文编写和辅导、论文降重、长期答辩答疑辅导、腾讯会议一对一专业讲解辅导答辩、模拟答辩演练、和理解代码逻辑思路等。

收藏点赞不迷路关注作者有好处

文末获取源码

感兴趣的可以先收藏起来，还有大家在毕设选题，项目以及论文编写等相关问题都可以给我留言咨询，希望帮助更多的人

介绍资料

4.1.4 平均学习时长和学习行为次数分析

5.6 平均学习时长和学习行为次数分析界面

基于hadoop和echarts的教育大数据可视化系统

摘要

在线教育平台现在是教育体系的重要组成部分，在当前大数据时代的背景下，促进教育机构建立统一平台、统一资源管理的数字化教学系统。如何评估系统平台的健康程度、学生的学习体验和在线课程的质量对于课程的教师和学校的管理人员都是非常重要的，这是进行数据分析的主要目的。可视化是一个重要的途径，它能够帮助大数据获得完整的数据图表并挖掘数据的价值，大数据分析离不开可视化这一工具的推动。

基于hadoop和echarts的教育大数据可视化系统，以B/S模式开发。通过Hadoop中Sqoop进行数据导入转换。以MapReduce构建数据分析，数据分析维度包括每日登录人数分析、平均学习时长分析、学习行为次数分析、每日活跃情况分析和分时段学习人数分析。最终使用ECharts可视化工具来对在线教育平台在学习过程中产生的数据进行可视化大屏展现,让更多人感受到可视化大数据的魅力。

关键词：教育大数据；可视化；ECharts；MapReduce

Educational big data visualization system based on hadoop and echarts

The online education platform is an important part of the education system. In the context of the current era of big data, the educational institutions are encouraged to establish a unified platform and a unified digital management system for resource management. How to assess the health of the system platform, the learning experience of students and the quality of online courses are very important for the teachers of the course and the management of the school. This is the main purpose of data analysis. Visualization is an important way to help big data get complete data charts and mine the value of data. Big data analysis is inseparable from the tool of visualization.

Educational big data visualization system based on hadoop and echarts, developed in B/S mode. Data import and conversion through Sqoop in Hadoop. Data analysis is constructed by MapReduce. The data analysis dimensions include daily login number analysis, average learning duration analysis, learning behavior analysis, daily activity analysis and time-score learning analysis. Finally, the ECharts visualization tool is used to visualize the large-screen display of the data generated by the online education platform during the learning process, so that more people can feel the charm of visual big data.

Key words: Education big data; visualization; ECharts; MapReduce

第1章绪论

1.1 课题研究背景

大数据技术改变了网络教育思想，从“用经验说话”到“用数据驱动决策、管理与创新”，提供给学生不同于传统教育的“教”与“学”[1]。随着更多数字化校园或是其他教育机构提供服务的更新和平台中数据的积累，如何利用平台中沉淀出的数据，促进教学效果优化和提供个性化学习服务[1]。以中国大学MOOC(慕课)为例，MOOC的学习者贡献了海量的学况数据,对这些数据进行整理、分析和挖掘等探究,将会有助于教育工作者对学习者学习特点和行为规律的发现与总结,从而为教学设计的改进和学生的自适应学习提供指导[3]。

目前，有能力的教育企业需要构建自有数据采集、数据分析、数据展示平台的教育大数据一体化平台，用数据驱动增长已得到大家共同的认识，利用平台中静态数据和学习者在平台中学习产生的动态数据，这些数据采集自不同形式，将收集的数据借助平台中集成的数据分析工具数据挖掘模型进行解释和分析，以跟进和评估学习者的学习状态和进度，进而反哺平台提升课程质量，满足学习者突破时间和空间多方位学习。

MOOC平台本身会同步记录学习者的学习行为数据[4]，对于非结构化数据的管理可以通过大数据技术集成到教育数据分析平台中，难点在于提供有价值的数据分析和根据合适的可视化分析呈现分析后的结果[5]。前者帮助进行数据处理，以发现学生，教师和学习过程之间的联系，目的是创建改善整体教育过程的建议。后者使用可视化界面来说明从分析推理中获得的结果，有助于理解新知识并帮助用户发现新的关系或可能的不规范[6]。

1.2 课题研究内容

在线教育正为现代教育体系带来巨大变革，在线教育学习平台一般是学生用来进行校内或校外拓展课程学习的平台，平台需要具备在线视频观看，作业提交，形成性考核等功能。在学生学习的过程中，学校的管理者或负责教师需要了解学生的学习情况和学习状态，因此必须要通过学生的学习行为数据进行数据分析，将学生的学习情况直观的展现给用户，方便教师进行学生管理和评测。

一个完整的教育平台系统中，应具备三个阶段：数据采集和存储，数据分析和结果可视化。本文侧重在于数据分析和结果可视化的实现。

教育大数据可视化系统，通过使用Hadoop生态圈中的组件进行数据归一化及存储，解决数据分析过程，使用ECharts可视化工具来对学习行为分析后的抽象结果进行展现，数据分析的维度有平台健康度，每日登录人数分析、平均学习时长分析、学习行为次数分析、每日活跃情况分析和分时段学习人数分析等。同时，可视化不存在简单的对应关系，应该根据需可视化呈现对象的特征进行具体设计[7]。

1.3 课题发展方向

本系统采用某数据分析平台中的部分时间段学生学习数据，而非杂乱不关联的数据做数据分析，首先将学习平台中关系型数据表导入Hadoop中做分析与存储，通过这样的分析，老师去了解当前的学生和学习情况是什么样的，以及这个课程平台的这个健康程度和通过这个来反哺过来提升课程质量。通过页面可视化技术，将分析结果呈现，便于老师直观对学生的教学行为、爱好行为等非结构化数据特征进行深度了解。

目前信息化技术的扩散，“互联网+”战略和5G技术的来临，高校的数字化校园建设充满机遇与挑战。高校缺乏专业人才自建数据分析平台，且对数据的分析处理技术与挖掘模型的集成整合难度较大，更多是外包给有能力的企业来做。但北京语言大学网络教育学院的在线教育大数据分析平台的成功也证实了机遇一直都在，该项目通过教育数据分析系统建设，汇聚分散在不同平台中的数据信息，最大程度满足学生个性化需求，根据课程关联性、学生学习过程中习题测验完成情况等相关数据，为学生推荐相关课程，提供个性化的课程服务。在节省了人力成本的基础之上，面向整个平台的数据可视化和面向系统优化的统计分析，为学习者提供了个性化、针对性的指导和全面、综合的评价，同时为监督提高教师的教学水平，该平台也支持根据教师的备课情况、参与论坛情况和学生评教的结果等。

当然，对大数据的探索和可视化还更多停留在数据的批处理时代，对于流数据的处理需要新的算法的注入，也需要设计创新的交互方式来对大数据进行可视化交互和辅助决策[8]。

本系统运用Java开发，采用MVC设计模式，系统分为两部分：一是利用MapReduce完成数据准备工作，数据处理使用批处理形式并存储于HBase中，二是使用Java Web项目访问数据库表，Servlet通过JSON数据格式加载到基于HTML的ECharts中，进行数据展示，其中有使用Spring Security和CAS做登录拦截和单点登录。

第2章相关理论和技术介绍

2.1 大数据可视化研究

大数据可视化是关于数据视觉表现形式的科学技术研究[9]，将数据转换为图形或图像在屏幕上显示出来，并进行各种交互处理的理论、方法和技术。将数据直观地展现出来，以帮助人们理解数据，同时找出包含在海量数据中的规律或者信息，更多的为态势监控和综合决策服务。数据可视化是大数据生态链的最后一公里，也是用户最直接感知数据的环节。

数据可视化系统并不是为了展示用户的已知的数据之间的规律，而是为了帮助用户通过认知数据，有新的发现，发现这些数据所反映的实质。

大数据可视化的实施是一系列数据的转换过程。通过对原始数据进行标准化、结构化的处理，把它们整理成数据表。将这些数值转换成视觉结构，通过视觉的方式把它表现出来。例如将高中低的风险转换成红黄蓝等色彩，数值转换成大小。将视觉结构进行组合，把它转换成图形传递给用户，用户通过人机交互的方式进行反向转换，去更好地了解数据背后有什么问题和规律。

传统的显示技术已很难达到可以完美展示出大规模、高纬度、非结构化数据层出不穷数据的需求，随着人们对大数据技术的不断应用和机器学习的不断深入，数据可视化越来越受到人们的欢迎和认可[9]。那么，应运而生的有哪些新的展示方式呢？首先，不得不提到的一定的是大屏了。高清大屏幕具有超大画面、纯真彩色、高亮度、高分辨率等显示优势, 结合数据实时渲染技术、GIS空间数据可视化技术，实现数据实时图形可视化、场景化以及实时交互，让使用者更加方便地进行数据的理解和空间知识的呈现[10]，可应用于指挥监控、视景仿真及三维交互等众多领域.另外VR、AR、MR[11]、全息投影…这些当下最火热的技术也已经被应用到游戏、房地产、教育等各行各业，可以预见的是数据可视化也能与这些技术擦出有趣的火花，比如带来更真实的感官体验和更接近现实的交互方式，使用户可以完全“沉浸”到数据之中。而在不远的未来，触觉、嗅觉甚至味觉，都可能成为我们接受数据和信息的感知方式[12]。