- 博客(60)
- 收藏
- 关注
RSS订阅原创 基于springboot 以及vue前后端分离架构的求职招聘系统设计与实现
设计并实现了一套基于Java和Vue的求职招聘系统，旨在提供一个高效、便捷且用户友好的求职招聘平台。本博客将详细介绍该系统的设计与实现过程，并分析其功能、架构及技术优势。
2025-02-14 14:28:41
867
原创 基于Java的图书管理网站：SpringBoot+Vue开发的图书借阅管理系统
为了提高图书管理的效率和用户的借阅体验，基于Java、SpringBoot和Vue开发了一套图书借阅管理系统。该系统实现了图书信息管理、借阅归还、用户权限管理等核心功能，极大地提升了图书借阅服务的便捷性和智能化水平。
2025-02-13 14:39:35
754
原创 基于Django以及vue的电子商城系统设计与实现
本文基于Python开发了一套电子商城系统，后端采用Django框架，前端使用Vue.js，并使用MySQL数据库进行数据存储和管理。本文将详细介绍该系统的设计、实现及测试过程，以供开发者参考。
2025-02-12 15:56:30
1253
原创 基于Java SpringBoot以及vue前后端分离的旅游景区网站系统设计与实现
本项目是一款基于Spring Boot和Vue.js开发的旅游景区管理系统，前端合后端的架构，支持用户在线浏览景区信息、预订门票，并提供完善的后台管理功能，包括订单管理、景区管理、用户管理、评论管理等模块。适用于大学生毕业设计、系统设计人员及相关学习者，支持本地快速部署，方便开发和二次拓展。
2025-02-11 17:47:08
582
原创 基于PySpark 使用线性回归、随机森林以及模型融合实现天气预测
本文将介绍如何利用 PySpark 完成以下任务：1、数据预处理：清洗和编码天气数据。2、特征工程：合并数值和分类特征。3、模型训练与评估：构建线性回归和随机森林模型。4、模型集成：通过投票机制提升预测准确性。
2024-12-03 16:39:42
1315
1
原创 基于hive分析Flask为后端框架echarts为前端框架的招聘网站可视化大屏项目
项目目标是构建一个大数据分析系统，包含以下核心模块：1、数据爬取：通过request请求获取猎聘网的就业数据。2、数据存储和分析：使用 Hive 进行数据存储和分析。3、数据迁移：使用sqoop将hive数据导入mysql。4、后端服务：使用 Flask 搭建数据接口，将分析结果提供给前端。5、数据可视化：使用 ECharts 制作大屏展示，实现数据的图形化呈现
2024-10-29 17:30:54
932
原创 基于Spark 的零售交易数据挖掘分析与可视化
我们使用了 PySpark 来处理一个电商数据集，数据存储在 HDFS 上。通过 SQL 和 RDD 操作实现了多个业务需求分析，并最终将结果保存为 JSON 文件，用于前端展示。后端 Web 服务采用 Bottle 框架，提供静态文件服务和页面展示。
2024-09-13 11:30:05
1900
原创 基于泰坦尼克号生还数据进行 Spark 分析
在这篇博客中，我们将展示如何使用 Apache Spark 分析著名的泰坦尼克号数据集。通过这篇教程，您将学习如何处理数据、分析乘客的生还情况，并生成有价值的统计信息。
2024-07-09 15:06:07
1386
原创 spark on k8s两种方式的原理与对比
Spark on k8s Operator 更适合大规模、需要自动化和集中管理的场景。它利用 Kubernetes 的原生功能，实现自动化管理和配置集中化，虽然增加了一些复杂性，但在动态和多租户环境中表现出色。Spark on k8s 适合简单、直接的 Spark 作业提交和管理场景，特别是对于那些已有 Spark 使用经验的用户。它操作简便，无需额外组件，灵活性较高。但在大规模和自动化需求较高的场景中，管理和扩展的能力相对较弱。
2024-07-02 11:56:48
1617
原创 基于协同过滤的电影推荐与大数据分析的可视化系统
通过本文，我们展示了如何使用Python进行数据爬取，如何将数据导入Hive进行分析，如何使用ECharts进行数据可视化，以及如何使用协同过滤算法进行电影推荐。这个流程展示了从数据采集、数据分析到数据可视化和推荐系统的完整数据处理流程。
2024-06-26 14:30:00
563
原创 使用Scala爬取安居客房产信息并存入CSV文件
这个Scala程序演示了如何使用HTTP请求和HTML解析库来构建一个简单的网络爬虫，用于从安居客网站上获取房产信息，并将这些信息存储到CSV文件中。
2024-06-21 15:28:06
535
原创 使用Hadoop MapReduce实现各省学生总分降序排序，根据省份分出输出到不同文件
通过以上步骤，我们实现了一个Hadoop MapReduce作业来对各省的学生总分进行降序排序，并将结果写入不同的文件中。
2024-06-12 17:06:35
664
1
原创 使用spark基于出租车GPS数据实现车辆数量统计以及北京每个城区的车辆位置点数分析
通过以上两个代码示例，我们使用PySpark成功地计算了北京各城区内每辆车的位置点数，并统计了出租车的数量。这些分析可以帮助我们更好地理解出租车在各个城区的分布情况，进而为城市交通管理提供数据支持。
2024-06-11 11:08:08
1132
2
原创 使用Hadoop MapReduce分析邮件日志提取 id、状态 和 目标邮箱
本文将展示如何使用Hadoop MapReduce来分析邮件日志，提取邮件的发送状态（成功、失败或退回）和目标邮箱。
2024-06-05 19:13:59
1807
1
原创 Flink实现实时异常登陆监控（两秒内多次登陆失败进行异常行为标记）
从 MySQL 数据库读取用户登录数据。过滤出特定状态的登录记录。对这些记录进行时间窗口处理。将异常登陆结果写回 MySQL 数据库。
2024-05-31 17:31:55
779
1
原创 spark实战：实现分区内求最大值，分区间求和以及获取日志文件固定日期的请求路径
在本文中，我们将通过两个具体的编程任务来展示Spark的强大功能：首先是对一个简单的数据列表进行分区操作，并在每个分区内求最大值以及跨分区间求和；其次是从Apache日志文件中提取特定日期的请求路径。
2024-05-26 12:34:15
603
原创 基于机器学习预测未来的二氧化碳排放量（随机森林和XGBoost）
本文将使用Python对OWID提供的CO2排放数据集进行分析，并尝试构建机器学习模型来预测未来的CO2排放趋势。我们将探索数据集中的CO2排放情况，分析各国/地区的排放趋势，并利用机器学习算法来预测未来的CO2排放量。
2024-05-24 15:54:37
3340
原创 基于机器学习模型预测信用卡潜在用户（XGBoost、LightGBM和Random Forest）
本项目旨在使用机器学习模型预测哪些客户最有可能成为信用卡的潜在客户。我们将使用三个主要的机器学习模型：XGBoost、LightGBM和随机森林（Random Forest）
2024-05-23 16:43:50
1635
原创 使用PySpark构建和评估逻辑回归模型预测质量是否合格
PySpark作为大数据处理框架Apache Spark的Python API，为大规模数据处理和机器学习提供了强有力的支持。PySpark作为一个强大的大数据处理工具，能够有效地处理大规模数据，并应用机器学习算法进行建模和分析。在进行机器学习模型训练前，数据预处理是一个关键步骤。我们需要对数据可视化分析，来明确接下来的操作。
2024-05-22 17:16:33
487
原创 使用决策树对金融贷款数据进行分析
在本篇博客中，我们将通过使用 Python、Pandas 和多种机器学习技术，对一组贷款数据进行全面分析。通过详细的步骤展示，你将学会如何进行数据预处理、可视化分析以及构建预测模型。通过这些步骤，我们成功地对贷款数据进行了分析和建模，希望这篇教程能够帮助你更好地理解数据科学的工作流程。
2024-05-20 17:02:50
908
原创 使用Spark高效将数据从Hive写入Redis (功能最全)
开发了一个Spark应用程序，能够高效地将数据从Hive写入Redis。我们使用了Spark的分布式计算能力和Jedis库的灵活性，使得数据传输过程稳健高效。
2024-05-16 17:32:17
848
原创 基于PySpark进行去哪儿网数据分析
使用PySpark提供的各种DataFrame操作来分析数据集，统计、聚合、排序等。本文介绍了如何使用PySpark对去哪儿网的数据进行分析，从而洞察用户偏好、热门目的地以及销售趋势。
2024-05-14 14:35:46
700
原创 MySQL基础指南：从入门到精通
本文介绍了MySQL的基本概念、常用操作、数据类型和查询语句等内容。希望通过本文的学习，你能够掌握MySQL数据库的基础知识，并能够应用到实际项目中。
2024-05-14 11:05:53
2360
原创 机器学习入门：使用Scikit-learn进行实践
Scikit-learn（简称Sklearn）是一个用于机器学习任务的Python库，它包含了许多用于分类、回归、聚类、降维和模型选择的工具。它建立在NumPy、SciPy和Matplotlib之上，为机器学习的实验提供了一个简单而高效的解决方案。
2024-05-13 16:36:54
899
原创 使用Apache Spark从MySQL到Kafka再到HDFS的数据转移
在本文中，将介绍如何构建一个实时数据pipeline，从MySQL数据库读取数据，通过Kafka传输数据，最终将数据存储到HDFS中。通过本文的介绍和示例代码，您现在应该了解如何使用Apache Spark构建一个实时数据流水线，从MySQL数据库读取数据，通过Kafka传输数据，最终将数据保存到HDFS中。
2024-05-13 10:50:03
1107
1
原创 基于spark的医疗大数据可视化大屏项目
本文将介绍如何利用Apache Spark进行大规模心力衰竭临床数据的分析，并结合机器学习模型，构建一个交互式的可视化大屏，以直观展示数据分析结果。使用PySpark库，我们首先读取CSV文件中的心力衰竭临床记录数据，并进行必要的数据清洗工作，包括处理缺失值和异常值。血小板计数与死亡事件：通过堆叠条形图展示不同血小板计数范围的死亡事件数量。糖尿病与死亡事件图表：散点图展示糖尿病患者的死亡事件数量，分析糖尿病患者的死亡事件数量。
2024-04-21 17:42:29
2305
5
原创 Python爬虫网络实践：去哪儿旅游数据爬取指南
我们将通过一个简单的示例来说明如何利用 Python 中的常用库进行网页抓取，从而获取旅游网站上的信息。主函数部分负责执行代码的主要逻辑，包括创建 CSV 文件、定义要爬取的城市和对应的 URL，以及循环遍历城市列表并调用 get_page 函数来爬取数据。通过以上步骤，我们实现了一个简单的网页抓取程序，用于抓取旅游网站上的景点信息，并将数据存储到 CSV 文件中以供后续分析和处理。
2024-04-10 17:39:57
3606
2
原创 实现多文件合并和去重的MapReduce作业
通过上述MapReduce作业，我们成功地将多个文件合并成一个文件，并且去除了重复的行。我们有多个文本文件，每个文件包含一些文本行。我们的目标是将这些文件合并成一个文件，并去除重复的行，最终得到一个去重后的文本文件。
2024-04-10 17:16:51
1171
原创 基于机器学习的信用卡办卡意愿模型预测项目
通过本项目，我们使用了机器学习模型预测了客户的信用卡办卡意愿，并通过Django实现了数据的可视化展示。这使得银行和金融机构能够更好地理解客户行为模式，并做出相应的业务决策。如有遇到问题可以找小编沟通交流哦。另外小编帮忙辅导大课作业，学生毕设等。不限于python，java，大数据，模型训练等。
2024-04-08 18:35:47
1139
原创 基于Spark中随机森林模型的天气预测系统
使用Apache Spark和随机森林算法来构建一个天气预测系统。该系统将利用历史天气数据，通过机器学习模型预测未来的天气情况，特别是针对是否下雨的二元分类问题。
2024-04-06 15:21:17
1598
原创 基于spark分析以springboot为后段vue为前端的大学生就业管理系统
本文将介绍如何通过爬虫采集数据，利用Spark进行数据分析处理，再结合Spring Boot后端服务和Vue前端技术，搭建一个功能全面的大学生就业管理系统。1.1 爬虫设计首先，我们需要设计一个爬虫程序来从猎聘网采集数据。爬虫程序应该具备以下功能：**数据提取：**精确提取职位描述、要求、薪资等关键信息。**异常处理：**能够处理网络请求失败、页面结构变化等异常情况。
2024-04-06 10:29:48
1259
1
原创 利用Spark将Kafka数据流写入HDFS
在这篇博客中，我们介绍了如何使用Spark读取Kafka中的数据流，并将这些数据以CSV格式写入到HDFS中。
2024-04-04 22:13:40
2212
1
原创 使用 Flume 将 CSV 数据导入 Kafka：实现实时数据流
文介绍了如何使用 Apache Flume 将 CSV 格式的数据从本地文件系统导入到 Apache Kafka 中，以实现实时数据流处理。通过 Flume 的配置和操作步骤，我们可以轻松地将数据从 CSV 文件中读取并发送到 Kafka 主题中，为后续的实时数据分析和处理提供了便利。
2024-04-03 14:43:47
1149
原创 使用 PySpark 读取csv数据进行分析，将结果数据导入招聘数据
我们从设置 PySpark 环境开始，然后读取 CSV 文件中的数据，进行数据分析，最后将分析后的数据导入到 MySQL 数据库中。通过利用 PySpark 的功能，组织可以获得有价值的见解，优化他们的招聘流程并做出数据驱动的决策。一旦我们分析了数据，可能希望将其存储在 MySQL 数据库中以进行进一步处理或报告。我们将定义一个函数将 DataFrame 写入 MySQL，导入数据之前需要创建mysql表。我们的招聘数据存储在一个 CSV 文件中。接下来，我们将对招聘数据进行一些基本的数据分析。
2024-04-02 18:37:17
1056
原创 基于opencv的SVM算法的车牌识别系统设计与实现
牌识别技术是智能交通系统中的一项关键技术，它能够自动识别车辆的车牌号码。本文将详细介绍如何使用Python编程语言结合OpenCV库和SVM算法来实现车牌识别系统。
2024-03-31 10:56:31
1496
原创 通过mapreduce程序统计旅游订单（wordcount升级版）
通过MapReduce程序对旅游产品预订数据的分析，我们能够洞察到消费者的偏好和行为模式。这些信息对于旅游企业来说是宝贵的，可以帮助他们更好地定位市场，设计符合消费者需求的产品，并最终提高客户满意度和市场份额。随着数据分析技术的不断进步，旅游行业将能够更加精准地满足消费者的需求，推动行业的持续发展。这个程序的目的是处理一个包含旅游产品预订信息的文本文件，并统计每个产品特性的出现次数。本文将结合一个实际的MapReduce程序案例，探讨如何通过分析旅游产品的预订数据来揭示消费者的偏好。
2024-03-31 10:01:31
984
原创 基于随机森林的信用卡满意度模型预测
首先从数据预处理开始，包括数据读取、清洗和特征工程，以确保数据质量和适用性。接着，通过可视化分析了贷款金额、贷款等级和贷款状态等关键特征，以便更好地理解数据。随后，使用随机森林分类器进行模型训练，并评估了模型在测试集上的性能，包括准确率、精确率、召回率和F1值等指标。最终，通过优化模型并展望未来的研究方向，为金融业务的发展提供了重要参考。
2024-03-31 09:03:32
993
原创 使用Flink实现Kafka到MySQL的数据流转换：一个基于Flink的实践指南
在现代数据处理架构中，Kafka和MySQL是两种非常流行的技术。定义Kafka数据源表：我们使用一个SQL语句创建了一个Kafka表re_stock_code_price_kafka，这个表代表了我们要从Kafka读取的数据结构和连接信息。定义MySQL目标表：然后，我们定义了一个MySQL表re_stock_code_price，指定了与MySQL的连接参数和表结构。数据转换和写入：最后，我们执行了一个插入操作，将从Kafka读取的数据转换并写入到MySQL中。
2024-03-30 17:44:36
1875
原创 使用Flink实现MySQL到Kafka的数据流转换
本篇博客将介绍如何使用Flink将数据从MySQL数据库实时传输到Kafka，这是一个常见的用例，适用于需要实时数据connector的场景。
2024-03-30 17:36:58
1104
基于SSM框架实现的快递配送平台
2024-03-27
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人