大数据毕业设计hadoop+hive共享单车预测分析 公共自行车数据分析 共享单车预测 共享单车大数据 共享单车可视化 共享单车爬虫 数据仓库 机器学习 计算机毕业设计

沧州师范学院本科毕业论文（设计）文献综述

专业：        届别：       姓名：       学号：   

毕业论文（设计）题目： 基于hadoop的公共自行车数据分析系统

文献综述需要填写的内容 一、前言 城市公共自行车网络是由管理中心、站点、调度中心、通讯网络和互联网业务平台共同构建组成的服务系统。研究公共自行车的借还车规律,为公共自行车系统规划分析决策提供支持,充分发挥公共自行车的综合优势,对改善居民的出行状况、缓解城市交通拥挤、促进城市交通可持续发展具有十分重要意义。本文针对城市公共自行车管理中心提供的数据,首先对所给数据进行预处理,构建了相关统计模型,运用hadoop、spark等大数据技术进行统计分析求解计算,最后提出改进建议。 二、项目国内外现状 从公共自行车系统的起源来看，它最早来自于欧洲[1]。第一代公共自行车系统出现于1965年的荷兰阿姆斯特丹，然后在1995年的丹麦首都哥本哈根推出了第二代的公共自行车系统。到了20世纪90年代末，借助于快速发展的计算机、互联网和无线通信技术，欧洲的公共自行车行业实现了数字化的运营和管理，形成了第三代公共自行车系统[2]。该系统在2007年开始进入了中国，先后在北京、杭州、武汉等大城市开展试点，继而逐步向其他省会城市、部分中小城市拓展[3]，截至2017年我国已经有超过400个城市开展了公共自行车系统的建设[4]。 作为城市交通的重要组成部分，公共自行车系统主要有以下三方面的优势。第一是方便出行，公共自行车能满足居民多层次的短距离出行以及其他不同情况的出行需求，站点一般布局在居民生活区、商业区、公交地铁车站附近，解决公交出行“最后1公里”这个难题。其次是低碳环保，公共自行车不会造成尾气和噪音等环境污染，可以为居民和旅游者提供绿色便捷的出行方式；同时也是一种更健康的生活方式，自行车的使用有助于强身健体，减少城市疾病的发生。第三是缓解道路问题，公共自行车系统能便捷高效地集散客流，缓解道路交通拥堵问题，提高道路资源的利用效率[5]。 高效的公共自行车系统既要尽量减少运营成本，又要保证提供足够好的服务，这就需要我们对数据化的系统有充分的把控。通常来说，公共自行车系统以城市为单位进行建设部署，主要由自行车、车架、站点和信息系统等组成。通过信息系统的记录可以得到实时海量的数据，在这个大数据时代中数据就是价值，利用数据分析可以挖掘公共自行车系统的运行规律，获取公共自行车系统的群体出行规律。 具体来说，我们主要可以得到站点和行程两个层面的数据。站点数据包括各个站点实时的自行车数量、空车架数量、站点容量等，利用站点数据可以计算出各个时间段各个站点的泊松到达率，从而进行站点车辆预测和站点车辆分配优化，改善无车可借、无地可还的问题。行程数据是指各个用户的行程OD（Origin-Destination）数据，包括起 始站点、起始时间、用户信息等，利用行程数据可以计算出各个时间段各个站点之间的出行分布矩阵，进行用户的转移概率预测，从而进行用户精准推荐等。通过公共自行车系统的数据分析，可以达到提高系统运行效率和服务水平的效果。      三、相关开发技术与理论 1、Hadoop简介 Hadoop是一个开源的分布式计算框架，由HDFS和MapReduce两部分组成。HDFS（Hadoop Distributed FileSystem）提供了一个高度容错的机制，能够存储海量的数据；MapReduce则是一个编程模型，用于处理和生成大数据集。Hadoop的出现使得处理大规模数据成为可能，并且在许多领域得到了广泛应用。 2、公共自行车数据概述 公共自行车数据主要包括使用情况、站点分布、用户行为等方面的信息。通过对这些数据的分析，可以了解公共自行车的运行状况、用户需求、出行习惯等问题，为城市规划和交通管理提供决策支持。公共自行车数据的特点是数据量大、实时性强，因此需要一个高效的数据处理系统来进行处理和分析。 3、基于Hadoop的公共自行车数据分析系统研究现状 目前，基于Hadoop的公共自行车数据分析系统已经成为研究的热点。文献[1]提出了一种基于Hadoop的公共自行车使用情况分析系统，通过对大规模数据的处理和分析，得到了公共自行车的实时使用情况和预测模型。文献[2]则设计了一个基于Hadoop的公共自行车站点优化系统，通过对站点分布和用户行为数据的分析，优化了站点布局和调度策略。此外，还有研究将基于Hadoop的公共自行车数据分析系统应用于用户出行习惯分析、环保出行推广等方面。 四、总结 本文对基于Hadoop的公共自行车数据分析系统的相关文献进行了综述。从Hadoop的简介、公共自行车数据概述、基于Hadoop的公共自行车数据分析系统研究现状等方面进行了阐述。结果表明，基于Hadoop的公共自行车数据分析系统在处理大规模数据、提供决策支持等方面具有显著的优势。未来研究可以进一步优化系统性能、拓展应用领域，例如将基于Hadoop的公共自行车数据分析系统应用于智能交通、城市规划等领域。 参考文献： [1] 基于大数据处理的公共自行车服务系统研究[J]. 宣子岳;朱家明;张素洁;张庆茹.赤峰学院学报(自然科学版),2022(16) [2] “公共自行车服务系统”研究与大数据处理[J]. 吕丹.数学建模及其应用,2021(Z2) [3] 城市公共自行车租赁站远期发展规模分析[J]. 李正浩.交通节能与环保,2023(02) [4] 杭州公共自行车设施现状调查与思考[J]. 钱俭;郑志锋;冯雨峰.规划师,2022(01) [5] 广州市公共自行车交通系统实施策略研究[J]. 朱强;郭晟.黑龙江交通科技,2021(08) [6] 杭州市公共自行车系统规划[J]. 姚遥;周扬军.城市交通,2022(04) [7] 武汉市公共自行车租赁点布局规划[J]. 李黎辉;陈华;孙小丽.城市交通,2021(04) [8] 基于大数据处理的公共自行车服务系统研究[J]. 宣子岳;朱家明;张素洁;张庆茹.赤峰学院学报(自然科学版),2023 [9] 我国城市公共自行车服务系统的改进建议[J]. 高蓉.山西建筑,2022 [10] 浙江省智慧服务区管理服务系统建设探究[J]. 崔优凯;吴蓉;毛思捷.中国交通信息化,2021 [11] 城区公共自行车服务系统的分析研究[J]. 宋晓婷;王春年.唐山师范学院学报,2020 [12] 高速公路动态计重设备云服务系统[J]. 段海军.交通世界,2021 [13] 基于智能传感器的公共自行车微信服务系统研究[J]. 王洋.中国交通信息化,2022 [14] 智慧公路管理服务系统研究[J]. 马娟;师维超.交通节能与环保,2020 [15] 基于多元统计法公共自行车服务系统的研究[J]. 滕磊;洪铃;潘婷婷;朱家明.山西师范大学学报(自然科学版),2023 [16] Spatio-temporal patterns of a Public Bicycle Sharing Program: the effect of weather and calendar events[J]. Jonathan Corcoran;;Tiebei Li;;David Rohde;;Elin Charles-Edwards;;Derlie Mateo-Babiano.Journal of Transport Geography,2022 [17] Mining bicycle sharing data for generating insights into sustainable transport systems[J]. Oliver O’Brien;;James Cheshire;;Michael Batty.Journal of Transport Geography,2022 指导教师审查意见 该生通过大量搜集和查阅文献资料，对于基于hadoop的公共自行车数据分析系统相关的国内外前人工作较好地进行了综合分析和归纳整理，并针对具体的研究工作进行了比较专门的、全面的、深入的和系统的描述与评价，语言简洁，层次清楚。达到了学校“文献综述要求”。 指导教师签名：

核心算法代码分享如下：

---#启动metastore服务
---hive --service metastore
--#beeline客户端

---hive --service hiveserver2 (等一会 默认启动10000端口)
--- beeline  -->> ! connect jdbc:hive2://localhost:10000


---- 创建分层数据库  ----
drop database if exists ods_gxdc cascade;
drop database if exists  dwd_gxdc cascade;
drop database if exists  dws_gxdc cascade;
drop database if exists  app_gxdc cascade;

--- ods层-原始日志数据层
create database ods_gxdc;
--- dwd层 -预处理后的数据层
create database dwd_gxdc;
---dws 主题层
create database dws_gxdc;
--- app（ads）层---分析结果层
create database app_gxdc;

---查看分层数据库
show databases;

--- 创建原始数据表结构
use ods_gxdc;
drop table if exists ods_gxdc.t_gxdc_ods;

---区域表
truncate table ods_gxdc.t_area;
--------------------------------------------------------ODS------------------------------------------------
create table ods_gxdc.t_area
(
    id          int,
    name        string,
    create_time string
) row format delimited fields terminated by '\t';
load data local inpath '/data/gxdc_data/area.txt' into table ods_gxdc.t_area;