- 博客(10)
- 收藏
- 关注
RSS订阅原创 Spark编程大数据实战案例-首尔自行车租赁数据分析
通过对首尔自行车租赁数据的分析，我们得出了以下结论：①时间分布：自行车租赁量在一天中的不同时间段有显著差异，早晚高峰时段租赁量较高。②季节影响：季节变化对自行车租赁量有显著影响，夏季租赁量最高，冬季最低。③温度关系：平均气温对自行车租赁量也有一定的影响，适宜的温度条件下租赁量较高。在适宜的温度区间（如11-20°C），自行车租赁量较高，这可能是因为舒适的气温更有利于骑行。④其他因素：湿度和天气状况对自行车租赁量也有影响，晴朗干燥的天气更有利于自行车出行。
2024-12-12 15:03:51
2007
原创 大数据技术案例实战-运输车辆驾驶行为分析
文章均为原创，旨在用来记录项目练习！如有侵权私信我删除文章中涉及到数据集和项目代码，私信即可！一、实验背景与目标随着车联网技术的发展，目前大部分车辆上都装载了电子标签，借助无线射频等识别技术，可实现在信息网络平台上对车辆的属性信息、静态信息、动态信息等信息进行提取和有效利用。 通过大数据技术分析，对驾驶行为进行实时、准确、高效地评价，可以实现对车辆的实时监管，对提高道路运输过程的安全管理水平和运输效率有着重要意义。 在运输企业中，每辆营运运输车辆所规定的运输路线及配备的驾驶人员是相对固定的。因此
2024-12-11 15:46:22
2087
原创 大数据项目实战-基于招聘网职位数据的可视化实验（八、数据可视化）
构建好maven项目之后，访问http://localhost:8080/index.html可以得到结果,5.在浏览器中输入 “localhost:8080” 如下图所示 说明tomcat环境已搭建成功。链接：https://pan.baidu.com/s/1N-v65sVb4imag67ddLtxbg。链接：https://pan.baidu.com/s/1dz8PNUbUKaF7SpDOKchQZQ。通过百度网盘分享的文件：apache-tomcat-9.0.97-windows-x64.zip。
2024-11-23 12:15:03
818
原创 大数据项目实战-基于招聘网职位数据的可视化实验（七、sqoop迁移数据）
本篇主题内容是将应用 Sqoop 将Hive中的表数据导出到关系型数据库 MySQL 中，方便后续进行数据可视化处理，使抽象的数据转化为图形化表示，便于非技术人员的决策和分析。
2024-11-20 17:25:57
847
原创 大数据项目实战-基于招聘网职位数据的可视化实验教程（五、数据预处理）
/ 配置日志记录器，用于输出日志信息// 创建Hadoop的配置对象// 创建一个Job实例，用于定义和运行MapReduce任务// 设置执行该Job的Jar包// 设置Mapper类，用于处理输入数据// 设置输出键的类型为Text// 设置输出值的类型为NullWritable，表示没有实际的值输出// 添加输入路径，指定HDFS上的文件或目录// 设置输出路径，指定本地文件系统或HDFS上的目录。
2024-11-16 17:50:19
947
原创 大数据项目实战-基于招聘网职位数据的可视化实验教程（四、数据采集）
/ 编码格式，发送编码格式统一用UTF-8// 设置连接超时时间，单位毫秒// 请求获取数据的超时时间(即响应时间)，单位毫秒if (params!= null) {// 执行HTTP请求// 检查响应状态= null) {// 读取响应内容= null) {// 创建并返回响应对象// 返回错误响应// 创建一个默认的HttpClient实例。
2024-11-16 17:09:08
912
原创 大数据项目实战-基于招聘网职位数据的可视化实验（二、克隆虚拟机）
修改网络参数:vi /etc/udev/rules.d/70-persistent-net.rules 修改hadoop02的网卡设置，hadoop03也要相应设置。vi /etc/sysconfig/network-scripts/ifcfg-eth0 修改网卡设置，由自动获取IP地址改为静态地址。vi /etc/sysconfig/network 设置主机名为hadoop02。右键虚拟机选择管理->克隆->完整克隆->设置名称及位置->点击完成即可。至此，可以连接网络，完成虚拟机的配置！
2024-11-16 15:20:24
321
原创 大数据项目实战-基于招聘网职位数据的可视化实验（一、创建虚拟机hadoop01）
centos6.7镜像：链接：https://pan.baidu.com/s/1_4NEOyoyGFXZIIzBN6RJeg。这边数量自己根据自己电脑实际情况来定，自己电脑配置好点就设置大一点，后面执行一些jar包时速度就快一点，反之，则慢一点。vm虚拟机：链接：https://pan.baidu.com/s/1LYsz8tA_2DkL-ArtjkIXtg。至此这就创建好了第一台虚拟机，后面的文章我们将需要通过克隆虚拟机的方式在建立两台虚拟机，并对它们进行配置。该文章仅供个人使用，完成大数据项目实战过程！
2024-11-16 15:03:35
244
原创 大数据项目实战-基于招聘网职位数据的可视化实验教程（六、数据分析Hive处理数据）
7. 对t_ods_tmp_salary表的每一条数据进行泛化处理，将处理结果储存到中间表t_ods_tmp_salary_dist中，命令如下。3.分析大数据职位全国薪资分布情况，将分析结果储存在维度表t_ods_salary中，命令如下。11.创建维度表t_ods_company，用于储存福利标签的统计结果，命令如下。12.创建维度表t_ods_salary，用于储存薪资分布的统计结果，命令如下。10.创建维度表t_ods_kill，用于储存技能标签的统计结果，命令如下。
2024-11-16 14:40:41
1570
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人