计算机毕业设计hadoop+hive+sqoop药店数据分析大屏 药店数据仓库 药店爬虫 药店可视化 Spark 大数据毕业设计 大数据毕设 机器学习

技术栈:scrapy爬取药房网药店数据,MapReduce进行简单清洗上传hdfs,使用hive集群进行数据分析sqoop迁移到mysql,springboot作为后端,前端echarts驾驶舱可视化

博主介绍:✌全网粉丝100W+,前互联网大厂软件研发、集结硕博英豪成立工作室。专注于计算机相关专业毕业设计项目实战6年之久,选择我们就是选择放心、选择安心毕业✌

🍅由于篇幅限制,想要获取完整文章或者源码,或者代做,可以给我留言或者找我聊天。🍅

感兴趣的可以先收藏起来,还有大家在毕设选题,项目以及论文编写等相关问题都可以给我留言咨询,希望帮助更多的人 。

文章包含:项目选题 + 项目展示图片 (必看)

核心算法代码分享如下:

package com.imust.mr.clean;


import org.apache.hadoop.io.WritableComparable;

import java.io.DataInput;
import java.io.DataOutput;
import java.io.IOException;

public class Map_Car implements WritableComparable {

        private String name;
        private Double service_score;
        private Double delivery_score;
        private Double logistics_score;
        private Double packaging_score;
        private Double score;
        private String chargeback;
        private Double delivery_time;
        private String opening_hours;
        private String store_address;
        private String join_date;

    @Override
    public String toString() {
        return name + "," +
                service_score + "," +
                delivery_score + "," +
                logistics_score + "," +
                packaging_score + "," +
                score + "," +
                chargeback + "," +
                delivery_time + "," +
                opening_hours+ "," +
                store_address+ "," +
                join_date;
    }

    public void set(String name, Double service_score, Double delivery_score, Double logistics_score,Double packaging_score,
                    Double score, String chargeback, Double delivery_time,String opening_hours,String store_address,String join_date) {
        this.name = name;
        this.service_score = service_score;
        this.delivery_score = delivery_score;
        this.logistics_score = logistics_score;
        this.packaging_score = packaging_score;
        this.score = score;
        this.chargeback = chargeback;
        this.delivery_time = delivery_time;
        this.opening_hours=opening_hours;
        this.store_address=store_address;
        this.join_date=join_date;
    }


    public String getName() {
        return name;
    }
    public void setName(String name) {
        this.name = name;
    }

    public double getService_score() {
        return service_score;
    }
    public void setService_score(double service_score) {
        this.service_score = service_score;
    }

    public double getDelivery_score() {
        return delivery_score;
    }
    public void setDelivery_score(double delivery_score) {
        this.delivery_score = delivery_score;
    }


    public double getLogistics_score() {
        return logistics_score;
    }
    public void setLogistics_score(double logistics_score) {
        this.logistics_score = logistics_score;
    }


    public double getPackaging_score() {
        return packaging_score;
    }
    public void setPackaging_score(double packaging_score) {
        this.packaging_score = packaging_score;
    }


    public double getScore() {
        return score;
    }
    public void setScore(double score) {
        this.score = score;
    }


    public String getChargeback() {
        return chargeback;
    }
    public void setChargeback(String chargeback) {
        this.chargeback = chargeback;
    }


    public double getDelivery_time() {
        return delivery_time;
    }
    public void setDelivery_time(double delivery_time) {
        this.delivery_time = delivery_time;
    }


    public String getOpening_hours() {
        return opening_hours;
    }
    public void setOpening_hours(String opening_hours) {
        this.opening_hours=opening_hours;
    }


    public String getStore_address() {
        return store_address;
    }
    public void setStore_address(String store_address) {
        this.store_address=store_address;
    }


    public String getJoin_date() {
        return join_date;
    }
    public void setJoin_date(String join_date) {
        this.join_date=join_date;
    }

    @Override
    public int compareTo(Object o) {
        return 0;
    }

    @Override
    public void write(DataOutput dataOutput) throws IOException {
        dataOutput.writeUTF(name);
        dataOutput.writeDouble(service_score);
        dataOutput.writeDouble(delivery_score);
        dataOutput.writeDouble(logistics_score);
        dataOutput.writeDouble(packaging_score);
        dataOutput.writeDouble(score);
        dataOutput.writeUTF(chargeback);
        dataOutput.writeDouble(delivery_time);
        dataOutput.writeUTF(opening_hours);
        dataOutput.writeUTF(store_address);
        dataOutput.writeUTF(join_date);
    }

    @Override
    public void readFields(DataInput dataInput) throws IOException {
        this.name = dataInput.readUTF();
        this.service_score = dataInput.readDouble();
        this.delivery_score = dataInput.readDouble();
        this.logistics_score = dataInput.readDouble();
        this.packaging_score = dataInput.readDouble();
        this.score = dataInput.readDouble();
        this.chargeback = dataInput.readUTF();
        this.delivery_time = dataInput.readDouble();
        this.opening_hours = dataInput.readUTF();
        this.store_address = dataInput.readUTF();
        this.join_date = dataInput.readUTF();
    }
}

【资源说明】 毕业设计-基于Hadoop平台开发的视频收视率分析源码+项目说明.zip ​ 本项目分为四个模块,分别为爬虫模块、离线数据分析模块、公共基础模块、web展示模块。首先用WebMagic爬取的B站视频数据作为数据源,构建以离线分析为基础囊括大数据主要离线技术的架构进行数据分析。针对系统的处理速度与实际生产环境的所需性,对分布式架构进行了研究。在搭建技术架构的必要基础之上采用了分布式的项目部署方式,保证在生产环境下的实际生产项目的容灾性和可扩展性,提高了系统的应用性和效率。最终完成了基于大数据技术的视频收视率分析设计与实现。具体的内容有: (1) 采用三台虚拟机进行分布式环境的搭建,模拟生产环境 (2) 使用WebMagic爬虫技术爬取B站视频数据信息,将采集到的数据导入kafka中,使用Flume框架技术从kafka采集数据到Hdfs并将数据导入到Hive中,然后使用Hue操作Hive进行离线数据分析,最后利用sqoop导入mysql,整个流程采用azkaban进行脚本定时调度,达到系统需要具备的视频收视分析功能 (3) 大数据分析展示系统采用企业中现今流行的SpringBoot+Mybatis框架进行系统的后台服务层的搭建,系统首先需要具备用户登录注册等基础功能,前台采用Bootstrap+Echarts技术实现数据展示模块。 ## 爬虫模块 video-log-spider:进行数据爬取,爬取B站视频信息 ## 离线数据分析模块 video-log-analysis:对数据进行预处理,用Hive进行离线分析 ## 公共基础模块 video-log-common:封装全局异常处理和常用工具 ## web展示模块 video-log-web:用于离线分析后的web展示,已完成的功能有每日采集概况、总采集概况、各分类播放排行、总播放排行、活跃用户分析、总收藏排行、总弹幕排行 【备注】 1.项目代码均经过功能验证ok,确保稳定可靠运行。欢迎下载使用体验! 2.主要针对各个计算机相关专业,包括计算机科学、信息安全、数据科学与大数据技术、人工智能、通信、物联网等领域的在校学生、专业教师、企业员工。 3.项目具有丰富的拓展空间,不仅可作为入门进阶,也可直接作为毕设课程设计作业、初期项目立项演示等用途。 4.当然也鼓励家基于此进行二次开发。在使用过程中,如有问题或建议,请及时沟通。 5.期待你能在项目中找到乐趣和灵感,也欢迎你的分享和反馈!
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

B站计算机毕业设计大学

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值