大数据毕业设计Flink知识图谱广告推荐系统 广告预测 广告数据分析可视化 广告爬虫 Spark Hive Hadoop 深度学习 机器学习 人工智能 计算机毕业设计

核心算法代码分享如下：

for i in range(0,page_num):
    if i > 0:
       page.get('XXXXX'+(str(i))+'.html')
       #click_page.click()
       eles=page.eles( "xpath://div[@class='media-list']/div[@class='media-list-inner']/div[@class='media-item baoguang']")
    else:
       eles = page.eles( "xpath://div[@class='media-list']/div[@class='media-list-inner']/div[@class='media-item baoguang']")
    for ele in eles:
        print(ele)
        #面向地区  分类  收费模式 价格  连接  大分类(媒体广告)
        price=ele.ele("xpath://div[@class='media-sale-price']/i").raw_text.replace(' ','').replace('¥','').replace('.00','')
        area=ele.ele("xpath://div[@class='media-item-tags clearfix']/span[last()]").raw_text
        small_type=ele.ele("xpath://div[@class='media-item-tags clearfix']/span[last()-1]").raw_text
        big_type='媒体广告'
        url=ele.ele('xpath://div[@class="media-item-name"]/a').link
        img=ele.ele('xpath://div[@class="media-item-img"]/a/img').link
        title = ele.ele('xpath://div[@class="media-item-name"]').raw_text
        print('采集成功',title,area,small_type,big_type,price,url,img)

        ad_file = open("ads.csv", mode="a+", newline='', encoding="utf-8")
        ad_writer = csv.writer(ad_file)
        ad_writer.writerow(
            [title,area,small_type,big_type,price,url,img])
        ad_file.close()

本课题的研究目标

研究目标一：建立广告投放数据收集和分析系统

在课题研究中，首要的研究目标是建立广告投放数据的收集和分析系统。这一系统能够有效地收集和存储广告投放数据，并运用大数据技术进行深入的分析。通过该系统，我们可以获取广告的展示次数、点击次数、转化率等关键指标，为后续的投放优化提供数据支持。

研究目标二：挖掘用户行为和兴趣，实现精准投放

在完成数据收集和分析系统的构建后，课题将进一步研究如何挖掘用户行为和兴趣，以实现广告的精准投放。通过分析B站用户的行为信息，我们可以了解用户的兴趣爱好和需求，从而将广告准确地推送给目标用户。这种精准投放方式能够提高广告的点击率和转化率，提升投放效果。

研究目标三：优化广告投放策略，提高投放效果

课题的最终研究目标是优化广告投放策略，提高投放效果。通过分析和挖掘广告投放数据，我们可以根据用户的反馈调整和优化广告投放策略。例如，我们可以通过分析不同时间段的广告点击率，了解用户在一天中的活跃时间段，从而调整广告的投放时间。此外，我们还可以根据用户的地理位置、年龄、性别等信息进行更精细化的投放策略调整。

内容

• 数据采集：使用Python等编程语言和相关库，采集B站的广告相关数据，包括广告主、广告投放时间、广告投放位置、广告费用、广告点击量等。采集B站用户的行为数据，包括视频观看记录、点赞、评论、搜索记录等，以及用户的个人信息和标签数据。
• 数据预处理：收集到的数据可能存在缺失值、异常值或者格式不一致的情况，对采集到的数据进行清洗、去重、缺失值处理、异常值处理等预处理工作，以确保数据的准确性和完整性。
• 数据存储和处理：在获取到数据后，需要妥善处理和存储数据，确保数据的安全和隐私保护。
• 数据分析和挖掘：利用大数据分析技术，对收集到的数据进行分析，包括广告投放效果的分析、受众群体特征的挖掘、广告点击与转化的关联分析等，以发现潜在的规律和趋势。
• 可视化展示：将分析结果以可视化的形式展示出来，包括图表、报告、动态展示等，以便于决策者和用户理解和应用分析结果。为用户提供个性化的视频推荐，或者为广告主提供精准的广告投放服务。