Python 爬取“工商秘密”微博后,我做了这个“可视化大屏”(附gif图)

Python网易云音乐爬虫大数据分析可视化系统——大屏数据可视化开发之路 现在比较流行的大数据数据可视化都是大屏,有钱的人会使用阿里云全家桶的DataV或者商业化的大屏解决方案,但是在国内还是小公司比较多,本人50年大数据开发经验,精通数据可视化,曾经处理过百万亿级别的数据,现在就让我带领大家做一个开源的大数据可视化系统吧,爬虫部分我们用python开发好大一棵二叉树黄昏,暮霭漫漫谁在寂寞的遍历树上每一个结点?你从无边的代码中抬起头夜色,瞬间淹没了每一字节春的芬芳夏的清香秋的艳阳冬的晨霜是岁月编译了你的芳华还是,你打包压缩了岁月的流淌?昼夜https。... 阅读详情

前言

微博作为我的日常软件之一,平时除了看看热搜、肖战(哈哈),我还会时不时看看秘密,虽然从来都没有投过稿,但还是会对一些感兴趣的内容评论评论或者点点赞,前两天刷秘密突然很想知道,

  • 秘密为同学们发布最多的是哪些内容?与哪些相关?

  • 或者哪些同学喜欢去秘密下方评论?

  • 评论最多的微博多于什么相关?

  • 秘密经常会在什么时间发布微博?

  • 发布的微博都是情感正向的还是负向的?

当然这些问题后台应该最清楚,也有直接的数据,不过这里我想通过爬取的数据来看看这些问题,或许会得出不一样的结论。

开始爬虫之旅 (注:内容只是娱乐,微博内容是公开的,评论者的ID名将进行处理,只显示一部分)

抓取网址:https://m.weibo.cn/u/2514127734?uid=2514127734&t=0&luicode=10000011&lfid=100103type%3D1&q=%E5%B7%A5%E5%95%86%E7%A7%98%E5%AF%86

想要的数据包括:发布时间、发布的微博内容、评论、评论者、评论中的评论、评论者中的评论者;

未拿到的数据:评论数、点赞数、转发数、发布微博来源等;

知道想要的数据后,接下来就开始寻找数据。一般接口数据都会存在 XHR,所以沿着这个方向基本能找到数据。

最终大屏效果

部分代码

for i in cards:
    # 在提取json数据时,使用get方法,有就提取,没有就为空
    # mblog可能有可能没有
    if i.get('mblog'):
        result1 = i.get('mblog')['text']
        ids = i.get('mblog')['id']
        # print(result1,ids)
        # print('\n')
        cop = re.compile("[^\u4e00-\u9fa5]") # 匹配不是中文、大小写、数字的其他字符
        string1 = cop.sub('', result1) 
        # print(string1)
        # print('\n')
        # result2 = re.sub('<[^<]+?>', '', result1).replace('\n', '').strip()
        sheet.append([string1,'0','0','0','0','0'])
        # =======微博下面的评论
        # time.sleep(1)
        # md = re.findall('<a href="(.*?)">',result1)[0].split('/')[-1]
        url = 'https://m.weibo.cn/comments/hotflow?id='+ ids +'&mid='+ ids +'&max_id_type=0'
        response1 = requests.get(url,timeout=30,headers=headers)
        dat1 = response1.json()
        
        if dat1['ok'] == 1:
            pinglun_num = dat1['data']['total_number']
            da = dat1['data']['data']
            for i in da:
                pinglun = cop.sub('', i['text'])
                created_at = i['created_at']
                user1 = i['user']['screen_name']
                sheet.append(['0',created_at,pinglun,user1,'0','0'])
                 # =======微博下面的评论的评论
                if i['total_number'] > 0 and i['comments']!=False:
                    comments = i['comments']
                    for g in comments:
                        text = cop.sub('', g['text'])
                        user2 = g['user']['screen_name']
                        sheet.append(['0','0','0','0',text,user2])

在线excel合并:http://www.docpe.com/excel/combine-excel.aspx

为了防止被封,这里在爬取时设置了随机头以及2秒的睡眠,并且没有一次性拿太多,分批次拿,每个批次保存在不同的excel文件,最终利用在线excel合并得到如下数据:

这里总的拿到接近10000条数据(包括无效数据),其中秘密内容和相关评论大概有近2000条,评论者8000左右(包括重复ID)

对数据进行处理,包括删除重复值、异常值(特殊字符)、数据脱敏等。基本的脏数据处理好之后,下面就可以开始分析啦。

秘密微博词云图

首先,把爬取到的所有微博筛选出来。

接下来,将数据导入程序中,得到如下的词云图。

或者,修改一下蒙版。

可以发现在最近这段时间,秘密发布的微博内容中这几个词出现得最多,包括:考研、图书馆、寝室、学校等,临近考研,同学们可能都比较关心学校啊、图书馆啊、座位位置啊这些,这里也祝愿咱们学校的考研人都能取得理想成绩,但行好事,莫问前程。

除此之外,喜欢、女朋友、男朋友等词语也常常出现在微博中,也许是冬天适合谈恋爱吧,记得多买一杯古茗奶茶,把它捧在手心里,暖暖的,很贴心!

秘密微博评论者

这里我一共拿到8010个用户ID(包括重复值),均进行了处理。

用数据透视表进行统计后,得到如下数据,可以看到最近一段时间在秘密下方评论最多的ID名是 海啸*****,其次是寻找****道长、最好18881、我可假猴子ha、工商**精。

数据可视化呈现代码如下:

from pyecharts.charts import *
from pyecharts import options as opts 
from pyecharts.globals import ThemeType  
import osos.chdir(r'C:\Users\Administrator\Desktop')
ID = ['海啸****','寻找****道长','最好****18881','我可****假猴子ha','工商***精']
values = [53,47,36,34,34]
c = (
        Pie(init_opts=opts.InitOpts(theme=ThemeType.CHALK))
        .add("", zip(ID,values),radius=["40%", "70%"])
        .set_global_opts(
            title_opts=opts.TitleOpts(title="秘密微博评论者TOP5",subtitle="卖山楂啦prss",pos_top="2%",pos_left = 'center'),
            toolbox_opts=opts.ToolboxOpts(
            # 是否显示该工具
            is_show=True,
            ))
        
        .set_series_opts(label_opts=opts.LabelOpts(formatter="{b}",font_size=18))
        .render("数据可视化.html")
    )

效果如下:

下面在看一下 ID 名为 海啸****同学,都在秘密平台上评论了些什么词语(这里数据较少)

评论的微博与哪些相关:

秘密微博情感分析

这里使用模型对每一条微博进行情感分析,分析其积极分值和消极分值。但有个问题是,秘密前段时间“改版了”,许多内容合并成一条发布,这就会导致最终的模型训练结果会有偏差,这里我并没有解决这个问题,所以结果可能具有不合理性。

进一步的判断出每条微博的情感倾向。

数据可视化:总的来说,最近秘密发布的微博的情感倾向还是比较均衡的,差异并不大,正向情感略高于负向情感。

秘密微博发布时间分析

由于忘记拿发布时间的数据,所以这里从头在爬取一次,这次只要发布是时间,拿到的数据如下。

这里的时间数据是中国标准时间,需要进行转换。

import pandas as pd
import numpy as np

df = pd.read_excel('C:\\Users\\Administrator\\Desktop\\发布时间.xlsx')

def trans_format(time_string, from_format='%a %b %d %H:%M:%S +0800 %Y', to_format='%Y-%m-%d %H:%M:%S'):
    """
    @note 时间格式转化
    :param time_string:
    :param from_format:
    :param to_format:
    :return:
    """
    time_struct = time.strptime(time_string,from_format)
    times = time.strftime(to_format, time_struct)
    return times

if __name__ == "__main__":
    df["处理后的时间"] = df['时间'].apply(trans_format)

转换后的数据如下:

利用python 将时分秒变成小数。因为时间就是至1之间的小数,0是一天的开始,1就是1天了,所以时间是至1之间的小数,也就是中午12点是0.5。

比如这里:

最终处理结果:

接下来开始分箱。

bins = pd.read_csv(r"处理后的数据.csv")
bins
def cut_bins(x):
    if  0.083333<= x <0.250000:
        return '02:00:00--06:00:00'
    elif 0.250000 <=x <0.458333:
        return '06:00:00--11:00:00'
    elif 0.458333 <=x <0.541667:
        return '11:00:00--13:00:00'
    elif 0.541667 <=x <0.708333:
        return '13:00:00--17:00:00'
    elif 0.708333 <=x <0.791667:
        return '17:00:00--19:00:00'
    elif 0.791667 <=x <0.916667:
        return '19:00:00--22:00:00'
    else:
        return '22:00:00--02:00:00'

bins['所在时间段'] = bins['将时分秒改成常规'].map(cut_bins)
bins

结果如下:

统计:

bins['所在时间段'].value_counts()

数据可视化:可以看到,秘密经常会在 22:00:00 – 02:00:00 这个时间段发布微博,其次是下午13:00:00–17:00:00。

可视化大屏

将图表整合,进行可视化大屏呈现。

效果链接:http://tan-07.gitee.io/ctbu-secret/

项目地址:https://gitee.com/tan-07/ctbu-secret

结果如下:

完整源码获取指南

点击关注公号:我是IT小王子

回复:工商秘密,获取本文完整代码!

三维重建之条纹投影结构光(三)——相位展开优化与多频外差实践 本文深入探讨了三维重建中条纹投影结构光技术的核心环节——相位展开优化。针对传统路径跟踪法存在的误差传播与路径依赖问题,重点解析了多频外差法的原理与优势,并通过详细的C++代码实践,展示了如何利用三频外差法实现鲁棒、高精度的相位展开,从而获得连续的绝对相位图,为后续三维点云生成奠定坚实基础。 阅读详情

相关推荐

解决mamba_ssm库安装难题:两种高效方法详解

本文详细解析了mamba_ssm库安装失败的常见原因,并提供了两种高效的解决方案。针对其依赖C++/CUDA扩展编译的特性,文章手把手指导用户通过GitHub克隆源码编译安装,或寻找匹配的预编译Wheel文件直接安装,帮助开发者彻底解决环境配置难题,顺利部署Mamba模型。

weixin_29056865的博客 556

基于Python+大数据的微博事件分析可视化系统设计与实现

今天带来的是基于Python+大数据的微博事件分析可视化系统,随着微博事件的常态化,如果依然采用传统的管理方式,将会为工作人员带来庞大的工作量,这将是一个巨大考验,需要投入大量人力开展对科技视频等相关工作进行管理,单一且反复的操作容易出错且不易被察觉,于是利用现代信息技术,设计开发一款微博事件分析与可视化系统,能够极大的节省人力物力、提高工作效率、降低工作成本。

qq_15801219的博客 1702

OAI数据集申请下载全攻略:从个人NDA账号注册到数据包下载的保姆级避坑指南

本文提供OAI数据集申请下载的完整指南,涵盖从个人NDA账号注册到数据包下载的全流程。重点解析login.gov验证陷阱、浏览器兼容性问题、NDA权限申请技巧及nda-tools高效使用方法,帮助医学影像研究者避开常见技术障碍,快速获取全球骨关节炎研究数据库OAI的宝贵数据资源。

weixin_28698059的博客 757

Python爬取近10万条程序员招聘数据,告诉你哪类人才和技能最受热捧!

来源:凹凸数据本文约5800字,建议阅读15分钟本文带你了解当下企业究竟需要招聘什么样的人才?需要什么样的技能?随着科技的飞速发展,数据呈现爆发式的增长,任何人都摆脱不了与数据打交道,...

数据派THU 1401

UE5 GAS实战:从零构建一个MOBA英雄技能系统

本文详细介绍了如何利用UE5的Gameplay Ability System(GAS)构建MOBA英雄技能系统,涵盖核心组件如Ability System Component和GameplayEffect的使用,以及技能冷却、资源管理和连招系统等高级功能的实现。通过实战案例和代码示例,帮助开发者快速掌握GAS在MOBA游戏开发中的应用。

weixin_29012765的博客 529

Apache Jena SPARQL 查询完全指南:入门与实战案例

本文介绍了使用Apache Jena执行SPARQL查询的完整指南。SPARQL是用于RDF数据的标准查询语言,在知识图谱领域地位相当于SQL。教程从基础开始,涵盖创建模型、加载数据以及执行各种查询类型。特别强调了WHERE子句中的图模式匹配机制,通过Mermaid图直观展示数据图与查询图的匹配过程。文章还对比了变量命名规范(?和$前缀),解释了SPARQL引擎如何通过变量绑定实现数据检索。通过Hello World示例演示了完整查询流程,为开发者提供了SPARQL的实用入门指导。

Lincoln 的专栏 1378

Python系列 | 基于Requests和PyEcharts实现爬取博客数据可视化大屏分析

博客作者数据分析实现的思路大致为爬虫(用户通过控制台输入用户博客地址和博客文章地址)和大屏可视化展示两方面

woshinsy的博客 2151

基于BQ25895RTWR的锂电池充电管理硬件设计

BQ25895 是一款适用于单节锂离子电池和锂聚合物电池的高度集成型 5A 开关模式电池充电管理和系统电源路径管理器件。此类器件支持高输入电压快速充电。低阻抗电源路径对开关模式运行效率进行了优化、缩短了电池充电时间并延长了放电阶段的电池使用寿命。• 移动电源、移动 Wi-Fi 热点。• 便携式互联网器件。

corlin6688的博客 1089

用Python制作酷炫的可视化大屏,特简单!

大家好,我是小F~在数据时代,我们每个人既是数据的生产者,也是数据的使用者,然而初次获取和存储的原始数据杂乱无章、信息冗余、价值较低。要想数据达到生动有趣、让人一目了然、豁然开朗的效果,就...

法纳斯特 6053

基于Transformer的相似度匹配在AI原生应用中的实现

在AI原生应用(完全基于AI能力构建的应用,如ChatGPT、Notion AI)中,“理解文本之间的相似性”是核心需求:智能搜索需要找到与用户查询最匹配的文档,推荐系统需要挖掘用户兴趣与内容的关联,对话机器人需要识别用户问题的意图是否重复……本文将聚焦“基于Transformer的相似度匹配”,覆盖技术原理、代码实现、应用场景三大模块,帮助开发者掌握从理论到落地的完整链路。本文将按照“生活场景→核心概念→技术原理→代码实战→应用案例→未来趋势”的逻辑展开。

AI 原生应用开发的博客 984

Dify知识库文档批量下载神器:一键导出所有文件到本地

在使用Dify进行知识库管理的过程中,我们经常遇到一个实际问题:如何将已上传到知识库中的文档批量下载到本地?目前Dify的管理界面虽然功能强大,但暂时没有提供直接的UI界面来批量导出或下载知识库内的文档。这意味着如果我们需要将知识库中的文件备份到本地或进行离线处理,只能通过API接口来实现。本文将详细介绍如何利用Dify的REST API构建一个完整的知识库文档下载解决方案,这也是目前实现知识库文件批量下载到本地的唯一可行路径。🎉进入大模型应用与实战专栏 | 🚀查看更多专栏内容首先,我们需要在Dify的

羊城迷鹿的博客 3474

Python爬取全国大学排名 用pyecharts进行大屏可视化

院校网址:http://college.gaokao.com/schlist/p 先找到对应的全部list 需要先安装requests,lxml 可直接用 pip install requests pip install lxml 命令安装 导入需要的相关包 import requests from lxml import etree import time import r...

小胖墩 7532

【RT-DETR涨点改进】损失函数改进篇 | RT-DETR引入SlideLoss损失函数,适合目标检测中面临的尺度变化、遮挡以及难易样本不平衡等复杂场景下的检测任务,含详细使用步骤

本文提出在RT-DETR目标检测模型中引入SlideLoss损失函数,以解决尺度变化、遮挡和难易样本不平衡等问题。SlideLoss通过自适应阈值划分正负样本,并对难样本赋予更高权重,使模型更关注分类边界样本。文章详细展示了SlideLoss的核心代码实现,并逐步指导如何在RT-DETR框架中集成该损失函数。实验表明,该方法能有效提升模型性能,特别适用于复杂场景下的目标检测任务。

Ai缝合怪、助力小伙伴高效发论文 266

九种常见可视化大屏入场动效,绝对足够惊艳。

Hi,10经验的前端开发和UI设计老司机→贝格前端工场,为您分享。本期带来一批可视化大屏的入场动效,这种效果绝对是先声夺人,惊艳无数人。在可视化大屏中,入场动画是非常重要的,可以通过各种形式的动画效果吸引观众的注意力,增强视觉冲击力,以及为内容的展示增添趣味和生动性。

2401_82881178的博客 8370

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

IMSL CNL 7.0.0 (x86-64)Crack

IMSL CNL 7.0.0 (x86-64)Crack intel的算法库破解文件,这是C++版本的破解文件

九大可视化大屏的动效实现技术栈

AE 设计稿转网页动画。

2401_82616673的博客 1254

Probability and Statistics - 4th edition

Probability and Statistics - 4th edition

借指挥监控中心大屏,告诉你什么是真正的大数据可视化

随着社会信息化的高速增长,信息的可视化需求也急剧扩大,特别是一些监控中心、指挥中心、调度中心等重要场所,大屏幕显示系统已经成为信息可视化不可或缺的核心基础系统。下面我们来一起领略国内几个行业内顶级的大数据可视化应用。

digihail2016的博客 2万+

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

10款可视化大屏特效,酷炫又内涵!

关于可视化数据大屏,之前已经讲了好多好多了,从大屏设计规范到大屏制作技巧、学习视频等等,我们做了很多的经验分享。 但还远远不够,用户始终在提出更高的要求,其中最重要的一点便是“更酷炫”。 但这里涉及到两方面难题: 一是诸如“好看”、“酷炫”这样的形容词,本身是很难定义清楚其范畴的,毕竟萝卜青菜各有所爱。 二是酷炫的度如何把握,在耍酷与数据价值之间如何平衡。 我们所见过许多眼花缭乱的效果,...

帆软商业智能技术 3万+

漂亮,这张 动态可视化 交互大屏图,也是用Python实现的!

作者 |黄伟呢来源 | 凹凸数据大家好,我是黄同学交流群预热好久的可视化交互大屏来啦一、项目背景 随着科技的飞速发展,数据呈现爆发式的增长,任何人都摆脱...

涛哥聊Python 6910

看似复杂炫酷的数据可视化大屏,学会这个工具轻松搞定

“今朝有酒今朝醉,报表不做不能睡,借问酒家何处有,报表还得编一宿”,这句带有些许幽默感的打油诗背后,却是我从业多年的心酸历程,没错,我就是你们口中做报表的哥哥——表哥。 前些日子在和别人交流的过程中发现,现在市场变化太快,不仅用Excel做报表已经落后了,就连最后的数据都要以美观、直接、酷炫的方式展现出来,我这个什么都不懂又不想学而且只会用Excel的老油条,面对这个消息,不禁为自己的职业生涯捏...

Leo的博客 7609

4步教你玩转可视化大屏设计|内附实际操作

小编上次写了篇大屏数据可视化的文章《大屏做成这样,领导不重视你都难!》,围绕布局排版、配色、点缀以及动态效果等方面,阐述了帆软的一些经验,文章中酷炫的大屏效果引起了很大反响,非常多热心的用户留言咨询是怎么做的。为了满足大家如此热忱的求知欲,小编今天就用实际案例来教大家按套路做大屏驾驶舱。 上图是一张视觉设计稿,也是小编今天要教大家实现的内容。开做之前,我们先做点准备工作:确认需求、准备数据、

帆软商业智能技术 4万+

一张图数字孪生北京大兴机场

前言 北京大兴国际机场被称为“新世界七大奇迹”之首,总投资800亿元,占地面积140万平方米,预计年客流吞吐量1亿人次,飞机起降量80万架次,实现了高铁地铁飞机交汇互通,让中国的交通史掀开了新的篇章。 大兴国际机场以其极具未来科技感的外观、融合中国传统和时代特色的内部装饰、以及便捷的枢纽设施功能刷爆了全球机场行业的朋友圈。除此之外,大兴机场安全、智能、人性化的运行、服务和管理能力和背后支撑的智慧科技更为全球机场、乃至交通、旅游行业所关注。大兴机场全方位打造了全球空港最醒目、最具理论和技术创新性的、以数字化转

HT for Web 3D 2191

Python中sub()用法Python之正则表达式——查找

Python 字符串操作(string替换、删除、截取、复制、连接、比较、查找、包含、大小写转换、分割等)https://blog.youkuaiyun.com/yefengnidie/article/details/6739094?utm_medium=distribute.pc_relevant_t0.none-task-blog-BlogCommendFromMachineLearnPai2-1.nonecase&depth_1-utm_source=distribute.pc_relevant_t0.n

qq_39306047的博客 993

Mybatis Plus条件构造器apply查询方式的使用

1.业务需求一:根据传进来的开始日期,查询所有该日期是数据,但是数据库中保存是时间,所以需要使用apply查询方式并格式化。 相关代码如下: LambdaQueryWrapper<TRandomPaper> lqw = new LambdaQueryWrapper<TRandomPaper>(); if (tRandomPaper.getStartTime() != null){ //页面传进来Fri May 29 00:00:00 CST 2020格式的类似时间需要..

qq_42751248的博客 3万+

本地化部署 DeepSeek,构建单细胞与空间转录组 AI 分析平台

本地化部署 DeepSeek,构建单细胞与空间转录组 AI 分析平台

weixin_53637133的博客 187
上一篇: 深度学习文本分类|模型&代码&技巧
下一篇: 5分钟掌握 Python 随机爬山算法
Wang_AI
博客等级 码龄12年 998粉丝 162原创
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值