学会这招,小姐姐看你的眼神将不一样!这就是它的魅力!

从VLM到VLA概论 智驾视觉大模型 阅读详情

前言

今天某小丽同学来找我,有个实验需要用到轻松筹的数据进行一个分析。可是没有足够的数据,如何办是好?
乐于助人的我,当然不会置之不理~
(ps.毕竟是小姐姐嘛,拒绝了不好,对叭)

于是乎,我抄起家伙,说干就干。

一、爬虫分析

通过简单的分析,可以发现轻松筹提供了一个接口,可以返回某个项目的相关数据,具体如下:


地址如下,xxxxxx表示项目的UUID:

https://gateway.qschou.com/v3.0.0/project/index/text3/xxxxxx
1

也就是说,我们只要有UUID,那么就可以通过requests发送请求很容易就能得到数据。这还不简单,我们对UUID进行遍历不就行了嘛?
然而,UUID的长度为32位,要是想遍历的话,等明年去叭…
解决问题(小声说:“获得小姐姐的青睐”)的关键就是想办法找到项目的UUID。

二、爬取项目ID

在官网搜寻了一番,并没有发现哪里有UUID。于是,我们只能另辟蹊径。最后,我决定从百度贴吧入手,搜索相关的帖子,并把帖子中的项目链接中的UUID提取出来。

1.抓取帖子的URL

遍历整个“轻松筹吧”,抓取每个帖子的URL:

url_tieba = 'https://tieba.baidu.com/f?kw=轻松筹&ie=utf-8&pn=%d' # 贴吧页面,pn=0,50,100...
p_href = 'href="/p/(.*?)"'
hrefs = []
for i in range(1): # 爬取的页数
    try:
        pn = i*50
        res = requests.get(url_tieba%pn)
        html = res.text
        list_herf = re.findall(p_href,html)
        for h in list_herf:           	
           hrefs.append('https://tieba.baidu.com/p/'+h)
        print('第%d页获取成功'%(i+1))
    except:
        pass
with open('tiezi_url.txt','w') as f:
    for h in hrefs:
        f.write(h+'\n')

2.提取帖子中的UUID

要获取每个帖子里面的项目UUID,主要有两种方式:
(1)从帖子中的链接中提取
首先定义匹配链接的正则表达式:

p_projuuid = 'https://m2.qschou.com.*?projuuid=(.*?)&'
1

对帖子进行匹配:

for h in hrefs:
   try:
       res = requests.get(h)
       html = res.text
       list_projuuid = re.findall(p_projuuid,html) # 判断帖子里是否有直接的链接
       if len(list_projuuid) != 0:
           for p in list_projuuid:
               if p not in projuuids and len(p) == 36:
                   projuuids.append(p)
                   print('%s 提取到projuuid:%s'%(h,p))
       else:  # 提取帖子中的图片获取二维码
           list_img = re.findall(p_img,html)
           if len(list_img) == 0:
               print('%s 无法提取到projuuid'%h)
           else:
               for i in list_img:
                   txt_list = get_ewm(i)
                   if len(txt_list) != 0:
                       barcodeData = txt_list[0].data.decode("utf-8")
                       for p in re.findall('projuuid=(.*)',barcodeData):
                           if p not in projuuids and len(p) == 36:
                               projuuids.append(p)
                               print('%s 提取到projuuid:%s'%(h,p))
   except:
        pass

(2)从帖子中的二维码中提取
首先,我们得匹配帖子中的所有图片,正则如下:

p_img = 'class="BDE_Image" src="(.*?)"'

然后对其中的每张图片,进行二维码读取,如果包含项目连接则将其中的UUID提取出来:

for h in hrefs:
   try:
       res = requests.get(h)
       html = res.text
       list_projuuid = re.findall(p_projuuid,html) # 判断帖子里是否有直接的链接
       if len(list_projuuid) != 0:
           for p in list_projuuid:
               if p not in projuuids and len(p) == 36:
                   projuuids.append(p)
                   print('%s 提取到projuuid:%s'%(h,p))
       else:  # 提取帖子中的图片获取二维码
           list_img = re.findall(p_img,html)
           if len(list_img) == 0:
               print('%s 无法提取到projuuid'%h)
           else:
               for i in list_img:
                   txt_list = get_ewm(i)
                   if len(txt_list) != 0:
                       barcodeData = txt_list[0].data.decode("utf-8")
                       for p in re.findall('projuuid=(.*)',barcodeData):
                           if p not in projuuids and len(p) == 36:
                               projuuids.append(p)
                               print('%s 提取到projuuid:%s'%(h,p))
   except:
        pass

其中,读取二维码的函数如下:

def get_ewm(img_adds):
    # 读取二维码的内容: img_adds:二维码地址(可以是网址也可是本地地址)
    if os.path.isfile(img_adds):
        # 从本地加载二维码图片
        img = Image.open(img_adds)
    else:
        # 从网络下载并加载二维码图片
        rq_img = requests.get(img_adds).content
        img = Image.open(BytesIO(rq_img))

    txt_list = pyzbar.decode(img)
    #barcodeData = txt_list[0].data.decode("utf-8")
    return txt_list

注意:这里需要用到pyzbar库,通过pip安装即可:

pip install pyzbar
1

3.完整代码

import re
import os
import requests
from PIL import Image
from io import BytesIO
from pyzbar import pyzbar
 
 
def get_ewm(img_adds):
    # 读取二维码的内容: img_adds:二维码地址(可以是网址也可是本地地址)
    if os.path.isfile(img_adds):
        # 从本地加载二维码图片
        img = Image.open(img_adds)
    else:
        # 从网络下载并加载二维码图片
        rq_img = requests.get(img_adds).content
        img = Image.open(BytesIO(rq_img))

    txt_list = pyzbar.decode(img)
    #barcodeData = txt_list[0].data.decode("utf-8")
    return txt_list
 
if __name__ == '__main__':
   # 获取每个帖子的编号
   url_tieba = 'https://tieba.baidu.com/f?kw=轻松筹&ie=utf-8&pn=%d' # 贴吧页面,pn=0,50,100...
   p_href = 'href="/p/(.*?)"'
   hrefs = []
   for i in range(1): # 爬取的页数
       try:
           pn = i*50
           res = requests.get(url_tieba%pn)
           html = res.text
           list_herf = re.findall(p_href,html)
           for h in list_herf:
               hrefs.append('https://tieba.baidu.com/p/'+h)
           print('第%d页获取成功'%(i+1))
       except:
           pass
   with open('tiezi_url.txt','w') as f:
       for h in hrefs:
           f.write(h+'\n')
   # 爬取每个帖子中的轻松筹链接
   projuuids = []
   p_projuuid = 'https://m2.qschou.com.*?projuuid=(.*?)&'
   p_img = 'class="BDE_Image" src="(.*?)"'
   for h in hrefs:
       try:
           res = requests.get(h)
           html = res.text
           list_projuuid = re.findall(p_projuuid,html) # 判断帖子里是否有直接的链接
           if len(list_projuuid) != 0:
               for p in list_projuuid:
                   if p not in projuuids and len(p) == 36:
                       projuuids.append(p)
                       print('%s 提取到projuuid:%s'%(h,p))
           else:  # 提取帖子中的图片获取二维码
               list_img = re.findall(p_img,html)
               if len(list_img) == 0:
                   print('%s 无法提取到projuuid'%h)
               else:
                   for i in list_img:
                       txt_list = get_ewm(i)
                       if len(txt_list) != 0:
                           barcodeData = txt_list[0].data.decode("utf-8")
                           for p in re.findall('projuuid=(.*)',barcodeData):
                               if p not in projuuids and len(p) == 36:
                                   projuuids.append(p)
                                   print('%s 提取到projuuid:%s'%(h,p))
       except:
            pass
   with open('projuuids.txt','w') as f:
       for p in projuuids:
           f.write(p+'\n')

三、爬取项目的数据

这里通过遍历之前获得的UUID,即可获得相应的数据:

import requests
import  pandas as pd

# 读取projuuid
with open('projuuids.txt','r') as f:
    projuuids = f.readlines()
    for i in range(len(projuuids)): # 去除尾部换行符
        projuuids[i] = projuuids[i][:-1]

# 获取数据
url_api = 'https://gateway.qschou.com/v3.0.0/project/index/text3/%s'
datas = []
for projuuid in projuuids:
    res = requests.get(url_api%projuuid)
    data_json = res.json()
    data = data_json['data']['project']
    data['certification'] = data_json['data']['subsidy'][1]['subhead'].split()[-2]
    datas.append(data)
    print('%s 获取完毕'%projuuid)

datas = pd.DataFrame(datas)
datas.to_csv('data.csv',encoding='utf-8',index=False)

写在最后

至此,大功告成。我也获得了小姐姐的赞美,嘻嘻~

最后,感谢各位大大的耐心阅读~

你学会了吗,需要完整项目代码的点击蓝字即可!

 

 

Kafka 性能优化与常见问题排查 Kafka 的高性能依赖于合理的集群设计、参数优化与高效的监控体系。生产环境中,应重点关注I/O 瓶颈、分区规划、Producer/Consumer 参数调优,并通过监控与排查手段快速定位问题,从而保障 Kafka 在实时场景下的稳定运行。 阅读详情

相关推荐

手把手教你用HarmBench数据集测试大模型安全性(含多模态案例)

本文详细介绍了如何使用HarmBench数据集测试大模型的安全性,包括文本和多模态越狱指令的实战案例。通过环境配置、数据集获取、测试流程及结果分析,帮助开发者全面评估和提升大模型的安全防护能力,特别关注多模态攻击的防御策略。

weixin_26642481的博客 330

学会这招,小姐姐看你的眼神将不一样

学会这招,小姐姐看你的眼神将不一样前言一、爬虫分析二、爬取项目ID1.抓取帖子的URL2.提取帖子中的UUID3.完整代码三、爬取项目的数据写在最后 前言 今天某小丽同学来找我,有个实验需要用到轻松筹的数据进行一个分析。可是没有足够的数据,如何办是好? 乐于助人的我,当然不会置之不理~ (ps.毕竟是小姐姐嘛,拒绝了不好,对叭) 于是乎,我抄起家伙,说干就干。 一、爬虫分析 通过简单的分析,可以发现轻松筹提供了一个接口,可以返回某个项目的相关数据,具体如下: 地址如下,xxxxxx表示项目的UUID: h

kimol君的博客 2万+

ArcGIS高效拆分shp文件:无需依赖属性表的实用技巧

本文针对ArcGIS中shp文件因属性表缺失而难以拆分的问题,详细介绍了无需依赖属性表的实用技巧。核心是使用“拆分多部件要素”工具,直接根据图形结构将多个独立但被合并的部件拆分为单个要素,并提供了ArcGIS Pro和ArcMap的操作流程、关键注意事项及拆分后的属性处理方案。

n2o3p4的博客 379

网络爬虫-cnzz网站统计(umuuid参数加密破解)

总体来说算是比较easy的js加密 由于涉及到部分隐私 就简单说下该参数的加密思路 以马蜂窝为例 该网站使用的是CNZZ统计流量 首先抓包看参数,如图 可以比较清晰地看到 cnzz的统计是发起的这个get请求 然后看下这些参数 我们不确定的参数有 id / cnzz_eid / umuuid / rnd ,除了这几个 其他的应该都是常量或者可以轻易伪造的 如时间戳以及屏幕大小等 为了搞清楚这几...

qq_39802740的博客 1万+

一个完整的c#股票分析软件源码

完整的c#股票分析软件源码

qq_35600909的博客 4597

Agentic RAG:RAG从静态到具有理解、推理、决策的Agentic RAG

RAG技术演进:从静态检索到智能代理 RAG(检索增强生成)技术经历了五个关键发展阶段:基础RAG(关键词检索)、高级RAG(语义理解)、模块化RAG(灵活架构)、图RAG(知识图谱)和最新的Agentic RAG(智能代理)。Agentic RAG通过引入自主AI代理,具备反思、规划、工具使用和多代理协作能力,实现了动态决策和自适应工作流。相比传统RAG的静态检索流程,Agentic RAG能处理复杂多步推理任务,通过自我改进机制提高输出质量,并支持多专业代理协作,显著提升了RAG系统在复杂场景下的表现。

2552

逆向爬虫35 常见加密的python实现

将App逆向中常见的算法用python实现,方便以后的使用

weixin_40743639的博客 864

Dify插件离线部署全攻略:从下载到安装的完整流程

本文详细介绍了Dify插件离线部署的完整流程,针对企业内网等无网络环境需求。核心步骤包括在联网环境下载插件包、在特定Python 3.12.9环境下使用专用工具进行离线重打包,以及最终在离线Dify环境中安装验证。重点解决了离线安装的核心难题,并提供了环境配置、批量处理和故障排查等实用技巧,帮助用户实现Dify插件的顺利离线部署。

seed的博客 661

爬虫中常见的问题,常见的反爬机制

原文来源:https://www.cnblogs.com/Eeyhan/p/11520608.html 1.请求头之User-agent 这个稍微接触过一点点爬虫的应该都不陌生,不是说接触Python爬虫,不管你用什么开发语言来写爬虫,应该都会用到这个。大概解释一下,就是一个身份的象征,这个可以用浏览器自带的调试工具查看,访问一个网站的时候,按f12键或者鼠标右键打开调试(有的浏览器叫检...

eli的博客 1万+

路径规划 | 图解粒子群(PSO)算法(附ROS C++仿真)

粒子群算法(PSO)的基本思想是模拟鸟群觅食机制,将鸟类的觅食方向分为自我认知部分和社会部分,个体自主探索群体周围空间的同时,也随着群体的主流方向前进,不断逼近最优目标。本文详解PSO算法基本概念,并给出ROS C++实现加深理解

FRIGIDWINTER的博客 2618

【以太网硬件一】802.3xx标准怎么这么多?它们有什么关系?

IEEE 802.3标准发展历史简介

highman110的博客 5019

python爬虫-京东登录

在写爬虫的时候,解决登陆问题往往是比较麻烦的事情。这里介绍一下京东网站的登陆方法。 登陆到京东的首页,我们看到最上方有一个登陆链接,点进去之后是这样: https://passport.jd.com/new/login.aspx 为了方便我们观察传递的参数规律,我们先用自己的账号密码模拟登陆一次,然后使用抓包工具查看。这里使用的是firefox+firebug ,firebug在这篇文章

beagreatprogrammer的专栏 1万+

低光照图像增强:从传统方法到深度学习

低光照图像增强:从传统方法到深度学习​ 人工智能,计算机视觉,大模型,AI,本文聚焦视觉模型的偏差与公平性问题,阐述了偏差在性别、种族、年龄等方面的表现及对医疗、司法、安防等领域的影响。分析了偏差源于数据采集与标注问题及算法局限。介绍了准确率差异等公平性评估指标、相关数据集和工具,还给出数据处理、算法改进、模型训练等避免歧视的策略,并附代码示例与实际案例,为提升视觉模型公平性提供多方面参考。

不踩坑,不知道坑有多深;不总结,踩过的坑白踩。 2万+

康定之行

雅安到康定呜啦呜啦呜啦呜啦人生需要旅途去换种心情Now廖先生:路上的一切惊险就不说了,譬如塌方、泥石流、车祸、抛锚,惊天的雷阵雨也不说了,傻儿子被我傻傻地留在车前方,等着上厕所,等着我送钱去也不说。傻儿子:当时被留在那里,看着哗啦的大雨,心里一阵风一阵雨,酸酸的,他来接我的时候,偷偷抹了眼泪,脆弱不堪一击,惭愧。廖先生:上厕所真是一件尴尬的事,这条被G318宠坏的路,我以为到了川藏线,人们会善言善...

小弟_liao的博客 83

lwip-2.0.3

lwip是瑞典计算机科学院(SICS)的Adam Dunkels 开发的一个小型开源的TCP/IP协议栈。实现的重点是在保持TCP协议主要功能的基础上减少对RAM 的占用。

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

踩坑!自动特征选择漏关键指标,模型AUC暴跌15%

上周体检时,医生看着我的报告说:"胆固醇偏高,建议每天跳绳30分钟。"我问:"那AI怎么说?"医生苦笑:"它建议你每天对着镜子跳广场舞。"(冷笑话杀伤力+1)医疗数据科学就像一场永不停歇的接力赛:前一秒刚修好数据库漏洞,后一秒又出现新的数据孤岛。但正是这种混乱与秩序的交织,让这个行业既令人抓狂,又充满魅力。最后送大家一句真理:"完美的医疗系统不存在,但我们可以让错误变得有趣一点。

jaxzheng的博客 907

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

python生成uuid_咸鱼高赞回答:有什么相见恨晚的Python技巧,附赠python最新教程...

日常工作几乎离不python。一路走来,他积累了不少有用的技巧和tips,现在就将这些技巧分享给大家。这些技巧将根据其首字母按A-Z的顺序进行展示。Python相关学习资料获取方式:转发文章+关注私信【Python】ALL OR ANYPython之所以成为这么一门受欢迎的语言一个原因是它的可读性和表达能力非常强。Python也因此经常被调侃为“可执行的伪代码”。不信你看:BASHPLOTIB你想...

weixin_39922147的博客 170

数学建模模型总结

这是本人在两年内准备参加数学建模竞赛搜集到的模型资料,已经经过了本人的筛选和整理,希望能够对准备参加数学建模竞赛的学弟学妹们提供一些帮助!

python爬虫(终)

主函数:#coding: utf-8 ''' Created on 2016年4月21日@author: Administrator ''' import uuid ''' 多线程爬虫 天涯杂谈 爬取4月一个月的数据''' import requests,re import json import time import MySQLdb from sqlUtil2 import saveTopic,

1059

Python水滴筹模拟筹款工具

Python水滴筹模拟筹款工具

qq_51438138的博客 1280

手把手操作JS逆向爬虫(二)

本文是本人100%完成,没有参考任何资料。虽说不是什么高难度的JS逆向,但对新手来说还是有点难度的。话不多说,开始整体。本次破解的目标是音乐网站的歌曲下载。 目标音乐网站。请找解密网站破解如下地址,应该看得出用了什么加密方式吧:-): aHR0cHM6Ly93d3cua3Vnb3UuY29tLw== 基本思路: 搜索歌曲名字,获得歌曲地址,完成下载。 逆向过程: 1、搜索歌曲,通过手动观察和查找,不难在Network下的JS面板下找到目标请求信息。 2、我们来看一下这个请求的具体信息: Hea

weixin_45387160的博客 875

Python自动化开发学习-爬虫2

Web服务的本质2 之前讲过这个,在这里:https://blog.51cto.com/steed/2071271不过当时没讲透,这次再展开一点点。Web服务的通信本质上就是通过socket发送字符串请求,然后也会返回响应。发送的请求有请求头和请求体。返回的响应也有响应头和响应体。 请求头:就是requests.hearders,浏览器后台标头里的请求标头 请求体:就是POST请求的data(或...

weixin_34075268的博客 939

Python爬虫js分析

文章目录前言一、思路分析1.watchPoint分析2.ev分析3.learningTokenId分析4.courseId分析5.uuid分析二、代码实现总结 前言 学校让去知到看网课,我寻思这不是折磨兄弟吗?当即我直接破防,然后决定搞一手,从问题根源来解决问题。 提示:以下是本篇文章正文内容,下面案例可供参考 一、思路分析 我们先打开F12开发者模式,播放个视频抓下接口看看嗷。 找到了很多接口,但是最有用的应该还是这个 为什么我要说它最有用了? 因为看接口名称我们就应该知道,这个接口和视频时长是相关

qq_36684855的博客 2943

python 爬虫遇到验证码如何解决

爬虫遇到验证码的问题,如何完善代码,以及遇到的问题

m0_68157946的博客 3371

Eclipse使用Java Selenium抓取众筹网站的数据

Eclipse使用Java Selenium抓取众筹网站的数据Selenium简介百度百科下载地址目标网站代码实现整体架构代码DAO层LinkDB类TableManage类Model层Selenium包更新已存在项目的方法经验教训Xpath与正则表达式关于无法定位元素持续抓取过程中线程问题服务器租用与程序设定 Selenium简介 百度百科 Selenium 是一个用于Web应用程序测试的工具。S...

天大吴彦祖的博客 1549

爬虫篇-小程序后台数据获取【附源码】

内部系统小程序后台爬虫应用,因此没有账号的可以学习思路,有账号的可以考虑实战爬虫。

ctu_sue的博客 5951

获取UUID两种方法,并让UUID唯一的方法

方法一、 CFUUIDRefpuuid = CFUUIDCreate(nil);     CFStringRefuuidString = CFUUIDCreateString(nil, puuid);     NSString*result = (NSString*)CFBridgingRelease(CFStringCreateCopy(NULL, uuidString));  

Macocoa的专栏 1万+

python生成并处理uuid的方法

        UUID(Universally Unique Identifier)是通用唯一识别码,在许多领域用作标识,比如我们常用的数据库也可以用它来作为主键,原理上它是可以对任何东西进行唯一的编码的。作为新手一看到类似varchar(40)这样的主键就觉得有点蒙圈了,字符串型也不能自增啊,这里就应该应用UUID了。数据库一般都有自己的办法生成UUID,但虽然可以用,但这玩意考虑到可读性和有...

魔镜之恋的博客 8万+
上一篇: 使用Python多进程教你下载M3U8加密或非加密视频!
下一篇: 学完Python,我决定熬夜整理这篇总结!
pythonlaodi
博客等级 码龄6年 286粉丝 244原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值