Python实现批量采集美女shipin＜无水印＞

最新推荐文章于 2025-03-30 16:34:42 发布

原创最新推荐文章于 2025-03-30 16:34:42 发布 · 1.1k 阅读

3 ·

CC 4.0 BY-SA版权

爬虫专栏收录该内容

137 篇文章

订阅专栏

本文介绍了如何通过开发者工具抓包分析，定位shipin URL和标题，利用Python的requests和selenium库进行数据采集。从数据来源分析、代码实现步骤到实际操作，适合前端开发者和数据爱好者学习爬虫技术。

前言

嗨喽~大家好呀，这里是魔王呐 !

目录（可点击自己想去得地方哦~😋）

环境使用:

Python 3.8
Pycharm
谷歌浏览器
谷歌驱动

安装教程都可以看文章下方推广获取~

模块使用:

requests >>> pip install requests
re
json 用来转换数据类型序列化和反序列化模块
selenium >>> pip install selenium==3.141.0 <需要浏览器和浏览器驱动>

如果安装python第三方模块:

win + R 输入 cmd 点击确定, 输入安装命令 pip install 模块名 (pip install requests) 回车
在pycharm中点击Terminal(终端) 输入安装命令

按照常规基本思路流程: <模板, 可以套用>

批量采集shipin —> 由浅到深采集一个shipin 采集多个

一. 数据来源分析 <shipin内容>

通过开发者工具抓包分析, shipin url地址来自于哪里, shipin标题在什么地方

F12打开开发者工具, 或者鼠标右键点击检查选择network <在网页在浏览器上面进行操作>
点击刷新网页, 让本网页相关数据内容, 重新加载一遍 <相对应相关数据包数据内容就展示出来>
找shipin链接在哪里 ----> 常规找shipinurl地址是 media 里面
找shipin url 来源, 出处 —> 通过在开发者工具关键字搜索可以找到我们想要的数据在哪里, 只是说
找到数据是进行编码, 到时候写代码的时候进行解码就Ok了

二. 代码实现步骤

发送请求, 模拟浏览器对于网址发送请求
获取数据, 获取response响应数据
解析数据, 提取我们想要shipin url地址和 shipin标题
保存数据, 把shipin内容保存到本地

代码

需要更多源码、教程可点击网页端博主头像来到主页，点击左侧的流动文字免费获取哦~（可能需要往下划一下呐）

也可以直接查看文章下方推广加助理小姐姐V免费获取呐~

"""
selenium ---> 使用驱动 ---> 控制浏览器
    模拟人的行为去操作浏览器
"""
# 打开浏览器
driver = webdriver.Chrome()
# 访问网站
driver.get('https://www..com/user/MS4wLjABAAAA0ihE2gYz13hwfPpxiZz50L7QM761qG-m28wj-oyWJTMqEJh5TR92GIJI7r-FW-8n')
# 等待
driver.implicitly_wait(10)

def drop_down():
    """执行页面滚动的操作"""  # javascript
    for x in range(1, 10, 2):  # 1 3 5 7 9  在你不断的下拉过程中, 页面高度也会变的
        time.sleep(1)
        j = x / 9  # 1/9  3/9  5/9  9/9
        # document.documentElement.scrollTop  指定滚动条的位置
        # document.documentElement.scrollHeight 获取浏览器页面的最大高度
        js = 'document.documentElement.scrollTop = document.documentElement.scrollHeight * %f' % j
        driver.execute_script(js)