实用的爬虫网站

asnone0

于 2025-01-09 13:14:11 发布

阅读量1k

点赞数 4

文章标签：爬虫

本文链接：https://blog.youkuaiyun.com/qq_53912756/article/details/145031222

版权

网站地址

https://curlconverter.com/python/

该网站可以快速生成一个爬虫程序脚本,几乎市面上的流行语言的爬虫程序都可以快速生成

使用教程

操作示例示例
http://47.109.137.14:3000/sightbead

这个地址是我自己的服务器地址，只是演示网站使用教程

首先打开一个网站
点击键盘的F12或者点击鼠标右键点击检查，进入开发者界面
然后点击网络
先清空网络内监听，再刷新请求（可以点页面刷新或者直接快捷键Ctrl+R），找到相关网络请求接口，鼠标右键找到复制为CURL(bash)点击
然后将复制的内容到https://curlconverter.com/python/，然后会出现相关代码，将你的代码复制到你的编译器上，这里我用的python，需要先安装对饮的包,也要有python环境才行

pip install requests

代码如下

import requests

headers = {
    'Accept': '*/*',
    'Accept-Language': 'zh-CN,zh;q=0.9,en;q=0.8,en-GB;q=0.7,en-US;q=0.6',
    'Connection': 'keep-alive',
    'If-None-Match': 'W/"2bd3-KquFstPtSCBjWxe+HfhD6Hfbi8g"',
    'Origin': 'http://47.109.137.14:3000',
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36 Edg/131.0.0.0',
}

response = requests.get('http://47.109.137.14/api/getSightbead', headers=headers, verify=False)
print(response.json())