网络爬虫-示例

最新推荐文章于 2025-03-17 11:57:23 发布

CS_GaoMing

最新推荐文章于 2025-03-17 11:57:23 发布

阅读量1.4k

点赞数

分类专栏： Python基础文章标签： Python爬虫示例 Requests Session

本文链接：https://blog.youkuaiyun.com/CS_GaoMing/article/details/88819894

版权

本文介绍了网络爬虫的基本流程，包括构造URL列表、使用requests库进行GET和POST请求、处理加密网页及使用代理。还通过实例详细讲解了如何使用session进行登录并保存cookies，以便于后续的页面访问。对于需要登录的网站，提供了利用session登录并结合cookies进行爬取的方法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

网络爬虫

爬虫实现的基本流程

构造URL list.
读取URL list的url值
使用requests.post(“url”,datas=datas,headers=headers)或者是requests.get(“url”,headers=headers)函数获取.
内容中再提取到url值，可以回到上一步.
页面提取数据.
存入数据库.

爬虫示例

普通的网页爬取

不需要登录账户，密码即可爬取.
不需要验证码，不使用POST方式获取.
不需要使用cookies即可爬取.
网页即可简单，不需要许多登录信息，session等可爬取的。

示例:爬取贴吧网页页面.

# coding=utf-8
import requests

headers = {
   "User-Agent":"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.84 Safari/537.36"}

url = "https://www.baidu.com/s?wd={}".format("python")
r = requests.get(url,headers=headers)
print(r.status_code)
print(r.request.url)
print(r.content)

# coding=utf-8
import requests
import sys

# 需要带参数需要获取的贴吧名称运行，如：python
class TiebaSpider:
    def __init__(self, tieba_name):
        self.tieba_name = tieba_name
        # 构建url的基本格式.
        self.url_temp = "https://tieba.baidu.com/f?kw=" + tieba_name + "&ie=utf-8&pn={}"
        self.headers = {
   
            "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.84 Safari/537.36"}
    # 构建每一个的np数值->数值.
    def get_url_list(self):
        return [self.url_temp.format(i * 50) for i in range(1000

最低0.47元/天解锁文章