记一次爬虫项目-杭州19楼

本文记录了一次使用Python爬虫抓取杭州19楼我要爆料模块的经历。在爬取过程中,首先遇到请求内容获取不到的问题,尝试采用selenium但因在CentOS服务器上安装环境困难而放弃,最终通过调整requests请求头成功解决问题。同时,为避免IP被封,采用了设置延迟(sleep)和多进程策略,但仍在寻找更有效的解决方案,如使用代理。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

这个项目我爬的是19楼中我要爆料模块,具体代码如下:

import requests
import re
import time
import random
import threading
import pymysql
from lxml import etree
from bs4 import BeautifulSoup

def lou_spider(key=None):
    url_str = 'https://www.19lou.com/forum-269-{}.html'
    def child_spider(i):
        url_ = url_str.format(i)
        # time.sleep(random.uniform(2, 3))
        result = requests.get(url_)
        html = etree.HTML(result.text)
        divs = html.xpath("//div[@class='list-data  ']//div[@class='list-data-item second-data']")
        for child in divs:
            try:
                title = child.xpath(".//div[@class='title']//a//span/text()")[0]
                url1 = child.xpath(".//div[@class='title']//a/@href")[0]
                author = child.xpath(".//div[@class='author']/a//text()")[0]
          
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值