豆瓣图书排行250抓取练习

最新推荐文章于 2024-07-20 23:07:14 发布

原创最新推荐文章于 2024-07-20 23:07:14 发布 · 399 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#python #爬虫 #BeautifulSoup #新手

本文介绍了一个使用Python的requests库和BeautifulSoup库抓取豆瓣Top250图书信息的爬虫实例。通过设置代理和请求头，爬虫能够成功获取目标网页，并解析出图书名称、作者和出版社等信息。然而，在解析过程中遇到了节点选择的问题，导致输出中包含多个[None]。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

第二天，利用BeautifulSoup解析库

import requests
import re
import time
from bs4 import BeautifulSoup

def get_one_page(url):
    proxies = {"http":"http://61.145.69.27","http":"http://121.61.0.208"}
    headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.77 Safari/537.36'}
    response = requests.get(url,headers=headers,proxies=proxies)
    if response.status_code == 200:
        return response.text
    return None
def parse_one_page(html):
    soup = BeautifulSoup(html, 'lxml')
    for td in soup.find_all(attrs={'valign':'top'}):
        for a in td.find(name='a'):
            print(a.string)
        for p in td.find_all(name='p'):
            print(p.string)
        for span in td.find_all(name='span'):
            print(span.string)
def main(offset):
    url = 'https://book.douban.com/top250?start='+str(offset)
    html = get_one_page(url)
    parse_one_page(html)
if __name__ == '__main__':
    for i in range(10):
        main(i * 25)
        time.sleep(1)