python 爬虫爬取当当网图书信息

最新推荐文章于 2025-11-29 13:00:00 发布

原创

最新推荐文章于 2025-11-29 13:00:00 发布 · 1.2w 阅读

59 ·

CC 4.0 BY-SA版权

初次系统的学习python，在学习完基本语法后，对爬虫进行学习，现在对当当网进行爬取，爬取了基本图书信息，包括图书名、作者等

import requests
from time import sleep
from lxml import etree
class dangdang_spider():
#定义爬虫类
    def __init__(self):
        self.url="http://category.dangdang.com/pg{}-cp01.00.00.00.00.00.html" #爬虫网址
        self.headers= {#设置headers
            'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36'}
#爬取基本网页信息
    def parse(self,url):