python 爬虫爬取当当网图书信息

最新推荐文章于 2025-05-20 13:59:48 发布

是虎子呀

最新推荐文章于 2025-05-20 13:59:48 发布

阅读量1.2w

点赞数 9

CC 4.0 BY-SA版权

分类专栏： pathon爬虫

本文链接：https://blog.youkuaiyun.com/dhissy/article/details/79936706

初次系统的学习python，在学习完基本语法后，对爬虫进行学习，现在对当当网进行爬取，爬取了基本图书信息，包括图书名、作者等

import requests
from time import sleep
from lxml import etree
class dangdang_spider():
#定义爬虫类
    def __init__(self):
        self.url="http://category.dangdang.com/pg{}-cp01.00.00.00.00.00.html" #爬虫网址
        self.headers= {#设置headers
            'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36'}
#爬取基本网页信息
    def parse(self,url):