简单爬虫——京东网图书爬取

何年江月

于 2020-01-19 09:16:20 发布

阅读量1.8k

点赞数 2

CC 4.0 BY-SA版权

文章标签： python

本文链接：https://blog.youkuaiyun.com/qq_41961805/article/details/104036220

本文介绍了一种使用Python和XPath爬取京东网站图书信息的方法，包括图书标题、价格、链接和出版社，通过requests和lxml库实现数据抓取。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

先看源代码

import requests
from lxml import html

def spider(sn,book_list = []):
    """爬取京东图书数据"""
    url = 'https://search.jd.com/Search?keyword={0}'.format(sn) # 使用format方法获取图书sn号
    heard = {
   
    'User-Agent' : 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.79 Safari/537.36'}
    # 获取html文档
    resp = requests.get(url,headers=heard) # 取出头部
    resp.encoding = 'utf-8'
    html_doc = resp.text
    # 获取xpath对象
    selector = html