爬取京东商品信息

最新推荐文章于 2024-08-29 23:23:42 发布

wywwzjj

最新推荐文章于 2024-08-29 23:23:42 发布

阅读量874

点赞数 1

分类专栏： Python

本文链接：https://blog.youkuaiyun.com/weixin_42348709/article/details/84540422

版权

该博客主要介绍了如何爬取京东网站上的商品标题、店铺名、价格、评价数量以及商品链接，并将这些信息整理成Excel表格。由于是静态页面，解析过程相对简单。虽然代码可能不够美观，但博主欢迎读者提供改进意见。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

爬取商品的标题、店铺、价格、评价数以及链接，存储为Excel。

静态页面解析起来比较简单，有时间再补上分析过程。

效果如下：
屏幕捕获_2018_11_26_14_02_55_416.png

屏幕捕获_2018_11_26_13_57_53_864.png

附上代码：

import requests, re, datetime
from bs4 import BeautifulSoup
import urllib
import xlsxwriter
import threading

# class myThread(threading.Thread):
#     def __init__(self, html):
#         threading.Thread.__init__(self)
#         self.html = html
#     data = []
#     def run(self):
#         self.data = parsePage(self.html)
#
#     def get_data(self):
#         return self.data

def generateURL(good, pages=5):
    url_str = urllib.parse.quote(good)
    urls = ("https://search.jd.com/Search?keyword={}&enc=utf-8&qrst=1&rt=1&stop=1&vt=2&offset=4&page={}&s=1&click=0".format(url_str, i) for i in range(1, pages*2, 2))
    return urls


def get_html(url):
    try:
        headers = {
   
            "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36",
            'ContentType': 'text/html; charset=utf-8',
            'Accept-Encoding': 'gzip, deflate, sdch',
            'Accept-Language': 'zh-CN,zh;q=0.8',
            'Connection': 'keep-alive'
        }
        html = requests.get(url, headers

最低0.47元/天解锁文章