Python爬虫 商品信息

首先，我们需要确认爬取的网站地址。在本例中，我们要爬取的是京东电脑商品信息，因此我们需要找到京东网站的搜索页面地址：https://search.jd.com/Search?keyword=电脑&enc=utf-8

import requests

 

url = 'https://search.jd.com/Search?keyword=电脑&enc=utf-8'

response = requests.get(url)

html = response.text

接着，我们用 Python 代码发送 HTTP 请求，获取搜索页面的 HTML 内容。这里我们使用 requests 模块来发送请求：

import requests url = 'https://search.jd.com/Search?keyword=电脑&enc=utf-8' response = requests.get(url) html = response.text

---

然后，我们使用 Beautiful Soup 模块来解析 HTML 内容，提取我们需要的信息。我们可以通过浏览器的页面审查工具来确定需要提取的标签和类名（这里我只爬取了电脑名称，价格，和商品链接）：

from bs4 import BeautifulSoup

 

soup = BeautifulSoup(html, 'html.parser')

items = soup.select('.gl-item')

 

for item in items:

    name = item.select('.p-name em')[0].text.strip()

    price = item.select(