python+selenium 亚马逊商品信息采集

最新推荐文章于 2025-07-02 21:03:08 发布

原创

最新推荐文章于 2025-07-02 21:03:08 发布 · 913 阅读

6 ·

CC 4.0 BY-SA版权

文章标签：

#python #selenium #爬虫

本文介绍了如何使用Selenium进行网页抓取，通过实例演示如何定位元素、模拟用户行为并处理动态内容，适用于Python开发者处理亚马逊商品信息的爬虫案例。

小编最近因为要爬取该网站，发现之前的代码用不了！

所以有了这编文章，原因是因为用requets获取的源码与网页显示不一样，只能逼着我使用selenium，通过本编文章给大家讲解一下selenium基本场景运用。
1. 照常，打开F12分析网页，获取xpath,这里提醒一下大家，最好是通过右键查看源代码来获取，检查与我们实际得到的代码还是有些不一致的！
- 废话少说，直接上代码

from selenium import webdriver
from lxml import etree
from selenium.webdriver.common.by import By  # 按照什么方式查找，By.ID,By.CSS_SELECTOR
from selenium.webdriver.common.keys import Keys  # 键盘按键操作
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.wait import WebDriverWait  # 等待页面加载某些元素
import csv
import time
all_list = []
class Amazon(object):
    def __init__(self):
        self.url = 'https://www.amazon