8.1 淘宝实战selinum代码完整

最新推荐文章于 2025-06-03 08:48:56 发布

原创

最新推荐文章于 2025-06-03 08:48:56 发布 · 3.6k 阅读

6 ·

CC 4.0 BY-SA版权

案例三：爬取淘宝）
1 mongodb打开方法之前讲过。+++
2  如果用requests的方式需要准备一定量的ip，所以此次采用selinum方式
3  注意此次使用pyquery解析，和前端挂钩。
--------------------------------------------------------------------------------


实战环节
爬取淘宝网有关“鞋子”的商品信息，并把爬取的数据存储在MongoDB数据库中（这里为了方便大家测试，只是把信息输出）
首先前往淘宝网；
分析搜索框的xpath语句，并send_keys(‘鞋子’)；
分析页面，找到每条商品的信息，使用xpath提取数据并将其存储成字典的格式，输出该字典；
找到下一页的按钮，模拟点击它，并循环第3步，直到循环结束 。

文章参考链接必看[：](https://www.cnblogs.com/zhaof/p/6953241.html)[https://www.cnblogs.com/zhaof/p/6953241.html]

css基础：#表示id ，.表示class

而淘宝页面上那个value是淘宝工程师做的一个下一页的预处理，而我们要获取的不是value，而是input，所以可以不用管

class=“A B”这代表有A和B两个类

link

完整代码：
#! /usr/bin/env python
# -*- coding:utf-8 -*-

from selenium import webdriver
from selenium.webdriver.common.by import By  #查找元素的方法，此次用于搜索框查找
from selenium.webdriver.support.ui import WebDriverWait #显示等待，设置