python[爬虫]运用selenium库抓取京东手机信息

最新推荐文章于 2021-10-28 15:23:56 发布

py别为难我胖虎

最新推荐文章于 2021-10-28 15:23:56 发布

阅读量831

点赞数 2

CC 4.0 BY-SA版权

分类专栏： python 爬虫文章标签： python selenium 爬虫

本文链接：https://blog.youkuaiyun.com/weixin_41838105/article/details/88824611

本文介绍了如何使用selenium库配合Python3.6进行京东手机信息的爬取，涉及到的工具有Chrome浏览器及对应webdriver、MongoDB数据库。在爬取过程中，作者遇到并解决了元素定位错误、爬取页面限制以及自身语法错误等问题，记录了整个过程以供参考。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1. 准备工作

IDE: pycharm
PY版本：python3.6
库：selenium pyquery等
浏览器：Chrome ，webdriver （版本要互相对应才能用）
数据库：MongoDB

2. 具体操作，上code

#-*-coding:utf-8-*-
import re
import time
from selenium import webdriver
from selenium.common.exceptions import TimeoutException
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from pyquery import PyQuery as pq
from config import *
import pymongo

#应该加个header更稳妥些

client = pymongo.MongoClient(MONGO_URL)  #声明
db = client[MONGO_DB]

broswer = webdriver.Chrome()
wait = WebDriverWait(broswer,50)  #最大等待时间50
def search():
    try:
        broswer.get('https://www.jd.com/') #淘宝需要cookie 下次爬
        input = wait.until(
            EC.presence_of_element_located((By.CSS_SELECTOR,'#key'))
        ) #F12 定位到COPY-CSS-SECECTOR
        submit = wait.until(EC.element_to_be_clickab