使用selenium爬取淘宝店铺信息

使用selenium +PhantomJS()/Chrome爬取 淘宝页面,存储到mongdb中


使用config进行一些设置

MONGO_URL = 'localhost'
MONGO_DB = 'taobao'
MONGO_TABLE = 'product'

# 将图片设定为不下载
SERVICE_ARGS = ['--load-images=false', '--disk-cache=true']

# 搜索名称
KEYWORD = '情人节礼物'




在编写代码的时候要注意,可以先使用Chrome 运行,当将代码调试完毕后,在改为PhantomJS

代码如下

import re
from selenium import webdriver
from selenium.common.exceptions import TimeoutException
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from pyquery import PyQuery as pq
from config import *
import pymongo


client = pymongo.MongoClient(MONGO_URL)
db = client[MONGO_DB]


browser = webdriver.PhantomJS()
wait = WebDriverWait(browser, 10)


browser.set_window_size(1400, 900)


def search():
  &nb

评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值