使用Selenium爬取淘宝商品信息

学了点Python基础后,跟着视频学了点爬虫。

此代码是爬取淘宝美食信息并且存储到Mongodb,可以根据输入不同的关键字,爬取各种淘宝商品

爬取的过程中还遇到了一些坑
比如执行borwser = webdriver.Chrome()的时候抛出了Message: ‘chromedriver’ executable needs to be in PATH.Please see …”异常,后来百度了,下载了chromedriver.exe放在pyhton主目录下就OK了
明明是照着视频里老师代码一模一样的执行,却遇到了很多问题,最后经过不懈的百度,最终可以运行并且成功地存储到了Linux系统下的mongodb数据库~
这里写图片描述

代码:
import re
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.common.exceptions import TimeoutException
from pyquery import PyQuery as pq
import pymongo
from PaChong import config

mongodb连接

clie

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值