学了点Python基础后,跟着视频学了点爬虫。
此代码是爬取淘宝美食信息并且存储到Mongodb,可以根据输入不同的关键字,爬取各种淘宝商品
爬取的过程中还遇到了一些坑
比如执行borwser = webdriver.Chrome()的时候抛出了Message: ‘chromedriver’ executable needs to be in PATH.Please see …”异常,后来百度了,下载了chromedriver.exe放在pyhton主目录下就OK了
明明是照着视频里老师代码一模一样的执行,却遇到了很多问题,最后经过不懈的百度,最终可以运行并且成功地存储到了Linux系统下的mongodb数据库~
代码:
import re
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.common.exceptions import TimeoutException
from pyquery import PyQuery as pq
import pymongo
from PaChong import config
mongodb连接
clie