selenium爬取 阿里巴巴 商品目录页面

仅仅是获取商品目录，不需要登陆
逻辑很简单，打开首页，点击更多，逐层把目录的内容爬下来，同时编好关联的ID

注意：

1. 使用mongodb存储（因为不需要先建库，省事儿）
2. tqdm添加进度条，好看点
3. 不加载图片
4. 无头浏览器
5. 忽略一些警告
6. 模拟手机

from selenium import webdriver
from scrapy import Selector
import time
import pymongo
from tqdm import tqdm


# 链接到mongodb
client = pymongo.MongoClient('localhost', 27017)
# 数据库的名字：ali1688
db = client.ali1688

chrome_options = webdriver.ChromeOptions()
# 配置不加载图片
prefs = {
   
   "profile.managed_default_content_settings.images": 2}
chrome_options.add_experimental_option("prefs", prefs)
# 配置无头浏览器
chrome_options.add_argument('--headless')
# 忽略一些警告
chrome_options.add_argument('--log-level=3')
# 模拟手机浏览器
mobile_emulation =