qq_37245700的博客

1.环境python3.8pycharm2021.2需要导入包import timefrom io import BytesIOfrom scipy import signalfrom PIL import Imagefrom selenium import webdriverfrom selenium.webdriver.common.by import Byfrom selenium.webdriver.support import expected_conditions as EC

1.环境python3.8或python3.7pycharm2021.2MongoDBScrapy2.信息提取2.1 创建Scrapy项目在cmd模式下创建Scrapy项目# 进入要存放该项目的文件夹下cd E:\Scrapy Project# 创建Scrapy项目scrapy startproject douban# 进入该项目下，“douban”这个文件夹有一个一级文件夹和二级文件夹，我们只用进入一级文件夹cd douban# 创建Spiderscrapy genspide

1.准备工作1.1访问动态页面必须先安装selenium​ 在cmd界面下：pip3 install selenium​ 测试是否安装成功python3import selenium1.2再安装Chromedrive​ 首先必须查看chrome浏览器的版本号，在中的"帮助"下的"关于Google Chrome"，点开就可以看到：，然后在"http://npm.taobao.org/mirrors/chromedriver/"中找到对应版本下载，然后解压到"C:\Users\as

1.环境python3.7pycharm2020.12.准备工作2.1安装lxml在cmd模式下，pip install lxml在cmd模式下测试pythonimport lxml如果没有报错，那么就证明库已经安装好了。2.2安装BeautifulSoup在cmd模式下pip install beautifulsoup4在python编译器中测试from bs4 import BeautifulSoupsoup = BeautifulSo