
python爬虫环境配置
jia666666
生活本无趣,有趣的是人
展开
-
python爬虫-selenium安装
前提已安装谷歌浏览器已安装python且环境配置正确个人配置:python3.9.0+谷歌浏览器87.0.4280.88(正式版本)一、查看谷歌浏览器版本复制浏览器打开即可:chrome://settings/help二、谷歌驱动下载打开链接:https://npm.taobao.org/mirrors/chromedriver/选择谷歌浏览器对应版本驱动根据自身系统选择对应驱动三、环境配置pip install selenium 复制驱动到python目录下,原创 2020-12-29 17:57:55 · 341 阅读 · 0 评论 -
python调用IDM
命令行参数实例一 os.system()def IDMdownload(DownUrl, DownPath, FileName): IDMPath = "D:\下载工具\IDM6.31.3\Internet Download Manager\\" os.chdir(IDMPath) IDM = "IDMan.exe" command = ' '.join([IDM, '/d', DownUrl, '/p', DownPath, '/f', FileName, '/转载 2020-07-29 20:50:29 · 3167 阅读 · 3 评论 -
tesseract安装及环境配置
tesseract安装及环境配置下载链接:https://digi.bib.uni-mannheim.de/tesseract/安装没有多余要求,默认安装就可以,有需要可以更改安装位置的!记住安装路径!!!!!!配置环境变量名:TESSDATA_PREFIX变量值:安装路径\tessdata验证pytesseract安装及环境配置安装pip install pytesseract环境配置测试import requestsfrom PIL impo.原创 2020-07-29 14:18:41 · 2316 阅读 · 0 评论 -
Python3安装Scrapy
准备运行平台:Windows 7 Python版本:Python3.6.5 IDE:pycharm一、Scrapy简介 Scrapy是一个为了爬取网站数据提取结构性数据而编写的应用框架,可以应用于数据挖掘,信息处理或存储历史数据等一些列的程序中。Scrapy最初就是为了网络爬取而设计的。现在,Scrapy已经推出了曾承诺过的Python3.x版本。 为什么学习Sc...原创 2018-08-31 16:03:53 · 456 阅读 · 0 评论 -
Redis环境安装(分布式爬虫数据存储)
Redis 安装Window 下安装下载地址:https://github.com/MSOpenTech/redis/releases Redis 支持 32 位和 64 位。这个需要根据你系统平台的实际情况选择, 我这里是window,选择msi进行下载安装安装路径可以自定义,记得勾选添加环境变量,一直下一步就很快安装完毕了 可视化工具安装发行版本链接:ht...原创 2018-08-30 10:10:19 · 1441 阅读 · 0 评论 -
MangoDB环境配置
MangoDB前言MongoDB是一个基于分布式文件存储的数据库。由C++语言编写。旨在为WEB应用提供可扩展的高性能数据存储解决方案。 MongoDB是一个介于关系数据库和非关系数据库之间的产品,是非关系数据库当中功能最丰富,最像关系数据库的。他支持的数据结构非常松散,是类似json的bson格式,因此可以存储比较复杂的数据类型。Mongo最大的特点是他支持的查询语言非常强大,其语...原创 2018-08-29 20:50:43 · 1096 阅读 · 0 评论