
scrapy
清风醉-木寒暄
这个作者很懒,什么都没留下…
展开
-
python爬虫正则表达式
#建议在正则表达式种,被比较的字符串前面加上r,不用担心转义字符的问题1.创建模式对象mats = re.compile(r"AB") #此处的字符是正则表达式用来去验证其他的字符串mats.search("CCABDD") #search字符串备校验的内容2.没有模式对象m = re.search(r"abc","OPabcO") #前面的字符串是规则(模板),后面的字符串是被校验的对象...原创 2021-04-25 00:06:20 · 128 阅读 · 0 评论 -
PyCharm创建Scrapy项目
Scrapy安装好之后我们便可以创建自己的第一个爬虫项目了。一、首先用 win+r组合键打开命令窗口,进入要创建项目的目录。windows是用盘符加冒号即可进入对应的盘符。scrapy startproject 项目名(创建scrapy项目);命令执行完后便在你指定的目录下有对应的项目目录了。顺便我们介绍下常用的scrapy命令:bench:性能测试fetch:读取源代码genspider:生成爬虫文件runspider:运行爬虫文件settings:爬虫相关设置shell:原创 2021-04-16 23:28:36 · 3732 阅读 · 2 评论 -
windows使用pip安装Scrapy
一、下载Twisted插件下载地址:https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted点击下载地址后按ctrl+f组合键,搜索twisted,然后根据已安装python版本下载对应版本cp38表示python3.8版本 win32表示windows32位操作系统 win_amd64表示windows64位操作系统二、安装Twisted插件下载完成后windows+r >>> cmd 进入终端,输入pip inst.原创 2021-04-15 22:51:16 · 635 阅读 · 0 评论