- 博客(20)
- 收藏
- 关注
RSS订阅原创 scrapy部署， Gerapy 分布式爬虫管理部署使用
scrapy部署介绍相关的中文文档地址 https://scrapyd.readthedocs.io/en/latest/ 安装相关库 scrapyd 是运行scrapy爬虫的服务程序,它支持以http命令方式发布、删除、启动、停止爬虫程序。而且scrapyd可以同时管理多个爬虫,每个爬虫还可以有多个版本 pip3 install scrapyd scrapyd-client 发布爬虫需要使用另...
2019-09-22 18:59:52
390
原创 分布式爬虫、redis数据库
为什么要学习scrapy_redis Scrapy_redis在scrapy的基础上实现了更多，更强大的功能，具体体现在：reqeust去重，爬虫持久化，和轻松实现分布式 安装 pip3 install scrapy-redis Scrapy-redis提供了下面四种组件（components）：(四种组件意味着这四个模块都要做相应的修改) Scheduler Duplication Filt...
2019-09-21 16:29:46
363
原创 线程和线程池
线程 python的thread模块是比较底层的模块，python的threading模块是对thread做了一些包装的，可以更加方便的被使用。 线程是cpu执行的基本单元 线程之间的执行是无序的 同一进程下的线程的资源是共享的 （线程锁，互斥锁） 线程可以实现多任务，多用来处理I/O密集型任务 1.使用threading模块 import threading GIL全局解释器锁 GIL:...
2019-09-10 20:18:55
184
原创 CSS 选择器：BeautifulSoup4、pyQuery解析器
CSS 选择器：BeautifulSoup4 和 lxml 一样，Beautiful Soup 也是python的一个HTML/XML的解析器，用它可以方便的从网页中提取数据。 lxml 只会局部遍历，而Beautiful Soup 是基于HTML DOM的，会载入整个文档，解析整个DOM树，因此时间和内存开销都会大很多，所以性能要低于lxml。 使用安装方法 pip install beauti...
2019-09-10 18:56:28
329
原创 爬虫xpath、requests
为什么使用Requests库 python的标准库中urllib模块已经包含了平常我们使用的大多数功能，但是它的API使用起来让人感觉不太好，Requests继承了urllib的所有特性，并且API使用更方便，可以简化我们的代码 安装方式 利用 pip 安装 或者利用 easy_install 都可以完成安装： pip3 install requests 基本GET请求 import reque...
2019-09-09 19:05:31
281
原创 爬虫urllib、正则
urllib **request:**他是最基本的HTTP请求模块，可以用来模拟发送请求，就像在浏览器中输入网址，然后敲击回车键一样，使用的时候只需要给库方法传入相关的url和相关的参数即可。 **error：**异常处理模块，如果出现请求错误，我们可以使用这个模块来捕获异常，然后进行重试或者其他操作，保证程序不会意外终止。 parse: 这是一个工具模块，提供了许多url的处理方法，比如拆分,解...
2019-09-07 17:18:22
192
原创 python正则
python正则 re模块操作 在python中需要通过正则表达式对字符串进行匹配的时候，可以使用一个模块，名字为re 1、re模块的使用过程 #导入 re模块 import re result = re. match(‘正则表达式’,‘要匹配的字符串’） result. group() ##re.match是用来进行正则匹配检查的方法，若字符串匹配正则表达式，则match方法返回匹配对象（Mat...
2019-01-03 20:40:19
441
原创 python
** 1、 什么是重写？** 当发生继承时，子类中有一个跟父类的方法名，参数都完全一致时，称子类的方法重写了父类的方法，或者叫覆盖了父类的方法。 例如： class Cat(object): def sayHello(self): print(‘halou-----1’) class Bosi(Cat): def sayHello(self): print(‘halou-----2’) bosi ...
2019-01-03 19:44:10
125
原创 python中的继承
单继承 1、继承的概念 在程序中，继承描述的是事物之间的所属关系，例如猫和狗都属于动物，程序中便可以描述为猫和狗继承自动物。 #定义一个父类，如下： class Cat(object): def init(self,name,color =‘白色’): self.name = name self.color = color def run(self): print(’%s --再跑’%self.n...
2019-01-03 15:55:58
1227
1
原创 python 学习笔记（2）
列表 列表运算符： 1） + 列表的拼接 2） * 列表的重复 3） in 判断元素是否在列表中，若在返回True，不在则返回False 4） [ ] 列表的索引 5） [ : ] 列表的切片 列表的查询： 1） len(list) 获取list的长度 2） max(list) 获取list元素的最大值 3） min(list) 获取list元素的最小值 4） list.count(obj) 统计...
2019-01-02 20:31:56
133
原创 python学习笔记----字符串
字符串 字符串：包含在’ ’或者” ”中，可以用三引号或者三个双引号进行多行输入（三个单引号或者三个单引号还可用作跨行注释，单行注释用#） 字符串的修改： 1）string.title() 标题格式，每个单词首字母大写 2）string.upper() 全部大写 3）string.lower() 全部小写 4）string.capitalize() 字符串的首字母大写 5）string.cente...
2019-01-02 20:27:11
217
原创 文件的备份
python 文件处理二 01文件备份系统 需求：输入文件的名字，然后程序自动完成对文件进行备份 oldFileName = input(“请输入要拷贝的文件名字:”) oldFile = open(oldFileName,‘r’) #如果打开文件 if oldFile: 提取文件的后缀 fileFlagNum = oldFileName.rfind(’.’) if fileFlagNum >...
2019-01-02 20:07:09
277
原创 python的文件处理
python高级 ——文件的处理 01、文件的打开和关闭 打开文件（open（文件名，访问模式）） f = open(‘test.txt’,‘w’) 访问模式 r 、w、a、rb、wb、ab、r+、w+、a+、rb+、wb+、ab+ 关闭文件 f.close() 02、文件的读写 写数据 f = open(‘test.txt’,‘w’) f.write(‘hello world’) f.close...
2019-01-02 19:53:13
223
原创 学生管理系统
学生管理系统 定义一个函数，显示可以使用的功能列表给用户 def showInfo(): print(’*‘30) print(’ 学生管理系统 v1.0’) print(‘1、添加学生的信息’) print(‘2、删除学生的信息’) print(‘3、修改学生的信息’) print(‘4、查询学生的信息’) print(‘5、便利所有学生的信息’) print(‘6、退出系统’) pr...
2019-01-02 16:39:06
196
原创 Python小知识
python 1、python中的数据类型 整形、浮点型、布尔、复数、集合、列表 字典、元组、字符串 2、python中的运算符都有哪些分类，每个分类分别举例 算术运算符： + - * /等 赋值运算符：= 关系运算符： > < ==等 成员运算符：in 、 not in 逻辑运算符：and、 or 、not 身份运算符： is 、 is not 复合运算符： += 、-= 、/...
2019-01-02 16:30:06
152
原创 python练习题
python练习题 银行流程 account = ‘wangyundong’ password = ‘123456’ money = 10000 userAccount = input(‘请输入账号：’) userPsw = input(‘请输入密码：’) if account == userAccount and password == userPsw: userMoney = int( in...
2018-12-02 14:22:25
2985
1
原创 python 基础
python练习题 乘法口诀表 line = int(input(‘请输入乘法表的行数：’)) i =1 while i <= line: row = i star = 1 while star <= row: print(’%d x %d =%d’ %(star,row ,star*row)end =’ /t ‘) star +=1 print(’ ') i += 1 王者游戏设置 ...
2018-12-02 14:11:45
131
原创 python基本练习题
python基本练习题 打印等腰三角形 line =int(input(‘请输入等腰三角形的边长’)) row = 1 while row <= line: space1 <= line - row +1 while space1 >0: print(’ ‘,end =’ ’ ) space1 -= 1 star =2row -1 while star2 >0: print...
2018-12-02 13:21:39
256
翻译 python的基本代码
** Python的基本代码 让用户输入两个数字，打印其中较大的数字 x =int(input(‘输入第一个数’)) y =int(input(‘输入的二个字’)) if x&gt;y: print(x) else: print(y) **西瓜3.5元一斤，让用户输入购买的斤数，然后计算出需要付的金额，并打印** price_str =‘3.5’ price_str =input(‘请输入西瓜价...
2018-11-25 19:06:22
935
原创 Linux基础
linux的语言改变方法（如何把英文转换为中文） 首先点击右上角的“设置”（齿轮状），选择里面的语言（language）点击，进入语言支持界面，点击添加或删除语言（install）选上China（simplified）,在键盘输入法上选择fcitx最后选择应用到整个系统，退出，注销虚拟机，再次打开就会转换成中文 Linux的常用命令 1.ls 查看文件信息 2.> 输出重定向命令 3.mor...
2018-11-18 15:20:17
174
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人