- 博客(20)
- 收藏
- 关注
RSS订阅原创 scrapy部署， Gerapy 分布式爬虫管理部署使用
scrapy部署介绍相关的中文文档地址https://scrapyd.readthedocs.io/en/latest/安装相关库scrapyd是运行scrapy爬虫的服务程序,它支持以http命令方式发布、删除、启动、停止爬虫程序。而且scrapyd可以同时管理多个爬虫,每个爬虫还可以有多个版本pip3 install scrapydscrapyd-client发布爬虫需要使用另...
2019-09-22 18:59:52
343
原创 分布式爬虫、redis数据库
为什么要学习scrapy_redisScrapy_redis在scrapy的基础上实现了更多，更强大的功能，具体体现在：reqeust去重，爬虫持久化，和轻松实现分布式安装pip3 install scrapy-redisScrapy-redis提供了下面四种组件（components）：(四种组件意味着这四个模块都要做相应的修改)SchedulerDuplication Filt...
2019-09-21 16:29:46
334
原创 线程和线程池
线程python的thread模块是比较底层的模块，python的threading模块是对thread做了一些包装的，可以更加方便的被使用。线程是cpu执行的基本单元线程之间的执行是无序的同一进程下的线程的资源是共享的 （线程锁，互斥锁）线程可以实现多任务，多用来处理I/O密集型任务1.使用threading模块import threadingGIL全局解释器锁 GIL:...
2019-09-10 20:18:55
147
原创 CSS 选择器：BeautifulSoup4、pyQuery解析器
CSS 选择器：BeautifulSoup4和 lxml 一样，Beautiful Soup 也是python的一个HTML/XML的解析器，用它可以方便的从网页中提取数据。lxml 只会局部遍历，而Beautiful Soup 是基于HTML DOM的，会载入整个文档，解析整个DOM树，因此时间和内存开销都会大很多，所以性能要低于lxml。使用安装方法pip install beauti...
2019-09-10 18:56:28
295
原创 爬虫xpath、requests
为什么使用Requests库python的标准库中urllib模块已经包含了平常我们使用的大多数功能，但是它的API使用起来让人感觉不太好，Requests继承了urllib的所有特性，并且API使用更方便，可以简化我们的代码安装方式利用 pip 安装 或者利用 easy_install 都可以完成安装：pip3 install requests基本GET请求import reque...
2019-09-09 19:05:31
249
原创 爬虫urllib、正则
urllib**request:**他是最基本的HTTP请求模块，可以用来模拟发送请求，就像在浏览器中输入网址，然后敲击回车键一样，使用的时候只需要给库方法传入相关的url和相关的参数即可。**error：**异常处理模块，如果出现请求错误，我们可以使用这个模块来捕获异常，然后进行重试或者其他操作，保证程序不会意外终止。parse: 这是一个工具模块，提供了许多url的处理方法，比如拆分,解...
2019-09-07 17:18:22
163
原创 python正则
python正则re模块操作在python中需要通过正则表达式对字符串进行匹配的时候，可以使用一个模块，名字为re1、re模块的使用过程#导入 re模块import reresult = re. match(‘正则表达式’,‘要匹配的字符串’）result. group()##re.match是用来进行正则匹配检查的方法，若字符串匹配正则表达式，则match方法返回匹配对象（Mat...
2019-01-03 20:40:19
414
原创 python
** 1、 什么是重写？**当发生继承时，子类中有一个跟父类的方法名，参数都完全一致时，称子类的方法重写了父类的方法，或者叫覆盖了父类的方法。例如：class Cat(object):def sayHello(self):print(‘halou-----1’)class Bosi(Cat):def sayHello(self):print(‘halou-----2’)bosi ...
2019-01-03 19:44:10
106
原创 python中的继承
单继承1、继承的概念在程序中，继承描述的是事物之间的所属关系，例如猫和狗都属于动物，程序中便可以描述为猫和狗继承自动物。#定义一个父类，如下：class Cat(object):def init(self,name,color =‘白色’):self.name = nameself.color = colordef run(self):print(’%s --再跑’%self.n...
2019-01-03 15:55:58
1185
1
原创 python 学习笔记（2）
列表列表运算符：1） + 列表的拼接2） * 列表的重复3） in 判断元素是否在列表中，若在返回True，不在则返回False4） [ ] 列表的索引5） [ : ] 列表的切片列表的查询：1） len(list) 获取list的长度2） max(list) 获取list元素的最大值3） min(list) 获取list元素的最小值4） list.count(obj) 统计...
2019-01-02 20:31:56
107
原创 python学习笔记----字符串
字符串字符串：包含在’ ’或者” ”中，可以用三引号或者三个双引号进行多行输入（三个单引号或者三个单引号还可用作跨行注释，单行注释用#）字符串的修改：1）string.title() 标题格式，每个单词首字母大写2）string.upper() 全部大写3）string.lower() 全部小写4）string.capitalize() 字符串的首字母大写5）string.cente...
2019-01-02 20:27:11
194
原创 文件的备份
python 文件处理二01文件备份系统需求：输入文件的名字，然后程序自动完成对文件进行备份oldFileName = input(“请输入要拷贝的文件名字:”)oldFile = open(oldFileName,‘r’)#如果打开文件if oldFile:提取文件的后缀fileFlagNum = oldFileName.rfind(’.’)if fileFlagNum >...
2019-01-02 20:07:09
251
原创 python的文件处理
python高级 ——文件的处理01、文件的打开和关闭打开文件（open（文件名，访问模式））f = open(‘test.txt’,‘w’)访问模式r 、w、a、rb、wb、ab、r+、w+、a+、rb+、wb+、ab+关闭文件f.close()02、文件的读写写数据f = open(‘test.txt’,‘w’)f.write(‘hello world’)f.close...
2019-01-02 19:53:13
200
原创 学生管理系统
学生管理系统定义一个函数，显示可以使用的功能列表给用户def showInfo():print(’*‘30)print(’ 学生管理系统 v1.0’)print(‘1、添加学生的信息’)print(‘2、删除学生的信息’)print(‘3、修改学生的信息’)print(‘4、查询学生的信息’)print(‘5、便利所有学生的信息’)print(‘6、退出系统’)pr...
2019-01-02 16:39:06
175
原创 Python小知识
python1、python中的数据类型整形、浮点型、布尔、复数、集合、列表字典、元组、字符串2、python中的运算符都有哪些分类，每个分类分别举例算术运算符： + - * /等赋值运算符：=关系运算符： > < ==等成员运算符：in 、 not in逻辑运算符：and、 or 、not身份运算符： is 、 is not复合运算符： += 、-= 、/...
2019-01-02 16:30:06
134
原创 python练习题
python练习题银行流程account = ‘wangyundong’password = ‘123456’money = 10000userAccount = input(‘请输入账号：’)userPsw = input(‘请输入密码：’)if account == userAccount and password == userPsw:userMoney = int( in...
2018-12-02 14:22:25
2940
1
原创 python 基础
python练习题乘法口诀表line = int(input(‘请输入乘法表的行数：’))i =1while i <= line:row = istar = 1while star <= row:print(’%d x %d =%d’ %(star,row ,star*row)end =’ /t ‘)star +=1print(’ ')i += 1王者游戏设置 ...
2018-12-02 14:11:45
111
原创 python基本练习题
python基本练习题打印等腰三角形line =int(input(‘请输入等腰三角形的边长’))row = 1while row <= line:space1 <= line - row +1while space1 >0:print(’ ‘,end =’ ’ )space1 -= 1star =2row -1while star2 >0:print...
2018-12-02 13:21:39
236
翻译 python的基本代码
**Python的基本代码让用户输入两个数字，打印其中较大的数字x =int(input(‘输入第一个数’))y =int(input(‘输入的二个字’))if x&gt;y:print(x)else:print(y)**西瓜3.5元一斤，让用户输入购买的斤数，然后计算出需要付的金额，并打印**price_str =‘3.5’price_str =input(‘请输入西瓜价...
2018-11-25 19:06:22
901
原创 Linux基础
linux的语言改变方法（如何把英文转换为中文）首先点击右上角的“设置”（齿轮状），选择里面的语言（language）点击，进入语言支持界面，点击添加或删除语言（install）选上China（simplified）,在键盘输入法上选择fcitx最后选择应用到整个系统，退出，注销虚拟机，再次打开就会转换成中文Linux的常用命令1.ls 查看文件信息2.> 输出重定向命令3.mor...
2018-11-18 15:20:17
151
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人