Clarity_W的博客

#什么是模块 # #模块的导入方法# #包和模块的区别#

#面向对象的特性# #封装# #继承# #多态#

#面向对象##类##对象##私有属性与公有属性##私有函数与公有函数#

python#文件写入##文件读取##文件、文件夹操作#

知识点：递归、闭包&装饰器、生成器函数、lambda表达式#

函数代码块以def关键词开头，后接函数标识符名称和圆括号()。任何传入参数和自变量必须放在圆括号中间。圆括号之间可以用于定义参数。函数的第一行语句可以选择性地使用文档字符串—用于存放函数说明。函数内容以冒号起始，并且缩进。return [表达式]结束函数，选择性地返回一个值给调用方。不带表达式的return相当于返回 Nonedef 函数名(参数):"函数文档字符串"代码1代码2......

列表/元组/字典/集合的应用场景，格式，操作#

字符串是 Python 中最常用的数据类型。我们可以使用引号 (或) 来创建字符串。创建字符串很简单，只要为变量分配一个值即可。三引号创建字符串可以多行组成，三引号和双引号内容可包含单引号，无需转义符。

Python 提供了 for 循环和 while 循环。

异常即是一个事件，该事件会在程序执行过程中发生，影响了程序的正常执行。一般情况下，在Python无法正常处理程序时就会发生一个异常。异常是Python对象，表示一个错误。当Python脚本发生异常时我们需要捕获处理它，否则程序会终止执行。

输入输出类型转换

（1）apple=boy=cat="dog" 这种写法同下面的写法是一样的以上的变量名地址都是一样的，因为他们指定的变量都是一样的，可用print(id())验证。

网页中一个数据：333.67万我们在检查元素中的看到该部分数据是反爬的，即元素中看不出实际数据/文字，如图进入源代码中，源代码中获取的数据是加密后的数据，如图：把该串数据分成几部分 ，即33367。

分布式爬虫# #scrapy-redis#基于redis实现分布式爬虫，又名scrapy-redis，redis是一个基于内存的数据库。

使用中间件可以在爬虫的请求发起之前或者请求返回之后对数据进行定制化修改，从而开发出适应不同情况的爬虫。（2）当下载器完成下载时，获得到response对象，将它交给引擎的过程中，再一次经过下载中间件；实际上我们后面添加了start_request方法后，是最开始从start_request开始执行的，现在添加的地址并不起作用。地址也会过期，但由于每刷新一次地址就会变化，新的地址就会重新计时，因此不用担心过期问题。3.1通过测试ua地址的网站，我们实现返回当前使用的user-agent的值。

piplines实现异步抓取图片##post请求#

查找爬取动态加载的页面的数据##存储scrapy爬的数据##mySQL##MongoDB#

打开items文件，定义需存储数据的名称打开爬虫文件，导入：from 项目名称.items import 类名。