TCP404

Let's Go

正则表达式bs4xpath (*)

基本使用

使用场景通用爬虫：抓取系统重要组成部分，抓取的是一整张页面数据。聚焦爬虫：建立在通用爬虫之上，抓取的是页面中特定的局部内容。增量爬虫：检测网站中数据更新的情况，只会抓取网站中最新的数据。

map、filter、reduce

闭包：一个能接收函数并返回函数的函数

切片、迭代、列表生成式、生成器、迭代器

json to string、string to json

正则表达式是用来处理字符串的，重在处理规则常用正则：年份匹配：^((19|20)\d{2})$手机号码：^1[3456789]\d{9}$E-mail地址：^[\w-]+(\.[\w-]+)*@[\w-]+(\.[\w-]+)+$网址URL：http://(/[\w-]+\.)+[\w-]+(/[\w-./?%&=])

基本使用、转义字符、下标查找、判断、计数、替换、分割、切片转换大小写、填充、修剪、拼接、编码长度、格式化、不可变性

Python的自带模块 os 可以进行许多与操作系统相关的操作。

同步和异步的区别就在于是否等待IO执行的结果。好比你去麦当劳点餐，你说“来个汉堡”，服务员告诉你，对不起，汉堡要现做，需要等5分钟，于是你站在收银台前面等了5分钟，拿到汉堡再去逛商场，这是同步IO。你说“来个汉堡”，服务员告诉你，汉堡需要等5分钟，你可以先去逛商场，等做好了，我们再通知你，这样你可以立刻去干别的事情（逛商场），这是异步IO。很明显，使用异步IO来编写程序性能会远远高于同步IO，但是异步IO的缺点是编程模型复杂。想想看，你得知道什么时候通知你“汉堡做好了”，而通知你的方法也各不相同。如果

协程，时间管理大师.使用 yield 实现并发使用 greenlet 实现并发使用 gevent 实现并发

创建子线程并启动函数方式继承方式插队 join()查看所有线程多线程共享全局变量锁死锁

进程，是资源分配的单位线程，是操作系统调度的单位进程的状态创建进程进程间通信进程池

进程是内存资源分配的单位线程是操作系统调度的单位，真正执行任务的是线程协程是线程中任务细分下来的单位

创建枚举基于 class 语法创建基于 Function API 创建访问枚举成员枚举遍历枚举比较限定枚举唯一性

`__str__()``__call__()``__iter__()``__getattr__()`

Python 是动态语言，可以在程序运行过程中动态地给class加上属性或方法。这种不加以节制的特性很容易造成烂代码一堆。对此 Python 提供了一些解决方案。slots 变量绑定白名单、@property

面向对象三大特性：封装、继承、多态

模块，代码的抽取

测试分为 单元测试、组件测试、系统测试、性能测试，逐级上升。所谓的测试驱动开发(TDD：Test-Driven Development)，就是说每写完一个小功能，就要做一个完整的单元测试，每次进行改动以后都要进行一次单元测试，以确保功能正常。每个单元测试都通过以后就可以进行组件测试，所有组件测试都通过就可以进行系统测试，系统测试通过就可以进行性能测试，性能测试类似于“烤机”，测试系统的最大承受能力，承受峰值等等。单元测试单元测试就是对一个模块、一个函数或者一个类进行正确性检验的检测工作举个栗子：

大型项目中，一般都是使用日志来调试程序。不过有时候有一小块代码想做调试的时候，可以用print和assert。

错误处理try...except1...[exceptN...[finally...]

定义函数调用函数返回值

算术运算符比较运算符赋值运算符海象运算符/成为运算符/命名表达式运算符位运算符逻辑运算符成员运算符身份运算符三目运算符运算符优先级

常见内置类型数值类型：int、float、complax（复数）、bool序列类型：list、bytes、range、tuple、string、array映射类型：dict集合类型：set、frozenset上下文管理类型：with可变类型：list、set、dict不可变类型：int、float、string、tuple基本数据类型整型可以是任意大小的整数与数学上的表示方法一样 如：1，100，-800，0可以用十六进制表示法

判断循环forrange()whilebreakcontinueelsepass

输入 & 输出输出变量数据类型运算符缩进多行语句注释

解释器CPythonPyPyJythonIronPython命令行模式 & 交互模式命令行模式Python交互模式文件名直接运行.py文件中文编码python的一切皆对象

缓冲区 buffer用户按下Enter键之前不会重复打印刚输入的字符，这种输入形式属于缓冲输入。缓冲分两种：完全缓冲I/O当缓冲区被填满时才刷新缓冲区（内容被发送至目的地），通常出现在文件输入中。缓冲区大小取决于系统，常见大小是 512 byte 和 4096 byte。行缓冲I/O在出现换行符时才刷新缓冲区。键盘输入通常是行缓冲输入。在按下Enter后刷新缓冲区。早先缓...

文章目录

文章目录6.16.16.16.26.16.46.16.56.16.66.16.76.16.86.16.96.16.106.16.116.16.126.16.136.16.146.16.156.16.166.16.176.16.186.16.1/*****编写一个程序，创建一个包含26个元素的数组，并在其中存储26个小写字母。***然后打印数组的所有内容。**/#include &lt...

【4.8.1】/**编写一个程序，提示用户输入名和姓，然后以“名，姓”的格式打印出来**/#include <stdio.h>int main() { char last_name[20]; char first_name[20]; printf("\n请输入您的姓氏：\n"); scanf("%s",first_name); pr

【3.11.2】/*编写一个程序，要求提示输入一个ASCLL码值（如，66），然后打印输入的字符*/#include <stdio.h>int main(){ int ascll; printf("请输入一个Ascll码（0~127）："); scanf("%d", & ascll); if(ascll <= 127) { printf("

【2.12.1】/***************************************************** *编写一个程序，调用一次printf函数把你的姓名打印在一行 *再调用一次printf函数，把你的姓名分别打印在两行 *再调用两次printf函数，把你的姓名打印在一行 。 ***********************************************

5.11.15.11.25.11.35.11.45.11.55.11.65.11.75.11.85.11.9

方法重载 · 同一个类中两个或以上的方法可以有同一个名字，只要参数声明不同即可方法的参数类型相同，个数不同；方法的参数个数相同，类型不同；重载只跟方法的参数类型和个数相关，跟返回值无关；public int cdd(int x, int y){ return x+y; }public int cdd(int x, int y ,int z）{ retur

声明字符串必须经过初始化才能使用。String srt = null;用一个字符数组a创建String对象；char a[]{'g','c','d'};String k = new String(a);等于String k = new String("gcd");截取字符串；String (char a[],开始截取的位置下标，要截取的长度）char a[]{'k','j','l','r

包：package类：class引入相关包、类：import标识符=名字声明（创建）变量↘数据类型 标识符; —— int iction； 数据类型 + 标识符 = 值；—— int iction = 10;数据类型：int、char、String、double、boolean等； 标识符：变量的名字； 值：与数据类型相对应；声明（创建）常量↘final 数据类型 标识符 = 值；