Maystyle的博客

python爬虫遵守规则按照爬虫规模分类爬虫可能会带来的问题一般网站对爬虫的限制以及如何遵守按照爬虫规模分类注意：针对爬取全网，python不提供第三方库。爬虫可能会带来的问题1.骚扰问题2.法律问题3.隐私泄露问题受限于编写水平和目的，网络爬虫可能会给web服务器带来巨大的资源开销。一般网站对爬虫的限制以及如何遵守来源审查：这种方法需要维护人员技术上的支持。Robots协议：不是强制性要求，违反可能会承担法律责任。通过上述语法对不同代理，制定不同规范。比如查看百度：

首先分析一段简短十分初级的爬虫代码>>>import requests>>>r=requests.get("http://www.baidu.com")>>>print(r.status_code)200>>>type(r)<class 'requests.models.Response'>当import requests库时会在内部生成Request对象，此类的方法如下：get方法通过url参数返回一个

函数内建立的变量叫局部变量。正常情况下函数内的变量名即使和函数外的变量名一样，它们的实质也不一样。但是如果用global变量在函数内声明之后，函数外的变量便可在函数内进行操作。注意：还有一个值得注意的。如果函数内的变量是组合数据类型，而且其并未在函数内部创建，它等同于全局变量。...

1.参数传递可变参数是用在函数的参数传递上的单个星号代表这个位置接收任意多个非关键字参数并将其转化成元组而双星号代表这个位置接收任意多个关键字参数并将其转化成字典*args的功能:------接收N个位置参数，转换成元组tuple形式**kwargs的功能------接收N个关键字参数，转换成字典dict形式1.1单个星号1 def test(a,*args):2 “”“a是一个普通传入的参数3 :args是一个非关键字星号参数4 “””5 print(

在学习random库之前，我们应该知道对于计算机来说所谓的随机数其实是伪随机数。从某种哲学角度上，世界上并没有完全随机的事情，或许只是人类对某些所谓的随机事件认识不全面。对于计算机来说的随机数是在各种复杂条件下（梅森旋转算法）产生的确定值，只不过这些复杂条件对于我们人类来说难以充分理解，超越我们的理解能力。我们还需要引进一个概念‘随机数种子’，每一个确定的随机数种子确定一个确定的随机数序列，这个序列可以无限长。不同的随机数种子产生不同的随机数序列（这点也不难理解）。我们将随机数函数分成两类：基本随机数函

此用法可以判断循环是否被break。如果循环正常结束，则跳过else后面的语句；若循环被break终止，则执行else后面的语句。

将.py源代码转换成无需源代码的可执行文件，将源代码转换成可执行代码。pyinstaller -F .py文件dist目录下双击exe文件-h 查看帮助–clean 清理打包过程中的临时文件（pycache和build文件）-D. 执行上面命令，将看到详细的生成过程。当生成完成后，将会在 app 目录下看到多了一个 dist 目录，并在该目录下看到有一个 app 子目录，在该子目录下包含了大量 .dll 文件和 .pyz 文件，它们都是 app.exe 程序的支撑文件。在命令行窗口中运行该 app

try:语句except｜errortype(检测具体的异常类型，如果不写默认所有类型):异常处理else:不发生异常所执行语句。finally:发不发生异常都执行该语句。注意：else和finally可以省去。

将time库里的函数分成三类：a.时间获取：time():以1970年1月1日00:00为起始开始计时所计算的时间。ctime():返回有一定格式的时间gmtime():返回类似于时间结构体的对象，可以用来作为相关时间函数的参数使用。b:时间格式化转换：strftime():将gmtime返回对象按照相应设置的格式转换成字符串。具体规则可单独查阅。strptime():将字符串按照一定格式转换成gmtime函数返回的对象类型。具体规则可单独查阅。c.程序计时：sleep():使程序阻

lower()和upper():字符串大小写转换函数。split(’’)根据参数分割字符串，返回一个列表类型的对象。count(’’)根据输入参数统计该字符片段在字符串中出现的次数。replace(old,new)根据输入参数将字符串中的old段更换成new段。center(width,"")规定字符串的总长度，并将原内容放到字符串中间，其余部分用第二个参数填充。strip(chars)去除字符串两端的chars部分。sep.join(序列，字典，字符串)返回以sep作为分隔符，将seq所有的元

chr()与ord（）是作用相反的一对函数，chr()接收整数，返回整数对应的unicode字符。ord()接收一个字符，返回该字符对应的unicode编码值。

str()和eval()是一对作用相反的函数，str是将参数外面加上引号变成字符串，eval()是将参数两边的引号去掉，根据剩余的部分进行评估，执行不同的功能。比如eval(‘123’)将返回数字123；eval(‘pow(2,3)’)将计算pow(2,3)的值。eval很方便，有些时候能与input（）函数搭配简化编程操作。...

大家应该都知道字符串的标志是单引号或者双引号，其实三引号也是字符串的标志。另外我们当用单引号表示字符串时，且字符串里有单引号时，我们往往会遇到报错。python对此设置一个机制：当用单引号表示字符串时，字符串里可以出现双引号；当用双引号表示字符串时，字符串里可以出现单引号；当字符串里既需要单引号又需要双引号时，我们此时可以使用三引号来表示字符串。另外其实我们还可以用另外一种方式来解决此类问题，我们可以用转义字符，在符号前面加上‘/’。...

divmod返回一个元组，第一项为商，第二项为余数，x代表被除数，y代表除数。

round的英文意思有四舍五入，x是四舍五入的浮点数，d是小数的截取位数。

列表、元组、字典和集合整体把握列表如何建立列表？添加元素删除元素查找元素元组如何建立元组？修改元组字典如何建立字典？修改字典集合如何创建集合？如何访问元素？整体把握表（list）和元组（tuple）比较相似，它们都按顺序保存元素，所有的元素占用一块连续的内存，每个元素都有自己的索引，因此列表和元组的元素都可以通过索引（index）来访问。它们的区别在于：列表是可以修改的，而元组是不可修改的。集合里的元素是唯一的，不可重复的。列表如何建立列表？1.使用[]建立列表2.使用list()函数将其他数据

print格式化输出print() 函数的详细语法格式如下：print (value,…,sep=’’,end=’\n’,file=sys.stdout,flush=False)从格式上看print函数能同时输出多个字符串，各字符串参数之间用逗号隔开，数量不受限制。sep代表字符串之间用什么符号隔开（默认空格）。end代表print输出之后以什么结尾，默认换行，如果不想换行，参数里写end=''即可。file代表将字符串输出到哪个地方，默认输出到控制台，即sys.stdout。print()

python切片使用方法切片格式关于缺省正向切片与反向切片切片格式切片操作是访问序列中元素的另一种方法，它可以访问一定范围内的元素，通过切片操作，可以生成一个新的序列。序列实现切片操作的语法格式如下：sname[start : end : step]sname：表示序列的名称；start：表示切片的开始索引位置（包括该位置），此参数也可以不指定，会默认为 0，也就是从序列的开头进行切片；end：表示切片的结束索引位置（不包括该位置），如果不指定，则默认为序列的长度（最后一个数的位置加一）；s