
Python爬虫技巧日常总结
我心心念的爬虫啊
一给我里giao giao
展开
-
python读取open本地文件。
打开并读取文件。注意文件的路径,open()里面的参数是文件的路径,例如:r’C:\User\22053\Desktop\myfile.txt’。最好前面带上r,防止反斜杠\转义。F=open('myfile.txt').read()print(F)读取文件的第一行。F=open('myfile.txt').readline()print(F)...原创 2020-01-21 13:25:56 · 3041 阅读 · 3 评论 -
python笔记新手常用函数方法总结—3
insert():在列表的指定位置添加元素。a=[1,2,3,4]a.insert(0,100)#在下标为0处,添加元素100print(a)>>>[100,1,2,3,4]items():将字典的键和值组合为元组的形式,总体是一个列表,能够遍历,但是不能使用下标方法。a={'0':'a','1':'b'}for i in a.items(): print(i[...原创 2020-01-19 15:58:22 · 771 阅读 · 1 评论 -
python笔记新手常用函数方法总结—2
今天带来十个常用方法:get()函数:返回字典键的值。dict={'name':'a','age':'21'}print(dict.get('age')) #get()里面填键的名字>>>21index()方法:返回元素下标。a=[1,2,3,4]print(a.index(3)) #index()里面填写元素,注意元素有没有引号,没有就不加。>>...原创 2020-01-18 15:15:24 · 336 阅读 · 0 评论 -
python笔记新手常用函数方法总结—1
python我主要学的是爬虫,在这里开始总结一下经常会用到的实用性比较大的函数或者方法。怕自己寒假期间忘掉,也方便新手一起学习。输出结果我用>>>提示。zip()函数zip() 函数用于将可迭代的对象作为参数,将对象中对应的元素打包成一个个元组,然后返回由这些元组组成的列表,如果各个迭代器的元素个数不一致,则返回列表长度与最短的对象相同,利用 * 号操作符,可以将元组解压为...原创 2020-01-17 15:32:59 · 682 阅读 · 2 评论 -
Session提高requests的抓取速度小技巧
使用requests抓取数据的时候,爬虫会模拟浏览器的行为,但是可能不知道,当打开一个网页的时候,requests.get()可能速度很快,但是如果几十个上百个网址的时候呢,这个差距就出来了,例如下面。import requestsimport timestart = time.time()for _ in range(100): resp = requests.get('ht...原创 2020-01-17 14:43:08 · 2602 阅读 · 0 评论