- 博客(7)
- 收藏
- 关注
RSS订阅原创 -6 爬虫实战案例-爬取小说 结合 多线程pool
import requestsimport reimport os#os库是Python标准库，包含几百个函数,常用路径操作、进程管理、环境参数等几类。os.path子库以path为入口，用于操作和处理文件路径。from multiprocessing.dummy import Pool#导入多线程类start_url = 'http://www.kanunu8.com/book3...
2020-01-16 03:23:40
591
原创 -5 正则与CSV的一起使用
CSV 的使用：import csv#导入CSV模块# with open('result.csv', encoding='utf-8') as f: # reader = [x for x in csv.DictReader(f)]# for row in reader:# username = row['username']# con...
2020-01-16 02:46:00
329
转载 -4 利用cookie 爬取淘宝价格和货物名字！
# 参考代码import requestsimport redef get_html_text(url): # user-agent: # Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.121 Safari/537.36...
2019-07-15 02:30:37
761
原创 -3 定向爬取中国大学排名
import requestsfrom bs4 import BeautifulSoupimport bs4def getHTMLText(url): try: r = requests.get(url, timeout=30) r.raise_for_status() r.encoding = r.apparent_encodin...
2019-07-13 11:36:28
194
原创 -2 ip地址查询
import requestsurl="http://m.ip138.com/ip.asp?ip.asp?ip="try: r=requests.get(url+'202.204.80.112') r.raise_for_status() r.encoding=r.apparent_encoding print(r.text[-500:])except:...
2019-07-13 00:12:00
1154
原创 -1：爬取图片
import requestsimport osurl="http://image.nationalgeographic.com.cn/2017/0211/20170211061910157.jpg"root="D://11111//"path=root+url.split('/')[-1]try: if not os.path.exists(root): ...
2019-07-12 23:42:15
189
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人