L13259431663的博客

Python读取csv文件 1、使用列表的方式读取 import csv with open('1.csv', 'r', encoding='utf-8') as fp: # reader是一个迭代器 reader = csv.reader(fp) next(reader) # next(reader) for x in reader: p...

1、初始化BeautifulSoup对象 url = 'https://hr.163.com/position/list.do?workPlaceStr=1&currentPage=1' resp = requests.get(url, headers=HEADERS) html = resp.text soup = BeautifulSoup(html, 'lxml') 在初始化Bea...

XPath 什么是XPath xpath（XML Path Language）是一门在XML和HTML文档中查找信息的语言，可以用来在XML和HTML文档中对元素和属性进行遍历。 XPath开发工具 chrome插件XPath Helper firefox插件Try XPath ...

1、urlopen函数 在python3的urlib库中，所有和网络请求相关的方法，都在urlib.request模块下，urlopen函数的基本使用： from urllib import request resp = request.urlopen('https://www.baidu.com') print(resp.read()) urlopen的返回值是一个http.client.HT...

代理 ProxyHandler处理器（代理） 1、代理的原理:在请求目的网站之前，先请求代理服务器，然后让代理服务器去请求目的网站，代理服务器拿到目的服务器的网站数据后，再转发给我们的代码。 2、http://httpbin.org/ip这个网站可以方便我们查看一些http请求参数 3、使用代理的方法： ProxyHandle这个方法需要传入一个字典，key：请求schema，value：代理服务...

Request 使用request库比urllib更加的方便 response.context 和 response.text的区别： response.context返回bytes，未解码 response.text返回str，由requests 解码，解码结果可能为乱码，因此我们通常需要使用response.context.decode(‘utf-8’)选择合适的编码方式来手动解码 req...