qq_40727267的博客

import requestsfrom lxml import etreeheaders = { 'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36'}base_url =...

import requestsfrom lxml import etree# 将目标网站上的页面抓取下来# headers -> url -> requests -> response# response.text 返回的是一个经过解码后的字符串，是str（unicode）类型# response.content 返回的是一个原生的字符串，就是从网页...

通过观察 发现url为 https://nb.lianjia.com/zufang/pg{}/ 其中{}中为页码 即1,、2、3、4…一共有100页，所一设置一个循环来产生这些urlfor x in range(1, 101): url = 'https://nb.lianjia.com/zufang/pg%d/' % x通过浏览器的开发者工具栏可知 该 url的请求的...