使用requests和Xpath抓取带标签的内容

今天抓取数据页面很多跳转，然后使用requests单独获取该链接抓取数据，但是需要的数据是要带标签的

使用etree解析文本为HTML之后，连带用xpath匹配的数据都是Element类型

需要将它转为需要的带标签的数据内容，如：

 

data = requests.get(url, headers=headers)
response = etree.HTML(data.text)
print(response)
assessment_en = response.xpath("//div")
ass = etree.tostring(assessment_en[0], encoding='utf-8', pretty_print=False, method='html')
print("************", assessment_en)
print(ass)

结果如下：

 

获得了带标签的数据，使用scrapy框架是不需要转的，直接就是带标签的内容，前提示不获取文本后面加//text()的情况下