听酒

Scrapy简介Scrapy是用纯Python实现一个为了爬取网站数据、提取结构性数据而编写的应用框架，用途非常广泛。框架的力量，用户只需要定制开发几个模块就可以轻松的实现一个爬虫，用来抓取网页内容以及各种图片，非常之方便Scrapy 使用了 Twisted['twɪstɪd](其主要对手是Tornado)异步网络框架来处理网络通讯，可以加快我们的下载速度，不用自己去实现异步框架，并且包含了各种中...

整理：XPath语法XPath 是一门在 XML 文档中查找信息的语言。XPath 可用来在 XML 文档中对元素和属性进行遍历<bookstore> <book>    <title>Harry Potter</title>    <author>J K. Rowling</author> ...

xpath版本import requestsfrom lxml import etreeimport osfrom hashlib import md5def get_html(url, headers): html = requests.get(url, headers) return html.textdef parse_html(html): content = et...

美丽汤版本：import requestsfrom bs4 import BeautifulSoupimport osfrom hashlib import md5def get_html(url, headers): html = requests.get(url, headers) return html.textdef parse_html(html): ...

 import requestsfrom lxml import etree# 写入文件def write_file(art): with open("笑话.txt", "a+", encoding="utf-8") as f: f.write(art)# 解析html得到自己想要的内容def parse_html(html): content = etree.HT...