diOSyu的博客

# -*- coding:utf-8 -*-from urllib.parse import urljoinimport requestsimport re# 请求页面文本内容def get_html_page(_url: str): r = requests.get(_url) r.raise_for_status() r.encoding = r.ap...

var args = require('system').args;var fs = require('fs');// 设置编码utf8phantom.outputEncoding = 'utf8';// 初始化var page = new WebPage();// 设置userAgentpage.settings.userAgent = 'Mozilla/5.0 (Windows...

# -*- coding:utf-8 -*-from urllib.parse import quoteimport requestsimport platformimport osSYSTEM = platform.system() # 得到系统信息def get_baidu_word(wd): url = 'https://sp0.baidu.com/5a1Fazu8AA...

1. 豆瓣读书书籍种类列表在下面这个URL， 我们可以获得所有的种类链接https://book.douban.com/tag/如下图: 可以通过bs4和re库进行筛选, 得到所有图书种类， 结果如下：tag_tree = { "科技": ['科普', '互联网', '编程', '科学', '交互设计', '用户体验', '算法', '科技', 'web', '...

# -*- coding:utf-8 -*-from selenium import webdriverfrom selenium.webdriver.common.by import Byfrom selenium.webdriver.common.keys import Keysfrom selenium.webdriver.support import expected_con...

1. 小说网站为https://m.wfxnews.com/2. 分析网页结构下载小说的API如下：https://www.wfxnews.com/modules/article/txtarticle.php?id=112451通过以下网址，可获得书籍信息https://m.wfxnews.com/book/112451.shtml112451为这本小说...