干燥的空气，湿润的呼吸

一个偶然写的模板# 此文件用来启动指定爬虫import configparser as cpsimport os, time, sLogin, sys, base64from scrapy import cmdline# 配置文件目录ini_path = "E:\Code\Zhihu3.0\huxijun.ini"class Scp(): def makedir(self...

众所周知，大部分网页的数据都是能通过静态 html 分析快速得到的，但是遇到 ajax 动态数据和 js 加密的网页后就很难直接获取到想要的数据。而 Selenium 就能直接规避麻烦的部分，模拟浏览器直接获得数据。以我上篇文章抓取简书的数据为例，这里的专题就是通过 ajax 才能得到。而且标签名都加了密：下面是源码：from selenium.webdriver impor...

官网跳转：http://www.useragentstring.com/pages/useragentstring.php"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.169 Safari/537.36","Mozilla/5.0 (Windows N...