qq_40279151的博客

背景最近刷PTA写题解的时候，需要复制每个题目到md文件，很繁琐，就想着用爬虫将PTA的题目都爬取出来，可查看网页源代码后发现是动态页面，需要用selenium进行爬取。静态页面：数据都在源代码中（并不是F12控制台中的）动态页面：以PTA为例，源代码中无题目信息技术选型selenium 爬取动态页面html2text 将html解析为md项目代码代码讲解（完整代码文章末）导入库from selenium import webdriverfrom selenium.web

安装selenium安装浏览器驱动https://www.cnblogs.com/wenchaoz/p/7875365.html代码比如爬取pat网页题目写上自己浏览器驱动的位置找到的是WebElement对象，并不是htmlimport timefrom selenium import webdriverurl = "https://pintia.cn/problem-sets/994805260223102976/problems/type/7"# init browser

参考博客：https://blog.youkuaiyun.com/qq_26591517/article/details/80441540这里我使用的是第三个方法 使用Runtime.getRuntime()执行脚本文件（推荐）py文件import numpy as np a = np.arange(12).reshape(3,4)print(a)java文件import java.io....

http://blog.konghy.cn/2017/04/24/python-entry-program/

https://www.jianshu.com/p/2f439d8e98ba