
爬虫
文章平均质量分 92
sml_5421
错题集
展开
-
【扇贝编程】使用Selenium模拟浏览器获取动态内容笔记
文章目录selenium安装 selenium下载浏览器驱动获取数据处理数据查找一个元素查找所有符合条件的元素控制浏览器seleniumselenium是爬虫的好帮手, 可以控制你的浏览器,模仿人浏览网页,从而获取数据,自动操作等。我们只要让 selenium 自动控制浏览器,实现爬取数据、自动抢票……selenium要打开浏览器并控制它,占用的资源会更多,爬取数据的效率也会有所降低。安装 seleniumpip install selenium下载浏览器驱动根据你使用的浏览器(如 Chr原创 2024-09-03 17:22:28 · 2036 阅读 · 0 评论 -
爬取知乎回答
登录网站参考这篇文章在 Network 中随意点击一个 Fetch 项(注意前面的小图标),在右边的 Headers 中找到 Cookie,这段代码就是知乎 Cookie。import requests# 引入ssl,取消全局ssl认证:# 设置好urlurl = 'https://www.zhihu.com/'# 设置好headersheaders = { 'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X原创 2024-09-03 15:24:40 · 1492 阅读 · 0 评论 -
【扇贝编程】python爬虫——爬取动态网页笔记
在示例网站上登陆后点开第一条请求(wp-login.php)。右边的 Headers 里可以看到请求地址(Request URL)为 https://wpblog.x0y1.com/wp-login.php,请求方式(Request Method)是 POST,状态码为 302。原创 2024-09-03 14:52:55 · 1669 阅读 · 0 评论