自动爬取SF文章并推荐到掘金--Puppeteer再探

最新推荐文章于 2025-11-21 16:45:53 发布
原创 最新推荐文章于 2025-11-21 16:45:53 发布 · 1.9k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#自动化测试 #爬虫

本文介绍了如何利用Puppeteer爬取SegmentFault的前30篇热门文章，并自动推荐到掘金平台。通过Puppeteer进行屏幕快照、高级爬虫、UI自动化测试和页面性能分析等操作，详细阐述了爬取和推荐的具体流程，包括登录、模拟用户操作等步骤。项目源代码已开源，可供进一步研究。

原文链接：http://zhentaoo.com/2017/10/22/Pupputeer2
看过上篇的同学，应该都会使用Puppeteer的高级爬虫功能了，附上姐妹篇链接：
爬取并生成《ES6标准入门》PDF–Puppeteer初探
除了爬虫之外，也可以使用Puppeteer完成页面上任意操作，即: 可以用来做UI自动化测试
开门见山，今天的目标是，爬取SF的热门文章，自动推荐到掘金！！！

简要提下Puppeteer的应用场景

  1. 屏幕快照，打印PDF
  2. 高级爬虫（有别于传统爬虫.使用Puppeteer可以拿到渲染后的效果，传统爬虫相当于只能拿到http response）
  3. UI自动化测试（使用Puppeteer可以模拟用户操作）
  4. 页面性能分析

废话不多说，直接上动图/视频看效果

GIF图片比较大，如果不能加载成功，也可以到微博看下录制的视频
http://weibo.com/tv/v/FiHMz7dcq?fid=1034:dcc08a8eee118263f6071fb6fafcc9a9

最低0.47元/天 解锁文章
实战：爬取掘金热门文章——基于python爬虫
weixin_42777402的博客
03-16 1094
说一说爬取中的踩得坑，印象太深刻了 缺失一些必要的请求头时，掘金网站不会报错，而是给你返回不相关的一推数据，关键这些数据从形式上看还很像请求拿回来的数据。就这个坑害我思索了很长时间，可能还是我太菜了吧~ 掘金网热门文章刷新频繁，往往几分钟前在调试页面看到的数据，跟刚请求到的数据略有不同，这又让我纠结了一些时间 最后放上源码： import requests, json,time url = "https://api.juejin.cn/recommend_api/v1/article/recommend
python 爬虫实战：掘金文章爬取并保存在 mysql
qq_37393071的博客
09-07 2353
文章目录一、代码目的二、爬取内容和思路2.1 爬取内容：2.2 思路爬取内容的分析存储到 mysql 一、代码目的 最近进行一个掘金爬虫，感觉还是挺有意思的，掘金的爬虫文章好像还是比较少的，记录一下。 二、爬取内容和思路 2.1 爬取内容： 主要包括两部分： 1. 对掘金的文章列表进行爬取，包括文章标题、用户名、文章简介以及文章链接； 2. 具体的文章内容，这部分只爬取了文章标题和内容。 2.2 思路 爬取内容的分析 首先分析图一，这部分通过 F12 将请求锁定在 https://apinew.juej
使用puppeteer爬取掘金收藏数超过50的所有面试文章，整理成两张思维导图。
weixin_34326179的博客
07-24 214
引言 从机械转前端不知不觉已两年过去了，期间一直在做项目，也未曾出去面试过。最近，想梳理下自己的知识，下水试一试自己的深浅，所以有了获取一些面试题的需求。但发现掘金搜索功能并不满足需求，便使用puppeteer根据自己需求爬取部分掘金文章，并整理成思维导图，分享给需要的人。程序还需要整理一下，之后会写一篇文章，专门介绍些此次的puppeteer程序。 面试经历 链接地址： 面试经历 面试题 链...
node爬取掘金/csdn文章
m0_49159526的博客
06-29 702
平常看到一些好的文章，想在个人博客上转发记录一下，一下一下的去copy太麻烦了，因此有了这个想法，能不能通过文章链接，直接取到当前文章,然后放到markdown编辑器里面，这样copy起来不是方便了很多，哈哈哈.........
Puppeteer 使用示例项目推荐
最新发布
gitblog_00794的博客
11-21 743
Puppeteer 是一个 Node.js 库，提供了一个高级 API 来通过 DevTools 协议控制 Chrome 或 Chromium。该项目链接为 [puppeteer/examples](https://github.com/puppeteer/examples.git)，提供了使用 Puppeteer 和无头 Chrome 的各种用例驱动的示例。本项目主要使用 JavaScript
利用puppeteer采集自己想要的书籍
雨夜的博客
03-28 220
安装node cd /usr/local/src/ wget http://nodejs.org/dist/v0.10.24/node-v0.10.24.tar.gz tar zxvf node-v0.10.24.tar.gz cd node-v0.10.24 ./configure --prefix=/usr/local/node/0.10.24 make make install node -v 安装完node之后npm就安装好了 vagrant@homestead:~/code/Ecc3.0
Puppeteer，非常好用的一款爬虫和自动化利器～
分享Python、数据分析、人工智能前沿知识
04-02 1026
最近写爬虫采集电商数据，遇到很多动态加载的数据，如果用requests来抓包非常难，我尝试用了一个大家较为陌生的的工具——Puppeteer，它支持控制浏览器，能很好的采集动态网页，后来发现它不仅是一个爬虫工具，更是一个自动化利器。
富贵教你用PHP爬取掘金文章
weixin_34376986的博客
12-02 376
前言 最近忙完了项目比较空就打算深入学习一些关于爬虫的知识,以前读书的时候就喜欢用爬虫去爬一些学习网站（波多野**老师）。写这篇博客是想对之前学习的一些爬虫知识做一个梳理和交流。希望有大佬指出不足，帮我成长。 新手村任务 下面这些是我2018年这半年业余时间研究的一些小东西，比较适合刚开始接触爬虫的人 文章爬虫（搜狗微信文章、某书、还有今日头条等） 音乐类的数据爬虫（主要基于NodeJS，网易...
puppeteer-deep：木偶，无头Chrome；爬取《 es6标准入门》，自动推文到掘金，站点性能分析；高级爬虫，自动化UI测试，性能分析；
02-01
首先介绍 Puppeteer是一个节点库，他提供了一组单独操纵Chrome的API，理论... npm run sf-juejin（推荐segmentfault的热门文章到掘金） npm运行监控器（前端监控，报警） npm run es6（爬取了阮一峰老师的《 ES6标准
puppeteer-deep-master.zip
08-15
npm run sf-juejin (推荐segmentfault的热门文章到掘金) npm run monitor (前端监控、报警) npm run es6 (爬取了阮一峰老师的《ES6标准入门》并打印PDF) npm run zhentaoo (打印 www.zhentaoo.com 首页的图片) npm ...
Puppeteer爬虫实战：从监控到性能分析的综合应用
描述中提到的 "npm run sf-juejin" 表明这个项目可以通过 npm 脚本运行一个任务，此任务推荐使用 SegmentFault 的热门文章到掘金平台。SegmentFault 是一个技术问答社区，而掘金是另一个技术分享平台。这可能意味着...
通过Python实现一个简单的爬虫——获取掘金网站文章列表
上辈子作恶多端，这辈子写前端。
08-11 3624
先来看下实现的结果 掘金文章爬虫源码 这里通过python命令直接运行我们的爬虫程序，很轻松的就获取到了网站首页的第一页文章（爬取的Android分类下文章），当然代码量也是只有几十行。 一： 首先我们要获取到我们要爬取的地址，然后通过分析网站返回的网页或者json数据来获取我们需要的数据；如下图： 二：接下来就需要对html解析来，这里使用到了BeautifulSoup这个h...
高级java笔试题-juejin-spider:爬取掘金文章数据，查看在全站排行信息，查看自己关注、点赞、评论增长
06-03
高级java笔试题 juejin-spider 在输入框输入用户主页的 url 搜索。例如我的主页是 文章教你如何做掘金站内数据抓取，数据解析，最后形成排序后的排名。 数据来源于，如有侵权，请联系 删除 项目起因是我突然想看看掘金站内有哪些优质作者，为了不错过每一个大佬，我选择直接抓取站内所有的文章信息找到作者并进行排名。各位关注 + 文章阅读 一条龙走起！ 欢迎 star issue 掘金 spider 和数据分析，主要关注了下面几个排行和统计，排行点击直接查看 先上掘金前 50 排名，关注一波？？？？ :party_popper: 等级，:boy: 关注数，:house: 公司 (1)[:party_popper: 4][:boy: 67909] [:house: 掘金] (2)[:party_popper: 5][:boy: 47061] [:house: 稀土] (3)[:party_popper: 5][:boy: 45676] [:house: Alibaba] (4)[:party_popper: 5][:boy: 44229] [:house: ] (5)[:party_popper: 3][:boy: 37565] [:house: 前端外刊评论网] (6)[:party_popper: 0][:boy: 37062] [:house: SN] (7)[:party_popper: 3][:boy: 34825] [:house: 腾讯 alloyteam -> 腾讯云 -> Shopee] (8)[:party_popper: 3][:boy: 34588]
【Puppeteer】基于Puppeteer采集网页图片资源
shsugar的博客
11-22 2779
背景：负责的一个网页资源采集类的项目，之前是Java后台直接使用HTTP请求获取网页源码，再通过jsoup解析网页，跟据标签提取出图片。但是最近在一次客户的演练中，出现了图片漏抓的情况。具体分析网页一看，发现是写在css样式里的图片，以前的静态爬虫的方式确实覆盖不到。 现在想想，之前的静态爬虫方式还是太过简单了，已经无法胜任目前复杂的前端网页，可能存在以下问题： 1.网页源码是没有经过渲染的，会遗漏掉渲染新增的一些资源。比如需要根据ajax返回的结果才渲染展示的内容 2...
Puppeteer
qq_52838665的博客
07-20 180
Puppeteer模块提供了一种启动Chromium，将一些有用的数据爬取下来，放在接口中，这个不会被拦截。
puppyteer
weixin_63958646的博客
05-08 1351
今天自己加了一个需求，尝试使用puppyteer来实现自动化录制视频，一开始的想法是先开启录屏工具，在使用puppyteer来做浏览器自动化，经过调研后发现有Puppeteer 屏幕录像机库，直接使用。综上所述，虽然使用Puppeteer自动化录屏的想法是可行的，但实现起来需要解决一些技术挑战。：有些元素可能是通过JavaScript动态添加到页面上的，如果这些脚本没有执行或执行较慢，元素也不会出现。github 地址：https://github.com/puppeteer/puppeteer。
探索Puppeteer的强大功能：抓取隐藏内容
ip16yun的博客
07-17 1445
Puppeteer是一个由Google维护的Node库，它提供了一个高层次的API来控制Chrome或Chromium浏览器。通过Puppeteer，我们可以自动执行诸如表单提交、UI测试、键盘输入等操作。它特别适用于处理JavaScript渲染的动态网页和隐藏元素。
由于掘金开启了防盗链，我连夜写个爬虫导出所有博客
Crazymryan的博客
07-29 1030
前言事情是这样的，在写完上一篇文章后，将 markdown文件部署到了自己的服务器上，然后发现自己博客的图片全部没有了，F12一看，才发现都变成了 403。这是为啥呢？噢，原来是我之前把掘金当图床在使，狠狠得薅掘金一两年的羊毛。结果不知道啥时候突然开启了防盗链。导致了出现这个P1级事故（破站虽然没人访问）。因为我的文章都是靠图片占面积的，这么多图片一个个替换太麻烦了，所以我接下来打算将掘金上的文章...
puppeteer入门_Puppeteer入门
culh2177的博客
09-02 493
puppeteer入门Browser developer tools provide an amazing array of options for delving under the hood of websites and web apps. These capabilities can be further enhanced and automated by third-party tool...
axe-puppeteer:弃用通知与Puppeteer的自动注入功能介绍
axe-puppeteer是一个用于Puppeteer的辅助工具，它提供了可链接的ax API，并能够自动注入到所有页面框架中。然而，需要注意的是，该库已被标记为不推荐使用，并已经迁移至其他地方。" 知识点： 1. axe-puppeteer的...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值