
Node
Kevin-March
一个热爱java 爬虫的小伙子
展开
-
Puppeteer 与 Chrome Headless 搭配Node.js的web服务提供爬虫服务入门和跳坑(Linux上部署)
一 组件安装配置和常规错误解决1 node和npm的安装(最新版本)wget -qO- https://raw.githubusercontent.com/creationix/nvm/v0.33.2/install.sh | bashsource ~/.nvm/nvm.shnvm install node nvm use node 2 查看安装版本node ...原创 2018-08-02 15:50:31 · 2445 阅读 · 0 评论 -
Puppeteer搭配Node.js提供有验证码的登录的爬虫服务 可加代理 http接口调用
接上一篇,本人是java,但是为了项目 研究了一段时间的nodejs和puppeteer,就是用http服务提供爬虫服务,这个爬虫服务调用的是puppeteer,有验证码的可以调用验证码服务然后继续执行!话不多说 直接上代码更加清晰(无数的踩坑脱坑)://引入包const express = require('express');const puppeteer = require('...原创 2018-08-02 16:25:14 · 4971 阅读 · 1 评论 -
(Linux Mac)Puppeteer加代理爬坑(隧道代理) 加代理的两种方式(Linux Mac)
Puppeteer 代理脱坑记废话不多说 基本就是干货 纯实践,puppeteer版本 1.7.0 发文时是最新的 linux和mac也都是最新的chromium浏览器(https://www.chromium.org/getting-involved/download-chromium) 浏览器下载地址版本很多 找找都是!问题: 想将puppeteer这个东西运用到实际项目当中,当然...原创 2018-08-30 17:41:07 · 5459 阅读 · 10 评论 -
Puppeteer拦截某条url并返回其响应内容(场景和方法) API RequestInterception拦截器的使用
page.setRequestInterception(true)拦截器的使用方法和场景现附上Puppeteer的Api的链接https://github.com/GoogleChrome/puppeteer/blob/master/docs/api.md实用场景(没错就是实用):比如我用Puppeteer模拟某个网页,然后我只想抓到这条网页的url的response的内容,或者我需要截图...原创 2018-08-30 18:01:30 · 28685 阅读 · 4 评论