Node.js superagent 采集 URL 编码问题

Node.js URL编码问题
最新推荐文章于 2021-01-23 12:33:29 发布
最新推荐文章于 2021-01-23 12:33:29 发布
阅读量238 收藏
点赞数
CC 4.0 BY-SA版权
原文链接：http://www.cnblogs.com/zouzhe0/p/6138381.html
本文记录了使用Node.js进行网页采集时遇到的问题：对于含有中文的URL，需要用正确的编码方式来确保请求的成功。介绍了JavaScript中两种不同的URL编码方法：encodeURI() 和 encodeURIComponent()，并解释了它们之间的主要区别。

今天在用Node学习采集的时候遇到一个问题，如这个链接地址 http://www.meishij.net/胡萝卜  就是用浏览器的方式访问链接可以打开，但用superagent 去模拟请求，就请求不到数据

原因：URL 中含有中文字，要用encode 转码

 

学习笔记：翻阅资料了解到，js 的URL 编码转换有两种

encodeURI() 和 encodeURIComponent()

区别 “; / ? : @ & = + $ , #”，这些在encodeURI()中不被编码的符号，在encodeURIComponent()中统统会被编码

转载于:https://www.cnblogs.com/zouzhe0/p/6138381.html

node.js [superAgent] 请求使用示例
10-24
Node.js是一个基于Chrome V8引擎的JavaScript运行环境，让JavaScript可以在服务器端执行，由于其事件驱动、非阻塞I/O模型以及轻量级的特点，Node.js非常适合处理大量并发请求的网络应用。SuperAgent是一个小型的、...
Node.js-axios基于Promise的HTTP客户端用于浏览器和node.js
08-09
**Node.js与axios** 在Node.js的开发环境中，进行HTTP请求是常见的任务，而axios则是一个非常受欢迎的库，它提供了基于Promise的API，适用于浏览器和Node.js环境。这个库使得处理HTTP请求变得简单易用，同时保持了...
node.js superagent中文乱码问题
tdjqqq的博客
06-04 2041
    最近在做数据爬虫小DEMO，但目标网页为gb2312编码，windows10下superagent请求会出现乱码，试了一轮，均没成功，最后用以下方法成功的。app.jsconst superagent = require('superagent')const cheerio = require('cheerio')const iconv = require('iconv-lite');va...
使用 superagent 与 cheerio 完成简单爬虫
ttn456456的博客
06-15 369
app_new.jsvar express = require('express'); var cheerio = require('cheerio'); var superagent = require('superagent'); var fs = require('fs'); var request = require('request'); var fileDir = "./data.j...
HTTP Status 405 - HTTP method GET is not supported by this URL
谷哥的小弟
11-18 1900
  非常简单的HttpServlet入门示例，但是报错： HTTP Status 405 - HTTP method GET is not supported by this URL  解决办法：  去掉super.doGet(req, resp);  去掉super.doPost(req, resp);  ...
superagent返回结果乱码
solocao的专栏
08-06 1307
使用superagent返回结果乱码，处理编码的时候主要就分为utf-8以及gbk两大类，需要使用superagent-charset工具包解决问题 const superagent = require('superagent') const charset = require('superagent-charset'); const superagent = charset(require('...
SuperAgent使用简介
楠倏的博客
11-21 8202
SuperAgent使用简介
基于 Node.js 实现前后端分离
10-22
【基于 Node.js 实现前后端分离】是一种现代Web开发模式，旨在解决传统Web开发中前/后端紧密耦合导致的问题。随着技术的发展，前后端分离已成为提高开发效率和优化用户体验的重要策略。在这个过程中，Node.js，一种...
Node.js-peerflix-node.js的流torrent客户端
08-10
Node.js是一款基于Chrome V8引擎的JavaScript运行环境，它让JavaScript可以在服务器端执行，打破了JavaScript只能在浏览器中运行的传统。Node.js使用了一个事件驱动、非阻塞I/O模型，使其轻量又高效，特别适合构建...
nodejs 请求库 superagent response 中文乱码解决办法
爱开车的彬哥的优快云博客
11-14 562
superagent 库安装与使用 yarn add superagent const superagent = require('superagent') const headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.80 Safari/537.36', 'Conte
使用nodejs爬取gb2312中文乱码的解析(superagent-charset)
mus-z的博客
01-23 1165
const request = require('superagent') require('superagent-charset')(request)// request.get("https://www.dytt8.net/index.htm") .buffer(true) .charset("gbk") .then(function (res) { console.log(res.text) }) .catch((err) => {
手把手教你学node.js之使用 superagent 与 cheerio 完成简单爬虫
weixin_30438813的博客
06-08 345
使用 superagent 与 cheerio 完成简单爬虫 目标 建立一个 lesson 3 项目，在其中编写代码。 当在浏览器中访问 http://localhost:3000/ 时，输出 CNode(https://cnodejs.org/ ) 社区首页的所有帖子标题和链接，以 json 的形式。 输出示例： [ { "title":"【NODE PARTY】【上海】【6月9日 ...
nodejs HTTP模块SuperAgent
致我那些年搬过的砖
09-05 2154
好用的 HTTP模块SuperAgenthttp://www.jianshu.com/p/98b854322260GitHub文档介绍https://github.com/wangning0/Autumn_Ning_Blog/blob/master/blogs/3-19/superAgent_learn.md
【微信小程序源码】图片预览带后端.zip
09-06
资源说明： 1：本资料仅用作交流学习参考，请切勿用于商业用途。 2：一套精品实用微信小程序源码资源，无论是入门练手还是项目复用都超实用，省去重复开发时间，让开发少走弯路！ 更多精品资源请访问 https://blog.csdn.net/ashyyyy/article/details/146464041
kubernetes-client-7.3.1.jar中文-英文对照文档.zip
09-06
1、压缩文件中包含： 中文-英文对照文档、jar包下载地址、Maven依赖、Gradle依赖、源代码下载地址。 2、使用方法： 解压最外层zip，再解压其中的zip包，双击 【index.html】 文件，即可用浏览器打开、进行查看。 3、特殊说明： （1）本文档为人性化翻译，精心制作，请放心使用； （2）只翻译了该翻译的内容，如：注释、说明、描述、用法讲解 等； （3）不该翻译的内容保持原样，如：类名、方法名、包名、类型、关键字、代码 等。 4、温馨提示： （1）为了防止解压后路径太长导致浏览器无法打开，推荐在解压时选择“解压到当前文件夹”（放心，自带文件夹，文件不会散落一地）； （2）有时，一套Java组件会有多个jar，所以在下载前，请仔细阅读本篇描述，以确保这就是你需要的文件。 5、本文件关键字： jar中文-英文对照文档.zip,java,jar包,Maven,第三方jar包,组件,开源组件,第三方组件,Gradle,中文API文档,手册,开发手册,使用手册,参考手册。
宠物健康与营养管理-SpringMyBatisMySQL微信小程序-在线宠物食品荐购平台主题讨论社区商品审核系统投诉反馈机制多维统计分析-为宠物主人提供个性化食品推荐.zip
09-06
stm32宠物健康与营养管理_SpringMyBatisMySQL微信小程序_在线宠物食品荐购平台主题讨论社区商品审核系统投诉反馈机制多维统计分析_为宠物主人提供个性化食品推荐.zip
httpclient5-5.4.4.jar中文-英文对照文档.zip
最新发布
09-06
1、压缩文件中包含： 中文-英文对照文档、jar包下载地址、Maven依赖、Gradle依赖、源代码下载地址。 2、使用方法： 解压最外层zip，再解压其中的zip包，双击 【index.html】 文件，即可用浏览器打开、进行查看。 3、特殊说明： （1）本文档为人性化翻译，精心制作，请放心使用； （2）只翻译了该翻译的内容，如：注释、说明、描述、用法讲解 等； （3）不该翻译的内容保持原样，如：类名、方法名、包名、类型、关键字、代码 等。 4、温馨提示： （1）为了防止解压后路径太长导致浏览器无法打开，推荐在解压时选择“解压到当前文件夹”（放心，自带文件夹，文件不会散落一地）； （2）有时，一套Java组件会有多个jar，所以在下载前，请仔细阅读本篇描述，以确保这就是你需要的文件。 5、本文件关键字： jar中文-英文对照文档.zip,java,jar包,Maven,第三方jar包,组件,开源组件,第三方组件,Gradle,中文API文档,手册,开发手册,使用手册,参考手册。
superagent：Node.js与浏览器兼容的HTTP客户端库
Node.js是一种基于Chrome V8引擎的JavaScript运行时环境，它的非阻塞I/O模型和事件驱动机制使其在处理高并发请求方面表现出色。因此，Node.js常被用于开发网络应用和服务器端API。结合superagent这样的库，开发者...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值