爬虫结果处理中，JS使用replace()函数全部替换非法字符

离别奏鸣曲

已于 2024-04-29 14:12:25 修改

阅读量251

点赞数 3

分类专栏：后端与运维语法知识文章标签：爬虫 javascript

于 2024-04-28 16:57:31 首次发布

本文链接：https://blog.youkuaiyun.com/u011539028/article/details/138283959

版权

后端与运维同时被 2 个专栏收录

9 篇文章

订阅专栏

语法知识

7 篇文章

订阅专栏

20年的工作中，有工作需要处理爬虫爬取数据。

在处理过程中，我遇到了在文字中出现了经过转义的换行符的问题。比如在文中显示出了\n，或者是一些符号没有进行转义，很影响观赏效果。

在刷库的过程中，我发现，我总不能一次处理完所有的数据。后来发现是JavaScript的Replace函数的问题。

这个函数默认只能替换第一个匹配到的项目。如果需要处理全部的，需要使用正则表达式：

string.replace(/\\n/g, "\n")

想要处理常见的一些字符，可以执行下面的代码进行替换：

string.replace(/&nbsp;/g, ' ')
string.replace(/&lt;/g, '<')
string.replace(/&gt;/g, '>')
string.replace(/&amp;/g, '&')
string.replace(/&quot;/g, '"')
string.replace(/&#x3D;/g, '=')
string.replace(/\[.*?\]/g,'')
string.replace("\\n","\n")
string.replace("\\t","")
string.replace("\\r","")