绕过JS写爬虫

最新推荐文章于 2025-04-10 02:52:32 发布
最新推荐文章于 2025-04-10 02:52:32 发布
阅读量7.6k 收藏 5
点赞数 1
CC 4.0 BY-SA版权
分类专栏： Python 网页爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qtlyx/article/details/79243026
本文介绍了如何绕过JS抓取东方财富网机构调研数据。通过观察网络请求，找到JS生成表格的API规律，通过改变URL中的page参数获取不同页码的数据。利用urllib等工具可以直接访问这些API获取JSON内容。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

      最近要把很多数据抓下来先存起来，现有历史数据再说。其中，东方财富网有许多数据，其中有一个是机构调研的数据。

      http://data.eastmoney.com/jgdy/tj.html

      我们希望抓取的是js生成的表格。

      这种带有js的网站抓取其实不是那么简单的，基本分为那么几种方法，一种是观察页面，有的会有json数据，有的有js代码可以解析目标的url；一种是使用渲染工具；还有一种就是用工具来点击相关button，来抓取url，进而进一步分析。

      今天我们使用的是第三种。


      我们希望爬取的是表格中的数据，但是如果我们仔细看一下html代码，会发现，这其实是js生成的，下面这张图是源代码的截图。

      这就很尴尬了，怎么办呢？我们自己自己解析url数据访问你的api好了。

      我们用浏

最低0.47元/天 解锁文章
模拟浏览器请求，绕过反爬虫机制：Python爬虫实战指南
2201_76125261的博客
04-21 1200
通过模拟浏览器请求，可以有效绕过网站的反爬虫机制，实现数据的自动化采集。关键在于：​合理设置请求头信息，伪装成真实用户。​使用代理IP，避免IP被封。​模拟登录，获取访问权限。​处理JavaScript渲染的页面，获取动态内容。​。
Python爬虫：如何绕过反爬虫机制——解决IP封禁、User-Agent限制等问题
最新发布
2201_76125261的博客
04-15 1658
IP封禁是网站最常见的反爬虫手段之一。当一个IP地址发起的请求频繁或异常时，网站可能会识别该IP为爬虫并封禁该IP。封禁通常表现为无法访问网站，或者访问返回错误代码如403或503。User-Agent是HTTP请求头中的一个字段，用于标识请求发起者的客户端类型。网站可以通过检查User-Agent来判断请求是否来自爬虫。如果请求中包含常见的爬虫User-Agent（如Scrapy等），网站可以识别并封禁该请求。
用js写个爬虫
qingshandaijason的博客
04-30 6907
如何用js完成爬虫项目前言一、node.js的安装二、确定爬取网页三、查看分析网页源码四、开始写爬虫1、npm···2.读入数据总结二、使用步骤1.引入库2.读入数据总结功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 前言 这是我
分享6个必备的 JavaScript 和 Node.js 网络爬虫库
前端达人
06-04 871
作为一名程序员，你是否曾遇到过需要从各大网站提取数据的需求？随着互联网的快速扩展，能够高效地进行网络爬虫已经成为企业、研究人员以及个人的一项重要技能。在这个数据为王的时代，如何利用JavaScript和Node.js来实现高效的数据抓取，是每一个开发者都应该掌握的技巧。网络爬虫，即从网站提取数据的过程，已经成为各行各业的重要工具。而JavaScript和Node.js因其强大的功能和丰富的库，成为...
JavaScript
qq_44325580的博客
04-10 893
Javascript是一种由Netscape(网景)的LiveScript发展而来的原型化继承的面向对象的动态类型的区分大小写的JS是一种运行于浏览器端上的小脚本语句,可以实现网页如文本内容动,数据动态变化和动画特效等,JS有 如下特点脚本语言基于对象弱类型事件驱动跨平台性ECMABOM编程BOM是Browser Object Model的简写，即浏览器对象模型。BOM有一系列对象组成，是访问、控制、修改浏览器的属性和方法BOM没有统一的标准(每种客户端都可以自定标准)。BOM编程是将浏览器窗口的各个组成部
爬虫攻略（一）
weixin_33875564的博客
02-15 665
互联网 Web 就是一个巨大无比的数据库，但是这个数据库没有一个像 SQL 语言可以直接获取里面的数据，因为更多时候 Web 是供肉眼阅读和操作的。如果要让机器在 Web 取得数据，那往往就是我们所说的“爬虫”了。现在项目需要，所以研究研究，把大概的过程和“坑”记录下来，也欢迎大渣批评和补充。 爬虫的思路十分简单： 按照一定的规律发送 HTTP 请求获...
js 可以写爬虫嘛
weixin_42612804的博客
01-12 491
是的，JavaScript 可以用来写爬虫。可以使用 Node.js 来运行 JavaScript 代码，并使用类似于 request 或 axios 等库来发送 HTTP 请求，使用类似于 cheerio 或 puppeteer 等库来处理网页内容。 ...
js - 爬虫的实现
qq_43612151的博客
08-08 9625
爬虫的原理 爬虫，就是一个自动爬取网页上展示的信息的工具。我们要写一款爬虫，就要满足下面的条件： 网络的请求。首先我们要进行网络请求，让目标给我们返回信息（常用的模块有http、http2、https、request、axios、puppeteer） 对返回来的数据的处理。（这部分可以随意发挥、正则等技术，而对于html文件的话，有 cheerio 模块（客户端的jQuery）、而返回来的数据可能有编码问题，iconv-lite 模块可以用于编码的转换，当然，请求时也可以直接设置response的编码）
Python爬虫绕过网站反爬虫机制的策略与实践
11-22
为了应对这些反爬虫策略，爬虫开发者们需要灵活运用多种技术与策略，本文将详细探讨如何使用Python爬虫技术有效地绕过这些反爬虫机制。 首先，模拟User-Agent是一种基础且有效的绕过检查的方式。User-Agent是HTTP...
Pyhon3相关词爬虫脚本下载 绕过安全验证，亲测，有效
02-11
这个"Pyhon百度相关词爬虫"脚本可能利用了某些策略来绕过这些验证，比如使用代理IP池、动态改变User-Agent、模拟登录或者利用特定的爬虫库来解析和处理验证码。 在百度搜索场景下，获取相关词通常涉及到对搜索结果...
爬虫之JS的解析
qq_41810183的博客
01-27 2130
js2py是一个js的翻译工具，也是一个通过纯python实现的js的解释器，github上源码与示例。
爬虫中js的解析
qq_52262831的博客
11-29 2439
每日分享： 做人要狠 任何关系，合得来就合，合不来就散，没有什么大不了的，理解多了，迁就多了，顾忌多了，痛苦自然就多了，完全没这个必要。别说我狠，以前我比谁都善良，可他们都把我当傻子。 你怕的越多，欺负你的人就越多；什么都不怕了，反倒没人敢欺负你，甚至讨好你。现实教导我，好心没好报，该狠就得狠，人善被人欺，马善被人骑。 别问我为什么，生活告诉我的。 了解定位js的方法 js2py简介 一、确定js的位置 url地址中有表单数据（里面有一些参数），这些参数部分是由js生成的，想要获取这些参数的
js玩儿爬虫
xi1213的博客
08-10 3105
提到爬虫可能大多都会想到python，其实爬虫的实现并不限制任何语言。 下面我们就使用js来实现，后端为express，前端为vue3。
JS实现的爬虫，你觉得有用不
mikab的专栏
01-21 402
首先澄清一下，JS实现的爬虫是指用JS实现解析逻辑的爬虫，大概的想法就是把某个页面的内容下载下来，像IE或者Firefox那样把HTML的内容解析成DOM树，然后用JS解析页面的内容，得到自己想要的东西。 为什么要用JS呢？一是会JS的人基本都是搞WEB相关的东西的，DOM什么的都是熟人熟路；二是JS里面像CSS selector、jquery这样方便的东西，用起来应该是很爽的。 如果...
爬虫之JS解析，Python模拟JS代码运行。（附带模拟人人网登录案例）
王涛涛的博客
06-07 3659
六、JS解析 1.定位js文件 1.通过initiator定位到js文件 2.通过search搜索关键字定位到js文件 3.通过元素绑定的事件监听函数找到js文件，Event Listeners 注：三种方法不能保证每一种都能找到js文件，都试试 2.js代码分析，掌握加密步骤 可以加断点 3.模拟重现 1.通过第三方js加载模块直接加载js运行，js2py pyv8 execjs等 js2py模块，是一个js的发翻译工具，也是一个通过纯python实现的js解释器 js执行思路 1.
如何使用 JavaScript 写爬虫程序
Itmastergo的博客
01-30 2033
编写JavaScript爬虫程序是一项有趣且具有挑战性的任务。爬虫程序用于从网络上收集信息并对其进行处理。下面将详细讲解如何使用JavaScript编写一个简单的网络爬虫程序，包括爬取网页、提取信息以及处理数据等步骤。
JavaScript反爬虫技巧详细攻略
随便写写
10-13 2497
在当今的web开发中，JavaScript已经成为了一个不可或缺的部分。然而，这也引发了一个问题，那就是如何防止爬虫程序（如Google Bot或其他搜索引擎的爬虫）从网站中抓取数据。以下是一些关于如何防止JavaScript被爬虫抓取的技巧和策略，以及它们的一些工作原理。
怎么用JavaScript写爬虫
wx_19970108018的博客
06-28 1822
接下来，本文将为您详细讲解。通过request库的get方法请求http://www.example.com网站的HTML内容，$变量是cheerio的实例，通过此实例，使用$()进行操作DOM的方法和操作HTML的方法，以此在BODY标签中检索 H1 标签。JavaScript爬虫的原理非常简单，其主要利用浏览器提供的Window对象，通过XMLHttpRequest或者Fetch函数模拟请求网页的行为，接着用Document对象进行DOM操作，从而获取页面DOM树，进而提取网页上的有用信息。
如何用js及nodejs写一个简易爬虫
weixin_46579411的博客
06-30 651
前言 爬虫又叫网络蜘蛛，可以去其他网站上进行数据抓取 国内做爬虫的常用开发语言:python、java、php等，其实nodejs也能写爬虫 在写爬虫之前，需要先了解一个nodejs的模块：fs fs是文件系统，可以操作系统文件 使用之前需要先引入fs模块： const fs = require(“fs”); fs.writeFileSync（）可以船机文件，并写入文件内容，比如： fs.writeFileSync("./测试1.txt",“这是一段测试的文字”); 参数一表示创建的文件名 参数二表示创建
java爬虫绕过js
01-09
### 处理和绕过 JavaScript 加载内容的技术方案 对于现代网页而言，许多动态内容是由 JavaScript 动态加载的。传统的基于 HTTP 请求的方式无法获取这些由 JavaScript 渲染后的页面内容。为了使 Java 编写的爬虫程序能够处理这类情况，可以采用以下几种方法： #### 使用 Selenium WebDriver 实现浏览器自动化操作 Selenium 是一种强大的工具，允许通过编程方式控制 Web 浏览器执行一系列动作，如点击按钮、填写表单等。它支持多种主流浏览器，并能等待页面完全渲染后再提取所需的数据。 ```java import org.openqa.selenium.WebDriver; import org.openqa.selenium.chrome.ChromeDriver; public class SeleniumExample { public static void main(String[] args) throws InterruptedException { System.setProperty("webdriver.chrome.driver", "path/to/chromedriver"); // 创建 Chrome 浏览器实例 WebDriver driver = new ChromeDriver(); try { // 访问目标网址 String url = "https://example.com"; driver.get(url); Thread.sleep(3000); // 等待页面加载完成 // 获取页面源码 String pageSource = driver.getPageSource(); System.out.println(pageSource); } finally { // 关闭浏览器 driver.quit(); } } } ``` 这种方法虽然简单易用，但由于启动真实浏览器会消耗较多资源，在大规模并发场景下可能不是最优选择[^2]。 #### 利用 Headless Browser 或 Puppeteer 进行无头浏览 Headless Browsers（例如 PhantomJS 已经停止维护）以及更先进的 Puppeteer 可以在不显示图形界面的情况下运行完整的 Chromium 浏览器环境。这使得它们非常适合用于服务器端的任务，比如抓取那些依赖于 JavaScript 执行才能展示全部信息的网站。 Puppeteer 主要应用于 Node.js 平台；而对于 Java 开发者来说，则可以选择类似的库——HtmlUnit 或 JBrowserDriver 来实现相同的功能。这两种解决方案都提供了较好的性能表现并减少了对外部二进制文件的依赖。 #### 解析 AJAX 请求接口直接获取数据 很多情况下，前端应用并不是一次性把所有 HTML 结构发送给客户端，而是通过 AJAX 调用来请求额外的信息片段。如果能够分析出这些 API 的调用模式及其参数构成规律，就可以尝试模仿真实的用户行为向服务端发起相应的 GET/POST 请求从而获得原始 JSON 数据或其他格式的结果集。 这种方式要求开发者具备一定的逆向工程能力和对目标站点内部工作原理的理解程度较高。不过一旦成功解析了 API 接口，往往可以获得更加稳定可靠的数据来源渠道[^1]。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

钱塘小甲子

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值