绕过JS写爬虫

最新推荐文章于 2025-09-19 07:06:34 发布
原创 最新推荐文章于 2025-09-19 07:06:34 发布 · 7.7k 阅读 · 5 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了如何绕过JS抓取东方财富网机构调研数据。通过观察网络请求，找到JS生成表格的API规律，通过改变URL中的page参数获取不同页码的数据。利用urllib等工具可以直接访问这些API获取JSON内容。

      最近要把很多数据抓下来先存起来，现有历史数据再说。其中，东方财富网有许多数据，其中有一个是机构调研的数据。

      http://data.eastmoney.com/jgdy/tj.html

      我们希望抓取的是js生成的表格。

      这种带有js的网站抓取其实不是那么简单的，基本分为那么几种方法，一种是观察页面，有的会有json数据，有的有js代码可以解析目标的url；一种是使用渲染工具；还有一种就是用工具来点击相关button，来抓取url，进而进一步分析。

      今天我们使用的是第三种。


      我们希望爬取的是表格中的数据，但是如果我们仔细看一下html代码，会发现，这其实是js生成的，下面这张图是源代码的截图。

      这就很尴尬了，怎么办呢？我们自己自己解析url数据访问你的api好了。

<
最低0.47元/天 解锁文章
Python爬虫抓取JavaScript渲染的表格数据完整指南
2201_76125261的博客
10-09 186
在现代Web开发中，越来越多的网站使用JavaScript动态渲染页面内容，特别是后台管理系统中的数据表格。传统的基于requests和BeautifulSoup的爬虫无法直接获取这些动态生成的内容，因为它们只能获取初始HTML，无法执行JavaScript代码。本文将详细介绍如何使用Python爬虫技术抓取JavaScript渲染的表格数据，涵盖多种最新技术方案。Selenium方案：功能全面，适合复杂交互场景Playwright方案：性能优秀，现代化API设计直接API调用：效率最高，但需要分析接口。
用ExcelVBA下载股票龙虎榜历史数据
m0_64899365的博客
01-29 1371
利用VBA抓取股票龙虎榜数据
JavaScript反爬虫技巧详细攻略
随便写写
10-13 2636
在当今的web开发中，JavaScript已经成为了一个不可或缺的部分。然而，这也引发了一个问题，那就是如何防止爬虫程序（如Google Bot或其他搜索引擎的爬虫）从网站中抓取数据。以下是一些关于如何防止JavaScript被爬虫抓取的技巧和策略，以及它们的一些工作原理。
金融数据挖掘（一）：A股上市公司2022年年报
yinzehao的博客
06-22 3879
A股上市公司年报，是我们分析上市公司财务状况和经营状况，并进行股票估值和行情预测的重要依据。那么，我们应该如何爬取这些上市公司的财报数据，并用于数据分析和可视化呢？今天我们以为例，来介绍一下基本的步骤。
用js写个爬虫
qingshandaijason的博客
04-30 6964
如何用js完成爬虫项目前言一、node.js的安装二、确定爬取网页三、查看分析网页源码四、开始写爬虫1、npm···2.读入数据总结二、使用步骤1.引入库2.读入数据总结功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 前言 这是我
分享6个必备的 JavaScript 和 Node.js 网络爬虫库
前端达人
06-04 1192
作为一名程序员，你是否曾遇到过需要从各大网站提取数据的需求？随着互联网的快速扩展，能够高效地进行网络爬虫已经成为企业、研究人员以及个人的一项重要技能。在这个数据为王的时代，如何利用JavaScript和Node.js来实现高效的数据抓取，是每一个开发者都应该掌握的技巧。网络爬虫，即从网站提取数据的过程，已经成为各行各业的重要工具。而JavaScript和Node.js因其强大的功能和丰富的库，成为...
Python爬虫绕过网站反爬虫机制的策略与实践
11-22
为了应对这些反爬虫策略，爬虫开发者们需要灵活运用多种技术与策略，本文将详细探讨如何使用Python爬虫技术有效地绕过这些反爬虫机制。 首先，模拟User-Agent是一种基础且有效的绕过检查的方式。User-Agent是HTTP...
Python 爬虫实战：如何绕过反爬虫机制，稳定抓取数据
最新发布
专注于Python爬虫开发，分享爬虫技巧、项目实战与反爬经验，使用Scrapy、BeautifulSoup等工具，解决数据抓取难题。
09-19 1818
本文介绍了现代网站常用的反爬虫技术（如IP封锁、User-Agent检测、验证码等）及应对策略，包括模拟User-Agent、使用代理池、控制请求频率、Session维持会话、OCR识别验证码和Selenium处理动态页面。通过综合运用这些方法，可提高爬虫稳定性和效率，同时强调需遵守robots.txt协议及相关法律法规。这些技巧能有效应对反爬机制，实现稳定数据抓取。
Pyhon3相关词爬虫脚本下载 绕过安全验证，亲测，有效
02-11
这个"Pyhon百度相关词爬虫"脚本可能利用了某些策略来绕过这些验证，比如使用代理IP池、动态改变User-Agent、模拟登录或者利用特定的爬虫库来解析和处理验证码。 在百度搜索场景下，获取相关词通常涉及到对搜索结果...
Python 爬虫实战：使用 Playwright 绕过JS挑战与验证码识别
专注于Python爬虫开发，分享爬虫技巧、项目实战与反爬经验，使用Scrapy、BeautifulSoup等工具，解决数据抓取难题。
07-05 1274
摘要：本文介绍了利用Playwright解决现代网站爬取难点的技术方案。针对动态渲染、JS挑战和验证码等核心问题，采用Playwright模拟真实用户行为，配合Tesseract OCR进行验证码识别。通过代码示例展示了页面操作、验证码处理、滑动验证模拟等关键步骤，并总结了模拟操作、动态等待、代理管理等实战要点。文章还提出了集成打码平台、机器学习优化等拓展建议，为爬取复杂网站提供了自动化程度高、稳定性强的解决方案。
爬虫攻略（一）
weixin_33875564的博客
02-15 683
互联网 Web 就是一个巨大无比的数据库，但是这个数据库没有一个像 SQL 语言可以直接获取里面的数据，因为更多时候 Web 是供肉眼阅读和操作的。如果要让机器在 Web 取得数据，那往往就是我们所说的“爬虫”了。现在项目需要，所以研究研究，把大概的过程和“坑”记录下来，也欢迎大渣批评和补充。 爬虫的思路十分简单： 按照一定的规律发送 HTTP 请求获...
如何使用 JavaScript 写爬虫程序
Itmastergo的博客
01-30 2168
编写JavaScript爬虫程序是一项有趣且具有挑战性的任务。爬虫程序用于从网络上收集信息并对其进行处理。下面将详细讲解如何使用JavaScript编写一个简单的网络爬虫程序，包括爬取网页、提取信息以及处理数据等步骤。
js 可以写爬虫嘛
weixin_42612804的博客
01-12 513
是的，JavaScript 可以用来写爬虫。可以使用 Node.js 来运行 JavaScript 代码，并使用类似于 request 或 axios 等库来发送 HTTP 请求，使用类似于 cheerio 或 puppeteer 等库来处理网页内容。 ...
js - 爬虫的实现
qq_43612151的博客
08-08 9672
爬虫的原理 爬虫，就是一个自动爬取网页上展示的信息的工具。我们要写一款爬虫，就要满足下面的条件： 网络的请求。首先我们要进行网络请求，让目标给我们返回信息（常用的模块有http、http2、https、request、axios、puppeteer） 对返回来的数据的处理。（这部分可以随意发挥、正则等技术，而对于html文件的话，有 cheerio 模块（客户端的jQuery）、而返回来的数据可能有编码问题，iconv-lite 模块可以用于编码的转换，当然，请求时也可以直接设置response的编码）
爬虫之JS的解析
qq_41810183的博客
01-27 2154
js2py是一个js的翻译工具，也是一个通过纯python实现的js的解释器，github上源码与示例。
爬虫中js的解析
qq_52262831的博客
11-29 2450
每日分享： 做人要狠 任何关系，合得来就合，合不来就散，没有什么大不了的，理解多了，迁就多了，顾忌多了，痛苦自然就多了，完全没这个必要。别说我狠，以前我比谁都善良，可他们都把我当傻子。 你怕的越多，欺负你的人就越多；什么都不怕了，反倒没人敢欺负你，甚至讨好你。现实教导我，好心没好报，该狠就得狠，人善被人欺，马善被人骑。 别问我为什么，生活告诉我的。 了解定位js的方法 js2py简介 一、确定js的位置 url地址中有表单数据（里面有一些参数），这些参数部分是由js生成的，想要获取这些参数的
js玩儿爬虫
xi1213的博客
08-10 3167
提到爬虫可能大多都会想到python，其实爬虫的实现并不限制任何语言。 下面我们就使用js来实现，后端为express，前端为vue3。
JS实现的爬虫，你觉得有用不
mikab的专栏
01-21 424
首先澄清一下，JS实现的爬虫是指用JS实现解析逻辑的爬虫，大概的想法就是把某个页面的内容下载下来，像IE或者Firefox那样把HTML的内容解析成DOM树，然后用JS解析页面的内容，得到自己想要的东西。 为什么要用JS呢？一是会JS的人基本都是搞WEB相关的东西的，DOM什么的都是熟人熟路；二是JS里面像CSS selector、jquery这样方便的东西，用起来应该是很爽的。 如果...
爬虫之JS解析，Python模拟JS代码运行。（附带模拟人人网登录案例）
王涛涛的博客
06-07 3694
六、JS解析 1.定位js文件 1.通过initiator定位到js文件 2.通过search搜索关键字定位到js文件 3.通过元素绑定的事件监听函数找到js文件，Event Listeners 注：三种方法不能保证每一种都能找到js文件，都试试 2.js代码分析，掌握加密步骤 可以加断点 3.模拟重现 1.通过第三方js加载模块直接加载js运行，js2py pyv8 execjs等 js2py模块，是一个js的发翻译工具，也是一个通过纯python实现的js解释器 js执行思路 1.
java爬虫绕过js
01-09
### 处理和绕过 JavaScript 加载内容的技术方案 对于现代网页而言，许多动态内容是由 JavaScript 动态加载的。传统的基于 HTTP 请求的方式无法获取这些由 JavaScript 渲染后的页面内容。为了使 Java 编写的爬虫程序能够处理这类情况，可以采用以下几种方法： #### 使用 Selenium WebDriver 实现浏览器自动化操作 Selenium 是一种强大的工具，允许通过编程方式控制 Web 浏览器执行一系列动作，如点击按钮、填写表单等。它支持多种主流浏览器，并能等待页面完全渲染后再提取所需的数据。 ```java import org.openqa.selenium.WebDriver; import org.openqa.selenium.chrome.ChromeDriver; public class SeleniumExample { public static void main(String[] args) throws InterruptedException { System.setProperty("webdriver.chrome.driver", "path/to/chromedriver"); // 创建 Chrome 浏览器实例 WebDriver driver = new ChromeDriver(); try { // 访问目标网址 String url = "https://example.com"; driver.get(url); Thread.sleep(3000); // 等待页面加载完成 // 获取页面源码 String pageSource = driver.getPageSource(); System.out.println(pageSource); } finally { // 关闭浏览器 driver.quit(); } } } ``` 这种方法虽然简单易用，但由于启动真实浏览器会消耗较多资源，在大规模并发场景下可能不是最优选择[^2]。 #### 利用 Headless Browser 或 Puppeteer 进行无头浏览 Headless Browsers（例如 PhantomJS 已经停止维护）以及更先进的 Puppeteer 可以在不显示图形界面的情况下运行完整的 Chromium 浏览器环境。这使得它们非常适合用于服务器端的任务，比如抓取那些依赖于 JavaScript 执行才能展示全部信息的网站。 Puppeteer 主要应用于 Node.js 平台；而对于 Java 开发者来说，则可以选择类似的库——HtmlUnit 或 JBrowserDriver 来实现相同的功能。这两种解决方案都提供了较好的性能表现并减少了对外部二进制文件的依赖。 #### 解析 AJAX 请求接口直接获取数据 很多情况下，前端应用并不是一次性把所有 HTML 结构发送给客户端，而是通过 AJAX 调用来请求额外的信息片段。如果能够分析出这些 API 的调用模式及其参数构成规律，就可以尝试模仿真实的用户行为向服务端发起相应的 GET/POST 请求从而获得原始 JSON 数据或其他格式的结果集。 这种方式要求开发者具备一定的逆向工程能力和对目标站点内部工作原理的理解程度较高。不过一旦成功解析了 API 接口，往往可以获得更加稳定可靠的数据来源渠道[^1]。
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

钱塘小甲子

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值