Java爬取网站ajax返回的数据

最新推荐文章于 2023-08-22 15:40:23 发布

旸哥

最新推荐文章于 2023-08-22 15:40:23 发布

阅读量1.4k

点赞数 1

分类专栏： Java httpclient 爬数据文章标签： Java httpclient 爬取网站数据

本文链接：https://blog.youkuaiyun.com/qq_41032995/article/details/88193631

版权

本文演示如何利用Java的httpclient库爬取天津市网上办事大厅的ajax返回数据，详细介绍了抓包获取请求参数及解析返回内容的步骤。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

demo:爬取天津市网上办事大厅的数据

http://zwfw.tj.gov.cn/permissionitem_list_Sort2.jspx?ptype=P

开发时需要用到httpclient的jar包 https://download.youkuaiyun.com/download/qq_41032995/10998137

访问网址的时候抓包

demo1

查看一下需要提交的参数

上代码

public static String httpPostWithJSON(String url) throws Exception {
	 
	        HttpPost httpPost = new HttpPost(url);
	        CloseableH

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

旸哥

关注关注

1
点赞
踩
5

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

java 爬虫教程 ajax_爬虫—Ajax数据爬取

weixin_28911533的博客

02-27

1150

一、什么是Ajax有时候我们使用浏览器查看页面正常显示的数据与使用requests抓取页面得到的数据不一致，这是因为requests获取的是原始的HTML文档，而浏览器中的页面是经过JavaScript处理数据后的结果。这些数据可能是通过Ajax加载的，可能包含HTML文档中，可能经过特定算法计算后生成的。Ajax，全称为AsynchronousJavaScriptandXML，即异步的Ja...

基于Java爬取微博数据(一) 微博主页正文列表数据

最新发布

cnzzs的博客

08-25

511

基于Java爬取微博数据一微博主页正文列表数据爬虫背景爬虫分析爬取数据注意点爬虫背景最近有这方面的需求，于是就研究了一下通过Java爬取微博数据，由于本人是后端Java开发，因此没有研究其他爬取微博数据的方法，比如通过Python爬取微博数据。大家感兴趣的可以自行查找基于Python爬取微博数据的方法。在爬取微博数据之前...

参与评论您还未登录，请先登录后发表或查看评论

网络爬虫爬取Ajax

09-14

利用ruby技术实现网络爬虫爬取Ajax

java获取ajax传值,java取ajax传值

weixin_34304538的博客

08-05

819

java取ajax传值[2021-02-03 11:32:37]简介:php去除nbsp的方法：首先创建一个PHP代码示例文件；然后通过“preg_replace("/(\s|\&nbsp\;|　|\xc2\xa0)/", " ", strip_tags($val));”方法去除所有nbsp即可。推荐：《PHP视频教解决java的ajax提交返回值中文乱码的方法：1、在RequestM...

java 获取ajax 提交_java获取ajax提交的复杂json数据

weixin_27603469的博客

02-28

231

复杂的json数据，如多层结构的map，ajax提交后用@RequestParam获取参数，容易出错。使用@RequestBody注解，获取所有提交的内容。js代码vardata={"xxx":xxx,"yyy":yyy,}$.ajax({type:"POST",url:'',data:JSON.stringify(data),contentType:'applicatio...

java获取ajax请求_java ajax请求后台并获取到返回值

weixin_36320737的博客

02-13

849

js：$.ajax({url : '../Islogin.do',type : 'get',cache : false,dataType : 'json',success : function(obj) {alert("获取后台值成功");},error : function() {alert("fail");}});action:public void Islogin(){List st=new...

java 爬网_使用java进行Web爬网(使用Ajax / JavaScript的页面)

weixin_34662764的博客

02-19

204

我对这个网络抓取非常新.我正在使用crawler4j来抓取网站.我通过抓取这些网站来收集所需的信息.我的问题是我无法抓取以下网站的内容.http://www.sciencedirect.com/science/article/pii/S1568494612005741.我想从上述网站抓取以下信息(请查看随附的屏幕截图).如果您观察到附加的屏幕截图,则它有三个名称(在红色框中突出显示).如果单击其中...

java爬取携程酒店评价信息

11-05

总结来说，"java爬取携程酒店评价信息"项目涉及到了网络编程、HTML解析、数据存储等多个技术领域，需要对Java语言有深入理解，并熟悉相关爬虫工具和库。在实践中，不断提升对网站结构和反爬策略的分析能力，以及处理...

爬虫：Ajax数据爬取

二十四桥明月夜

01-03

9485

目录 1、什么是Ajax 1.1 实例的引入 1.2 基本原理 2、Ajax分析方法 1、查看请求 2、过滤请求 3、Ajax结果提取 1、分析请求 2、分析响应 3、例子我们在用 requests 抓取页面的时候，得到的结果可能和在浏览器中看到的不一样：在浏览器中可以看到正常显示的页面数据，但是使用 requests 得到的结果并没有，这是因为 requests 获取的都是原始的 HTML 文档，而浏览器中的页面则是经过 JavaScript 处理数据后生成的结果，这些数据的.

java获取ajax请求_Java-如何挖取某个网站中的ajax请求信息

weixin_34836906的博客

02-26

439

通常情况，通过网络爬虫挖取到的基本为网页静态内容，而动态ajax取数的内容是我个人暂时不知如何一次性把网站中的ajax获取这里介绍的是某个网站中的某一个ajax多某个table刷新，期数据，并提供其他操作，如下载：假设我们需挖取某一个网站：例：某个网站中的那些pdf文件，并下载下来首先：需要分析期网页组成结果；查看是通过什么方式读取处理的。这里结束ajax的方案(其它异同，ajax只是对数据进行一...

java 爬虫教程 ajax_pyspider 爬虫教程（二）：AJAX 和 HTTP

weixin_32028965的博客

02-27

256

在上一篇教程中，我们使用 self.crawl API 抓取豆瓣电影的 HTML 内容，并使用 CSS 选择器解析了一些内容。不过，现在的网站通过使用 AJAX 等技术，在你与服务器交互的同时，不用重新加载整个页面。但是，这些交互手段，让抓取变得稍微难了一些：你会发现，这些网页在抓回来后，和浏览器中的并不相同。你需要的信息并不在返回 HTML 代码中。在这一篇教程中，我们会讨论这些技术和抓取他...

爬虫之Ajax分析方法

实践求真知

01-18

4418

一查看请求 1 Chrome浏览器打开开发工具，然后访问https://cuiqingcai.com/5597.html 2 在Elements选项卡中便会观察到网页的源代码，右侧便是节点的样式。如下所示： 3 但这不是我们想要寻找的内容。切换到Network选项卡，随后重新刷新页面，可以发现这里出现了非常多的条目，如下图所示：这其实就是在页面加载过程中浏览器与服务器之间发送请...

手把手教会你用Python爬虫爬取网页数据！！

2301_78165187的博客

06-03

8860

爬虫就是自动获取网页内容的程序，例如搜索引擎，Google，Baidu 等，每天都运行着庞大的爬虫系统，从全世界的网站中爬虫数据，供用户检索时使用。爬虫流程其实把网络爬虫抽象开来看，它无外乎包含如下几个步骤模拟请求网页。模拟浏览器，打开目标网站。获取数据。打开网站之后，就可以自动化的获取我们所需要的网站数据。保存数据。拿到数据之后，需要持久化到本地文件或者数据库等存储设备中。那么我们该如何使用 Python 来编写自己的爬虫程序呢，在这里我要重点介绍一个 Python 库：Requests。

java实现接口爬虫

qq_52611659的博客

08-22

934

例如csdn的网页：https://silkroad.youkuaiyun.com/api/v2/assemble/list/channel/search_hot_word?第三步：模仿参数写代码，这样就能爬取到需要参数的值是什么，例如这里是爬取的总条数.

java爬虫爬取动态页面使用ajax加载

天才周的博客

09-11

7413

1.动态页面最主要的是分析，以百度的招聘为例，首先F12抓取看图点击clear清空net这样能够很好的抓取，之后点击分页操作查看请求发现一个get请求，这样就很好了既然不是post 那就直接访问，发现百度并没有给做限制，可以直接访问，并且pagesize这个参数可以自己填无限大，当然如果数据多的话，可以写个循环直接让百度服务器down掉，但是咱们都是合法公民，就不让这样做了，爬取一下信息...

Java爬虫——phantomjs抓取ajax动态加载网页

CherishL_的专栏

08-10

3463

转载： http://blog.youkuaiyun.com/eq___/article/details/52721732

htmlunit抓取js执行后的网页源码