java抓取有验证的页面内容

用Java爬取新房二手房数据看总体大环境 目录 一、引言 二、准备工作 三、数据爬取 四、数据分析 五、总结 一、引言 随着互联网的普及和大数据技术的发展,网络数据已经成为反映社会经济现象的重要来源之一。本篇文章将介绍如何使用Java语言爬取新房和二手房数据,并通过这些数据来分析总体大环境。 二、准备工作 在进行数据爬取之前,需要做好以下准备工作: 确定目标网站:选择一个或多个具有代表性的房地产网站作为数据来源。 技术选型:选择合适的爬虫框架,如Jsoup、WebMagic等。 确定数据采集规则:根据需求,确定要采集的数 阅读详情
package zz.test.ssm.controller;

import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStreamReader;

import javax.servlet.http.HttpServletRequest;

import org.apache.commons.codec.binary.Base64;
import org.apache.commons.httpclient.HttpClient;
import org.apache.commons.httpclient.HttpException;
import org.apache.commons.httpclient.HttpStatus;
import org.apache.commons.httpclient.UsernamePasswordCredentials;
import org.apache.commons.httpclient.auth.AuthScope;
import org.apache.commons.httpclient.methods.GetMethod;
import org.apache.commons.httpclient.methods.PostMethod;
import org.springframework.stereotype.Controller;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RequestMethod;
import org.springframework.web.bind.annotation.ResponseBody;
@Controller
@RequestMapping(value = "/mq")
public class MqQueueController {


    @RequestMapping(value = "queue", method = RequestMethod.GET)
    @ResponseBody
    public String getMqQueue(HttpServletRequest request) throws HttpException, IOException {
        String response = "";
        String queueName = request.getParameter("queue");
        String username = "user";
        String password = "pass";
        String url = "http://192.168.50.2:1002/api/queues/%2Femsfeedback/"+queueName;  


        HttpClient client = new HttpClient();
        client.getState().setCredentials(
                new AuthScope("192.168.50.2", 1002),
                new UsernamePasswordCredentials(username, password));
        GetMethod get = new GetMethod( url );
        get.setDoAuthentication( true );
        int status = client.executeMethod( get );
        response = get.getResponseBodyAsString();
        System.out.println(status+ "\n" + get.getResponseBodyAsString());
        get.releaseConnection();
        return response;
    }
}

参考:
http://www.blogjava.net/jelver/articles/162339.html
http://www.cnblogs.com/loveyakamoz/archive/2011/07/21/2113247.html

java初试爬虫jsoup爬取纵横小说免费模块 之前一直学习java ee,上个月到深圳工作,被招去做java爬虫,于是自己学着jsoup,写了个简单的爬虫 因为平时喜欢看小说就爬了纵横。 阅读详情

相关推荐

java抓取带验证码登陆后的页面

用于,带有验证码的登陆页面的登陆解析。亲测可用,无需jar包。

java爬虫遇到网页验证码怎么办?(使用selenium模拟浏览器并用python脚本解析验证码图片)

本人是爬虫小白,在做这个爬取工具之前也只有两天学习爬虫的经历,本来是打算用HttpClient和JSoup做爬虫的,但是遇到了烦人的验证码,只能用这种方法解决。这个代码依旧有很多不足的地方需要改进,同时由于是针对我需要爬取的网站所编写的爬虫,耦合度还是很高,所以我尽量解释了我的想法,阅读者可以根据自己的需要找到有启发的地方就再好不过了。这也是我的第一篇博客,发出来是为了记录一下这两天的工作,代码和博客内容还有很多不足,欢迎大家批评指正。ps:上述代码的部分启发如下()

HwJ__z的博客 3321

DEA各种模型原理及stata代码实现

DEA各种模型原理及stata代码实现DEA各种模型原理及stata代码实现一、CCR和BCC1.原理2.效率测算stata代码3.Malmquist指数3.1M指数3.2Global-Malmquist指数4.指数计算代码与案例二、SBM模型1.原理2.stata代码实现三、方向性距离函数(DDF)1.原理2.stata代码实现3.非径向DDF模型(NDDF)3.GML指数4.指数测算四、总结 DEA各种模型原理及stata代码实现 一、CCR和BCC 1.原理 CCR模型产出导向下的效率通过求解以下规划

wonder1322的博客 4万+

java读取网站_Java读取网站内容的两种方法

《Java读取网站内容的两种方法》由会员分享,可在线阅读,更多相关《Java读取网站内容的两种方法(4页珍藏版)》请在人人文库网上搜索。1、Java读取网站内容的两种方法一、HttpClient利用apache的虚拟客户端包获取某个地址的内容 1import java.io.UnsupportedEncodingException;2import java.util.HashSet;3import...

weixin_39817391的博客 552

高效网络流量回放:使用tcpreplay实现多目标IP的pcap重放

本文详细介绍了如何使用tcpreplay工具高效回放网络流量pcap文件,并实现多目标IP发送。通过tcprewrite编辑报文和并行回放策略,可满足安全测试、负载测试等场景需求。文章涵盖安装、基础回放、核心技巧及性能优化,帮助读者构建真实流量压力测试环境。

weixin_29297127的博客 480

用5毫欧采样电阻实现高精度电流检测?数字可调电源控制板的硬件设计陷阱

本文深入探讨了在数字可调电源控制板设计中,如何利用5毫欧采样电阻实现高精度电流检测。从微小信号放大电路设计、采样电阻布局与热管理,到电源切换与电池管理电路优化,提供了全面的硬件设计解决方案和实用技巧,帮助工程师规避常见设计陷阱,提升系统性能。

wdx0123456的博客 1030

html 没有标签内容抓取,如何使用HtmlUnit从网页中提取没有HTML标签的文本?

http://htmlunit.sourceforge.net/gettingStarted.html表明这确实是可能的.@Testpublic void homePage() throws Exception {final WebClient webClient = new WebClient();final HtmlPage page = webClient.getPage("http://h...

weixin_36269709的博客 578

ORB-SLAM3复现的详细过程——配置安装及ROS和脚本运行---Ubuntu20.04

所提供的图像具有高动态范围,事先进行了光度标定,用20Hz的帧率采集,分辨率为1024像素*1024像素;需要下载数据集dataset-room1_512_16和rgbd_dataset_freiburg1_desk。在一键安装ROS后,只需要再安装Pangolin即可,其他所有的需要都已经存在。用微型飞行器采集的视觉惯性数据集,包含双目相机和IMU同步测量数据及位姿的真值。第二条命令中的${ROS_PACKAGE_PATH}是自己文件的路径。其采用的相机和IMU传感器,在硬件上进行了时间同步。

琉璃轻纱的博客 1万+

基于HtmlUnit实现简单登录、页面跳转以及获取有用数据部分代码示例(示例网站:大润发)

实现基本登录,页面跳转,标签获得以及请求的发送等。

Loser100的博客 5914

vCenter6.7证书过期导致503报错的全面修复指南:从STS证书更新到SSL信任修复

本文详细解析了VMware vCenter 6.7因STS证书过期导致503服务不可用错误的根本原因,并提供了从诊断、更新STS证书到修复SSL信任链的完整解决方案。通过命令行工具检查证书状态,使用官方脚本更新过期STS证书,并利用lsdoctor工具修复深层SSL信任问题,最终指导用户使用certificate-manager彻底重置所有证书,帮助管理员快速恢复vCenter服务。

pz890123的博客 1294

超聚变安装银河麒麟服务器系统ky10-server-x86

超聚变-通过BMC口进服务器管理界面如下图为BMC管理口:默认BMC口IP:https://192.168.2.100l浏览器打开网页,输入用户名和密码登陆后,如下图红框处,选择“启动虚拟控制台”——选择“HTML集成远程控制台”系统银河麒麟服务器系统ky10 server x86选择镜像文件X86架构我们一般选择下图2212版本选择启动方式:光驱重启出现安装图形化界面选装安装系统的磁盘系统安装盘选完后如下图,会置灰创建root密码开始安装系统首次进入,有协议界面。

zengliguang的专栏 5966

java获取https网页代码_java抓取Https协议url地址的源码的方法

阅读本文之前,请先阅读下文,通过下文将获取到keystore文件:在此,感谢一下stevenliu,不过经过我的测试,发现stevenliu文章中的源码并没有抓取到页面源码。可能是我项目里面的HttpClient版本较高的原因。下面这个方法没有问题:packageorg.phoenix.cases.webservice;importjava.io.FileInputStream;import...

weixin_35638013的博客 883

SAP录入总账凭证报错 公司代码未被分配给国家或用于计算程序的国家消息号 FF703

SAP系统报错FF703的解决方案:当公司代码未分配国家或未配置计税程序时,会导致增值税计算失败。处理方法:1)通过OX02检查公司代码国家字段;2)使用OBBG为国家分配计税程序(如TAXCN)。配置步骤:1)SPRO分配公司代码到国家;2)OBBG设置国家对应的计税程序。注意事项:历史数据需清理才能修改国家字段,不同账簿可配置不同计税程序。完成配置后即可正常处理含税凭证。

金牌架构师 557

java+selnium爬取凡人修仙传

最近无聊,就用java爬了下凡人修仙传的内容,具体不多说,看代码图 package testNG; //连续两章读取 根据xpath中 //根据参数读取 import static org.junit.Assert.assertTrue; import java.sql.Driver; import java.util.List; import java.util.concurrent.TimeU...

qq_42696339的博客 922

【硬件工程师面经整理18_Smith圆图】

若文中任何内容侵犯了您的合法权益,请相关权益人及时与我联系,我将立即进行核实并采取适当措施,包括但不限于删除相关内容或更新文章以消除影响。**在Smith圆图上,源阻抗表示为圆心,而负载阻抗表示为圆图上的一个点。具体来说,通过将负载阻抗在Smith圆图上移动到特定位置,使其与传输线特性阻抗形成纯电阻或纯电抗的组合,从而实现匹配。例如,反射系数表示为Smith圆图上的一个点,而驻波比则表示为圆图上两个点之间的距离。Smith圆图是用于阻抗匹配和网络分析的工具,它是一种将复阻抗表示为坐标的图形。

LeeYLong的博客 652

迈瑞BS系列全自动生化分析仪LIS协议接口手册(内含HL7和ASTM)

迈瑞BS系列全自动生化分析仪LIS协议接口手册,内含HL7和ASTM)

java 模拟浏览器解析_java 模拟浏览器

现在需要用java模拟浏览器 去偷点数据来 有验证码登陆的先简单的看了一下 有HttpURLConnection 和HttpClient再细看看HttpURLConnection 挺难弄的,决定从HttpClient入手但是在eclipse的工程里面引入httpclient包Exception in thread "main" java.lang.NoClassDefFoundErro...

weixin_34642354的博客 754

Outlook Express 6 (OE6) for Win7/Win8/Win10

英文版 Outlook Express6.0, 兼容Win7/Win10/WinXP,解压就可用。

java爬虫 之 搜狐新闻爬虫(二)

我们可以发现搜狐新闻的新闻页都是有规律的比如: http://news.sohu.com/20160415/n444266195.shtml在浏览器中右键检查元素可以找到锁定文章标题,时间,来源的标签那么经过分析确定标签可以得到下面的代码:Elements h = doc.select("h1[itemprop]");//标题 System.out.println(h.text());

u012315428的专栏 960

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

IDEA的使用指南

IDEA基于java的使用手册,可以最快速的上手,在使用中不断的丰富自己的使用技巧.

用JAVA来获取往期所有开奖信息

import java.io.BufferedReader; import java.io.BufferedWriter; import java.io.File; import java.io.FileWriter; import java.io.IOException; import java.io.InputStream; import java.io.InputStreamReade...

郭南君的博客 1147

java爬虫获取作者所有博文的链接

六级考试当前,复习英语之际也得利用闲暇时间再回顾一下java。 最近看了一点爬虫的知识,作为练手写一个爬虫快速获取作者的所有博文链接。 通过url爬取目标页面的内容。 利用正则表达式从爬取的内容匹配出博文链接并打印 通过url链接博文进行访问,再次验证 访问量+10,当然这不是重点 package com.csdn; import org.apache.http.HttpEntity; import org.apache.http.client.config.CookieSpecs; import

Aatroy的博客 6002

爬虫框架--webmagic

官方有详细的使用文档:http://webmagic.io/docs/zh/ 简介:这只是个java爬虫框架,具体使用需要个人去定制,没有图片验证,不能获取js渲染的网页,但简单易用,可以通过xpath和css选择符获取网页内容,官方也有超详细的文档,适合爬取简单的网页和新手学习爬虫。图片验证和js渲染网页获取都可以后来添加进去。使用webmagic这个框架,可以减少很多需要自己写的代码,从而...

weixin_30820077的博客 114

htmlunit 工具类

package com.spf.HUtest; import java.awt.image.BufferedImage; import java.io.ByteArrayOutputStream; import java.io.File; import java.io.IOException; import java.io.InputStream; import java.net.URL; im

莫失莫忘的博客 1417

今天做的一个简单投票程序

朋友让我帮忙做个刷票程序,原来打算从网上找个程序给他就算了,但登陆那个网站发现验证码是直接生成的文字...网上找到的都是对图片的处理.... 想想其实,自己也可以做一个刷票程序... 于是写了以下代码,基本是参照网上的资料和api帮助文档....可惜最后对代理处理还是没成功,总是连接失败..... [code="java"] import java.io.*; import java.n...

an_six 550

Webclent基本操作

/** * @Title: webclientTest.java * @Package webclient * @Description: TODO(用一句话描述该文件做什么) * @author A18ccms A18ccms_gmail_com * @date 2016年8月30日 下午3:52:41 * @version V1.0 */ p...

weixin_30456039的博客 88

webmagic在tomcat上https报错问题

我是直接把process中的page.getHtml()替换为我自己得到的 import java.io.BufferedReader; import java.io.InputStreamReader; import java.net.HttpURLConnection; import java.net.URL; import java.security.SecureRandom; imp

qq_26144007的博客 1004

selenium自动化测试(初窥门径)

​selenium一个web应用测试工具 这里以谷歌浏览器为样例,下载谷歌浏览器对应的插件 我本机的谷歌 ​​​​​​ 谷歌浏览器驱动下载链接 http://chromedriver.storage.googleapis.com/index.htmlhttp://chromedriver.storage.googleapis.com/index.htmlhttp://npm.taobao.org/mirrors/chromedriver/http://npm.taobao.org/mirrors.

邓霖涛的博客 1万+
上一篇: linux下文件名的操作
下一篇: mac配置maven
AiHubMax
博客等级 码龄15年 27粉丝 60原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值