获取远程URL数据

平时可能有些需要要获取别的网站的一些数据。。。。
呵呵,在以前公司没少干这样的事。。。
公司想搞一个最新的股票查询,哎,没有钱去和别人合作。。。
就去偷啊,具体偷哪个网站的都不说了。。。影响问题。。。。
JAVA.NET.*包以进行了封装。。。。
写了个简单的例子。。。。
抓取百度首页的数据。。。。


具体代码如下。。。。
见笑了。。。。


package com.della.test;

import java.io.BufferedReader;
import java.io.InputStreamReader;
import java.net.HttpURLConnection;
import java.net.URL;

public class Test {


public static void main(String[] args) {
System.out.println(sendPost("http://www.baidu.com"));
}

public static String sendPost(String url) {
String result = "";
try {
URL httpurl = new URL(url);
HttpURLConnection httpConn = (HttpURLConnection) httpurl
.openConnection();
httpConn.setDoInput(true);
BufferedReader in = new BufferedReader(new InputStreamReader(
httpConn.getInputStream()));
String line;
while ((line = in.readLine()) != null) {
result += line;
}
in.close();
} catch (Exception e) {
e.printStackTrace();
System.out.println("没有结果!" + e);
}
return result;
}

}

通过URL地址获取远程数据并用json返回 通过URL访问接口,获取数据,并将xml格式转换为json格式输出。 立即下载

相关推荐

获取远程HTML网页内容

获取远程HTML网页内容 C 源代码<br>(注意,我的资源都是零积分哦)

hutool-获取url中的参数

hutool-获取url中的参数

u013008898的博客 4080

汉字跨越三千年的生命力与数字时代适应性

文字作为文明载体,其演变规律始终遵循实用性与适应性的平衡。汉字作为现存最古老的文字系统,凭借形义结合的六书构造原理,实现了超方言的文化统一功能。在计算机处理方面,五笔输入法与Unicode支持证明了其技术兼容性,而视觉识别效率的先天优势使其在信息时代更具传播效力。从甲骨文识别AI到现代书法设计,汉字系统持续展现强大的文化承载力与技术适应性,这种活态传承为数字人文研究提供了独特样本。

weixin_29058331的博客 355

hutool优雅解析URL链接并获取参数

hutool优雅解析URL链接并获取参数

weixin_45623983的博客 8218

cmw500 lte非信令测试_WiFi信令测试在研发过程中的作用

  1、关于信令测试的故事  2016年的某天,某著名网络产品公司技术负责人致电寻求技术支持:我们的无线路由器遇到了一个困惑:我们某款路由器应用于实际WiFi网络中时,WiFi终端接入非常困难。但是我们使用测试工具检测此路由器,它的所有物理射频指标都非常优异。不知道是为什么?  我来到了测试现场看到:WiFi路由器受控于芯片公司的测试工具,其WiFi发射机指标在非信令测试仪上显示:无论功率、EVM...

weixin_39662263的博客 3925

Unity适配Nintendo Switch平台开发

查看文档、下载SDK,都需要账号登录。

凝遥的笔记本 2102

华为URL思绪总结

首先是加密流量过滤,这个功能的主要作用就是为了让https的URL也可以经过防火墙的过滤,恶意流量URL检测的勾选代表着当防火墙上预置地URL库中如果没有办法查询到相对应的URL的时候,它就会去远程地查询相对应的服务器,当然远程服务器的相关参数肯定是要进行确定的。URL的来源主要有两个,但是最终我们都是要将URL导入到防火墙的缓存之后才能去使用,首先第一个来源就是本地预先设置的URL库,这个在对象-->URL分类中就可以看见到,然后第二个来源就是URL的远程服务器,我们在系统--->URL分..

qq_47529104的博客 1885

解决【x2openEuler环境检查未通过——CheckRepoCurlActor不通过】问题

摘要:x2openEuler使用默认repo源时出现环境检查失败问题,原因是默认源返回308永久重定向错误。解决方法包括:1)为CentOS主机配置华为yum源;2)在x2openEuler Web界面修改为自定义可用源。具体步骤包括备份原源、下载华为源、清除缓存,并通过curl测试确认新源可用性。最终成功配置openEuler-24.03-LTS-SP1版本的repo源后,环境检查顺利通过。

提供C#相关开发 、云计算、运维测试、网络安全相关技术分享与服务,有意向可联系。 258

获取url上的参数

export const getUrlParams = (url, key) => { let search = url && url.split("?")[1]; var theRequest = {}; let query = search && search.split("&"); for (let i = 0; i < query.length; i++) { theRequest[query[i].split("=")[.

qq_42577176的博客 216

Python爬虫实战:携程/飞猪酒店信息爬取与动态价格分析

在当今数字化旅游时代,酒店预订平台的复杂筛选条件和动态定价机制为数据分析和价格监控带来了巨大挑战。本文将深入探讨如何使用最新的Python爬虫技术来抓取携程和飞猪平台的酒店信息,处理复杂的筛选条件,并解析动态价格数据。本文详细介绍了如何使用最新的Python爬虫技术来抓取携程和飞猪平台的酒店信息。通过结合httpxplaywrightparsel强大的反反爬虫能力:通过浏览器指纹伪装、请求签名、智能延迟等技术应对各种反爬措施高效的数据解析:使用CSS选择器和XPath精确提取所需信息灵活的数据存储。

2201_76125261的博客 414

deepstream车道线检测自定义插件化,其中要注意pipeline的配置,如果插件位置配置不对,会报input format should be RGBA when using blur-obje

以上代码中,我们先从对象池中获取一个 DsUserMeta 对象,然后使用 get_lane_line_from_frame 函数获取车道线检测结果,并使用 add_lane_line_meta 函数将其添加到 DsUserMeta 对象中。注意,上述代码中的 get_lane_line_from_frame 函数和 add_lane_line_meta 函数需要你自己实现,用于从视频帧中提取车道线检测结果,并将其添加到 DsUserMeta 中。

pvmsmfchcs的博客 690

获取url的域名,参数,值

一:获取url的参数 例如url为:http://xxx:15200/shareDown?recom_uuid=c7c02390-aee5-71fa70af031e&amp;from_recom=01 想要获取?后面的参数值,可以用下面的方法 //获取url的参数信息 function getQueryString() { var name,value; ...

四月 1935

微信小程序 - 实现身份证OCR识别人像面与国徽面并提取字段信息,详解从手机相册选取或打开摄像头拍照上传身份证正反面图片ocr文字识别数据填充表单(提供免费纯前端ocr识别插件+百度OCR识别API)

微信小程序身份证识别,微信小程序身份证拍照、上传并OCR识别,微信小程序实现OCR扫描识别,微信小程序识别身份证免费插件,微信小程序实现身份证识别功能。ocr识别插件。微信身份证拍照后进行ocr识别,微信小程序OCR扫描识别身份证,OCR身份证实名认证+图片上传+拍照上传图片,微信小程序之身份证照片正反上传,小程序OCR身份证识别,微信小程序实现文字识别-ocr插件,微信小程序利用百度AI实现扫描身份证获取信息功能,基于微信小程序OCR插件实现身份证拍照、上传并OCR识别的示例demo,将上传的照片传到服务

🏆 前端领域优质创作者 8135

使用HttpURLConnection获取远程URL数据

平时可能有些需要要获取别的网站的一些数据。。。 写了个简单的例子。。。抓取百度首页的数据。。。 import java.io.BufferedReader;import java.io.InputStreamReader;import java.net.HttpURLConnection;import java.net.URL;public class GetRemoteDataTes

圣彼得堡之光的专栏 3333

Python爬虫实战:爬取小红书数据做爆款分析,我破解了签名加密+移动端反爬(附完整代码)

爬取小红书数据的核心,不是“简单的HTTP请求”,而是“理解移动端接口的加密逻辑和反爬规则”——从x-s/x-t签名破解到移动端UA伪装,再到行为模拟,每一步都是对移动端爬虫的深度理解。这套方案的价值在于,不仅能稳定抓取小红书数据,还能从数据中拆解出有价值的爆款特征,真正把“数据”变成“洞察”。对程序员来说,小红书爬虫不仅是技术练手,更是了解新媒体平台数据逻辑的窗口。希望这篇分享能帮到做新媒体分析或爬虫进阶的小伙伴,也欢迎在评论区交流小红书反爬和爆款分析的更多技巧!

专注于Python爬虫开发,分享爬虫技巧、项目实战与反爬经验,使用Scrapy、BeautifulSoup等工具,解决数据抓取难题。 2058

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

java返回一个url并访问_java对远程url地址进行访问并获取返回的数据

/*** url-天气*/public static void main(String[] args){String url = "https://free-api.heweather.com/s6/weather/now";String key = "xxx";String parms = "location=深圳&key="+key;String str = SendGET(url,p...

weixin_33132819的博客 967

ssm框架搭建

这个是一个在idea上成功跑起来的ssm框架项目,保存在这里方便以后使用直接下载

结合DWR获取远程URL数据

[code="java"] bean.java package com.cw.entity; import java.io.BufferedReader; import java.io.InputStreamReader; import java.net.HttpURLConnection; import java.net.URL; public class Bean {...

weiweichen的专栏 284

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

java对远程url地址进行访问并获取返回的数据

/** * url-天气 */ public static void main(String[] args){ String url = "https://free-api.heweather.com/s6/weather/now"; String key = "xxx"; String parms = "locati...

北山飞天的博客 3132

SpringBoot调用远程URL获取数据(不是feign调用哦)

SpringBoot出来后,许多的服务调用走的是feign,但是这又一个前提就是,我们的服务必须注册到服务中心中并且在服务中心中能调用,我们能与其进行正常的通信,但是,要是我们的服务不在一个服务中心,这样怎么办呢?你们想一下怎么去实现,博主将会用代码的形式告诉你们实现方式 首先,添加pom依赖,没有依赖是绝对不行的 <dependency> <groupId>com.alibaba</groupId> <artifactId>fastjson&

qq_43757153的博客 2312

php从远程URL获取(mp4 mp3)音视频的流媒体数据

php获取远程URl的媒体数据流

夸父博客 849

获取远程的字符串(请求一个URL, 返回这个请求页面的页面数据)

///         /// 获取远程的字符串         ///         /// url         /// string         public string GetRemoteCode(String Url)         {             string strResult;             try             {

ITX2000的专栏 891

c# 通过访问URL,获取并解析远程服务端返回的复杂Json数据

  最近在做一个业务需求,需要通过速卖通提供的API,抓取速卖通订单数据到本地数据库。   速卖通官方提供了很多API及测试工具,抓取数据功能的实现基本上不存在问题,比较麻烦的是,ALi服务端传回来的订单列表是Json格式的。解析起来还是相当头疼的。   在此分享出本人的解析方法,个人感觉的比较愚笨的处理方式,希望各位大神给出更好的建议。   ALi提交的URL请求格式为:http://gw...

weixin_34129145的博客 966

php 得到url 的内容,php – 从URL获取文件内容?

根据您的PHP配置,这可能是一个简单的使用:$jsonData = json_decode(file_get_contents('https://chart.googleapis.com/chart?cht=p3&chs=250x100&chd=t:60,40&chl=Hello|World&chof=json'));但是,如果系统上未启用allow_url_fop...

weixin_36341727的博客 533

python获取url的返回信息

#########start 获取url的返回信息############ import urllib import urllib2 import string def jwkj_url_postget(url,vlaues): data = urllib.urlencode(values) req = urllib2.Request(url, data) response

guzl86 4535

php调用远程url的六种方法

php 调用远程url的六种方法,需要的朋友可以参考下。 示例代码1: 用file_get_contents 以get方式获取内容 复制代码代码如下: <?php$url='http://www.baidu.com/';$html=file_get_contents($url);//print_r($http_response_header);ec($html);...

weixin_30569033的博客 233
上一篇: 表单验证类validator及其示例
下一篇: 将页面地址添加收收藏夹
weiweichen
博客等级 码龄19年 10粉丝 9原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值