java使用代理服务器获取网页脚本

最新推荐文章于 2017-05-01 17:11:37 发布

原创最新推荐文章于 2017-05-01 17:11:37 发布 · 1.8k 阅读

1 ·

CC 4.0 BY-SA版权

java 专栏收录该内容

68 篇文章

订阅专栏

本文介绍了一种使用Java编程语言实现通过HTTP代理服务器访问网页的方法。通过设置系统的代理主机和端口，可以利用特定的代理服务器进行网络请求。文中提供了一个简单的示例程序，演示了如何设置代理并获取目标网站的内容。

package bb;

import java.io.BufferedInputStream;
import java.net.URL;
import java.net.URLConnection;
public class TestProxyIp 
{
	public static void main(String args[])
	{
		//System.getProperties().setProperty("proxySet", "true"); //如果不设置，只要代理IP和代理端口正确,此项不设置也可以
		System.getProperties().setProperty("http.proxyHost", "218.56.64.210");
		System.getProperties().setProperty("http.proxyPort", "8080");
		System.out.println(getHtml("http://www.crazyit.org")); //判断代理是否设置成功
	}
	private static String getHtml(String address)
	{
		StringBuffer html = new StringBuffer();
		String result = null;
		try
		{
			URL url = new URL(address);
			URLConnection conn = url.openConnection();
			conn.setRequestProperty("User-Agent","Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; GTB5; .NET CLR 2.0.50727; CIBA)");
			BufferedInputStream in = new BufferedInputStream(conn.getInputStream());
			try 
			{
				String inputLine;
				byte[] buf = new byte[4096];
				int bytesRead = 0;
				while (bytesRead >= 0) 
				{
					inputLine = new String(buf, 0, bytesRead, "utf-8");
					html.append(inputLine);
					bytesRead = in.read(buf);
					inputLine = null;
				}
				buf = null;
			}finally
			{
				in.close();
				conn = null;
				url = null;
			}
			result = new String(html.toString().trim().getBytes("utf-8"), "utf-8").toLowerCase();
		}catch(Exception e){
			e.printStackTrace();
			return null;
		}
		html = null;
		return result;
	}
}

几个可用的代理服务器IP和端口：

IP地址         　　 端口     城市
218.56.64.210   8080     青岛
61.135.179.52   80      　北京
61.153.16.162   80      　宁波
202.99.29.27    80      　 北京
218.26.204.66   8080     晋中
61.167.117.83   8080     大庆
221.6.62.90     8080       南京