java爬虫（使用jsoup设置代理，抓取网页内容）

jsoup 简介

jsoup 是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。

jsoup的主要功能如下：

1. 从一个URL，文件或字符串中解析HTML；

2. 使用DOM或CSS选择器来查找、取出数据；

3. 可操作HTML元素、属性、文本；

需要使用的是jsoup-1.7.3.jar包   如果需要查看文档和下载请访问官网： http://jsoup.org

抓取网页数据 http://www.xicidaili.com/nt/：

public static List<MyIp> getIpFromText(String url) {
		List<MyIp> ipList = new ArrayList<MyIp>();
		try {
			Document doc = Jsoup.connect(url)
								.userAgent("Mozilla")
								.cookie("auth", "token")
								.timeout(3000)
								.get();

			String ipStr = doc.body().text().trim().toString();

			String[] ips1=ipStr.split("HTTP");
			
			for (String ip : ips1) {
				ip=ip.trim().replaceAll("[A-Za-z\u4e00-\u9fa5]", "").trim();
				//System.out.println(ip);
				String[] sip=ip.split("\\s");
				MyIp myIp=new MyIp(sip[0],sip[1]);
				ipList.add(myIp);
			}
		 
		} catch (IOException e) {
			System.out.println("加载文档出错");
		}
		return ipList;
	}