Java爬虫示例-优快云博客

本文提供了两个使用Java进行网页抓取的示例代码，分别展示了如何访问百度和京东网站，通过设置请求头和使用不同的输入流读取网页内容。

有访问权限

public class SpiderTest {
　　public static void main(String[] args) throws IOException {
　　　　URL url = new URL("https://www.baidu.com");
　　　　InputStream is = url.openStream();
　　　　BufferedReader br = new BufferedReader(new InputStreamReader(is, "utf-8"));
　　　　String msg = null;
　　　　while(null!=(msg=br.readLine())){
　　　　　　System.out.println(msg);
　　　　}
　　　　br.close();
　　}
}

无访问权限

public class SpiderTest2 {
　　public static void main(String[] args) throws IOException {
　　　　URL url = new URL("https://www.jd.com");
　　　　HttpURLConnection conn = (HttpURLConnection)url.openConnection();
　　　　conn.setRequestMethod("GET");
　　　　conn.setRequestProperty("User-Agent","Mozilla/5.0 (Windows NT 6.1; W…) Gecko/20100101 Firefox/67.0");
　　　　InputStream is = url.openStream();
　　　　BufferedReader br = new BufferedReader(new InputStreamReader(conn.getInputStream(), "utf-8"));
　　　　String msg = null;
　　　　while(null!=(msg=br.readLine())){
　　　　　　System.out.println(msg);
　　　　}
　　　　br.close();
　　}
}