Jsoup解析网页（二）爬虫解析一个完整的网页

最新推荐文章于 2025-06-23 13:07:14 发布

迪迪调调

最新推荐文章于 2025-06-23 13:07:14 发布

阅读量1.9k

点赞数 1

CC 4.0 BY-SA版权

分类专栏： Jsoup 文章标签：爬虫 jsoup网络爬虫

本文链接：https://blog.youkuaiyun.com/u010248330/article/details/70215209

本文介绍了一个使用Jsoup爬虫抓取并解析网页的实例，目标是将网页内容下载到本地服务器，再通过FTP上传到另一服务器供外部访问。以百度新闻为例，演示了如何抓取页面，并处理相对路径以确保资源可用。代码中省略了下载CSS和JavaScript的过程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

以我做的一个项目中的需求为例子，
需求：爬虫一个网页，将这个网页的内容解析，解析完将这个网页下载到我们自己的服务器保存。然后通过ftp上传到另一个服务器作为外部资源给别人访问。

我们就爬一个百度新闻作为测试：http://qijunjie.baijia.baidu.com/article/825950

简单的代码：

import java.io.BufferedWriter;
import java.io.File;
import java.io.FileNotFoundException;
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.OutputStreamWriter;
import java.io.UnsupportedEncodingException;
import java.util.Random;

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

/**
 * 
 * @author kxl
 * 
 */

public class CrawlNews {
   
   
    public static void main(String[] args) {
         String url="http://qijunjie.baijia.baidu.com/article/825950";
         doCrawlNews(url);
    }

    public static boolean doCrawlNews(String url) {
            boolean downloadSuccess=false;
            Document doc =