用java 写了一个网文小说爬虫小程序

闲来无事，参考一众爬虫程序，自己也写了一个

注意事情

需要用到jsoup包，请自行下载 。下载地址 https://jsoup.org/download

程序本身很容易，主要还是去网文网站上查找几个关键参数，按F12，然后在小小的“元素”里找啊找啊找
1、第一章的地址url
2、end章节目录的地址，通常最后之一章之后回跳回到章节目录，以此作为循环结束
3、根据name初步查找标题 e1=document.getElementsByAttribute(“name”)，标题内容所在位置e1.get(1).attr(“content”)，这个要自己debug确定一下
4、根据ID查找content位置，关键字"content"
5、根据ID查找下一章对应的网页链接，“link-next”、"href"要自己去确认
另外说明，用缓冲也没快多少，可用可不用。

废话不多说，直接上代码

package test;

import java.io.BufferedWriter;
import java.io.FileWriter;
import java.io.IOException;
import java.net.URL;

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.nodes.TextNode;
import org.jsoup.select.Elements;

public class NovalCrawer {
	public static void main(String[] args) throws IOException {
		String bookname="闲来";//书名
		FileWriter fw = new FileWriter("d:/"+bookname+".txt");//保存路径
		BufferedWriter bw=new BufferedWriter(fw);
		String url = "https://www.xxxxx.xxx/xxx/xxxx.html";//第一章
		String end="https://www.xxxxx.xxx/xxx/";//小说章节目录
		String trms=","+bookname;//去除每一章节 后面带的书名
		bw.write("                       "+bookname+"\r\n");//写书名
		String title="";
		boolean wt=false;
	    while(url!=end) {
		    Document document = Jsoup.parse(new URL(url),30000);
		    Elements e1=document.getElementsByAttribute("name");//根据name查找titile
		    if(title==e1.get(1).attr("content")){
		    	wt=false;//相同章节，不写标题
		    }else{
		    	title=e1.get(1).attr("content");
		    	wt=true;//新章节，写标题
		    };
		    Element content=document.getElementById("content");//根据ID查找content
//		    Elements content=document.select("#content");	//速度慢，不用
		    url=document.getElementById("link-next").attr("href");
		    if(wt) {//写标题
		    	System.out.println("读取"+title.replace(trms, ""));
		    	bw.write("\r\n"+title.replace(trms, "") + "\r\n"); //write title
		    }
		    //写 content
		    for(TextNode tn : content.textNodes() ) {	
		    	String tmp=tn.text().replace("    ", "");
		    	if(tmp.contains("www")) continue;//去除广告
		    	bw.write("      "+tmp+"\r\n");
		    }
	    }
	    bw.flush();
	    bw.close();
	    fw.close();
	}
}

就这样吧。