Java爬虫

最新推荐文章于 2025-05-23 17:03:50 发布

ooooo博ooooo

最新推荐文章于 2025-05-23 17:03:50 发布

阅读量222

点赞数 1

文章标签： java

本文链接：https://blog.youkuaiyun.com/t15263857960/article/details/134146339

版权

public class TianBo_Test2_More_MuLu2 implements Runnable{

   private static String record_file="E:\\\\java_paChong\\\\biQuGe_XiaoShuo";
   private static String record_file_zhangShu_url="";

   FileWriter fw = null;
   String url="https://www.ctgf.net";

   String fileName=""; //小说分类
   String fileName2="";//小说名
   String fileName_ZhangShu=""; //小说第几章
   String fileName_ZhangShu_NeiRong=""; //小说内容




   @Test
public void jsoup( ) throws Exception {
       /** 优势：由于Document是java中自带的解析器，兼容性强
           缺点：由于Document是一次性加载文档信息，如果文档太大，加载耗时长，不太适用**/
   //解析url地址，笔趣阁，玄幻魔法
   Document doc___0 = Jsoup.parse(new URL(url),10000); // 解析网页得到文档对象
//     Document doc___3 = Jsoup.parse(new URL(url+e___2.attr("href")).openStream(), "GBK", url+e___2.attr("href"));

   //使用标签选择器
//     String title = document.getElementsByTag("title").first().text();
//     System.out.println("-------title------"+title);
/****************创建----首页-----目录*******************/
   /***使用属性，属性值 -----》获取值***/
//     <li><a href="/magic/">玄幻魔法</a></li> -----属性，属性值
//       String title3 = document.getElementsByAttributeValue("href","/magic/").first().text();
       System.out.println("-------title3------"+title3);
//     System.out.println( "target-_blank" );
// 根据属性名和属性值来查询DOM
   //通过选择器查找所有博客链接DOM
   Elements targetElements=doc___0.select("#wrapper .nav a");// id选择器下的--》class选择器---》a标签
for (Element e___0:targetElements){
    fileName=e___0.text(); // //小说分类
//    System.out.println("------------"+fileName);
    if("首页".equals(fileName) || "榜单".equals(fileName)
            || "全部小说".equals(fileName) || "搜索".equals(fileName)
            || "书架".equals(fileName) ) {
        //跳出循环，循环下一个
        continue;
    }
    /*创建文件夹*/ /****************创建目录*******************/
//        System.out.println("------2222222------"+fileName);
   File file=new File(record_file+ File.separator+ File.separator+fileName);
       if(!file.exists()){//如果文件夹不存在
           file.mkdir();//创建文件夹
       }
/* 给文件夹写入数据，*/

//       System.out.println("---获取-----href--的值--："+e.attr("href"));
//       System.out.println("---url--："+url+e___0.attr("href"));
       Document doc___1 = Jsoup.parse(new URL(url+e___0.attr("href")),10000); // 解析网页得到文档对象
       Elements Elements_log=doc___1.select("#newscontent .l ul li .s2 a");// id选择器下的--》class选择器---》a标签
       for (Element e___1:Elements_log){


           fileName2=""; //小说名
           fileName2=e___1.text().toString();
//       System.out.println("--------fileName2-----小说名-----"+fileName2);
           System.out.println("----111----"+record_file+ File.separator + File.separator
                      +fileName + File.separator + File.separator
                      +fileName2);
       File file2=new File(record_file+ File.separator+fileName+File.separator+fileName2);
       if(!file2.exists()){//如果文件夹不存在
               file2.mkdir();//创建文件夹
               }

       Document doc___2 = Jsoup.parse(new URL(e___1.attr("href")), 10000);
       Elements Elements_DiJiZhang=doc___2.select("#list dl dd a");// id选择器下的--》class选择器---》a标签
       for (Element e___2:Elements_DiJiZhang){
           fileName_ZhangShu=""; //小说第几章
           fileName_ZhangShu=e___2.text().toString().replace("?", "？");
           record_file_zhangShu_url="";
           record_file_zhangShu_url=(record_file + File.separator + File.separator
                   +fileName+File.separator + File.separator +fileName2
                   +File.separator + File.separator +fileName_ZhangShu+".txt").toString();//.replace("\\","/")
           File file3=new File(record_file_zhangShu_url);
           ///如果这张内容不存在，就创建文件夹，并写入内容，
           ///-------否则，就不创建跳出循环，循环下一个
           if(!file3.exists()) {
              file3.createNewFile();





          System.out.println("-------fileName_ZhangShu-----------"+fileName_ZhangShu);
              //添加--小说--张数--标题
                   fw = new FileWriter(record_file_zhangShu_url, true);
                   BufferedWriter buWriter = new BufferedWriter(fw);
                   buWriter.write(fileName_ZhangShu);
                   buWriter.newLine();//换行


                   Document doc___3 = Jsoup.parse(new URL(url+e___2.attr("href")), 10000);
                   Elements Elements_DiJiZhang_NeiRong=doc___3.select("#content");// id选择器下的--》class选择器---》a标签
                   for (Element e___3:Elements_DiJiZhang_NeiRong){
//                       buWriter.write("\r\n\r\n"); //换行
//                       buWriter.newLine();//换行
                      fileName_ZhangShu_NeiRong=""; //小说内容
                      //换行，一个 ‘，’换一次行
                      fileName_ZhangShu_NeiRong= e___3.text().toString().replace("。”", "。”"+"\r\n");
//                      fileName_ZhangShu_NeiRong= e___3.text().toString();
//                      System.out.println("-----------fileName_ZhangShu_NeiRong------------"+fileName_ZhangShu_NeiRong);

                      buWriter.write(fileName_ZhangShu_NeiRong);

                   }
                   buWriter.close();
                   fw.close();

           }else { //如果这张内容存在,就跳出循环，循环下一个
               continue;
           }
       }

       }

}

}
               public void run() {
                   for (int i = 0; i < 10; i++) {
           System.out.println(Thread.currentThread().getName() + ":" + i);
           }

               }

}