java多线程爬图书图片

最新推荐文章于 2024-07-19 09:23:38 发布
原创 最新推荐文章于 2024-07-19 09:23:38 发布 · 6.6w 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

学习笔记仅供参考

1.xiancheng.class

package com.example.util;

import com.example.service.bookservice;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;
import org.springframework.beans.factory.annotation.Autowired;

import java.io.*;
import java.net.*;
import java.util.ArrayList;
import java.util.Random;

public class xiancheng implements Runnable{
    ArrayList<String>ips=new ArrayList<String>();
    String[] names;
    public xiancheng(ArrayList<String>ipss,String[] namess){
        ips=ipss;
        names=namess;
    }

    @Override
    public void run() {
//        ArrayList<String> ips = ips();
        int i = 0;
        Random x = new Random();
        int j = x.nextInt(100);
        for (String bookname : names) {
            int z=x.nextInt(19000);
            bookname=names[z];
            File f = new File("C:/IMAGES/"+bookname+".jpg");
            if(f.exists()){
                continue;
            }
            String ip = ips.get(j);

            i++;
            if (i % 20 == 0) {
                j++;
            }
            if (j%20==0) {
                try {
                    ips=new pachong().ips1();
                } catch (IOException e) {
                    e.printStackTrace();
                }
                j = 0;
            }
            InputStream in = null;
            FileOutputStream out = null;

            String path = null;
            try {
                path = "http://book.ucdrs.superlib.net/search?sw=" + URLEncoder.encode(bookname, "utf-8") + "&allsw=&bCon=&ecode=utf-8&channel=search&Field=all";
            } catch (UnsupportedEncodingException e) {
                e.printStackTrace();
            }
            Random r = new Random();
            String[] ua = {"Mozilla/5.0 (Windows NT 6.1; WOW64; rv:46.0) Gecko/20100101 Firefox/46.0",
                    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.87 Safari/537.36 OPR/37.0.2178.32",
                    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/534.57.2 (KHTML, like Gecko) Version/5.1.7 Safari/534.57.2",
                    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.101 Safari/537.36",
                    "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/46.0.2486.0 Safari/537.36 Edge/13.10586",
                    "Mozilla/5.0 (Windows NT 10.0; WOW64; Trident/7.0; rv:11.0) like Gecko",
                    "Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.1; WOW64; Trident/6.0)",
                    "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0)",
                    "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; WOW64; Trident/4.0)",
                    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/47.0.2526.106 BIDUBrowser/8.3 Safari/537.36",
                    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/47.0.2526.80 Safari/537.36 Core/1.47.277.400 QQBrowser/9.4.7658.400",
                    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/48.0.2564.116 UBrowser/5.6.12150.8 Safari/537.36",
                    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/38.0.2125.122 Safari/537.36 SE 2.X MetaSr 1.0",
                    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/48.0.2564.116 Safari/537.36 TheWorld 7",
                    "Mozilla/5.0 (Windows NT 6.1; W…) Gecko/20100101 Firefox/60.0"};
            int k = r.nextInt(14);
            String[] r1 = ip.split(":");
            System.getProperties().setProperty("http.proxyHost", r1[0]);
            System.getProperties().setProperty("http.proxyPort", r1[1]);
            System.err.println(r1[0]+":"+r1[1]);

            Document doc = null;
            try {
                doc = Jsoup.connect(path)
                        .timeout(50000)
                        .ignoreHttpErrors(true)
                        .userAgent(ua[k])

                        .get();
            } catch (IOException e) {
                e.printStackTrace();
            }
            Elements els = doc.select(".px14 img");
            Elements els1 = doc.select("#dxid0");

            System.out.println(Thread.currentThread().getName()+" 下载的："+bookname+"个数为："+els.size());
            if (els.size() < 1) {

                continue;
            }
            String imagePath = "";
            for (Element el : els) {
                imagePath = el.attr("src").trim().toString();
                break;
            }
            String no="";
            for (Element el : els1) {
                no = el.attr("value").trim().toString();
                System.out.println(no);
                break;
            }
            System.out.println(imagePath);
            String path1="";
            try {
                path1="http://book.ucdrs.superlib.net/views/specific/2929/bookDetail.jsp?dxNumber="+no+URLEncoder.encode(bookname, "utf-8");
            } catch (UnsupportedEncodingException e) {
                e.printStackTrace();
            }
            Document doc1 = null;
            try {
                doc = Jsoup.connect(path1)
                        .timeout(50000)
                        .ignoreHttpErrors(true)
                        .userAgent(ua[k])
                        .header("referer", "http://book.ucdrs.superlib.net/antispiderShowVerify.ac")
                        .get();
            } catch (IOException e) {
                e.printStackTrace();
            }
            Elements els2 = doc.select(".tubookimg img");

            URL url = null;// 创建url对象
            try {
                url = new URL(imagePath);
            } catch (MalformedURLException e) {
                e.printStackTrace();
            }
            for (Element el : els2) {
                imagePath = el.attr("src").trim().toString();
                break;
            }
            HttpURLConnection conn = null;// 打开连接
            try {
                conn = (HttpURLConnection) url.openConnection();
            } catch (IOException e) {
                e.printStackTrace();
            }

            conn.setRequestProperty("contentType", "GBK"); // 设置url中文参数编码

            conn.setConnectTimeout(5 * 1000);// 请求的时间

            try {
                conn.setRequestMethod("GET");// 请求方式
            } catch (ProtocolException e) {
                e.printStackTrace();
            }


//            System.out.println(doc.title());
//            System.out.println(doc.html());

            //从 Doc 的树形结构中查找 img 标签
            //.class 选择器

            try {
                in = conn.getInputStream();
            } catch (IOException e) {
                e.printStackTrace();
            }
            // readLesoSysXML(inStream);
            try {
                Thread.sleep(1000);
            } catch (InterruptedException e) {
                e.printStackTrace();
            }
            try {
                conn = (HttpURLConnection) new URL(imagePath).openConnection();
                //读取数据
                String uu = "C:\\IMAGES\\";
                //获得图片的名字
                int index = imagePath.lastIndexOf('/');
                String file = imagePath.substring(index + 1);
                file = uu + bookname + ".jpg";
                //创建输出流，写入
                out = new FileOutputStream(file);

                byte[] buf = new byte[1024 + 16];
                int size;
                while (-1 != (size = in.read(buf))) {
                    out.write(buf, 0, size);
                }
                //下载完成
                String name = Thread.currentThread().getName();
            } catch (MalformedURLException e) {
                e.printStackTrace();
            } catch (IOException e) {
                e.printStackTrace();
            } finally {
                //不论是否发生异常都会执行的
                if (out != null) {
                    try {
                        out.close();
                    } catch (IOException e) {
                        // TODO Auto-generated catch block
                        e.printStackTrace();
                    }
                }

                if (conn != null) {
                    conn.disconnect();
                }
            }
        }
    }
}

2.pachong.class

package com.example.util;

import com.alibaba.fastjson.JSONArray;
import com.alibaba.fastjson.JSONObject;
import com.example.service.bookservice;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Controller;

import java.io.*;
import java.lang.reflect.Array;
import java.net.*;
import java.util.ArrayList;
import java.util.Random;
import java.util.concurrent.ExecutorService;
import java.util.concurrent.Executors;

@Controller
public class pachong {
    @Autowired
    bookservice bs;

    public static void main(String[] args) throws IOException {


    }

    public ArrayList<String> ips() throws IOException {
        String path = "http://ip3.11jsq.com/index.php/api/entry?method=proxyServer.generate_api_url&fetch_key=&groupid=0&city=&port=1&css=&specialTxt=3&specialJson=&usertype=2&pro=&packid=0&fa=0&time=101&qty=100&format=txt&ss=1&dt=1&nofreq=hZvph5Mx47od";// 要获得html页面内容的地址

        URL url = new URL(path);// 创建url对象

        HttpURLConnection conn = (HttpURLConnection) url.openConnection();// 打开连接
        conn.setRequestProperty("User-Agent", "Mozilla/4.0 (compatible; MSIE 5.0; Windows NT; DigExt)");
        conn.setRequestProperty("contentType", "GBK"); // 设置url中文参数编码

        conn.setConnectTimeout(5 * 1000);// 请求的时间

        conn.setRequestMethod("GET");// 请求方式

        InputStream inStream = conn.getInputStream();
        // readLesoSysXML(inStream);

        BufferedReader in = new BufferedReader(new InputStreamReader(inStream, "GBK"));
        StringBuffer buffer = new StringBuffer();
        ArrayList<String> ipp = new ArrayList<String>();
        String line = "";
        // 读取获取到内容的最后一行,写入
        while ((line = in.readLine()) != null) {
            buffer.append(line);
            ipp.add(line);
            System.out.println(line);
        }
        String str = buffer.toString();
//    JSONObject json1 = JSONObject.parseObject(str);
//    JSONArray jsons =  JSONArray.parseArray(json1.get("data").toString());

//    for(Object json:jsons){
//        JSONObject ips = JSONObject.parseObject(json.toString());
//        String ip = ips.get("IP").toString();
//        System.out.println(ip);
//        ipp.add(ip);
//    }
        return ipp;

    }

    public ArrayList<String> ips1() throws IOException {
        String path = "http://ip3.11jsq.com/index.php/api/entry?method=proxyServer.generate_api_url&fetch_key=&groupid=0&city=&port=1&css=&specialTxt=3&specialJson=&usertype=2&pro=&packid=0&fa=0&time=101&qty=20&format=txt&ss=1&dt=1&nofreq=hZvph5Mx47od";// 要获得html页面内容的地址

        URL url = new URL(path);// 创建url对象

        HttpURLConnection conn = (HttpURLConnection) url.openConnection();// 打开连接
        conn.setRequestProperty("User-Agent", "Mozilla/4.0 (compatible; MSIE 5.0; Windows NT; DigExt)");
        conn.setRequestProperty("contentType", "GBK"); // 设置url中文参数编码

        conn.setConnectTimeout(5 * 1000);// 请求的时间

        conn.setRequestMethod("GET");// 请求方式

        InputStream inStream = conn.getInputStream();
        // readLesoSysXML(inStream);

        BufferedReader in = new BufferedReader(new InputStreamReader(inStream, "GBK"));
        StringBuffer buffer = new StringBuffer();
        ArrayList<String> ipp = new ArrayList<String>();
        String line = "";
        // 读取获取到内容的最后一行,写入
        while ((line = in.readLine()) != null) {
            buffer.append(line);
            ipp.add(line);
            System.out.println(line);
        }
        String str = buffer.toString();
//    JSONObject json1 = JSONObject.parseObject(str);
//    JSONArray jsons =  JSONArray.parseArray(json1.get("data").toString());

//    for(Object json:jsons){
//        JSONObject ips = JSONObject.parseObject(json.toString());
//        String ip = ips.get("IP").toString();
//        System.out.println(ip);
//        ipp.add(ip);
//    }
        return ipp;

    }

    public void xiancheng(String[] names) throws IOException, InterruptedException {
        ExecutorService pool = Executors.newFixedThreadPool(30);

//        ArrayList<String>ips = new ArrayList<>();
//        try {
//            File file = new File("C:/IMAGES/ip.txt");
//            BufferedReader bufferedReader = new BufferedReader(new FileReader(file));
//            String strLine = null;
//            int lineCount = 1;
//            while(null != (strLine = bufferedReader.readLine())){
//                System.err.println(strLine);
//                ips.add(strLine);
//                lineCount++;
//            }
//        }catch(Exception e){
//            e.printStackTrace();
//        }

            ArrayList ips = ips();
            for (int i = 0; i < 35; i++) {
                pool.execute(new xiancheng(ips, names));
            }

    }
}
旭旭1998
关注
Java实现简易版的【图书管理系统】
m0_58761900的博客
05-21 2万+
Java实现简易版的【图书管理系统】 🌎1.分析图书管理系统的功能 🌍 2.在IDEA中进行功能类的创建 🦄2.1创建一个名为book的包，里面存放书相关的 🦄 2.2 创建一个名为Operation的包，里面存放对书的所有操作 🌎 3.进行用户相关的处理 🌏4.开始实现对书所有具体的操作功能 🦄4.1先实现可以调用具体操作的功能方法 🦄4.2 测试一下 🦄4.3 实现单独具体的操作的功能
Java多线程并发必看的书
11-29
想深入学习java多线程的必备杀器，才出版的
java图片处理书_java的图片处理-Go语言中文社区
weixin_36084095的博客
02-24 154
直接上效果图，现在有的需求就是把用户的头像，跟昵称嵌入到这个背景图中。第一步，把头像切成圆角，背景透明的图片。第二部，把第一步生成的图片，当成水印放到坐标的左边的红箭头的地方第三部，创建文字水印，然后放入到右边的红箭头地方。效果图如下：由于需要thumbnailator组件支持先导入mavennet.coobirdthumbnailator0.4.8直接上代码：package com.image;...
java书籍图(转)
sunxboy的专栏
11-14 201
关于java多线程核心技术这本书的总结
moxiaolin的博客
04-23 1915
这本书,对于入门多线程有一个很大的帮助,但是想要实现真正的高并放,高可用的程序,这些还远远不够.但是你没有多线程基础和思想,想要去实现后面的高并发和高可用也是不现实的. 以下将会对java多线程核心技术这本书进行总结概况: 首先你要了解多线程那你就得清楚进程和线程到底是什么,当初阿里面试官电面的第一个问题就是解释一下线程是什么?我个人对线程的定义是,进程简单来说就是一个程序的执行,而一个程序...
多线程并发学习书籍
07-20
并发多线程学习书籍大全，多线程、并发一共6本书。最新的2018年出版，最旧的2012年。
java多线程进阶
10-18
Java多线程是Java编程中的核心概念，尤其对于高级开发者来说，掌握多线程的深入理解和应用至关重要。这本书“java多线程进阶”显然旨在帮助读者深化这方面的理解，打通编程中的“任督二脉”，使开发者能够更加熟练地...
Java多线程编程技术
03-26
《Java多线程编程核心技术》建议猿友们读两遍，因为其写得没有那么抽象，第一遍有些概念不是很理解，可以先跳过并记录起来，第一遍阅读的目的主要是了解整个架构。第二遍再慢慢品味，并贯穿全部是指点来思考，并将...
java多线程应用实现方法
01-01
这一篇文章主要关于java多线程，主要还是以例子来驱动的。因为讲解多线程的书籍和文章已经很多了，所以我也不好意思多说，呵呵、大家可以去参考一些那些书籍。我这个文章主要关于实际的一些问题。同时也算是我以后...
Java多线程编程实战指南-核心篇
06-10
《Java多线程编程实战指南-核心篇》是一本深入探讨Java并发编程的书籍，旨在帮助读者掌握在Java环境中创建、管理和同步线程的核心技术。Java的多线程能力是其强大之处，使得开发者能够在同一时间执行多个任务，提高...
Java多线程设计模式_清晰完整PDF版 Java多线程设计模式源代码
11-16
本资料集包含了清晰完整的PDF版书籍和源代码，为学习和理解Java多线程设计模式提供了丰富的素材。 首先，我们要理解多线程的核心概念。在Java中，线程是程序执行的最小单位，每个线程都有自己的程序计数器、虚拟机...
如何用Java爬到一本书
qq_40020196的博客
09-01 159
前排提示，本人是个萌新，写出的代码可能有错误，请原谅。 本文需要java基础即可食用 引入 用java爬一本书？我爬到了一本《亮剑》 思路 一本书，是txt文本，好实现。我们要先找到爬取的网站，接着用最简单的思路，获得页面HTML，然后分析HTML内容，从而提炼出可用信息。 实现 找到一个这样的站点很重要，有此在HTML中没有，有些还不能正常显示。 https://www.51shucheng.net/ 可以尝试。 方式 那么得到可用的信息，我们会通常想到正则表达式Reg，通过匹配从HTML中获得信息。 过
java书籍_Java学习必备书籍（快来收藏）
weixin_39608478的博客
11-29 484
Hello，everyone！今天圆圆煞费苦心的从JavaGuide、优快云、豆瓣读书等平台搜索相关信息为大家整理了一份学习<Java的必备书籍>精华推荐，希望能够帮助更多的热爱Java的小伙伴们提供学习帮助.（因为圆圆系耐弄滴>,<）虽然是精华版，但一定还有很多不错的Java书籍还没有添加进去，我会继续完善下去的。希望这篇文章对你有帮助，好书分享给你们，刚把得！欢迎在留...
谈谈Java 多线程的三种实现方法。
yihuliunian的博客
06-03 132
转载自品略图书馆http://www.pinlue.com/article/2020/05/2102/3810573725857.html Java SE高级开发——多线程的实现 进程与线程的概念： 进程：操作系统中，一个程序的执行周期称为一个进程 线程：一个程序同时执行多个任务的时候，我们把每一任务称作一个线程 进程与线程相比较，线程更”轻量级“，创建、撤销一个线程比启动一个进程开销要小的多。但是，没有进程就没有线程，进程一旦终止，其内的线程也不再存在。 多线程与多进程的区别： 每...
JAVA写一个多线程上锁的图书馆还书借书流程
一名想当程序员的人
05-28 902
跟着导师学Java，今天无意中发现了java多进程和多线程的语法语义，来做一个多线程带锁的图书馆流程小程序。
Java 图书管理系统
Ajekseg的博客
07-28 3984
虽然我们完成了图书管理系统部分的代码，但是这个系统的逻辑还是不完善的。想完善的可以自己去完善。这个小项目虽然小，但是在实现的过程中确实是挺锻炼初学者的，比如按照不同的菜单去调用不同的操作的方法的实现。回顾整个过程，并不是一下子就很顺利的写完的，所以在写之前，要打一个大概的框架，在写的过程中完善代码。httpshttpshttpshttpshttpshttpshttpshttpshttpshttpshttpshttpshttpshttps。...
2021-11-12
m0_55971510的博客
11-12 1264
// ==UserScript== // @name 红太狼的平底锅 // @namespace duxiu.ssno.search // @version 1.0.4 // @include *search* // @include *bookDetail.jsp?* // @include *advsearch* // @include *book.do?go=guide* // @include *book.do?go=showmorelib* // @include .
书籍推荐--多线程学习
最新发布
2301_79659699的博客
07-19 1703
实战Java高并发程序设计》主要介绍基于Java的并行程序设计基础、思路、方法和实战。该书内容丰富，实例典型，实用性强，适合有一定Java基础的技术开发人员阅读。基础介绍立足于并行程序基础，详细介绍Java中进行并行程序设计的基本方法。
经典Java多线程编程实例源码合集
《Java多线程编程实例》是一本早期但极具影响力的关于Java多线程编程的指导书籍，其随书源码集合对于理解多线程编程的基本概念、实现方式以及经典问题的解决方案具有重要的参考价值。尽管该书出版时间较早，但其中所...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值