简单的图片采集器（网络爬虫原理）

最新推荐文章于 2025-03-18 17:06:13 发布
最新推荐文章于 2025-03-18 17:06:13 发布
阅读量6.9k 收藏 6
点赞数 1
分类专栏： JAVA从零开始 文章标签： 网络爬虫 html java io流 图片
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/q651742112/article/details/76177275
版权

1.学习目的：熟悉java类集以及IO流操作，为图片识别做采集铺垫
2.对象网站：http://www.ivsky.com
3.制作思路： 1. 输入一个网址，获取该网址的html内容.
2. 分析html内容，提取到所有网址和图片地址
3. 如果是遍历网址就循环对每个网址重复做步骤一和步骤2，如果是图片，就下载图片。（所有方法都做函数封装）

没做界面，就一个简单的控制台程序(输入数字即可运行)，效果图如下：
这里写图片描述

源代码和源文件（在最下面）如下：

1.SpiderHelp.java文件（封装各个函数）

package spider;

import java.io.BufferedReader;
import java.io.File;
import java.io.FileOutputStream;
import java.io.InputStream;
import java.io.InputStreamReader;
import java.io.OutputStream;
import java.net.URL;
import java.net.URLConnection;
import java.util.Calendar;
import java.util.Date;
import java.util.GregorianCalendar;
import java.util.regex.Matcher;
import java.util.regex.Pattern;

public class SpiderHelp {
    static int cou=0;//记图片的数量
    /**
     * 下载功能
     * 
     * @param urlString
     * @param filename
     * @param savePath
     * @throws Exception
     */
    public static void download(String urlString, String filename, String savePath) {

        try {
            // 构造URL
            URL url = new URL(urlString);
            // 打开连接
            URLConnection con = url.openConnection();
            // 设置请求超时为5s
            con.setConnectTimeout(5 * 1000);
            // 输入流
            InputStream is = con.getInputStream();

            // 1K的数据缓冲
            byte[] bs = new byte[1024];
            // 读取到的数据长度
            int len;
            // 输出的文件流
            File sf = new File(savePath);
            if (!sf.exists()) {
                sf.mkdirs();
            }
            OutputStream os = new FileOutputStream(sf.getPath() + "\\" + filename);
            // 开始读取
            while ((len = is.read(bs)) != -1) {
                os.write(bs, 0, len);
            }

        } catch (Exception e) {
            // TODO: handle exception
        } finally {

        }
    }

    /**
     * 传入一个网址字符串返回网页的html内容
     * 
     * @param webSite
     * @return String
     * @throws Exception
     */
    public static String getWebConcent(String webSite) {
        try {
            // 定义即将访问的链接
            String url = webSite;
            // 定义一个字符串用来存储网页内容
            String result = "";
            // 定义一个缓冲字符输入流
            BufferedReader in = null;
            // 将url的string字符串转成url对象
            URL realUrl = new URL(url);
            // 初始化一个连接到那个URL链接
            URLConnection connection = realUrl.openConnection();
            // 开始实际连接
            connection.connect();
            // 初始化BufferedReader输入流来读取URL的响应并指定字符串编码为UTF-8
            in = new BufferedReader(new InputStreamReader(connection.getInputStream(), "UTF-8"));
            // 用来临时存储抓取到每一行的数据
            String line;
            while ((line = in.readLine()) != null) {
                // 遍历抓取到的每一行并将其存储到result里面
                result += line;
            }
            // TODO: handle exception
            in.close();
            // System.out.println(result);
            return result;
        } catch (Exception e) {
            // TODO: handle exception
        }
        return "";
    }

    /**
     * 输入字符串和正则匹配字符，返回分割的字符
     * 
     * @param regex
     * @param str
     * @return String
     */
    public static String splitStringOne(String regex, String str) {

        try {
            Pattern pattern = Pattern.compile(regex); // 定义一个模版
            Matcher matcher = pattern.matcher(str);// 定义一个匹配类
            String str1 = new String();
            if (matcher.find()) { // 开始搜索匹配的字符串
                str1 = matcher.group(0);// 将匹配的字符串赋给str1
            } else {
                str1 = "";
            }
            return str1;// 返回字符串
        } catch (Exception e) {
            // TODO Auto-generated catch block
            e.printStackTrace();
        }
        return "";// 返回字符串
    }

    /**
     * 输入字符串和正则匹配字符，返回分割字符是否成功
     * 
     * @param regex
     * @param str
     * @return String
     */
    public static boolean splitStringOneWithJudge(String regex, StringBuffer strBuf) {
        Pattern pattern = Pattern.compile(regex); // 定义一个模版
        Matcher matcher = pattern.matcher(strBuf);
        // String str1 = new String();

        if (matcher.find()) {
            String str1 = matcher.group(0);
            int strBufLength = strBuf.length();
            strBuf.replace(0, strBufLength, "");
            strBuf.append(str1);
            return true;
        }

        return false;
    }

    /**
     * 传入一个网址字符串返回分割好的字符串数组
     * 
     * @param webSite
     * @return String
     * @throws Exception
     */
    public static String[] splitStringMany(String regex, String str) {
        if (!("".equals(str))) {
            Pattern pattern = Pattern.compile(regex); // 定义一个模版
            Matcher matcher = pattern.matcher(str);
            String[] str1 = new String[0];
            // str1=str.split(regex, 20);

            while (matcher.find()) {
                String[] cloned = new String[str1.length + 1];
                System.arraycopy(str1, 0, cloned, 0, cloned.length - 1);
                cloned[cloned.length - 1] = matcher.group();
                str1 = cloned;
            }
            // for ( String string2 : str1 )
            // {
            // System.out.println (string2);
            // }
            return str1;
        } else {
            return null;
        }
    }

    /**
     * 截取字符串数组中的字符，并返回字符串数组
     * 
     * @param regex
     * @param str
     * @return 字符串数组
     */
    public static String[] splitStringMany(String regex, String str[]) {
        // 遍历str[]数组中的每一个元素，根据正则表达式分割
        for (int i = 0; i < str.length; i++) {
            str[i] = splitStringOne(regex, str[i]);
        }
        return str;
    }

    /**
     * 对图片天堂网一个进行下载图片网址
     * 
     * @throws Exception
     * 
     */
    public static void imgDownloadToHeavenWeb(String url) {
        try {

            String regex = "<img.*?>";// 定义获取img标签的正则表达式
            String[] str1 = null;// 定义接收img标签的数组
            SpiderHelp spiHel = new SpiderHelp();// 实例化SpiderHelp类
            // String str =
            // spiHel.getWebConcent("http://www.ivsky.com/tupian/ziranfengguang/");//
            // 获取该网站的数据
            String str = spiHel.getWebConcent(url);
            System.out.println("原始数据为" + str);// 输出原始数据
            System.out.println("==================");
            str1 = spiHel.splitStringMany(regex, str); // 对数据进行分割并将数据保存在数组里面
            for (int i = 0; i < str1.length; i++) { // 输出第一次提取的数据
                System.out.println("第" + i + "条数据为" + str1[i]);
            }
            System.out.println("==================");
            str1 = spiHel.splitStringMany("src=\".*?\"", str1);// 在对数据进行第二次提取
            for (int i = 0; i < str1.length; i++) {
                System.out.println("第" + i + "条数据为" + str1[i]);
            }
            System.out.println("==================");
            str1 = spiHel.splitStringMany("http.+jpg", str1);// 在对数据进行第二次提取
            for (int i = 0; i < str1.length; i++) {
                System.out.println("第" + i + "条数据为" + str1[i]);
            }
            System.out.println("==================");
            // 下载图片测试
            for (int i = 0; i < str1.length; i++) {
                String s = getPresentTime() + "第" + cou++ + "张图片.jpg"; // 定义每一张图片名字并设置后缀名

                if (!("".equals(str1[i]))) {
                    System.out.println("第" + cou + "张图片正在下载");
                    spiHel.download(str1[i], s, "d:\\image\\");// 遍历网址并下载图片

                }

                System.out.println("==================");
            }
        } catch (Exception e) {
            // TODO: handle exception
        }

    }

    /**
     * 对图片天堂网的网址进行分割,如果与原网址相等则返回空
     * 
     * @return
     */
    public static String[] htmlDivisionToHeavenWeb(String url) throws Exception {
        SpiderHelp spiHel = new SpiderHelp();// 实例化SpiderHelp类
        String[] str1 = null;// 定义接收img标签的数组
        String str = spiHel.getWebConcent(url);
        // 测试对网址的提取
        str1 = spiHel.splitStringMany("<a.*?>", str); // 对数据进行第一次分割并将数据保存在数组里面
        if (str1 != null) {
            for (int i = 0; i < str1.length; i++) {
                System.out.println("第" + i + "条数据为" + str1[i]);
            }
            System.out.println("==================");
            str1 = spiHel.splitStringMany("href=[\'\"].*?[\'\"]", str); // 对数据进行第二次分割并将数据保存在数组里面
            for (int i = 0; i < str1.length; i++) {
                System.out.println("第" + i + "条数据为" + str1[i]);
            }

            System.out.println("==================");
            str1 = spiHel.splitStringMany("/.*/", str1); // 对数据进行第三次分割并将数据保存在数组里面
            for (int i = 0; i < str1.length; i++) {
                if ("".equals(str1[i])) {
                    str1[i] = "";

                } else if ("/".equals(str1[i])) {
                    str1[i] = "";
                } else if ("//".equals(str1[i])) {
                    str1[i] = "";
                } else {
                    str1[i] = "http://www.ivsky.com" + str1[i];
                    System.out.println("第" + i + "条数据为" + str1[i]);
                }
            }
            return str1;
        } else
            return null;
    }

    /**
     * 对图片天堂网的网址进行分割,如果与原网址相等则返回空,只返回网址
     * 
     * @return
     */
    public static String[] htmlDivisionToHeavenOnly(String url) throws Exception {
        if("".equals(url)){
            return null;
        }
        else{
            SpiderHelp spiHel = new SpiderHelp();// 实例化SpiderHelp类
            String[] str1 = null;// 定义接收img标签的数组
            String str = spiHel.getWebConcent(url);
            // 测试对网址的提取
            str1 = spiHel.splitStringMany("<a.*?>", str); // 对数据进行第一次分割并将数据保存在数组里面
            if (str1 != null) {
                // for (int i = 0; i < str1.length; i++) {
                // System.out.println("第" + i + "条数据为" + str1[i]);
                // }
                // System.out.println("==================");
                str1 = spiHel.splitStringMany("href=[\'\"].*?[\'\"]", str); // 对数据进行第二次分割并将数据保存在数组里面
                // for (int i = 0; i < str1.length; i++) {
                // System.out.println("第" + i + "条数据为" + str1[i]);
                // }

                // System.out.println("==================");
                str1 = spiHel.splitStringMany("/.*/", str1); // 对数据进行第三次分割并将数据保存在数组里面
                for (int i = 0; i < str1.length; i++) {
                    if ("".equals(str1[i])) {
                        str1[i] = "";

                    } else if ("/".equals(str1[i])) {
                        str1[i] = "";
                    } else if ("//".equals(str1[i])) {
                        str1[i] = "";
                    } else if ("/img/".equals(str1[i])) {
                        str1[i] = "";
                    } else {
                        str1[i] = "http://www.ivsky.com" + str1[i];
                        System.out.println("第" + i + "条数据为" + str1[i]);
                    }
                }
                return str1;
            } else
                return null;
        }

    }

    /**
     * 获取当前系统时间并返回自定义格式
     * 
     * @return
     */
    public static String getPresentTime() {
        Calendar calendar = new GregorianCalendar();
        StringBuffer strBuf = new StringBuffer();
        strBuf.append(calendar.get(Calendar.YEAR) + "年");
        strBuf.append(calendar.get(Calendar.MONTH) + "月");
        strBuf.append(calendar.get(Calendar.DAY_OF_MONTH) + "日");
        strBuf.append(calendar.get(Calendar.HOUR_OF_DAY) + "时");
        strBuf.append(calendar.get(Calendar.MINUTE) + "分");
        strBuf.append(calendar.get(Calendar.SECOND) + "秒");
        strBuf.append(calendar.get(Calendar.MILLISECOND) + "毫秒");

        String str = strBuf.toString();// 将时间转化为字符串
        return str;

    }

    /**
     * 对全景网一个进行下载图片网址
     * 
     * @throws Exception
     * 
     */
    public static void imgDownloadToanoramaWeb(String url, int number) {
        try {

            SpiderHelp spiHel = new SpiderHelp();// 实例化SpiderHelp类
            // 获取该网站的数据

            // 下载图片测试
            for (int i = 0; i < number; i++) {
                String s = getPresentTime() + "第" + i + "张验证码.gif"; // 定义每一张图片名字并设置后缀名

                System.out.println("第" + i + "张验证码正在下载");
                spiHel.download(url, s, "d:\\image\\VerificationCode\\");// 遍历网址并下载图片

                System.out.println("==================");
            }
        } catch (Exception e) {
            // TODO: handle exception
        }

    }
}

2.主函数（程序运行入口）Main.java

package spider;

import java.awt.Image;
import java.awt.image.BufferedImage;
import java.io.*;
import java.net.*;
import java.util.Scanner;
import java.util.regex.Matcher;
import java.util.regex.Pattern;

import javax.swing.SpinnerListModel;
import com.spider.web.model.*;

public class Main {
    public static void main(String[] args) throws Exception {
        SpiderHelp spiHel = new SpiderHelp();// 实例化SpiderHelp类

        // spiHel.imgDownloadToHeavenWeb("http://www.ivsky.com/tupian/banshanbandao_v24024/");

        // SpiderWeb spiWeb=new SpiderWeb();
        // WebNode node=new WebNode("http://www.ivsky.com/");
        // spiWeb.buildSpiderWebTwoLayer(node);
        // 遍历测试
        int n ;
        System.out.println("0.输入0表示遍历天堂图片网");
        System.out.println("1.输入1表示下载图片到D盘下image文件夹");
        System.out.println("2.输入2表示下载验证码到D盘image文件夹下的子文件夹");
        System.out.println("请输入0或者1或者2");
        Scanner scan =new Scanner(System.in);
        n=scan.nextInt();

        switch (n) {
        case 0: { // 遍历网站
            int count = 0;
            System.out.println(
                    "==========================================第一次遍历的网站=============================================");
            String str[] = spiHel.htmlDivisionToHeavenOnly("http://www.ivsky.com/");// 开始下载该网址的图片
            String str1[] = null;
            System.out.println(
                    "==========================================第二次遍历的网站=============================================");
            for (int i = 0; i < str.length; i++) {
                System.out.println("==========================================第二层第" + i
                        + "次遍历的网站=============================================");
                str1 = spiHel.htmlDivisionToHeavenOnly(str[i]);
                if (str1 != null && str1.length != 0) {
                    for (int j = 0; j < str1.length; j++) {
                        System.out.println("==========================================第三层第" + count++
                                + "次读取网址=============================================");
                        if (!("".equals(str1[j]))) {
                            spiHel.htmlDivisionToHeavenOnly(str1[j]);
                        }

                    }
                }

            }
        }
            ;

        case 1: { // 下载图片
            String str2[] = spiHel.htmlDivisionToHeavenWeb("http://www.ivsky.com/tupian/chengshilvyou/");// 开始下载该网址的图片
            if (str2 != null) { // 循环下载图片
                for (int i = 0; i < str2.length; i++) {
                    if (!("".equals(str2[i]))) {
                        spiHel.imgDownloadToHeavenWeb(str2[i]);
                    }
                }
            }
        }
            break;
        case 2: { // 下载验证码
            spiHel.imgDownloadToanoramaWeb("http://www.quanjing.com/createImg.aspx", 200);// 下载验证码
        }
            break;
        case 3: {

        }
            break;
        default:
            break;
        }

    }
}

3.爬虫遍历算法没写完，后面再上传
4.源代码下载地址如下
Spider.rar链接：http://pan.baidu.com/s/1kVge1KF 密码：syua
Spider.exe链接（运行即可看到效果）：
链接：http://pan.baidu.com/s/1pLHjVWf 密码：amxu

大批量图片爬虫工具（可以自动下载上万张图片）
01-25
python代码，可以从百度图片获取给定关键词的所有图片网址，并自动命名下载到一个文件夹中
python爬虫图片实例-【图文详解】python爬虫实战——5分钟做个图片自动下载器...
weixin_37988176的博客
10-30 205
我想要（下）的，我现在就要python爬虫实战——图片自动下载器之前介绍了那么多基本知识【Python爬虫】入门知识（没看的赶紧去看）大家也估计手痒了。想要实际做个小东西来看看，毕竟：talk is cheap show me the code!制作爬虫的基本步骤顺便通过这个小例子，可以掌握一些有关制作爬虫的基本的步骤。一般来说，制作一个爬虫需要分以下几个步骤：分析需求（对，需求分析非常重要，不要...
7款电商数据必备的爬虫利器，强烈推荐~
最新发布
分享Python、数据分析、人工智能前沿知识
03-18 2160
在当今数据驱动的时代，自动化爬虫工具和软件成为了许多企业和个人获取数据的重要手段，特别是跨境电商、外贸等业务，对数据的需求非常大，比如对amazon、tiktok、shopee等网站数据的监测和获取。这里会介绍7款功能强大、操作简便的自动化爬虫工具，用好了可以更高效地进行数据采集，非常适合电商外贸场景。
图片爬虫工具，可以爬取指定网页的图片
weixin_34174132的博客
04-04 935
这个小Demo，依赖了commonsIO工具包；因为使用了函数式编程，所以JDK需要在jdk8以上； 具体代码如下： public class Demo { public static void main(String[] args) throws IOException { //要抓取图片的网址连接 String url = "https://image.baidu.co...
图片爬虫工具（可以自动下载上万张图片）
12-09
可以从百度图片获取给定关键词的所有图片网址，并自动命名下载到一个文件夹中，，python代码，可用，欢迎下载
python 管线原理图_Python Scrapy图片爬取原理及代码实例
weixin_39820136的博客
12-17 117
1.在爬虫文件中只需要解析提取出图片地址，然后将地址提交给管道在管道文件对图片进行下载和持久化存储class ImgSpider(scrapy.Spider):name = 'img'# allowed_domains = ['www.xxx.com']start_urls = ['http://www.521609.com/daxuemeinv/']url = 'http://www.52160...
简单的图片采集器（网络爬虫原理）-附件资源
03-02
简单的图片采集器（网络爬虫原理）-附件资源
网络爬虫原理与实战
06-02
### 网络爬虫原理与实战 网络爬虫是一种自动化的程序，它按照一定的规则在互联网上搜集信息。在《网络爬虫原理与实战》这篇文章中，作者详细介绍了网络爬虫的基本概念、工作原理以及如何利用Java进行实战操作。 ##...
Python网络爬虫技术 第1章 Python爬虫环境与爬虫简介 教案.pdf
05-29
**一、爬虫原理** 爬虫，又称网络蜘蛛或机器人，是一种自动化程序，通过模拟人类浏览网页的行为，抓取互联网上的信息。爬虫通常包括以下步骤：发送请求、接收响应、解析页面内容和存储数据。其工作流程为： 1. ...
Python之如何学好爬虫原理.pdf
11-08
爬虫是网络爬取工具的简称，能够自动抓取网页数据并提取有用信息。Python作为一门广泛使用的编程语言...了解爬虫的基本原理和相关技术可以极大地提高编写爬虫的效率，并为数据分析、信息采集等后续工作提供坚实的基础。
网络图片爬虫工具
08-28
网络图片抓取小例子，用于学习使用，如要运用到项目中还需另行改造
网站图片爬虫小工具 网站图片爬虫小工具
04-19
网站图片爬虫小工具网站图片爬虫小工具网站图片爬虫小工具网站图片爬虫小工具网站图片爬虫小工具网站图片爬虫小工具网站图片爬虫小工具网站图片爬虫小工具网站图片爬虫小工具网站图片爬虫小工具网站图片爬虫小工具网站图片爬虫小工具网站图片爬虫小工具网站图片爬虫小工具网站图片爬虫小工具网站图片爬虫小工具网站图片爬虫小工具网站图片爬虫小工具网站图片爬虫小工具网站图片爬虫小工具网站图片爬虫小工具网站图片爬虫小工具网站图片爬虫小工具网站图片爬虫小工具网站图片爬虫小工具网站图片爬虫小工具网站图片爬虫小工具网站图片爬虫小工具网站图片爬虫小工具网站图片爬虫小工具网站图片爬虫小工具网站图片爬虫小工具网站图片爬虫小工具网站图片爬虫小工具网站图片爬虫小工具网站图片爬虫小工具网站图片爬虫小工具网站图片爬虫小工具网站图片爬虫小工具网站图片爬虫小工具网站图片爬虫小工具网站图片爬虫小工具网站图片爬虫小工具网站图片爬虫小工具网站图片爬虫小工具网站图片爬虫小工具网站图片爬虫小工具网站图片爬虫小工具网站图片爬虫小工具网站图片爬虫小工具网站图片爬虫小工具网站图片爬虫小工具网站图片爬虫小工具网站图片爬虫小工具网站图片爬虫小工具网站图片爬
数据采集器原理图
12-26
普通数据采集卡的电路原理图，包括各部分的详细电路连接
静态页面的图片爬取器（爬虫）批量下载图片
12-13
自己用Python3写的针对任何静态页面的图片爬取器（爬虫）, 批量下载 省力省心。
网络图片采集器
09-08
水淼软件出品的一款网络图片综合采集工具，支持将图片水平镜像 关键词采集全网图片可设定图片尺寸、颜色、动静态等参数。批量下载图片给出一组图片地址来将这些图片下载到本地
抓取图片（网络爬虫）
09-19
能够大量的抓取图片，算法也比较容易理解，能很快的改成自己的。
Python图片爬虫工具
沾花把玖的博客
08-24 4349
Python图片爬虫工具
百度图片爬取器2.0
qq_43391694的博客
02-10 420
调用selenium库，所以在使用的时候必须要配备：chrome和对应版本的chromedriver，对应的chrome放到和.py文件同一目录下即可。 1. 文件名重复异常处理，在使用OS.mkdir（）时候，如果文件加名字重复会报错。 使用while循环与try ....expect....。 try...expect...语法是执行try后面的语句，如果该语句报错，则转至expect后面语句。 2.selenium的driver切换至下一页。 使用网页句柄（weindow_handle）来进
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值