java 抓取网页图片

最新推荐文章于 2023-11-29 15:48:45 发布
原创 最新推荐文章于 2023-11-29 15:48:45 发布 · 957 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#java #thread

import  java.io.File;
import  java.io.FileOutputStream;
import  java.io.InputStream;
import  java.io.OutputStream;
import  java.net.HttpURLConnection;
import  java.net.URL;
import  java.net.URLConnection;
import  java.text.SimpleDateFormat;
import  java.util.ArrayList;
import  java.util.Iterator;
import  java.util.List;
import  java.util.UUID;
import  java.util.regex.Matcher;
import  java.util.regex.Pattern;
 
/***
  * java抓取网络图片
  *
  * @author ITWANG
  *
  */
public  class  CatchImage
{
 
     // 地址
     private  static  final  String URL = "http://www.4493.com/" ;
     // 编码
     private  static  final  String ECODING = "UTF-8" ;
     // 获取img标签正则
     private  static  final  String IMGURL_REG = "<img.*src=(.*?)[^>]*?>" ;
     // 获取src路径的正则
     private  static  final  String IMGSRC_REG = "http:\"?(.*?)(\"|>|\\s+)" ;
 
     private  static  final  String IMGDSRC_REG = "[\"\'](http.+\\.(jpg|JPG|png|PNG|gif|GIF))[\"\']" ;
     private  static  final  String[] picstuffix = { "jpg" , "JPG" , "gif" , "GIF" , "png" , "PNG"  };
 
     private  static  List<String> pList = new  ArrayList<>();
 
     public  static  void  main(String[] args) throws  Exception
     {
         CatchImage cm = new  CatchImage();
         // 获得html文本内容
         String HTML = cm.getHTML(URL);
         // System.out.println(HTML);
         // 获取图片标签
         List<String> imgUrl = cm.getImageUrl(HTML);
          // 获取图片src地址
          List<String> imgSrc = cm.getImageSrc(imgUrl);
          // 下载图片
          cm.Download(imgSrc, "E:\\Imagesave" +saveDiff());
         
//      cm.getImageSrc(HTML);
         // cm.ThreadDownload(imgSrc, "E:\\Imagesave"+saveDiff() , 6);
//      cm.TOThreadDownload(pList, "E:\\Imagesave" + saveDiff(), 6, 6000);
     }
 
     /***
      * 获取HTML内容
      *
      * @param url
      * @return
      * @throws Exception
      */
     private  String getHTML(String url) throws  Exception
     {
         URL uri = new  URL(url);
         URLConnection connection = uri.openConnection();
         InputStream in = connection.getInputStream();
         byte [] buf = new  byte [ 1024 ];
         int  length = 0 ;
         StringBuffer sb = new  StringBuffer();
         while  ((length = in.read(buf, 0 , buf.length)) > 0 )
         {
             sb.append( new  String(buf, ECODING));
         }
         in.close();
         return  sb.toString();
     }
 
     /***
      * 获取ImageUrl地址
      *
      * @param HTML
      * @return
      */
     private  List<String> getImageUrl(String HTML)
     {
         Matcher matcher = Pattern.compile(IMGURL_REG).matcher(HTML);
         List<String> listImgUrl = new  ArrayList<String>();
         while  (matcher.find())
         {
             listImgUrl.add(matcher.group());
         }
         return  listImgUrl;
     }
 
     /***
      * 获取ImageSrc地址
      *
      * @param listImageUrl
      * @return
      */
     private  List<String> getImageSrc(List<String> listImageUrl)
     {
         List<String> listImgSrc = new  ArrayList<String>();
         for  (String image : listImageUrl)
         {
             Matcher matcher = Pattern.compile(IMGSRC_REG).matcher(image);
             while  (matcher.find())
             {
                 listImgSrc.add(matcher.group().substring( 0 , matcher.group().length() - 1 ));
             }
         }
         return  listImgSrc;
     }
 
     /**
      * 获取html里面的图片
      *
      * @param html
      * @return
      */
     private  void  getImageSrc(String html)
     {
         Pattern p = Pattern.compile(IMGDSRC_REG);
         Matcher m = p.matcher(html);
         while  (m.find())
         {
             getpicsrc(m.group( 1 ));
         }
     }
 
     /**
      * 截取字符串里面的图片
      *
      * @param src
      * @return
      */
     public  void  getpicsrc(String src)
     {
         if  (src.contains( "http:" ))
         {
             String[] app = src.split( "http:" );
             for  ( int  i = 0 ; i < app.length; i++)
             {
                 if  (!isBlank(app[i]))
                 {
                     for  ( int  j = 0 ; j < picstuffix.length; j++)
                     {
                         if  (app[i].contains( "."  + picstuffix[j]))
                         {
                             int  inum = app[i].indexOf(picstuffix[j]);
                             String url = "http:"  + app[i].substring( 0 , inum) + picstuffix[j];
                             pList.add(url);
                         }
                     }
                 }
             }
         }
     }
 
     /**
      * 去处重复元素
      *
      * @param result
      * @return
      */
     public  static  List<String> RemoveRepeated(List<String> result)
     {
         List<String> tmpArr = new  ArrayList<String>();
         for  ( int  i = 0 ; i < result.size(); i++)
         {
             if  (!tmpArr.contains(result.get(i)))
             {
                 tmpArr.add((String) result.get(i));
             }
         }
         return  tmpArr;
     }
 
     /**
      * 判断非空
      *
      * @param cs
      * @return
      */
     public  static  boolean  isBlank(CharSequence cs)
     {
         int  strLen;
         if  (cs == null  || (strLen = cs.length()) == 0 )
         {
             return  true ;
         }
         for  ( int  i = 0 ; i < strLen; i++)
         {
             if  (Character.isWhitespace(cs.charAt(i)) == false )
             {
                 return  false ;
             }
         }
         return  true ;
     }
 
     /***
      * 单线程下载图片
      *
      * @param listImgSrc
      */
     private  void  Download(List<String> listImgSrc, String savedir)
     {
         for  (String url : listImgSrc)
         {
             try
             {
                 String imageName = url.substring(url.lastIndexOf( "/" ) + 1 , url.length());
                 URL uri = new  URL(url);
                 InputStream in = uri.openStream();
                 FileOutputStream fo = new  FileOutputStream( new  File(savedir + imageName));
                 byte [] buf = new  byte [ 1024 ];
                 int  length = 0 ;
                 while  ((length = in.read(buf, 0 , buf.length)) != - 1 )
                 {
                     fo.write(buf, 0 , length);
                 }
                 in.close();
                 fo.close();
                 System.out.println( "*^_^*" );
             } catch  (Exception e)
             {
                 System.out.println( "-_-!" );
             }
         }
     }
 
     /**
      * 多线程下载图片
      *
      * @param listImgSrc
      * @param savedir
      * @param tnum
      */
     private  void  ThreadDownload(List<String> listImgSrc, String savedir, int  tnum)
     {
         for  ( int  i = 0 ; i < listImgSrc.size(); i += tnum)
         {
             new  DThread(savedir, tnum, listImgSrc, i).start();
         }
     }
 
     /**
      *
      * 2014-4-3上午10:52:38 Describe: 多线程下载照片
      *
      * @author: ITWANG
      */
     class  DThread extends  Thread
     {
 
         private  String savedir = null ;
         private  int  tnum;
         private  List<String> listImgSrc;
         private  int  bunm;
 
         public  DThread(String savedir, int  tnum, List<String> listImgSrc, int  bnum)
         {
             this .savedir = savedir;
             this .tnum = tnum;
             this .listImgSrc = listImgSrc;
             this .bunm = bnum;
         }
 
         @Override
         public  void  run()
         {
             for  ( int  i = 0 ; i < tnum; i++)
             {
                 try
                 {
                     String url = listImgSrc.get(bunm + i);
                     String sps = url.substring(url.lastIndexOf( "." ), url.length());
                     String imageName = UUID.randomUUID().toString() + sps;
                     URL uri = new  URL(url);
                     InputStream in = uri.openStream();
                     System.out.println(savedir + imageName);
                     FileOutputStream fo = new  FileOutputStream( new  File(savedir + imageName));
                     byte [] buf = new  byte [ 1024 ];
                     int  length = 0 ;
                     while  ((length = in.read(buf, 0 , buf.length)) != - 1 )
                     {
                         fo.write(buf, 0 , length);
                     }
                     in.close();
                     fo.close();
                     System.out.println( "*^_^*" );
                 } catch  (Exception e)
                 {
                     System.out.println( "-_-!" );
                 }
             }
         }
     }
 
     /**
      * 多线程超时下载
      *
      * @param listImgSrc
      * @param savedir
      * @param tnum
      * @param timeout
      */
     private  void  TOThreadDownload(List<String> listImgSrc, String savedir, int  tnum, int  timeout)
     {
         for  ( int  i = 0 ; i < listImgSrc.size(); i += tnum)
         {
             new  TODThread(savedir, tnum, listImgSrc, i, timeout).start();
         }
     }
 
     /**
      *
      * 2014-4-3上午10:52:07 Describe: 超时方式下载照片线程
      *
      * @author: ITWANG
      */
     class  TODThread extends  Thread
     {
         private  String savedir = null ;
         private  int  tnum;
         private  List<String> listImgSrc;
         private  int  bunm;
         private  int  timeout = 3000 ;
 
         public  TODThread(String savedir, int  tnum, List<String> listImgSrc, int  bnum, int  timeout)
         {
             this .savedir = savedir;
             this .tnum = tnum;
             this .listImgSrc = listImgSrc;
             this .bunm = bnum;
             this .timeout = timeout;
         }
 
         @Override
         public  void  run()
         {
             for  ( int  i = 0 ; i < tnum; i++)
             {
                 String url = listImgSrc.get(bunm + i);
                 String sps = url.substring(url.lastIndexOf( "." ), url.length());
                 String imageName = UUID.randomUUID().toString() + sps;
                 try
                 {
                     if  (getPic(url, savedir, imageName, timeout))
                     {
                         System.out.println( "*^_^*" );
                     } else
                     {
                         System.out.println( "-_-!" );
                     }
                 } catch  (Exception e)
                 {
                     System.out.println( "下载异常" );
                 }
             }
 
         }
     }
 
     /**
      * GET方式下载照片
      *
      * @param purl
      * @param folder
      * @param filename
      * @param timeout
      * @return
      * @throws Exception
      */
     public  boolean  getPic(String purl, String folder, String filename, int  timeout) throws  Exception
     {
         URL url = new  URL(purl);
         HttpURLConnection conn = (HttpURLConnection) url.openConnection();
         conn.setConnectTimeout(timeout);
         conn.setRequestMethod( "GET" );
         conn.setDoOutput( true );
         conn.setDoInput( true );
         if  (conn.getResponseCode() == 200 )
         {
             InputStream is = conn.getInputStream();
             byte [] bs = new  byte [ 1024 ];
             int  len;
             File sf = new  File(folder);
             if  (!sf.exists())
             {
                 sf.mkdirs();
             }
             OutputStream os = new  FileOutputStream(sf.getPath() + "\\"  + filename);
             while  ((len = is.read(bs)) != - 1 )
             {
                 os.write(bs, 0 , len);
             }
             os.close();
             is.close();
             return  true ;
         }
         return  false ;
     }
 
     /**
      * 时间文件夹
      *
      * @return
      */
     public  static  String saveDiff()
     {
         SimpleDateFormat formate = new  SimpleDateFormat( "yyyy-MM-dd-HH-mm-ss" );
         return  "\\"  + formate.format(System.currentTimeMillis()) + "\\" ;
     }
 
}
java从网页抓取图片_抓取一个网站特定的全部图片（JAVA）
weixin_29735807的博客
02-21 878
1. 目的用五笔时，如果碰到不会拆的字，只好换回拼音。但这样做治标不治本，于是到网上找五笔反查工具。最后发现一个不错的网站——不仅有每个字对应的五笔码，还有其字根图。可惜的是，这是一个网站。换句说，就是每次查的时候都要上网。很自然的，会想到将这个网站上的五笔码以及对应的字根图保存到本地上，再写个查询程序做成本地版的>_<2. 准备工作——网页特点分析网站(http://www.wb86...
java获取网页图片_java捕获一个网站页面的全部图片
weixin_42365038的博客
02-13 279
packagecom.jeecg.util;importjava.io.BufferedReader;importjava.io.FileNotFoundException;importjava.io.FileOutputStream;importjava.io.InputStream;importjava.io.InputStreamReader;importjava.net.HttpURLCo...
java爬虫，抓取网页图片
02-24
java爬虫，可以抓取网页中图片信息，适用与爬虫学习者
Java 抓取网页上的图片
路虽远行则将至，事虽难做则必成
09-23 260
本文介绍 1.利用正则 匹配到网页上的 图片的路径 和标题 2.然后下载 3.然后上传到服务器 [code="java"] public class Picture { private String title; private String source; private String upPath; //get set ... } [/code...
用java抓取网页图片
blocker205的专栏
08-29 2616
记得是这个月9号来深圳的，找了快20天的工作，结果只有那么三四家公司打电话要我去面试，真的不知道什么原因啊。是我投简历投简历投少了么？还是这个季节就是招聘冷季节？真的不清楚。前天去一家创业公司面试，公司感觉还好，整体还算满意，很幸运的被面试上了。谈的工资也是我能接受的，就答应了去上班。今天是第一天去上班，晚上回到住处就在思索着写点什么东西来呢？这个月就要结束了。时间真的过得很快，不过还好，在找工作
详解JAVA抓取网页的图片,JAVA利用正则表达式抓取网站图片
08-31
在Java编程中，抓取网页图片是一项常见的任务，特别是在数据抓取、网页分析或爬虫项目中。本文将详细介绍如何利用Java和正则表达式来抓取网页中的图片链接，并下载这些图片。以下是一个简单的Java程序示例，用于实现...
Java抓取网页图片链接地址
07-17
### Java抓取网页图片链接地址 #### 知识点概览 本文将详细介绍如何使用Java编程语言抓取网页上的图片链接。此技术广泛应用于网络爬虫、数据分析等领域，能够帮助开发者快速获取所需的图像资源。 #### 技术背景与...
Java抓取百度图片
11-29
在本文中，我们将深入探讨如何使用Java编程语言和Spring Boot框架来实现百度图片的抓取与下载功能。首先，我们需要了解几个关键的概念和技术。 **Java** 是一种广泛使用的面向对象的编程语言，它以其跨平台的特性而...
Java获取网页中url的图片资源.rar
07-10
Java获取网页中的图片资源，启动线程，智能解析URL，加载图片资源，显示图片数据，测试时候请用IE打开useTrackedImage.html 文件，载入图像文件，并获取该图像文件。本Java例子主要是利用java.awt.MediaTracker 类来...
java获取页面的图片
wangyue123com的专栏
12-11 434
java获取页面的图片 import java.io.BufferedReader; import java.io.File; import java.io.FileOutputStream; import java.io.InputStream; import java.io.InputStreamReader; import java.net.URL; import java.net.URLC...
【用Java爬取网页图片——爬虫爬取数据】
居然天上楼的博客
10-19 2460
java爬取网络图片，爬虫1、在创建项目中导入jsoup。2、创建一个保存下载图片的路径。4、利用属性标签获取图片连接块。
java获取网页图片_如何用java代码获取 这个网页上的图片
weixin_35771315的博客
02-13 418
展开全部你也没说是要把图片下载下来还是什么的这里我实现的是将图片下载到电32313133353236313431303231363533e4b893e5b19e31333335323461脑importjava.io.File;importjava.io.FileNotFoundException;importjava.io.FileOutputStream;importjava.io.I...
Java获取网页中的图片
最新发布
hello，word！
11-29 407
【代码】java获取网页中的图片。
实现抓取网页图片（JAVA实现）
zpeng的博客
04-28 9011
    最近学习网页设计，想仿网络上的一个页面，图片素材一个一个地保存起来太麻烦。就想着里利用JAVA来实现一个小小的网页图片爬虫，代码很简单，不一会儿就实现了，但是当我访问https协议的图片时，一直报javax.net.ssl.SSLKeyException异常，到我存储图片的目录，http协议的已经爬取下来了，但https的没有。花了三天，还是一直卡这个异常。一直百度，Google找了很久。...
java抓取图片_java 抓取网页的图片
weixin_31281027的博客
02-12 284
//只能抓取一部分图片，像折800有些子路径的一行图片代码有好多个img，而且排列不规律，我的能力根本就没法截取下来package test;import java.io.BufferedOutputStream;import java.io.BufferedReader;import java.io.File;import java.io.FileOutputStream;import java...
Java获取网页图片（打开浏览器方式）
一条快死的鱼
07-10 668
【代码】Java获取网页图片（打开浏览器方式）
如何以Java实现网页截图技术
热门推荐
【Java究竟怎么玩?】
03-06 5万+
今天看到某网友关于“如何以Java实现网页截图技术”的咨询帖，由于出现该咨询的地点非常不适合较长回复，故以博文形式回答。 事实上，如果您想以Java实现网页截图，也就是“输入一段网址，几秒钟过后就能截取一张网页缩略图”的效果。那么，您至少有3种方式可以选择。 1、最直接的方式——使用Robot 方法详解：该方法利用Robat提供的强大桌面操作能力，硬性调用浏览器打开指定
java图片简单爬虫_java简单web爬虫(网页图片)
weixin_42501119的博客
02-26 194
java简单web爬虫(网页图片)效果，执行main()方法后图片就下载道C盘的res文件夹中。没有的话创建一个文件夹代码里的常量根据自己的需求修改，代码附到下面。 package com.sinitek.sirm.common.utils;import java.io.*;import java.net.URL;import java.net.URLConnection;import java....
使用Java实现网页图片自动化抓取与保存
1. 网页抓取技术：网页抓取是利用一定的技术手段从网络中获取数据的过程。Java中常见的网页抓取框架有Jsoup、HttpClient等。Jsoup是一个方便的Java库，用于解析和操作HTML文档，它允许用户直接通过CSS选择器来提取和...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值