十一、常用API——爬虫

爬虫

本地爬虫和网络爬虫

• 有如下文本，请按照要求爬取数据。（本地爬虫）

Java自从95年问世以来，经历了很多版本，目前企业中用的最多的是Java8和Java11，因为这两个是长期支持版本，下一个长期支持版本是Java17，相信在未来不久Java17也会逐渐登上历史舞台

要求：找出里面所有的JavaXX

public static void main(String[] args) {
   
        /*有如下文本，请按照要求爬取数据。
                Java自从95年问世以来，经历了很多版本，目前企业中用的最多的是Java8和Java11，因为这两个是长期支持版本，
            下一个长期支持版本是Java17，相信在未来不久Java17也会逐渐登上历史舞台
        要求：找出里面所有的JavaXX*/

        String str = "Java自从95年问世以来，经历了很多版本，目前企业中用的最多的是Java8和Java11，因为这两个是长期支持版本,下一个长期支持版本是Java17，相信在未来不久Java17也会逐渐登上历史舞台";

//        method1(str);

        //0.获取正则表达式对象
        Pattern p = Pattern.compile("Java\\d{0,2}");

        //1.获取文本匹配器的对象
        Matcher m = p.matcher(str);

        //2.利用循环获取匹配内容
        while (m.find()){
   
            String s = m.group();
            System.out.println(s);
        }
    }

    private static void method1(String str) {
   
        //获取正则表达式对象
        Pattern p = Pattern.compile("Java\\d{0,2}");
        //获取文本匹配器的对象
        //m:文本匹配器的对象
        //str:大串
        //p：规则
        //m要在str中找符合p规则的小串
        Matcher m = p.matcher(str);

        //拿着文本匹配器从头开始读取，寻找是否有满足规则的子串
        //如果没有，方法返回false
        //如果有，返回true，在底层记录子串的起始索引和结束索引+1
        boolean b = m.find();

        //方法底层会根据find方法记录的索引进行字符串的截取
        //subString(起始索引，结束索引）；包头不包尾
        //把截取的小串进行返回
        String s1 = m.group();
        System.out.println(s1);

        //第二次在调用find的时候，会继续读取后面的内容
        //读取到第二个满足要求的子串，方法会继续返回true
        //并把第二个子串的起始索引和结束索引+1，进行记录
        b = m.find();

        //第二次调用group方法的时候，会根据find方法记录的索引再次截取
        String s2 = m.group();
        System.out.println(s2);
    }

---

注意：以下代码中的链接可能已经失效

public class RegexDemo7 {
   
    public static void main(String[] args) throws IOException {
   
        /* 扩展需求2:
            把连接:https://m.sengzan.com/jiaoyu/29104.html?ivk sa=1025883i
            中所有的身份证号码都爬取出来。
        */

        //创建一个URL对象
        URL url = new URL("https://m.sengzan.com/jiaoyu/29104.html?ivk sa=1025883i");
        //连接上这个网址
        //细节:保证网络是畅通
        URLConnection conn = url.openConnection();//创建一个对象去读取网络中的数据