【Java】爬虫

一、引入

正则表达式有两个作用

• 作用一：校验字符串是否满足规则
• 作用二：在一段文本中查找满足要求的内容

作用一我们已经学习完毕了，接下来来学习它的第二个作用，这个动作其实也就是我们之前经常听到的两个字：爬虫，我们可以从一大段网络文字中去爬取我们想要的数据。

爬取数据的时候有两种方式：本地爬虫和网络爬虫

在正式爬取之前，需要先知道两个类

---

二、Pattern类

它是在 java.util.regex 包中的，这个类就表示 正则表达式。

因此如果获取到了一个 Pattern类 的对象，相当于就是获取到了一个 正则表达式 的对象。

---

三、Matcher类

它也是 java.util.regex 包中的，这个类就表示 文本匹配器，它的作用就是：按照正则表达式的规则去读取字符串，而且是从头开始读取。

在读取的时候它会去找符合匹配规则的子串。

---

四、本地爬虫

有如下文本，请按照要求爬取数据。

Java自从95年问世以来，经历了很多版本，目前企业中用的最多的是Java8和Java11，
因为这两个是长期支持版本，下一个长期支持版本是Java17，相信在未来不久Java17也会逐渐登上历史舞台

要求：找出里面所有的JavaXX

---

1）第一步：获取正则表达式(Pattern)的对象

Pattern 对象不能直接 new，需要通过 compile() 静态方法获取，在 compile() 方法中的参数位置就可以去写正则表达式。

Pattern.compile("Java\\d{0,2}");

方法会返回一个 Pattern类 的对象，说白了就是后面这个 Java\\d{0,2} 正则表达式的对象

Pattern p = Pattern.compile("Java\\d{0,2}");

---

2）第二步：获取文本匹配器的对象

matcher() 形参中传入的是需要爬取的文本(字符串)，方法返回的是一个文本匹配器的对象。

m：文本匹配器的对象，str：需要爬取的文本，p：规则。

因此：m 要在 str 中找符合 p规则 的小串

Matcher m = p.matcher(str);

使用 find() 方法，方法返回值为 boolean。

该方法会拿着文本匹配器从头开始读取，寻找是否有满足规则的子串。

如果没有，方法返回 false；如果有，方法返回 true。

在底层它还会去记录子串的 起始索引 和 结束索引 + 1

m.find()

光告诉我 有没有 / 索引 还不行，我还得讲里面的数据拿出来才行，此时就需要调用 group() 方法。

这个方法的底层就会根据 find() 方法记录的索引进行字符串的截取。

字符串的截取可以传两个参数：substring(起始索引, 结束索引)，而且它的特点是：包头不包尾。

通过这个方法就知道了， find() 记录的结束索引需要 + 1 的原因了。

截取完后，它会把截取的小串进行返回。

boolean b = m.find();
String s = m.group();
System.out.println(s); // Java

但此时代码还没写完，它仅仅只是截取了一个，后面还有很多数据没爬取，因此此时我们需要继续往后读取。

在第二次调用 find() 方法的时候，会继续读后面的内容。

读取到第二个满足要求的子串时，方法会继续返回 true。

并把第二个子串的 起始索引 和 结束索引 + 1 进行记录。

此时我们就可以再次调用 group() 方法进行截取。

b = m.find();
// 第二次调用group方法的时候，会根据find()方法记录的索引再次截取子串，并将这个子串进行返回。
String s2 = m.group();
System.out.println(s); // Java

但是代码到这还没结束，因为文本中有多少满足要求的子串我们并不知道，因此此时我们需要使用循环改进。由于不知道要循环多少次，所以这里使用 while循环。

while (m.find()) {
    String s = m.group();
    System.out.println(s);
}

---

3）完整代码

//1.获取正则表达式的对象
Pattern p = Pattern.compile("Java\\d{0,2}");
//2.获取文本匹配器的对象
//拿着m去读取str，找符合p规则的子串
Matcher m = p.matcher(str);

//3.利用循环获取
while (m.find()) {
    String s = m.group();
    System.out.println(s);
}

---

五、网络数据爬取（了解）

需求：把链接 https://www.pv138.com/idCard/list/ 中所有的身份证号码都爬取出来。

这个网址中有很多身份证号码和名字。

由于网络里面的知识点我们还没有进行学习，因此在这里你知道这么做就行了，混个眼熟，不需要你去练。

public class RegexDemo7 {
    public static void main(String[] args) throws IOException {
        /* 扩展需求2:
            把连接：https://www.pv138.com/idCard/list/
            中所有的身份证号码都爬取出来。
        */

        //创建一个URL对象，URL就可以把它理解成是一个网址对象
        URL url = new URL("https://www.pv138.com/idCard/list/");
        //openConnection()：打开连接，即连接上这个网址
        //细节:在运行这行代码的时候需要保证网络是畅通
        URLConnection conn = url.openConnection();
        //创建一个对象去读取网络中的数据
        BufferedReader br = new BufferedReader(new InputStreamReader(conn.getInputStream()));
        String line;
        //获取正则表达式的对象pattern
        String regex = "[1-9]\\d{17}";
        Pattern pattern = Pattern.compile(regex);
        //在读取的时候每次读一整行
        while ((line = br.readLine()) != null) {
            // 这里打印的就是我这行读取到的数据
            System.out.println(line);
        }
        br.close();
    }
}

运行上面代码，可以发现控制台中打印的信息都是我们刚刚读取到的。

但是这里面并不是所有的数据都是我想用的，我只想用里面的身份证号码怎么办？

此时就可以去用我们刚刚讲解的 Pattern 和 Mathcer 完成

//获取正则表达式的对象pattern
String regex = "[1-9]\\d{17}";
Pattern pattern = Pattern.compile(regex);//在读取的时候每次读一整行
while ((line = br.readLine()) != null) {
    //拿着文本匹配器的对象matcher按照pattern的规则去读取当前的这一行信息
    Matcher matcher = pattern.matcher(line);
    while (matcher.find()) {
        System.out.println(matcher.group());
    }
}

运行程序看下结果：可以发现所有的身份证号码都被爬取出来了

---

六、练习

需求：把下面文本中的座机电话，邮箱，手机号，热线都爬取出来。

来黑马程序员学习Java，手机号:18512516758，18512508907或者联系邮箱:boniu@itcast.cn，座机电话:01036517895，010-98951256邮箱:bozai@itcast.cn，热线电话:400-618-9090 ，400-618-4000，4006184000，4006189090

String s = "来黑马程序员学习Java，" +
                "电话:18512516758，18512508907" + "或者联系邮箱:boniu@itcast.cn，" +
                "座机电话:01036517895，010-98951256" + "邮箱:bozai@itcast.cn，" +
                "热线电话:400-618-9090 ，400-618-4000，4006184000，4006189090";

既然座机电话，邮箱，手机号你都想要，第一件事就得把座机电话，邮箱，手机号的正则表达式写出来。

由于这三个正则表达式都已经讲过了，因此直接复制粘贴就行了

手机号的正则表达式：1[3-9]\d{9}
邮箱的正则表达式：\w+@[\w&&[^_]]{2,6}(\.[a-zA-Z]{2,3}){1,2}
座机电话的正则表达式:θ\d{2,3}-?[1-9]\d{4,9}

接下来我们就是要来写第四个正则：热线电话

400-?[1-9]\\d{2}-?[1-9]\\d{3}

现在我们要做的就是：将大串 s 中的符合上面四种格式的小串都获取出来。

即：只要这个小串满足这四个正则表达式之一，就会把你获取出来

String regex = "()|()|()|()";

由于完整代码比较长可以做一个换行，直接在要换行的地方回车就行了，IDEA会帮你自动去做字符串的拼接的。

String regex = "(1[3-9]\\d{9})|(\\w+@[\\w&&[^_]]{2,6}(\\.[a-zA-Z]{2,3}){1,2})" +
                "|(0\\d{2,3}-?[1-9]\\d{4,9})" +
                "(400-?[1-9]\\d{2}-?[1-9]\\d{3})";

接下来我们就需要正式来爬取了

//1.获取正则表达式的对象
Pattern p = Pattern.compile(regex);

//2.获取文本匹配器的对象
//利用m去读取s，会按照p的规则找里面的小串
Matcher m = p.matcher(s);

//3.利用循环获取每一个数据 while(m.find()){
String str = m.group();
System.out.println(str);

完整代码

public class RegexDemo8 {
    public static void main(String[] args) {
        String s = "来黑马程序员学习Java，" +
                "电话:18512516758，18512508907" + "或者联系邮箱:boniu@itcast.cn，" +
                "座机电话:01036517895，010-98951256" + "邮箱:bozai@itcast.cn，" +
                "热线电话:400-618-9090 ，400-618-4000，4006184000，4006189090";

        System.out.println("400-618-9090");

        String regex = "(1[3-9]\\d{9})|(\\w+@[\\w&&[^_]]{2,6}(\\.[a-zA-Z]{2,3}){1,2})" +
                "|(0\\d{2,3}-?[1-9]\\d{4,9})" +
                "(400-?[1-9]\\d{2}-?[1-9]\\d{3})";

        //1.获取正则表达式的对象
        Pattern p = Pattern.compile(regex);

        //2.获取文本匹配器的对象
        //利用m去读取s，会按照p的规则找里面的小串
        Matcher m = p.matcher(s);
        //3.利用循环获取每一个数据 while(m.find()){
        String str = m.group();
        System.out.println(str);
    }
}