jsoup的基本使用

jsoup可以用来做java爬虫,本文将讲述jsoup的基本操作

 @Test
    public void Jsoup(){
        try {
            //选择要爬取的网址,Document获取标签的方式和js是一样的,下面只演示select和id选择器
            Document doc = Jsoup.connect("https://www.baidu.com/").get();

            //将含有"script"的数据全部返回,Elements可以理解为一个ArrayList,里面存放着所有符合条件的数据
            Elements newsHeadlines = doc.select("script");
            //获取内容
            String text1 = newsHeadlines .text();
            System.out.println(text1);

            //使用id选择器获取标签,Elements可以理解为一个ArrayList,里面存放着所有符合条件的数据
            Element elementById = doc.getElementById("#id");
            //获取内容
            String text = elementById.text();
            System.out.println(text);

        } catch (IOException e) {
            e.printStackTrace();
        }
    }