【Java】jsoup爬虫抓取商品信息解析html页面（个人梳理）

最新推荐文章于 2023-11-16 14:15:39 发布

博桑根本提不起劲

最新推荐文章于 2023-11-16 14:15:39 发布

阅读量705

点赞数 5

CC 4.0 BY-SA版权

分类专栏：互联网之路的开启文章标签：爬虫 java 数据挖掘大数据 html

本文刊载的所有内容，均由个人在工作学习中整理用于个人的工作或学习的复习之用，为原创文章本文章不得用于各种商业用途不得侵犯本文及相关权利人的合法权利。使用本文章进行转载或刊登以及其他涉及文章著作版权时，必须经过此csdn博客博主账号人lsb543284593同意，违者必究

本文链接：https://blog.youkuaiyun.com/lsb543284593/article/details/112574789

本文介绍了如何使用Java的jsoup库抓取网页上的商品信息，包括配置依赖、编写后端控制层代码，以及如何选择前端页面的抓取节点。通过F12调试工具找到网页元素，并在后端逻辑中解析，最终实现数据的抓取和前端的交互。文章强调理解前端调用逻辑的重要性，并提示读者尊重版权。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

jsoup抓取商品信息实现（个人学习）

利用jsoup来解析html 抓取想要的商品信息

前言

开发工具idea jdk1.8 maven结构
利用jsoup工具抓取想要的商品信息例如商品标题以及价格等

一、配置jsoup依赖

<dependency>
        <groupId>org.jsoup</groupId>
        <artifactId>jsoup</artifactId>
        <version>1.8.3</version>
    </dependency>

二、抒写后端控制层代码

1.先写一个跳转方法以及给前端返回一个页面（参数按照前端接口）

crawStudent就是前端页面的名字做参数传递使用

    @RequestMapping(value = "/crawlStudent")
    @ResponseBody
    public ModelAndView crawlStudent() throws IOException {
   
   
        ModelAndView mv = new ModelAndView();
        mv.setViewName("crawlStudent");
        return mv;
    }

2.写jsoup抓取数据的主要业务逻辑

代码如下）：

  @RequestMapping(value = "/crawlUrlAndShow")
    @ResponseBody
    public Object crawlUrlAndShow(String url) throws IOException {
   
   
    
        // 需要爬取商品信息的网站地址
        // url = "https://www.amazon.cn/dp/B07598VZR8";
        // 动态模拟请求数据
        CloseableHttpClient httpclient = HttpClients.createDefault();
        HttpGet httpGet = new HttpGet(url);
        // 模拟浏览器浏览（user-agent的值可以通过浏览器浏览，查看发出请求的头文件获取）
        httpGet.setHeader("user-agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.141 Safari/537.36");
        Map<String, Object> map = new HashMap<>();
        Closea