java jsoup 网站爬虫（2）

最新推荐文章于 2023-02-17 18:38:25 发布
最新推荐文章于 2023-02-17 18:38:25 发布
阅读量147 收藏
点赞数
分类专栏： 大数据爬虫 文章标签： java jsoup java网站爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/sj_liu/article/details/101017445
版权
本文介绍使用jsoup进行网站爬虫的基本步骤，以河南政府采购网为例，详细讲解如何抓取列表页URL，进入详情页抓取标题、发布机构等信息，并存储至数据库。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

上篇文章写过jsoup爬虫，感觉写的不太深入，之后有学习的下。
公司让写一个网站爬虫，之前没咋接触过，翻着前辈们的资料看了看，感觉jsoup写着适合入门学者。代码我会放在后面云盘上，有需要的童鞋可以自行下载。
以河南政府采购网为例：http://www.hngp.gov.cn
先说下项目步骤：
1.爬虫列表获取列表中a标签的url，进入详情页面
2.爬取详情页面所需要的信息：标题、发布机构、发布人，发布时间，文章内容
3.将爬取的信息存到数据库（或者将文章内容下载到本地）
直接云盘下载吧！
链接：https://pan.baidu.com/s/1xOVqDeilFv0cnxG6iYhqFw
提取码：7yxj

网络爬虫使用教程
9.冄2.7.號的博客
09-13 2274
网络爬虫 网络爬虫（Web crawler），是一种按照一定的规则，自动的抓取万维网信息的程序或者脚本。 爬虫入门小程序 环境搭建 JDK1.8 IntelliJ IDEA IDEA自带的Maven （1）创建Maven工程itcast-crawler-first并给pom.xml加入依赖 <dependencies> <!-- HttpClient --> ...
java 使用Jsoup 爬取 中国政府采购网数据
weixin_42303103的博客
03-11 2055
int isSize = 1; Integer pageSize = 0; Integer timeType = 4; // 时间类型 6: 指定时间 5：近半年 0：今日 4：近3月 public String createhttpClient(Integer id, String kw, String startTime, String endTime) { logger.info...
Java爬虫入门——HttpClient,JSoup
qq_52655865的博客
02-17 1507
爬虫也叫网络机器人，可以代替人工，自动的在网络上采集和处理信息。爬虫包括数据采集，分析，存储三部爬虫引入依赖--引入httpClient依赖-->
Java爬虫（一）-- HttpClient，HttpClient连接池，Jsoup的使用
stalin_的博客
11-16 1701
网络爬虫就是用程序帮助我们访问网络上的资源，我们一直以来都是使用HTTP协议访问互联网的网页，网络爬虫需要编写程序，在这里使用同样的HTTP协议访问网页。 在Java中模拟HTTP协议客户端一般使用 HttpClient这个技术，来实现抓取网页数据。而由于爬虫会发送很多请求，频繁创建销毁HttpClient会大量消耗服务的资源，所以我们会使用连接池来获取HttpClient。 而Jsoup则用来解析抓取到的网页数据中的内容。下面我就为大家逐一介绍这三个爬虫的基础工具的使用。 一、 HttpClient 1、
JAVA网络爬爬学习之HttpClient+Jsoup
m0_53157173的博客
12-15 1487
JAVA网络爬爬学习HttpClient用法简单整理GET请求无参带参POST请求无参带参 HttpClient用法简单整理 引入HttpClient和日志依赖 <dependencies> <!-- HttpClient--> <dependency> <groupId>org.apache.httpcomponents</groupId> <artif
Java爬虫-快速入门 HttpClient+JSoup详解
Manaphy Chen的博客
11-26 699
1. HttpClient与Jsoup简介 1.1 HttpClient HttpClient可以用来提供高效的、最新的、功能丰富的支持 HTTP 协议的客户端编程工具包，并且它支持 HTTP 协议最新的版本和建议。 HttpClient的作用 实现了所有 HTTP 的方法（GET,POST,PUT,HEAD 等） 支持自动转向 支持 HTTPS 协议 支持代理服务器等 1.2 JSoup j...
spring boot+java +jsoup+ 爬虫
03-30
Spring Boot + Java + Jsoup 爬虫是一个常见的技术组合，用于构建高效、简洁的网络爬虫项目。本文将深入探讨这些技术如何协同工作，以及如何利用它们来抓取和处理网页上的图片资源。 首先，Spring Boot 是一个由...
jsoup基于java爬虫项目
最新发布
03-27
jsoup是一款Java的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。 Jsoup的主要功能 1）从一个URL，文件或字符串中...
Java爬虫Jsoup+httpclient获取动态生成的数据
10-19
常见的Java爬虫库包括Jsoup、HttpClient、HtmlUnit等，它们各具特色，能够处理不同类型的网页内容。 ### Jsoup库解析 Jsoup是一个强大的HTML解析器，它可以帮助开发者从HTML文档中提取和操作数据。Jsoup可以连接到...
java-Jsoup爬虫完整代码
08-12
java爬虫完整代码,爬取某东和某电影平台,可以举一反三爬取想要的资源有用信息;利用jsoup跨域请求url地址,利用jQuery选择器选取页面元素,获取想要的信息标签中的内容,转为java对象保存到数据库或者缓存.
java httpclient jsoup爬虫
07-30
初级爬虫
Jsoup+httpclient 模拟登陆和抓取
07-12
Jsoup+httpclient 模拟登陆和抓取页面 package com.app.html; import java.io.BufferedReader; import java.io.BufferedWriter; import java.io.File; import java.io.FileOutputStream; import java.io.FileReader; import java.io.IOException; import java.io.OutputStreamWriter; import java.io.Writer; import java.text.SimpleDateFormat; import java.util.Date; import org.apache.commons.httpclient.Cookie; import org.apache.commons.httpclient.HttpClient; import org.apache.commons.httpclient.NameValuePair; import org.apache.commons.httpclient.cookie.CookiePolicy; import org.apache.commons.httpclient.cookie.CookieSpec; import org.apache.commons.httpclient.methods.PostMethod; import org.apache.commons.httpclient.params.HttpMethodParams; import org.jsoup.Jsoup; import org.jsoup.nodes.Document; import org.jsoup.nodes.Element; import org.jsoup.select.Elements; import com.app.comom.FileUtil; public class HttpClientHtml { private static final String SITE = "login.goodjobs.cn"; private static final int PORT = 80; private static final String loginAction = "/index.php/action/UserLogin"; private static final String forwardURL = "http://user.goodjobs.cn/dispatcher.php/module/Personal/?skip_fill=1"; private static final String toUrl = "d:\\test\\"; private static final String css = "http://user.goodjobs.cn/personal.css"; private static final String Img = "http://user.goodjobs.cn/images"; private static final String _JS = "http://user.goodjobs.cn/scripts/fValidate/fValidate.one.js"; /** * 模拟等录 * @param LOGON_SITE * @param LOGON_PORT * @param login_Action * @param params * @throws Exception */ private static HttpClient loginHtml(String LOGON_SITE, int LOGON_PORT,String login_Action,String ...params) throws Exception { HttpClient client = new HttpClient(); client.getHostConfiguration().setHost(LOGON_SITE, LOGON_PORT); // 模拟登录页面 PostMethod post = new PostMethod(login_Action); NameValuePair userName = new NameValuePair("memberName",params[0] ); NameValuePair password = new NameValuePair("password",params[1] ); post.setRequestBody(new NameValuePair[] { userName, password }); client.executeMethod(post); post.releaseConnection(); // 查看cookie信息 CookieSpec cookiespec = CookiePolicy.getDefaultSpec(); Cookie[] cookies = cookiespec.match(LOGON_SITE, LOGON_PORT, "/", false, client.getState().getCookies()); if (cookies != null) if (cookies.length == 0) { System.out.println("Cookies is not Exists "); } else { for (int i = 0; i < cookies.length; i++) { System.out.println(cookies[i].toString()); } } return client; } /** * 模拟等录 后获取所需要的页面 * @param client * @param newUrl * @throws Exception */ private static String createHtml(HttpClient client, String newUrl) throws Exception { SimpleDateFormat format = new SimpleDateFormat("yyyy-MM-dd"); String filePath = toUrl + format.format(new Date() )+ "_" + 1 + ".html"; PostMethod post = new PostMethod(newUrl); client.executeMethod(post); //设置编码 post.getParams().setParameter(HttpMethodParams.HTTP_CONTENT_CHARSET, "GBK"); String content= post.getResponseBodyAsString(); FileUtil.write(content, filePath); System.out.println("\n写入文件成功!"); post.releaseConnection(); return filePath; } /** * 解析html代码 * @param filePath * @param random * @return */ private static String JsoupFile(String filePath, int random) { SimpleDateFormat format = new SimpleDateFormat("yyyy-MM-dd"); File infile = new File(filePath); String url = toUrl + format.format(new Date()) + "_new_" + random+ ".html"; try { File outFile = new File(url); Document doc = Jsoup.parse(infile, "GBK"); String html="<!DOCTYPE HTML PUBLIC '-//W3C//DTD HTML 4.01 Transitional//EN'>"; StringBuffer sb = new StringBuffer(); sb.append(html).append("\n"); sb.append("<html>").append("\n"); sb.append("<head>").append("\n"); sb.append("<title>欢迎使用新安人才网个人专区</title>").append("\n"); Elements meta = doc.getElementsByTag("meta"); sb.append(meta.toString()).append("\n"); ////////////////////////////body////////////////////////// Elements body = doc.getElementsByTag("body"); ////////////////////////////link////////////////////////// Elements links = doc.select("link");//对link标签有href的路径都作处理 for (Element link : links) { String hrefAttr = link.attr("href"); if (hrefAttr.contains("/personal.css")) { hrefAttr = hrefAttr.replace("/personal.css",css); Element hrefVal=link.attr("href", hrefAttr);//修改href的属性值 sb.append(hrefVal.toString()).append("\n"); } } ////////////////////////////script////////////////////////// Elements scripts = doc.select("script");//对script标签 for (Element js : scripts) { String jsrc = js.attr("src"); if (jsrc.contains("/fValidate.one.js")) { String oldJS="/scripts/fValidate/fValidate.one.js";//之前的css jsrc = jsrc.replace(oldJS,_JS); Element val=js.attr("src", jsrc);//修改href的属性值 sb.append(val.toString()).append("\n").append("</head>"); } } ////////////////////////////script////////////////////////// Elements tags = body.select("*");//对所有标签有src的路径都作处理 for (Element tag : tags) { String src = tag.attr("src"); if (src.contains("/images")) { src = src.replace("/images",Img); tag.attr("src", src);//修改src的属性值 } } sb.append(body.toString()); sb.append("</html>"); BufferedReader in = new BufferedReader(new FileReader(infile)); Writer out = new BufferedWriter(new OutputStreamWriter( new FileOutputStream(outFile), "gbk")); String content = sb.toString(); out.write(content); in.close(); System.out.println("页面已经爬完"); out.close(); } catch (IOException e) { e.printStackTrace(); } return url; } public static void main(String[] args) throws Exception { String [] params={"admin","admin123"}; HttpClient client = loginHtml(SITE, PORT, loginAction,params); // 访问所需的页面 String path=createHtml(client, forwardURL); System.out.println( JsoupFile(path,1)); } }
httpClient+jsoup 抓取网页数据
04-18
利用httpClient+jsoup技术进行网页数据的获取，以网易贵金属为例~
httpclient + jsoup java爬虫DEMO
08-02
java爬虫，代码写的有点丑，反正是能用。 今天给大家分享一个多线程的知识点，和线程池，最近任务是写爬虫，五百个网址，循环很慢，然后考虑用多线程，今天看了一下多线程，氛围继承thread 和实现runnuble接口，差不多这么拼写的，区别在于runnuble接口可以共享资源，当然，也就考虑到了线程安全问题，都知道，for循环中的int i 是非线程安全的，先不聊原子性的，直说多线程，实现runnble接口，刚开始会导致数据重复，查询资料，说事因为线程不安全导致，因为涉及到征用乱七八招的东西，然后，我有了解了一下线程池，下面上代码，果断解决，正常单线程跑完这个程序需要七天，这个多线程，我估计，也就两天左右
Java——HttpClient爬取网页，jsoup解析网页
qq_45830276的博客
08-28 1670
Java使用HttpCilent爬取网页内容，同时呢用jsoup解析网页，获取所需资源。
sl6.1的PACCT日志位置
地球空间
02-02 650
LASTCOMM --USER 输入命令后系统竟然提示我PACCT文件的位置！运气好 The system's default process accounting file is /var/account/pacct 用命令激活它： accton /var/account/pacct LASTCOMM 命令 成功显示了用户所输入的东西。呼呼！ 如果想看这个文件的大小 用这个命令 ls
Java爬虫-快速入门 HttpClient+JSoup详解 (附各种Demo）
River_sum的博客
09-09 6208
Java爬虫-快速入门 HttpClient+JSoup详解 (附各种Demo） 写在前面：记录了学习数据挖掘以来的学习历程，先上之前的一些总结，随着学习的加深会慢慢更新。 Java爬虫-快速入门  目录 1.所需环境 2.HttpClient与Jsoup简介 3.为什么要和JSoup共同使用？ 4.项目maven依赖 5.HttpClient的入门使用 （1）简介 （2）上一...
java爬虫系列第一讲-爬虫入门（爬取动作片列表）
路人甲Java
04-20 2978
1. 概述 java爬虫系列包含哪些内容？ java爬虫框架webmgic入门 使用webmgic爬取 http://ady01.com 中的电影资源（动作电影列表页、电影下载地址等信息） 使用webmgic爬取 极客时间 的课程资源（文章系列课程 和 视频系列的课程） 本篇文章主要内容： 介绍java中好用的爬虫框架 java爬虫框架webmagic介绍 使用webgic爬取动作电影列表信...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值