
Java爬虫
文章平均质量分 87
JAVA开发老菜鸟
知识改变命运,技术成就你我
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Java爬虫系列四:使用selenium-java爬取js异步请求的数据
在之前的系列文章中介绍了如何使用httpclient抓取页面html以及如何用jsoup分析html源文件内容得到我们想要的数据,但是有时候通过这两种方式不能正常抓取到我们想要的数据,比如看如下例子。 1.需求场景: 想要抓取股票的最新价格,页面F12信息如下: 按照前面的方式,爬取的代码如下: /** * @description: 爬取股票的最新股价 * @author: JAVA开发老...原创 2021-10-17 11:46:00 · 2488 阅读 · 0 评论 -
Java爬虫系列三:使用Jsoup解析HTML
Java爬虫系列三:使用Jsoup解析HTML 在上一篇随笔《Java爬虫系列二:使用HttpClient抓取页面HTML》中介绍了怎么使用HttpClient进行爬虫的第一步--抓取页面html,今天接着来看下爬虫的第二步--解析抓取到的html。 有请第二步的主角:Jsoup粉墨登场。下面我们把舞台交给Jsoup,让他完成本文剩下的内容。 ============华丽的分割线======...原创 2019-05-25 16:08:00 · 741 阅读 · 1 评论 -
Java爬虫系列二:使用HttpClient抓取页面HTML
Java爬虫系列二:使用HttpClient抓取页面HTML 爬虫要想爬取需要的信息,首先第一步就要抓取到页面html内容,然后对html进行分析,获取想要的内容。上一篇随笔《Java爬虫系列一:写在开始前》中提到了HttpClient可以抓取页面内容。 今天就来介绍下抓取html内容的工具:HttpClient。 围绕下面几个点展开: 什么是HttpClient HttpC...原创 2019-05-23 06:29:00 · 1534 阅读 · 1 评论 -
Java爬虫系列一:写在开始前
Java爬虫系列一:写在开始前 最近在研究Java爬虫,小有收获,打算一边学一边跟大家分享下,在干货开始前想先跟大家啰嗦几句。 一、首先说下为什么要研究Java爬虫 Python已经火了很久了,它功能强大,其中很擅长的一个就是写爬虫程序。作为一名Javaer,想要写爬虫的话难道要学习python吗? 想到这个问题我去度娘了下,其实java也可以写爬虫,只是需要的代码行数要比python多。...原创 2019-05-22 21:22:00 · 245 阅读 · 0 评论