学习爬虫的记录

本文介绍了爬虫的基础知识,包括使用Java语言进行网页数据抓取的步骤,以及使用各种封装包如httpClient、Jsoup、htmlUnit等进行网页数据解析的方法。讨论了不同包在处理登录验证、JavaScript和Ajax数据时的差异,并提供了实际例子。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

       学了一些爬虫的入门,记录一下。

       步骤:爬取网上所需要的东西,下载,分析。

       用的Java语言,其他语言也可以。

       有很多已经封装好的包可以直接拿过来用,例如httpClient、Jsoup、htmlUnit等,还有一个XPath,它能够提取出需要的数据,htmlUnit支持,Jsoup不支持。Jsoup和htmlUnit本身也自带有提取数据的API。

       HTML的数据都是树状结构的,所以可以根据其中的元素的排列、标签的属性等等一些特殊的标记来找出HTML中需要的东西。

       这些封装好的包基本的功能都有,但是网页的数据有很多情况。例如:新闻网站上的数据不需要登陆就可以拿到页面的数据;而像新浪微博的数据就必须先登录才能提取到后面的数据。这就是这些包的不同,Jsoup不能模拟登陆,htmlUnit则可以进行模拟登陆,还有JavaScript和Ajax的功能,尽管不能很好的支持。

       后面会记录一些实际的例子。

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值