LittleSunlight的博客

最近对爬虫突然有了兴趣，又因为是主学java的，所以就去找一些资源来学习一下，结果发现关于java爬虫的资源很少，也可能是我找的比较少吧。 我看的视频是腾讯课堂上的一个视频叫“大数据java爬虫”，他的这个课堂是一个叫海集数据的网站提供的，你们也可以去他们的这个网站看看 http://www.haijidata.com/ ![在这里插入图片描述](https://img-blog.csdnimg....

一、java爬虫的步骤主要是： 非结构化数据–>数据采集–>数据清洗–>结构化数据–>采集存储 1.结构化数据：一般指的是在数据库中存储的数据，有着一定的逻辑与物理结构 2.非结构化数据：相对于结构化数据，非结构化数据是不方便使用数据库二维逻辑来表现的数据，例如：音频，视频，web数据（html,xml）等。 3.数据采集 （1）数据采集的时候遵循一个协议–robots协议...

下面我们来了解一下Xpath。 Xpath是xml路径语言，他是可以用来确定xml文档中某部分的位置的一种语言。他基于xml的树状结构，提供在数据结构树种寻找结点的能力。 大家可以去下面的链接去学一下Xpath，很简单的，就是一种寻找文档元素、节点位置的语言。 Xpath语法 如果大家已经了解了xpath语言，下面我给大家一个插件吧，就是XPath Helper，大家下载完后，打开谷歌的扩展程序，...