本文讲述了使用Java实现并发小说爬虫的过程，包括明确产品需求，选择爬虫框架，处理编码问题，实现搜索功能，解析小说内容并发下载，并介绍了Android客户端的开发经验，如书籍追更功能的实现。通过并发和优化，提高了搜索和下载速度，确保了良好的用户体验。
小说爬虫真的很简单，但要能优雅地使用却很麻烦。下面让我来诉说一下这几天的肝路历程。整个流程很完整，但不会很深入，主要是讲思路，给想要写类似功能的同学踩点坑，有什么细节问题直接评论就好。
文章目录
先奉上项目 Github，里面有实现代码以及jar和apk两种软件，几天课余时间肝出来的，有些想的不周到的地方还请见谅。
明确产品需求
- 最基本的要求，能够搜索小说，然后点击小说进行阅读或者下载。
- 同时，我们想要能够搜索到各个站点的小说，并且速度不能太慢。
- Android客户端实现书籍收藏（追更），并自动检查是否有章节更新。
- 下载格式，我们不仅想要生成txt格式的书籍，还想要epub这种带目录图片的格式，最好还要能够支持mobi，然后直接导入kindle。
- 下载速度不能像市面上普通的小说软件一章一章的下，否则速度太慢会影响体验，最好要能达到宽带的最大速度。
- 该程序能有较好的可移植性，因为我们想要同时制作PC端和Android端的软件。
那么，开干！
总流程
关于爬虫框架
在爬网页内容这部分，并没有用什么黑科技，只是普通的正则匹配爬虫。我用了自己的工具类，后来有些网页有些太复杂也引入了Jsoup负责解析htm
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
