
爬虫建站
一只菜狗
不论工作生活或是感情,双向奔赴才有意义。
展开
-
浅谈HtmlUnit
最近学习了HtmlUnit,做一些必要的笔记,一来是对自己学习的知识的巩固,二来对有同样问题的人有参考作用文章目录一 HtmlUnit简介二 模拟百度搜索三 总结一 HtmlUnit简介 HtmlUnit 是一款开源的java 页面分析工具,读取页面后,可以有效的使用htmlunit分析页面上的内容。项目可以模拟浏览器运行,被誉为java浏览器的开源实现。是一个没有界面的浏览器,运行速度迅速。是junit的扩展之一。 个人理解HtmlUni.原创 2020-06-03 14:25:44 · 726 阅读 · 0 评论 -
浅谈EhCache缓存框架
最近学习了EhCache,做一些必要的笔记,一来是对自己学习的知识的巩固,二来对有同样问题的人有参考作用文章目录一 EhCache简介二 EhCache 常用配置项详解三 Ehcache配置持久化到硬盘举例四 总结一 EhCache简介 EhCache 是一个纯Java的进程内缓存框架,具有快速、精干等特点,是Hibernate中默认的CacheProvider。hcache是一种广泛使用的开源Java分布式缓存。主要面向通用缓存,Java EE和轻量级容器。它具有内存.原创 2020-06-02 22:08:33 · 388 阅读 · 0 评论 -
浅谈Log4j
最近学习了Log4j,做一些必要的笔记,一来是对自己学习的知识的巩固,二来对有同样问题的人有参考作用文章目录一 Log4j简介二 定义配置文件三 测试代码四 其他补充五 总结一 Log4j简介 Log4j是Apache的一个开源项目,通过使用Log4j,我们可以控制日志信息输送的目的地是控制台、文件、GUI组件,甚至是套接口服务器、NT的事件记录器、UNIX Syslog守护进程等;我们也可以控制每一条日志的输出格式;通过定义每一条日志信息的级别,我们能够更加细致地控制.原创 2020-06-02 19:02:33 · 292 阅读 · 0 评论 -
浅谈Executor框架在爬虫中的应用
最近学习了Executor,做一些必要的笔记,一来是对自己学习的知识的巩固,二来对有同样问题的人有参考作用文章目录一 Executor简介二 Executor在爬虫中的使用三 模拟爬取网页举例四 总结一 Executor简介 Java Executor框架是Jdk1.5之后推出的,是为了更加方便的开发多线程应用而封装的框架; 相比传统的Thread类,Java Executor使用方便,性能更好,更易于管理,而且支持线程池,所以我们在开发爬.原创 2020-05-24 18:25:58 · 274 阅读 · 0 评论 -
Jsoup+HttpClient爬取网页指定内容
最近学习了Nginx,做一些必要的笔记,一来是对自己学习的知识的巩固,二来对有同样问题的人有参考作用文章目录一 Jsoup简介二 Jsoup主要功能三 获取元素常用方法四 爬取网页内容举例五 总结一 Jsoup简介 jsoup是一款Java 的HTML解析器,可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API,可通过DOM,CSS以及类似于jQuery的操作方法来取出和操作数据。二 Jsoup主要功能从一个URL,文件或字符串中解析HTML;.原创 2020-05-24 12:56:42 · 1124 阅读 · 0 评论 -
HttpClient爬取网页
最近学习了HttpClient,做一些必要的笔记,一来是对自己学习的知识的巩固,二来对有同样问题的人有参考作用文章目录一 HttpClient简介二 HttpClient特性三 开发思路四 高匿ip爬取网页举例五 总结一 HttpClient简介 HttpClient 是Apache Jakarta Common 下的子项目,可以用来提供高效的、最新的、功能丰富的支持 HTTP 协议的客户端编程工具包,并且它支持 HTTP 协议最新的版本和建议。二 HttpClien.原创 2020-05-23 22:44:23 · 297 阅读 · 0 评论 -
浅谈lucene中文检索
最近学习了Lucene,做一些必要的笔记,一来是对自己学习的知识的巩固,二来对有同样问题的人有参考作用文章目录一 lucene简介二 lucene优势三 开发思路四 中文检索举例五 总结一 lucene简介 Lucene的目的是为软件开发人员提供一个简单易用的工具包,以方便的在目标系统中实现全文检索的功能,或者是以此为基础建立起完整的全文检索引擎。Lucene是一套用于全文检索和搜寻的开源程式库,由Apache软件基金会支持和提供。二 lucene优势 .原创 2020-05-23 12:07:17 · 1087 阅读 · 0 评论