<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[xtuhcy的专栏]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/xtuhcy</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; xtuhcy]]></copyright><item><title><![CDATA[无头浏览器，从phantomjs到webkit4j]]></title><link>https://blog.youkuaiyun.com/xtuhcy/article/details/84821426</link><guid>https://blog.youkuaiyun.com/xtuhcy/article/details/84821426</guid><author>xtuhcy</author><pubDate>Fri, 14 Oct 2016 11:09:52 +0800</pubDate><description><![CDATA[
一、从浏览器说起
无头浏览器即headless browser，是一种没有界面的浏览器。既然是浏览器那么浏览器该有的东西它都应该有，只是看不到界面而已。

浏览器内核


Webkit：目前最主流的浏览器内核，webkit是苹果公司开源的浏览器内核，其前身是KHTML。基于Webkit的浏览器很多，比如Safari，Chrome，Opera


Gecko：是Firefox浏览器的...]]></description><category></category></item><item><title><![CDATA[无头浏览器，从phantomjs到webkit4j]]></title><link>https://blog.youkuaiyun.com/xtuhcy/article/details/52814210</link><guid>https://blog.youkuaiyun.com/xtuhcy/article/details/52814210</guid><author>xtuhcy</author><pubDate>Fri, 14 Oct 2016 11:06:45 +0800</pubDate><description><![CDATA[一、从浏览器说起无头浏览器即headless browser，是一种没有界面的浏览器。既然是浏览器那么浏览器该有的东西它都应该有，只是看不到界面而已。浏览器内核
Webkit：目前最主流的浏览器内核，webkit是苹果公司开源的浏览器内核，其前身是KHTML。基于Webkit的浏览器很多，比如Safari，Chrome，Opera
Gecko：是Firefox浏览器的内核
Trident：是IE浏览]]></description><category></category></item><item><title><![CDATA[教您使用DynamicGecco抓取JD全部商品信息]]></title><link>https://blog.youkuaiyun.com/xtuhcy/article/details/84810320</link><guid>https://blog.youkuaiyun.com/xtuhcy/article/details/84810320</guid><author>xtuhcy</author><pubDate>Mon, 18 Jul 2016 11:23:43 +0800</pubDate><description><![CDATA[
关于gecco爬虫框架
如果对gecco还没有了解可以参看一下gecco的github首页。gecco爬虫十分的简单易用。之前有一篇文章《教您使用java爬虫gecco抓取JD商品信息》，使用的是传统的注解方式，建议看这篇文章前先了解之前的文章。这里介绍一下DynamicGecco方式，比之前更简单，抓取全部京东商品只要3个类就能搞定了。
什么是DynamicGecco
DynamicGe...]]></description><category></category></item><item><title><![CDATA[DynamicGecco实现爬取规则的动态加载]]></title><link>https://blog.youkuaiyun.com/xtuhcy/article/details/51909109</link><guid>https://blog.youkuaiyun.com/xtuhcy/article/details/51909109</guid><author>xtuhcy</author><pubDate>Thu, 14 Jul 2016 14:31:43 +0800</pubDate><description><![CDATA[Gecco爬虫框架中的SpiderBeanGecco是一个快速爬虫开发框架，能让开发人员快速的将爬取下来的页面转换为一个简单的java bean。所有的java bean都需要继承同一个接口SpiderBean。根据返回数据格式的不同可以将SpiderBean分成两个子接口——HtmlBean和JsonBean。SpiderBean的定义通常如下：@Gecco(matchUrl="...")
pub]]></description><category></category></item><item><title><![CDATA[DynamicGecco实现爬取规则的动态加载]]></title><link>https://blog.youkuaiyun.com/xtuhcy/article/details/84808738</link><guid>https://blog.youkuaiyun.com/xtuhcy/article/details/84808738</guid><author>xtuhcy</author><pubDate>Tue, 05 Jul 2016 11:48:59 +0800</pubDate><description><![CDATA[
Gecco爬虫框架中的SpiderBean
Gecco是一个快速爬虫开发框架，能让开发人员快速的将爬取下来的页面转换为一个简单的java bean。所有的java bean都需要继承同一个接口SpiderBean。根据返回数据格式的不同可以将SpiderBean分成两个子接口——HtmlBean和JsonBean。SpiderBean的定义通常如下：
@Gecco(matchUrl=&quot;......]]></description><category></category></item><item><title><![CDATA[JAVA类加载机制以及如何自定义类加载器]]></title><link>https://blog.youkuaiyun.com/xtuhcy/article/details/84806549</link><guid>https://blog.youkuaiyun.com/xtuhcy/article/details/84806549</guid><author>xtuhcy</author><pubDate>Thu, 16 Jun 2016 09:35:20 +0800</pubDate><description><![CDATA[
从双亲委派说起


启动（Bootstrap）类加载器：是用本地代码实现的类装入器，它负责将 &amp;lt;Java_Runtime_Home&amp;gt;/lib下面的类库加载到内存中（比如rt.jar）。由于引导类加载器涉及到虚拟机本地实现细节，开发者无法直接获取到启动类加载器的引用，所以不允许直接通过引用进行操作。
标准扩展（Extension）类加载器：是由 Sun 的 ExtClassLoa...]]></description><category></category></item><item><title><![CDATA[JAVA类加载机制以及如何自定义类加载器]]></title><link>https://blog.youkuaiyun.com/xtuhcy/article/details/51689489</link><guid>https://blog.youkuaiyun.com/xtuhcy/article/details/51689489</guid><author>xtuhcy</author><pubDate>Thu, 16 Jun 2016 09:31:24 +0800</pubDate><description><![CDATA[从双亲委派说起
启动（Bootstrap）类加载器：是用本地代码实现的类装入器，它负责将 /lib下面的类库加载到内存中（比如rt.jar）。由于引导类加载器涉及到虚拟机本地实现细节，开发者无法直接获取到启动类加载器的引用，所以不允许直接通过引用进行操作。
标准扩展（Extension）类加载器：是由 Sun 的 ExtClassLoader（sun.misc.Launcher$ExtClassLo]]></description><category></category></item><item><title><![CDATA[Gecco爬虫框架的线程和队列模型]]></title><link>https://blog.youkuaiyun.com/xtuhcy/article/details/51611417</link><guid>https://blog.youkuaiyun.com/xtuhcy/article/details/51611417</guid><author>xtuhcy</author><pubDate>Wed, 08 Jun 2016 10:32:49 +0800</pubDate><description><![CDATA[简述爬虫在抓取一个页面后一般有两个任务，一个是解析页面内容，一个是将需要继续抓取的url放入队列继续抓取。因此，当爬取的网页很多的情况下，待抓取url的管理也是爬虫框架需要解决的问题。本文主要说的是gecco爬虫框架的队列和线程模型。线程和队列模型
gecco的队列模型是两级队列模型。分为初始请求队列和派生请求队列。初始请求队列在循环模式下是一个阻塞式的FIFO队列，在非循环模式下是一个非阻塞式的F]]></description><category></category></item><item><title><![CDATA[Gecco爬虫框架的线程和队列模型]]></title><link>https://blog.youkuaiyun.com/xtuhcy/article/details/84805729</link><guid>https://blog.youkuaiyun.com/xtuhcy/article/details/84805729</guid><author>xtuhcy</author><pubDate>Wed, 08 Jun 2016 10:29:58 +0800</pubDate><description><![CDATA[
简述
爬虫在抓取一个页面后一般有两个任务，一个是解析页面内容，一个是将需要继续抓取的url放入队列继续抓取。因此，当爬取的网页很多的情况下，待抓取url的管理也是爬虫框架需要解决的问题。本文主要说的是gecco爬虫框架的队列和线程模型。
线程和队列模型


gecco的队列模型是两级队列模型。分为初始请求队列和派生请求队列。初始请求队列在循环模式下是一个阻塞式的FIFO队列，在非循环模式...]]></description><category></category></item><item><title><![CDATA[Gecco框架典型案例—闲逛APP]]></title><link>https://blog.youkuaiyun.com/xtuhcy/article/details/51543998</link><guid>https://blog.youkuaiyun.com/xtuhcy/article/details/51543998</guid><author>xtuhcy</author><pubDate>Tue, 31 May 2016 10:55:04 +0800</pubDate><description><![CDATA[Gecco开源爬虫框架是2015年12月31日发布的，发布以来在易用性、可扩展性上得到了大家的肯定。目前在github上已经有230+的star，100+的fork。那么，Gecco这个新的爬虫框架在实际应用中的表现如何呢？为了让用户放心使用Gecco框架，Gecco团队发布了一款使用Gecco爬虫框架开发的APP——闲逛。这款应用更多的是用来验证Gecco框架的易用性、稳定性、可扩展性。任何脱离实]]></description><category></category></item><item><title><![CDATA[Gecco框架典型案例—闲逛APP]]></title><link>https://blog.youkuaiyun.com/xtuhcy/article/details/84804740</link><guid>https://blog.youkuaiyun.com/xtuhcy/article/details/84804740</guid><author>xtuhcy</author><pubDate>Tue, 31 May 2016 10:01:35 +0800</pubDate><description><![CDATA[
Gecco开源爬虫框架是2015年12月31日发布的，发布以来在易用性、可扩展性上得到了大家的肯定。目前在github上已经有230+的star，100+的fork。那么，Gecco这个新的爬虫框架在实际应用中的表现如何呢？为了让用户放心使用Gecco框架，Gecco团队发布了一款使用Gecco爬虫框架开发的APP——闲逛。这款应用更多的是用来验证Gecco框架的易用性、稳定性、可扩展性。任何脱...]]></description><category></category></item><item><title><![CDATA[Gecco 1.1.2 发布，易用的轻量化爬虫]]></title><link>https://blog.youkuaiyun.com/xtuhcy/article/details/84802734</link><guid>https://blog.youkuaiyun.com/xtuhcy/article/details/84802734</guid><author>xtuhcy</author><pubDate>Mon, 16 May 2016 10:08:50 +0800</pubDate><description><![CDATA[
Gecco 1.1.2 发布了。该版本主要做了如下修改：
    1.@Gecco不填写matchUrl时，支持匹配所有格式url的通用抓取
    2.默认使用UniqueSpiderScheduler队列管理避免重复HttpRequest的抓取
    3.修改table tr列表不能解析的问题
 
    4.增加@Ajax请求支持Html格式内容解析
 
    5.更新f...]]></description><category></category></item><item><title><![CDATA[大话Android的消息机制(Handler、Looper、Message...)]]></title><link>https://blog.youkuaiyun.com/xtuhcy/article/details/51260509</link><guid>https://blog.youkuaiyun.com/xtuhcy/article/details/51260509</guid><author>xtuhcy</author><pubDate>Wed, 27 Apr 2016 13:43:33 +0800</pubDate><description><![CDATA[大话Android的消息机制(Handler、Looper、Message…)Android的开发很重要的一点就是理解它的消息机制，Android的消息机制涉及到概念不少，HandlerThread、Handler、Looper、MessageQueue、Message、MessagePool，初学者往往看到这里就傻眼了，这么多概念。本文试着以一个比较容易理解的方式让大家明白Android的消息机制]]></description><category></category></item><item><title><![CDATA[大话Android的消息机制(Handler、Looper、Message...)]]></title><link>https://blog.youkuaiyun.com/xtuhcy/article/details/84795099</link><guid>https://blog.youkuaiyun.com/xtuhcy/article/details/84795099</guid><author>xtuhcy</author><pubDate>Wed, 27 Apr 2016 13:37:25 +0800</pubDate><description><![CDATA[
大话Android的消息机制(Handler、Looper、Message...)
Android的开发很重要的一点就是理解它的消息机制，Android的消息机制涉及到概念不少，HandlerThread、Handler、Looper、MessageQueue、Message、MessagePool，初学者往往看到这里就傻眼了，这么多概念。本文试着以一个比较容易理解的方式让大家明白Androi...]]></description><category></category></item><item><title><![CDATA[gecco 1.1.0稳定版发布，易用的轻量化爬虫]]></title><link>https://blog.youkuaiyun.com/xtuhcy/article/details/51248424</link><guid>https://blog.youkuaiyun.com/xtuhcy/article/details/51248424</guid><author>xtuhcy</author><pubDate>Tue, 26 Apr 2016 10:26:03 +0800</pubDate><description><![CDATA[gecco 1.1.0稳定版发布了。 
1.1.0版本主要做了如下修改： 
1.优化代理设置，运行时计算代理下载成功率，自动发现无效代理，支持运行时添加代理 
2.HttpClientDownloader支持类似12306网站非信任ssl证书 
3.JsonBean支持嵌套解析 
4.修复部分网站302无法跳转的bug 
5.优化debug日志输出gecco是一款易用的轻量化网络爬虫。十分的容易上手]]></description><category></category></item><item><title><![CDATA[gecco 1.1.0稳定版发布，易用的轻量化爬虫]]></title><link>https://blog.youkuaiyun.com/xtuhcy/article/details/84794852</link><guid>https://blog.youkuaiyun.com/xtuhcy/article/details/84794852</guid><author>xtuhcy</author><pubDate>Tue, 26 Apr 2016 10:02:57 +0800</pubDate><description><![CDATA[
gecco 1.1.0稳定版发布了。
1.1.0版本主要做了如下修改：
1.优化代理设置，运行时计算代理下载成功率，自动发现无效代理，支持运行时添加代理2.HttpClientDownloader支持类似12306网站非信任ssl证书3.JsonBean支持嵌套解析4.修复部分网站302无法跳转的bug5.优化debug日志输出
 
gecco是一款易用的轻量化网络爬虫。十分的容易上手。...]]></description><category></category></item><item><title><![CDATA[gecco 1.0.9 发布，易用的轻量化爬虫]]></title><link>https://blog.youkuaiyun.com/xtuhcy/article/details/51141236</link><guid>https://blog.youkuaiyun.com/xtuhcy/article/details/51141236</guid><author>xtuhcy</author><pubDate>Wed, 13 Apr 2016 10:43:45 +0800</pubDate><description><![CDATA[gecco 1.0.9 发布了。1.0.9版本主要做了如下修改：1、@Image注解增加图片自动下载到本地的方法@Image(download=”d:/gecco/jd/img”) 
2、GeccoEngine改为线程方式，通过start()支持非阻塞方式运行 
3、支持debug模式，GeccoEngine.debug(true) 
4、简化spring项目启动Gecco的方式，详细请查看(域名备]]></description><category></category></item><item><title><![CDATA[gecco 1.0.9 发布，易用的轻量化爬虫]]></title><link>https://blog.youkuaiyun.com/xtuhcy/article/details/84776707</link><guid>https://blog.youkuaiyun.com/xtuhcy/article/details/84776707</guid><author>xtuhcy</author><pubDate>Wed, 13 Apr 2016 10:40:04 +0800</pubDate><description><![CDATA[
gecco 1.0.9 发布了。
1.0.9版本主要做了如下修改：
1、@Image注解增加图片自动下载到本地的方法@Image(download=&quot;d:/gecco/jd/img&quot;)2、GeccoEngine改为线程方式，通过start()支持非阻塞方式运行3、支持debug模式，GeccoEngine.debug(true)4、简化spring项目启动Gecco的方式，详细请查看：ht...]]></description><category></category></item><item><title><![CDATA[java开源爬虫gecco 发布1.0.8版本]]></title><link>https://blog.youkuaiyun.com/xtuhcy/article/details/84773870</link><guid>https://blog.youkuaiyun.com/xtuhcy/article/details/84773870</guid><author>xtuhcy</author><pubDate>Wed, 30 Mar 2016 12:56:18 +0800</pubDate><description><![CDATA[
gecco 1.0.8 发布了。
1.0.8版本主要做了如下修改：


GeccoEngine增加loop方法，支持不循环抓取。gecco默认将改为采用不循环抓取2.支持移动端的UserAgent，通过GeccoEngine.mobile(true)设置3.支持配置初始化地址，自动扫描classpath根目录下的starts.json文件4.HttpResponse增加释放raw的方法5....]]></description><category></category></item><item><title><![CDATA[java爬虫gecco的稳定性测试]]></title><link>https://blog.youkuaiyun.com/xtuhcy/article/details/84773338</link><guid>https://blog.youkuaiyun.com/xtuhcy/article/details/84773338</guid><author>xtuhcy</author><pubDate>Mon, 28 Mar 2016 11:43:23 +0800</pubDate><description><![CDATA[
java爬虫gecco的稳定性测试
最近对开源的java爬虫Gecco做了一个稳定性测试，测试环境：一台爬虫+web应用服务器，一台mongodb服务器。服务器配置很low，两台都是阿里云最低端的主机，1核+512内存。
单线程测试场景
爬虫采用单线程，测试时间3×24小时，测试期间系统无异常，jvm内存稳定。测试结果：


基本信息
  Interval: 5000,
  Sta...]]></description><category></category></item></channel></rss>