<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[chenmaya8367的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/chenmaya8367</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; chenmaya8367]]></copyright><item><title><![CDATA[golang 内存分配]]></title><link>https://blog.youkuaiyun.com/chenmaya8367/article/details/100790549</link><guid>https://blog.youkuaiyun.com/chenmaya8367/article/details/100790549</guid><author>chenmaya8367</author><pubDate>Sun, 30 Sep 2018 14:03:00 +0800</pubDate><description><![CDATA[G M P

structG
goroutine的栈采取了动态扩容方式， 初始时仅为2KB，随着任务执行按需增长，最大可达1GB（64位机器最大是1G，32位机器最大是256M），且完全由golang自己的调度器 Go Scheduler 来调度。G并不直接绑定OS线程运行，而是由Gorout...]]></description><category></category></item><item><title><![CDATA[Docker入门]]></title><link>https://blog.youkuaiyun.com/chenmaya8367/article/details/100790550</link><guid>https://blog.youkuaiyun.com/chenmaya8367/article/details/100790550</guid><author>chenmaya8367</author><pubDate>Tue, 10 Oct 2017 10:13:00 +0800</pubDate><description><![CDATA[windows安装docker
win10企业版
对于win10企业版直接下载，https://www.docker.com/docker-windows
win7/win10家庭版
安装docker-tollbox，https://www.docker.com/products/docker...]]></description><category></category></item><item><title><![CDATA[无头浏览器，从phantomjs到webkit4j]]></title><link>https://blog.youkuaiyun.com/chenmaya8367/article/details/100790547</link><guid>https://blog.youkuaiyun.com/chenmaya8367/article/details/100790547</guid><author>chenmaya8367</author><pubDate>Fri, 14 Oct 2016 11:03:00 +0800</pubDate><description><![CDATA[#一、从浏览器说起
无头浏览器即headless browser，是一种没有界面的浏览器。既然是浏览器那么浏览器该有的东西它都应该有，只是看不到界面而已。
##浏览器内核


Webkit：目前最主流的浏览器内核，webkit是苹果公司开源的浏览器内核，其前身是KHTML。基于Webkit的浏...]]></description><category></category></item><item><title><![CDATA[教您使用DynamicGecco抓取JD全部商品信息]]></title><link>https://blog.youkuaiyun.com/chenmaya8367/article/details/100790546</link><guid>https://blog.youkuaiyun.com/chenmaya8367/article/details/100790546</guid><author>chenmaya8367</author><pubDate>Mon, 18 Jul 2016 11:22:00 +0800</pubDate><description><![CDATA[##关于gecco爬虫框架
如果对gecco还没有了解可以参看一下gecco的github首页。gecco爬虫十分的简单易用。之前有一篇文章《教您使用java爬虫gecco抓取JD商品信息》，使用的是传统的注解方式，建议看这篇文章前先了解之前的文章。这里介绍一下DynamicGecco方式，比...]]></description><category></category></item><item><title><![CDATA[JAVA类加载机制以及如何自定义类加载器]]></title><link>https://blog.youkuaiyun.com/chenmaya8367/article/details/100790545</link><guid>https://blog.youkuaiyun.com/chenmaya8367/article/details/100790545</guid><author>chenmaya8367</author><pubDate>Wed, 15 Jun 2016 18:35:00 +0800</pubDate><description><![CDATA[##从双亲委派说起


启动（Bootstrap）类加载器：是用本地代码实现的类装入器，它负责将 &lt;Java_Runtime_Home&gt;/lib下面的类库加载到内存中（比如rt.jar）。由于引导类加载器涉及到虚拟机本地实现细节，开发者无法直接获取到启动类加载器的引用，所以不允许直...]]></description><category></category></item><item><title><![CDATA[Gecco爬虫框架的线程和队列模型]]></title><link>https://blog.youkuaiyun.com/chenmaya8367/article/details/100790544</link><guid>https://blog.youkuaiyun.com/chenmaya8367/article/details/100790544</guid><author>chenmaya8367</author><pubDate>Wed, 08 Jun 2016 10:22:00 +0800</pubDate><description><![CDATA[##简述
爬虫在抓取一个页面后一般有两个任务，一个是解析页面内容，一个是将需要继续抓取的url放入队列继续抓取。因此，当爬取的网页很多的情况下，待抓取url的管理也是爬虫框架需要解决的问题。本文主要说的是gecco爬虫框架的队列和线程模型。
##线程和队列模型


gecco的队列模型是两级队...]]></description><category></category></item><item><title><![CDATA[Gecco框架典型案例—闲逛APP]]></title><link>https://blog.youkuaiyun.com/chenmaya8367/article/details/100790543</link><guid>https://blog.youkuaiyun.com/chenmaya8367/article/details/100790543</guid><author>chenmaya8367</author><pubDate>Tue, 31 May 2016 10:02:00 +0800</pubDate><description><![CDATA[Gecco开源爬虫框架是2015年12月31日发布的，发布以来在易用性、可扩展性上得到了大家的肯定。目前在github上已经有230+的star，100+的fork。那么，Gecco这个新的爬虫框架在实际应用中的表现如何呢？为了让用户放心使用Gecco框架，Gecco团队发布了一款使用Gecc...]]></description><category></category></item><item><title><![CDATA[大话Android的消息机制(Handler、Looper、Message...)]]></title><link>https://blog.youkuaiyun.com/chenmaya8367/article/details/100790542</link><guid>https://blog.youkuaiyun.com/chenmaya8367/article/details/100790542</guid><author>chenmaya8367</author><pubDate>Wed, 27 Apr 2016 13:33:00 +0800</pubDate><description><![CDATA[#大话Android的消息机制(Handler、Looper、Message...)
Android的开发很重要的一点就是理解它的消息机制，Android的消息机制涉及到概念不少，HandlerThread、Handler、Looper、MessageQueue、Message、Message...]]></description><category></category></item><item><title><![CDATA[java爬虫gecco的稳定性测试]]></title><link>https://blog.youkuaiyun.com/chenmaya8367/article/details/100790541</link><guid>https://blog.youkuaiyun.com/chenmaya8367/article/details/100790541</guid><author>chenmaya8367</author><pubDate>Mon, 28 Mar 2016 11:42:00 +0800</pubDate><description><![CDATA[#java爬虫gecco的稳定性测试
最近对开源的java爬虫Gecco做了一个稳定性测试，测试环境：一台爬虫+web应用服务器，一台mongodb服务器。服务器配置很low，两台都是阿里云最低端的主机，1核+512内存。
##单线程测试场景
爬虫采用单线程，测试时间3×24小时，测试期间系统...]]></description><category></category></item><item><title><![CDATA[java爬虫gecco监控来了，不再裸奔]]></title><link>https://blog.youkuaiyun.com/chenmaya8367/article/details/100790540</link><guid>https://blog.youkuaiyun.com/chenmaya8367/article/details/100790540</guid><author>chenmaya8367</author><pubDate>Mon, 21 Mar 2016 10:42:00 +0800</pubDate><description><![CDATA[#java爬虫gecco监控来了，不再裸奔
##爬虫为什么要监控
gecco是一个十分简单易用的java开源爬虫框架，同时也一个款拥有很好扩展性的框架，目前已经有：
结合spring的插件gecco-spring
结合htmlunit的插件gecco-htmlunit
结合reids的插件ge...]]></description><category></category></item><item><title><![CDATA[加密技术入门——从对称加密到CA证书]]></title><link>https://blog.youkuaiyun.com/chenmaya8367/article/details/100790539</link><guid>https://blog.youkuaiyun.com/chenmaya8367/article/details/100790539</guid><author>chenmaya8367</author><pubDate>Thu, 10 Mar 2016 15:34:00 +0800</pubDate><description><![CDATA[#加密技术入门——从对称加密到CA证书
##几个基本概念

对称加密

对称加密是最传统的加密方式，简单说就是用一个密钥对原文加密，再用同样密钥对原文解密。对称加密的优点就是加密速度快，但是缺点也很明显，密钥的传递无法保障。常见的对称加密算法有DES、3DES、AES等

非对称加密

为了解...]]></description><category></category></item><item><title><![CDATA[java爬虫gecco支持htmlunit]]></title><link>https://blog.youkuaiyun.com/chenmaya8367/article/details/100790538</link><guid>https://blog.youkuaiyun.com/chenmaya8367/article/details/100790538</guid><author>chenmaya8367</author><pubDate>Mon, 07 Mar 2016 10:30:00 +0800</pubDate><description><![CDATA[#java爬虫gecco支持htmlunit
java爬虫gecco发布了1.0.5版本，增加了对htmlunit的支持。htmlunit是一款开源的java 页面分析工具，读取页面后，可以有效的使用htmlunit分析页面上的内容。项目可以模拟浏览器运行，被誉为java浏览器的开源实现。这个...]]></description><category></category></item><item><title><![CDATA[教您使用java爬虫gecco抓取JD全部商品信息（三）]]></title><link>https://blog.youkuaiyun.com/chenmaya8367/article/details/100790537</link><guid>https://blog.youkuaiyun.com/chenmaya8367/article/details/100790537</guid><author>chenmaya8367</author><pubDate>Fri, 26 Feb 2016 11:16:00 +0800</pubDate><description><![CDATA[##详情页抓取
商品的基本信息抓取完成后，就要针对每个商品的详情页进行抓取，可以看到详情页的地址格式一般如下：http://item.jd.com/1861098.html。我们建立商品详情页的Bean：
@Gecco(matchUrl="http://item.jd.com/{code}.h...]]></description><category></category></item><item><title><![CDATA[教您使用java爬虫gecco抓取JD全部商品信息（二）]]></title><link>https://blog.youkuaiyun.com/chenmaya8367/article/details/100790536</link><guid>https://blog.youkuaiyun.com/chenmaya8367/article/details/100790536</guid><author>chenmaya8367</author><pubDate>Thu, 25 Feb 2016 10:55:00 +0800</pubDate><description><![CDATA[##抓取商品列表信息
AllSortPipeline已经将需要进一步抓取的商品列表信息的链接提取出来了，可以看到链接的格式是：http://list.jd.com/list.html?cat=9987,653,659&amp;delivery=1&amp;JL=4_10_0&amp;go=0。...]]></description><category></category></item><item><title><![CDATA[教您使用java爬虫gecco抓取JD全部商品信息（一）]]></title><link>https://blog.youkuaiyun.com/chenmaya8367/article/details/100790534</link><guid>https://blog.youkuaiyun.com/chenmaya8367/article/details/100790534</guid><author>chenmaya8367</author><pubDate>Wed, 24 Feb 2016 12:39:00 +0800</pubDate><description><![CDATA[#教您使用java爬虫gecco抓取JD全部商品信息（一）
##gecco爬虫
如果对gecco还没有了解可以参看一下gecco的github首页。gecco爬虫十分的简单易用，JD全部商品信息的抓取9个类就能搞定。
##JD网站的分析
要抓取JD网站的全部商品信息，我们要先分析一下网站，京东...]]></description><category></category></item><item><title><![CDATA[GECCO(易用的轻量化的网络爬虫)]]></title><link>https://blog.youkuaiyun.com/chenmaya8367/article/details/100790535</link><guid>https://blog.youkuaiyun.com/chenmaya8367/article/details/100790535</guid><author>chenmaya8367</author><pubDate>Tue, 05 Jan 2016 17:34:00 +0800</pubDate><description><![CDATA[GECCO(易用的轻量化的网络爬虫)
####初衷

现在开发应用已经离不开爬虫，网络信息浩如烟海，对互联网的信息加以利用是如今所有应用程序都必须要掌握的技术。了解过现在的一些爬虫软件，python语言编写的爬虫框架scrapy得到了较为广泛的应用。gecco的设计和架构受到了scrapy一些...]]></description><category></category></item></channel></rss>