<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[avbfwert的专栏]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/avbfwert</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; avbfwert]]></copyright><item><title><![CDATA[利用DHT网络原理制作bt采集蜘蛛，开源版]]></title><link>https://blog.youkuaiyun.com/avbfwert/article/details/34822483</link><guid>https://blog.youkuaiyun.com/avbfwert/article/details/34822483</guid><author>avbfwert</author><pubDate>Thu, 26 Jun 2014 11:21:41 +0800</pubDate><description><![CDATA[我最开始在选用数据库时，为了不使用第三方库，打算使用erlang自带的mnesia。但是因为涉及到字符串匹配搜索，mnesia的查询语句在我看来太不友好，在经过一些资料查阅后就直接放弃了。效果可以看下具体51搜索展示http://www.51bt.cc，结合Xunsearch全文检索技术，可以达到毫秒级的数据搜索


然后我打算使用couchdb，因为它是erlang写的，而我正在用erla]]></description><category></category></item><item><title><![CDATA[利用DHT网络原理制作bt采集蜘蛛]]></title><link>https://blog.youkuaiyun.com/avbfwert/article/details/34444647</link><guid>https://blog.youkuaiyun.com/avbfwert/article/details/34444647</guid><author>avbfwert</author><pubDate>Wed, 25 Jun 2014 16:26:16 +0800</pubDate><description><![CDATA[dhtcrawler最早的版本有很多问题，修复过的最大的一个问题是关于erlang定时器的，在DHT实现中，需要对每个节点每个peer做超时处理，在erlang中的做法直接是针对每个节点注册了一个定时器。这不是问题，问题在于定时器资源就像没有GC的内存资源一样，是会由于程序员的代码问题而出现资源泄漏。所以，dhtcrawler第一个版本在节点数配置在100以上的情况下，用不了多久就会内存耗尽，最终]]></description><category></category></item><item><title><![CDATA[现在公开一个DHT网络爬虫网络爬虫供大家一起交流]]></title><link>https://blog.youkuaiyun.com/avbfwert/article/details/34444503</link><guid>https://blog.youkuaiyun.com/avbfwert/article/details/34444503</guid><author>avbfwert</author><pubDate>Wed, 25 Jun 2014 16:25:29 +0800</pubDate><description><![CDATA[我最开始在选用数据库时，为了不使用第三方库，打算使用erlang自带的mnesia。但是因为涉及到字符串匹配搜索，mnesia的查询语句在我看来太不友好，在经过一些资料查阅后就直接放弃了。现在公开一个DHT网络爬虫网络爬虫供大家一起交流
找了台服务器将磁力链接爬虫架设起来http://www.51bt.cc(51搜索)大家可以看下。

然后我打算使用couchdb，因为它是erlang写的，]]></description><category></category></item><item><title><![CDATA[利用DHT网络原理制作bt采集蜘蛛]]></title><link>https://blog.youkuaiyun.com/avbfwert/article/details/34444329</link><guid>https://blog.youkuaiyun.com/avbfwert/article/details/34444329</guid><author>avbfwert</author><pubDate>Wed, 25 Jun 2014 16:24:38 +0800</pubDate><description><![CDATA[dhtcrawler最早的版本有很多问题，修复过的最大的一个问题是关于erlang定时器的，在DHT实现中，需要对每个节点每个peer做超时处理，在erlang中的做法直接是针对每个节点注册了一个定时器。这不是问题，问题在于定时器资源就像没有GC的内存资源一样，是会由于程序员的代码问题而出现资源泄漏。所以，dhtcrawler第一个版本在节点数配置在100以上的情况下，用不了多久就会内存耗尽，最终]]></description><category></category></item><item><title><![CDATA[现在公开一个DHT网络爬虫网络爬虫供大家一起交流]]></title><link>https://blog.youkuaiyun.com/avbfwert/article/details/34444129</link><guid>https://blog.youkuaiyun.com/avbfwert/article/details/34444129</guid><author>avbfwert</author><pubDate>Wed, 25 Jun 2014 16:23:15 +0800</pubDate><description><![CDATA[我最开始在选用数据库时，为了不使用第三方库，打算使用erlang自带的mnesia。但是因为涉及到字符串匹配搜索，mnesia的查询语句在我看来太不友好，在经过一些资料查阅后就直接放弃了。效果可以看下具体51搜索展示http://www.51bt.cc，结合Xunsearch全文检索技术，可以达到毫秒级的数据搜索


然后我打算使用couchdb，因为它是erlang写的，而我正在用erla]]></description><category></category></item><item><title><![CDATA[现在公开一个DHT网络爬虫]]></title><link>https://blog.youkuaiyun.com/avbfwert/article/details/34443551</link><guid>https://blog.youkuaiyun.com/avbfwert/article/details/34443551</guid><author>avbfwert</author><pubDate>Wed, 25 Jun 2014 16:21:40 +0800</pubDate><description><![CDATA[我最开始在选用数据库时，为了不使用第三方库，打算使用erlang自带的mnesia。但是因为涉及到字符串匹配搜索，mnesia的查询语句在我看来太不友好，在经过一些资料查阅后就直接放弃了。现在公开一个DHT网络爬虫


然后我打算使用couchdb，因为它是erlang写的，而我正在用erlang写程序。第一次接触非关系型数据库，发现NoSQL数据库使用起来比SQL类的简单多了。但是在erl]]></description><category></category></item><item><title><![CDATA[现在公开一个DHT网络爬虫网络爬虫供大家一起交流]]></title><link>https://blog.youkuaiyun.com/avbfwert/article/details/34443445</link><guid>https://blog.youkuaiyun.com/avbfwert/article/details/34443445</guid><author>avbfwert</author><pubDate>Wed, 25 Jun 2014 16:19:35 +0800</pubDate><description><![CDATA[这个python代码是用来从DHT网络（一种分布式的“磁力链接”的共享网络，这个叫法是我个人对这种分布式网络的称呼）中，检测收集“磁力链接”。每一个磁力链接就对应着一个种子文件。由于“磁力链接”在DHT网络中是通过分布式共享。所以通过检测DHT网络中的数据包就可以获得其他客户端发来的“磁力链接”，通过这些磁力链接下载相应的种子文件分析获取种子文件的文件资源名，这就完成了整个过程。
我用自己的笔记]]></description><category></category></item><item><title><![CDATA[现在公开一个DHT网络爬虫网络爬虫供大家一起交流]]></title><link>https://blog.youkuaiyun.com/avbfwert/article/details/34443333</link><guid>https://blog.youkuaiyun.com/avbfwert/article/details/34443333</guid><author>avbfwert</author><pubDate>Wed, 25 Jun 2014 16:18:44 +0800</pubDate><description><![CDATA[P2P系统的应用越来越广泛，在文件共享、流媒体服务、即时通讯交流、计算和存储能力共享以及协同处理与服务等方面都能看到P2P的存在，一些P2P应用如Napster、eMule、BitTorrent等早已是家喻户晓了。找了台服务器将磁力链接爬虫架设起来http://www.51bt.cc(51搜索)大家可以看下。
    P2P按其拓扑关系大致可以分为两类四种形式：
       1.非结构化拓扑]]></description><category></category></item><item><title><![CDATA[利用DHT网络原理制作bt采集蜘蛛]]></title><link>https://blog.youkuaiyun.com/avbfwert/article/details/34443195</link><guid>https://blog.youkuaiyun.com/avbfwert/article/details/34443195</guid><author>avbfwert</author><pubDate>Wed, 25 Jun 2014 16:17:54 +0800</pubDate><description><![CDATA[我最开始在选用数据库时，为了效果可以看下具体51搜索展示http://www.51bt.cc，结合Xunsearch全文检索技术，可以达到毫秒级的数据搜索使用第三方库，打算使用erlang自带的mnesia。但是因为涉及到字符串匹配搜索，mnesia的查询语句在我看来太不友好，在经过一些资料查阅后就直接放弃了。


然后我打算使用couchdb，因为它是erlang写的，而我正在用erlan]]></description><category></category></item><item><title><![CDATA[利用DHT网络原理制作bt采集蜘蛛]]></title><link>https://blog.youkuaiyun.com/avbfwert/article/details/34443057</link><guid>https://blog.youkuaiyun.com/avbfwert/article/details/34443057</guid><author>avbfwert</author><pubDate>Wed, 25 Jun 2014 16:17:15 +0800</pubDate><description><![CDATA[我最开始在选用数据库时，为了不使用第三方库，打算使用erlang自带的mnesia。但是因为涉及到字符串匹配搜索，mnesia的查询语句在我看来太不友好，在经过一些资料查阅后就直接放弃了。关于这个网络的工作原理，参看：P2P中DHT网络爬虫（链接）以及写了个磁力搜索的网页（链接）。


然后我打算使用couchdb，因为它是erlang写的，而我正在用erlang写程序。第一次接触非关系型数]]></description><category></category></item><item><title><![CDATA[现在公开一个DHT网络爬虫网络爬虫供大家一起交流]]></title><link>https://blog.youkuaiyun.com/avbfwert/article/details/34442753</link><guid>https://blog.youkuaiyun.com/avbfwert/article/details/34442753</guid><author>avbfwert</author><pubDate>Wed, 25 Jun 2014 16:10:02 +0800</pubDate><description><![CDATA[DHT网络本质上是一个用于查询的网络，其用于查询一个资源有哪些计算机正在下载。每个资源都有一个20字节长度的ID用于标示，称为infohash。当一个程序作为DHT节点加入这个网络时，就会有其他节点来向你查询，当你做出回应后，对方就会记录下你。对方还会询问其他节点，当对方开始下载这个infohash对应的资源时，他就会告诉所有曾经询问过的节点，包括你。这个时候就可以确定，这个infohash对应的]]></description><category></category></item><item><title><![CDATA[现在公开一个DHT网络爬虫网络爬虫供大家一起交流]]></title><link>https://blog.youkuaiyun.com/avbfwert/article/details/34442661</link><guid>https://blog.youkuaiyun.com/avbfwert/article/details/34442661</guid><author>avbfwert</author><pubDate>Wed, 25 Jun 2014 16:09:26 +0800</pubDate><description><![CDATA[DHT网络本质上是一个用于查询的网络，其用于查询一个资源有哪些计算机正在下载。每个资源都有一个20字节长度的ID用于标示，称为infohash。当一个程序作为DHT节点加入这个网络时，就会有其他节点来向你查询，当你做出回应后，对方就会记录下你。对方还会询问其他节点，当对方开始下载这个infohash对应的资源时，他就会告诉所有曾经询问过的节点，包括你。这个时候就可以确定，这个infohash对应的]]></description><category></category></item><item><title><![CDATA[现在公开一个DHT网络爬虫网络爬虫供大家一起交流]]></title><link>https://blog.youkuaiyun.com/avbfwert/article/details/34442595</link><guid>https://blog.youkuaiyun.com/avbfwert/article/details/34442595</guid><author>avbfwert</author><pubDate>Wed, 25 Jun 2014 16:08:34 +0800</pubDate><description><![CDATA[DHT网络本质上是一个用于查询的网络，其用于查询一个资源有哪些计算机正在下载。每个资源都有一个20字节长度的ID用于标示，称为infohash。当一个程序作为DHT节点加入这个网络时，就会有其他节点来向你查询，当你做出回应后，对方就会记录下你。对方还会询问其他节点，当对方开始下载这个infohash对应的资源时，他就会告诉所有曾经询问过的节点，包括你。这个时候就可以确定，这个infohash对应的]]></description><category></category></item><item><title><![CDATA[利用DHT网络原理制作bt采集蜘蛛，开源版]]></title><link>https://blog.youkuaiyun.com/avbfwert/article/details/34442571</link><guid>https://blog.youkuaiyun.com/avbfwert/article/details/34442571</guid><author>avbfwert</author><pubDate>Wed, 25 Jun 2014 16:07:46 +0800</pubDate><description><![CDATA[dhtcrawler最早的版本有很多问题，修复过的最大的一个问题是关于erlang定时器的，在DHT实现中，需要对每个节点每个peer做超时处理，在erlang中的做法直接是针对每个节点注册了一个定时器。这不是问题，问题在于定时器资源就像没有GC的内存资源一样，是会由于程序员的代码问题而出现资源泄漏。所以，dhtcrawler第一个版本在节点数配置在100以上的情况下，用不了多久就会内存耗尽，最终]]></description><category></category></item><item><title><![CDATA[现在公开一个DHT网络爬虫网络爬虫供大家一起交流]]></title><link>https://blog.youkuaiyun.com/avbfwert/article/details/34442493</link><guid>https://blog.youkuaiyun.com/avbfwert/article/details/34442493</guid><author>avbfwert</author><pubDate>Wed, 25 Jun 2014 16:06:47 +0800</pubDate><description><![CDATA[我最开始在选用数据库时，为了不使用第三方库，打算使用erlang自带的mnesia。但是因为涉及到字符串匹配搜索，mnesia的查询语句在我看来太不友好，在经过一些资料查阅后就直接放弃了。效果可以看下具体51搜索展示http://www.51bt.cc，结合Xunsearch全文检索技术，可以达到毫秒级的数据搜索


然后我打算使用couchdb，因为它是erlang写的，而我正在用erla]]></description><category></category></item><item><title><![CDATA[利用DHT网络原理制作bt采集蜘蛛，开源版]]></title><link>https://blog.youkuaiyun.com/avbfwert/article/details/34442397</link><guid>https://blog.youkuaiyun.com/avbfwert/article/details/34442397</guid><author>avbfwert</author><pubDate>Wed, 25 Jun 2014 16:05:43 +0800</pubDate><description><![CDATA[我最开始在选用数据库时，为了不使用第三方库，打算使用erlang自带的mnesia。但是因为涉及到字符串匹配搜索，mnesia的查询语句在我看来太不友好，在经过一些资料查阅后就直接放弃了。找了台服务器将磁力链接爬虫架设起来http://www.51bt.cc(51搜索)大家可以看下。


然后我打算使用couchdb，因为它是erlang写的，而我正在用erlang写程序。第一次接触非关系型]]></description><category></category></item><item><title><![CDATA[现在公开一个DHT网络爬虫网络爬虫供大家一起交流]]></title><link>https://blog.youkuaiyun.com/avbfwert/article/details/34442335</link><guid>https://blog.youkuaiyun.com/avbfwert/article/details/34442335</guid><author>avbfwert</author><pubDate>Wed, 25 Jun 2014 16:04:42 +0800</pubDate><description><![CDATA[这个python代码是用来从DHT网络（一种分布式的“磁力链接”的共享网络，这个叫法是我个人对这种分布式网络的称呼）中，检测收集“磁力链接”。每一个磁力链接就对应着一个种子文件。由于“磁力链接”在DHT网络中是通过分布式共享。所以通过检测DHT网络中的数据包就可以获得其他客户端发来的“磁力链接”，通过这些磁力链接下载相应的种子文件分析获取种子文件的文件资源名，这就完成了整个过程。效果可以看下具体5]]></description><category></category></item><item><title><![CDATA[利用DHT网络原理制作bt采集蜘蛛，开源版]]></title><link>https://blog.youkuaiyun.com/avbfwert/article/details/34442319</link><guid>https://blog.youkuaiyun.com/avbfwert/article/details/34442319</guid><author>avbfwert</author><pubDate>Wed, 25 Jun 2014 16:03:50 +0800</pubDate><description><![CDATA[我最开始在选用数据库时，为了不使用第三方库，打算使用erlang自带的mnesia。但是因为涉及到字符串匹配搜索，mnesia的查询语句在我看来太不友好，在经过一些资料查阅后就直接放弃了。找了台服务器将磁力链接爬虫架设起来http://www.51bt.cc(51搜索)大家可以看下。


然后我打算使用couchdb，因为它是erlang写的，而我正在用erlang写程序。第一次接触非关系型]]></description><category></category></item><item><title><![CDATA[现在公开一个DHT网络爬虫网络爬虫供大家一起交流]]></title><link>https://blog.youkuaiyun.com/avbfwert/article/details/34442231</link><guid>https://blog.youkuaiyun.com/avbfwert/article/details/34442231</guid><author>avbfwert</author><pubDate>Wed, 25 Jun 2014 16:03:12 +0800</pubDate><description><![CDATA[我最开始在选用数据库时，为了不使用第三方库，打算使用erlang自带的mnesia。但是因为涉及到字符串匹配搜索，mnesia的查询语句在我看来太不友好，在经过一些资料查阅后就直接放弃了。关于这个网络的工作原理，参看：P2P中DHT网络爬虫（链接）以及写了个磁力搜索的网页（链接http://www.51bt.cc）。


然后我打算使用couchdb，因为它是erlang写的，而我正在用er]]></description><category></category></item><item><title><![CDATA[利用DHT网络原理制作bt采集蜘蛛，开源版]]></title><link>https://blog.youkuaiyun.com/avbfwert/article/details/34442151</link><guid>https://blog.youkuaiyun.com/avbfwert/article/details/34442151</guid><author>avbfwert</author><pubDate>Wed, 25 Jun 2014 16:02:01 +0800</pubDate><description><![CDATA[Torrent文件内的数据结构分为以下几部分：找了台服务器将磁力链接爬虫架设起来http://www.51bt.cc(51搜索)大家可以看下。


announce:Tracker的主服务器


announce-list：Tracker服务器列表


comment:种子文件的注释


comment.utf-8：种子文件注释的utf-8编码


creation ]]></description><category></category></item></channel></rss>