- 博客(4)
- 收藏
- 关注
RSS订阅原创 闲暇时间看了下DHT网络
关于这个网络的工作原理，参看：P2P中DHT网络爬虫以及写了个磁力搜索的网页（链接http://www.51bt.cc）。找了台服务器将磁力链接爬虫架设起来http://www.51bt.cc(51搜索)大家可以看下。效果可以看下具体51搜索展示http://www.51bt.cc，结合Xunsearch全文检索技术，可以达到毫秒级的数据搜索
2014-06-18 23:17:25
499
原创 闲暇时间看了下DHT网络
根据实际的测试效果来看，当收集的资源量过百万时（目前bt.cm录入近160万资源），4G内存的Windows平台，mongodb很容易就会挂掉。挂掉的原因全是1455，页面文件太小。有人建议不要在Windows下使用mongodb，Linux下我自己没做过测试。mongodb可以部署为集群形式(replica-set)，当初我想把http部分的查询放在一个只读的mongodb实例上，但
2014-06-18 23:02:04
626
原创 现在公开一个DHT网络爬虫网络爬虫供大家一起交流
P2P系统的应用越来越广泛，在文件共享、流媒体服务、即时通讯交流、计算和存储能力共享以及协同处理与服务等方面都能看到P2P的存在，一些P2P应用如Napster、eMule、BitTorrent等早已是家喻户晓了。 P2P按其拓扑关系大致可以分为两类四种形式： 1.非结构化拓扑。包括中心化拓扑、分布式拓扑、半分布式拓扑，其分别对应着Napster、BitTorrent、K
2014-06-18 23:00:11
1452
原创 利用DHT网络原理制作bt采集蜘蛛，开源版
关于这个网络的工作原理，参看：P2P中DHT网络爬虫（链接）以及写了个磁力搜索的网页（链接http://www.51bt.cc）。找了台服务器将磁力链接爬虫架设起来http://www.51bt.cc(51搜索)大家可以看下。效果可以看下具体51搜索展示http://www.51bt.cc，结合Xunsearch全文检索技术，可以达到毫秒级的数据搜索DHT网络本质上是一个用于查询的
2014-06-18 22:53:49
1659
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人