现在公开一个DHT网络爬虫网络爬虫供大家一起交流

基于DHT网络的BT磁力链蜘蛛实现:从协议到代码全解析 分布式哈希表(DHT)作为去中心化网络的核心技术,在P2P应用中承担着节点发现与资源索引的关键角色。Kademlia算法通过异或距离与K桶机制,让每个节点只需维护局部路由信息,即可高效定位目标资源。基于DHT的磁力链采集系统,正是利用BT网络中广播的announce_peer消息,持续捕获活跃的infohash,再通过扩展协议抓取种子元数据,最终构建出结构化磁力链接库。这一方案不依赖中心tracker,具备覆盖广、抗单点故障、被动接收数据成本低等优势,广泛适用于资源搜索、数据监测、P2P网络研究等场景。本文 阅读详情
我最开始在选用数据库时,为了不使用第三方库,打算使用erlang自带的mnesia。但是因为涉及到字符串匹配搜索,mnesia的查询语句在我看来太不友好,在经过一些资料查阅后就直接放弃了。关于这个网络的工作原理,参看: P2P中DHT网络爬虫(链接)以及写了个 磁力搜索的网页(链接)。


然后我打算使用couchdb,因为它是erlang写的,而我正在用erlang写程序。第一次接触非关系型数据库,发现NoSQL数据库使用起来比SQL类的简单多了。但是在erlang里要使用couchdb实在太折腾了。我使用的客户端库是couchbeam。


因为couchdb暴露的API都是基于HTTP协议的,其数据格式使用了json,所以couchbeam实际上就是对各种HTTP请求、回应和json的包装。但是它竟然使用了ibrowse这个第三方HTTP客户端库,而不是erlang自带的。ibrowse又使用了jiffy这个解析json的库。这个库更惨烈的是它的解析工作都是交给C语言写的动态库来完成,我还得编译那个C库。


couchdb看起来不支持字符串查询,我得自己创建一个view,这个view里我通过翻阅了一些资料写了一个将每个doc的name拆分成若干次查询结果的map。这个map在处理每一次查询时,我都得动态更新之。couchdb是不支持局部更新的,这还不算大问题。然后很高兴,终于支持字符串查询了。这里的字符串查询都是基于字符串的子串查询。但是问题在于,太慢了。每一次在WEB端的查询,都直接导致erlang进程的call超时。


要让couchdb支持字符串查询,要快速,当然是有解决方案的。但是这个时候我已经没有心思继续折腾,任何一个库、程序如果接口设计得如此不方便,那就可以考虑换一个其他的。


我选择了mongodb。同样的基于文档的数据库。2.4版本还支持全文搜索。什么是全文搜索呢,这是一种基于单词的全文搜索方式。hello world我可以搜索hello,基于单词。mongodb会自动拆词。更关键更让人爽的是,要开启这个功能非常简单:设置启动参数、建立索引。没了。mongodb的erlang客户端库mongodb-erlang也只依赖一个bson-erlang库。然后我又埋头苦干,几个小时候我的这个爬虫程序就可以在浏览器端搜索关键字了。


后来我发现,mongodb的全文搜索是不支持中文的。因为它还不知道中文该怎么拆词。恰好我有个同事做过中文拆词的研究,看起来涉及到很复杂的算法。直到这个时候,我他妈才醒悟,我为什么需要基于单词的搜索。我们大部分的搜索其实都是基于子字符串的搜索。


于是,我将种子文件的名字拆分成了若干个子字符串,将这些子字符串以数组的形式作为种子文档的一个键值存储,而我依然还可以使用全文索引,因为全文索引会将整个字符串作为单词比较。实际上,基于一般的查询方式也是可以的。当然,索引还是得建立。
无忧无虑bt影视在线小偷ASP版 v3.0.rar 5156无忧无虑影视在线小偷程序4dzz完全开源版,开源全自动免更新,2011.12.30更新全站程序为开源版,代码完全公开,可以学习交流使用。 以前有个版本是加了密的,建议大家缓换成现在的开源的,开源的方便了大家的修改,也可以从中学习怎样写小偷程序。无任何加密设置,可以自由修改。 无忧无虑bt影视在线小偷程序,全自动免更新 免费开源版,完全开源,可以随意修改 因为这个东东以前(前两个多月)是收费的,哎,不管它了,提供下载了。速度不错,资源丰富,可以在线播放,但是都是qvod的电影,要用到qvod播放器才行。 毕竟是bt下载站的老大,资源更新快是肯定的。 界面嘛,一般般,最古董级的界面。一看就是做电影的 关于广告位的说明: 注意:以下所有的代码都要转换为相应的js代码方可使用! 立即下载

相关推荐

51单片机C语言编程BT种子

这个对于初学者真的很好,而且还是郭天祥老师讲的哦

分享github好用的磁力站bt导航和阿里云盘导航、百度网盘搜索引擎导航

分享github好用的磁力站bt导航和阿里云盘导航+百度网盘搜索引擎导航!收藏! 作为磁力重度依赖人士常看到bt磁力车站推荐帖里的死链,很让人沮丧。 下面分享在github发现的bt磁力导航与阿里云百度网盘搜索引擎导航。 拿笔记好了哦

weixin_43721797的博客 7万+

火车头采集器超级详细图文使用指导(面向新手)

火车采集器·超级详细使用指导

DE的个人原创笔记 1万+

Unity资源加载之AssetBundles打包

一、AssetBundle类属性及函数 首先提供官方参考文档:API-Reference-AssetBundle&AssetBundle-Manual 概述:AssetBundle类继承自Object类;一个AssetBundle是一个归档文件,它仅包含非代码资源,它的用途在于Unity可以在运行时加载它,以降低初始安装包的大小,优化终端平台的资源加载,降低运行内存的压力;开发者可以...

mozhi 2157

国产Flash替代方案:手把手教你用XSCT烧写ZYNQ7045的BOOT.BIN(附完整命令解析)

本文详细介绍了国产Flash替代方案在ZYNQ7045上的应用,通过XSCT工具链实现BOOT.BIN的精准烧写。内容涵盖国产Flash兼容性检查、PetaLinux环境搭建、XSCT烧写全流程及故障排查,帮助开发者高效完成国产化替代,提升硬件开发效率。

weixin_33670786的博客 431

深入浅出:.sh文件在Linux系统中的实战应用与技巧

本文深入浅出地介绍了.sh文件在Linux系统中的实战应用与技巧。从基础概念入手,详细讲解了Bash脚本的运行方法、权限管理,并通过编写自动化备份脚本等实例,展示了如何利用Shell脚本提升工作效率。文章还涵盖了脚本调试、错误处理以及函数、参数解析等进阶技巧,帮助读者从入门到精通,掌握这一强大的自动化工具。

weixin_29243279的博客 354
上一篇: 正则表达式不区分大小写以及解决思路的探索 .
下一篇: 现在公开一个DHT网络爬虫网络爬虫供大家一起交流
abdfdgh
博客等级 码龄12年 0粉丝 0原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值