微信公众号文章采集思路

# wxCrawler
微信文章爬虫思路
微信公众号文章采集思路  
一、通过android客户端获取到微信用户登录信息(即小号)。  
二、提供微信公众号信息(biz)  
三、通过http协议分析文章接口,写微信爬虫程序,需要用到上面两种资源,即小号越多,爬取速度越快。
    微信爬虫引擎为分布式,可多实例部署工作。  
    
最后实现的效果为:
android客户端程序定时获取微信用户登录信息,保存到数据库中。数据库中保存大量的公众号信息,  
爬虫引擎工作时,去数据库获取要爬取公众号的信息与微信小号的身份信息。  

github: https://github.com/leej0hn/wxCrawler/
 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值