如何采集微信公众号文章

数据采集在大数据时代扮演者举足轻重的地位，尤其是在媒体行业，数据采集更是发挥了巨大的作用，而微信公众号数据的采集是重要的部分， 也是在技术上非常有挑战的部分！

一 微信公众号的采集思路

1.  有的人是在搜狗上进行微信公众号的采集，这个我很久以前有过尝试 ，但是局限性非常多，比如抓取间隔 历史文章等等， 我个人认为这并不一个很好的办法， 但是可以尝试部分功能！
2. 看到有文章的说可以在微信公众平台注册账号，来抓取， 这个我个人没有实践过， 如果感兴趣可以搜搜相关文章
3. 也有使用真机来采集微信公众号，这种方式成本比较大，需要购买支架，电源,手机,手机卡等等设备，还要开发一些软件，比较复杂， 但是稳定性是可以的

二 关于我的微信公众号的采集思路

我们以获取数据为目的，字段如文章内容，标题，观看数，甚至是 评论量等

不同的字段的获取使用的方式不一样，只获取文章内容和文章标题是比较简单的一种， 获取观看数和评论是比较复杂(研究过的同学应该明白这一点)

1. 目前的抓取真机也在使用，抓取效果一直比较稳定，主要用于公开的热点新闻的数据的采集
2. 还有一套正在测试中的方法，这种方法不需要真机器， 比较简单， 就是使用电脑和服务器的方法，将本地采集的数据上传服务器数据库后，消费者进行消费再进行数据采集，可实现分布式。相对于真机采集的方式，这种方法缺点也显而易见

• 因为是批量采集，目前不可以对某个公众号进行单独采集，（后续可以改进）
• 对操作人的要求相对较高
• 注意抓取间隔
• 其他有待测试验证

   3 测试中的部分数据展示

三 有需要微信公众号数据合作的朋友欢迎在本文下留言，或联系1456859166@qq.com