爬虫抓取微信公众号文章一些收获2024-7

重新梳理一下通过公众号抓列表的过程。

写新图文-超链接

输入公众号的名字，点击右侧放大镜，然后就看到下图

一直拖到底，这些是5天的文章量。假如每天更新，每次6篇文章，那么这一页有30篇文章。

点击一个翻页

上图是F12开发者模式的样子

url已经变了，一些老一点的文章都不对了，现在是 https://mp.weixin.qq.com/cgi-bin/appmsgpublish

url后面就是params，也可以点击标头右边的”负载“看到。

params里的begin 和 count 其实是可以自己定义的，begin并非一定得是0、5、10、15。但是count最多就是20，写多了也没有用。

为了减少对服务器的访问次数，可以把count就写成20，但是你的begin就得是0，20，40……

那么，一次就能抓下来20天的。

response1 = requests.get(……).json()

抓到是数据response1里，最靠前有个total_count，这就是该公众号发文总天数，可以用这个来监视公众号是否有更新。

那些以publish_开头的键值对很多。publish就是一次公众号的群发。假如每天更新的话，坚持了一年，就有365个publish . 上面说的begin 和 count也是对应的publish

每个publish 会有1-多篇文章，每个文章有aid，create_time, title, link 

基本上，把这些信息抓下来就行了。有了link , 剩下的获取内容实际上是访问link，属于静态网页，随时随地都可以访问或者抓取。

保存的问题，不建议保存成csv，因为excel打开会乱码。yaml也没必要。txt就行。有文章把抓取的内容保存在数据库里，那些收费的成熟工具都是这样的，这样也行。你要是会安装数据库，就可以保存在数据库里，毕竟检索会方便些。要是不会就保存成txt。