qq_34623223的博客

功能实现：对北邮人论坛所有版块进行关键词搜索，将帖子名称及链接打印出来。'''实现的功能：BYR 全部讨论区 超级搜索作者：莹时间：2019.11.132019年11月13日20:29:03复习了一下爬虫简介：模拟了论坛的登录，所有版块对关键词的搜索，附带搜索结果网址（手机可直接打开不用登录，PC端需登录）并在查询结果有多页时实现多页爬取(最多5页，可自行设置)。'''doc ...

出现报错：isinstance() arg 2 must be a type or tuple of types1.检查自己是否以list、str等类型名作为了变量名2.更改之后重启编译器，否则还会报错

1.在需要爬虫的页面进行操作前按f12，进行操作后会有请求对象刷新出来挨个项看response，看哪个里面有自己需要的内容（未必是第一个）对要找的对象右键->copy->copy as cURL(bash)到这个网站进行转换 https://curl.trillworks.com/ 将cURL转成requests代码可以print(response.text) 看看输出的...

有的时候因为登录成功后一跳转F12里的数据就清空重新采集了，所以要点登陆然后秒按esc。但是有的时候还是不行，还是直接就进去了，昨天误打误撞发现了一个很好用的方法：输错密码！！ 输错密码之后登录的数据还是会有，只是密码数据错误而已，一般其余的都是一样的。（还是要自己检验一下对不对）或者还有一种办法是进入你要进去界面的登录界面（登录就在你要进去的页面上），这样登录数据就很稳定的存在了。...