Python爬取新浪微博评论

前言

本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。

PS：如有需要Python学习资料的小伙伴可以点击下方链接自行获取

python免费学习资料、代码以及交流解答点击即可加入

---

• 环境： Python3 + windows。
• 开发工具：Anaconda + Jupyter / VS Code。
• 学习效果：
  • 认识爬虫 / Robots协议
  • 了解浏览器开发者工具
  • 动态加载页面的处理
  • 手机客户端页面的数据采集

Robots.txt 协议

Robots协议，也称为爬虫协议
网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。Robots是一个协议，而不是一个命令。Robots.txt文件是一个文本文件，是放置在网站根目录下，使用任何一个常见的文本编辑器，就可以创建和编辑它。Robots.txt是搜索引擎中访问网站的时候要查看的第一个文件，其主要的作用就是告诉蜘蛛程序在服务器上什么文件是可以被查看的。

Robots协议是国际互联网界通行的道德规范。约定俗成。

Python代码

• 导入模块

import requests
import pandas
import json
import time

• 反爬