import robotparser rp = robotparser.RobotFileParser() rp.set_url('url/robot.txt') rp.read()
user_agent = 'Spider' rp.can_fetch(user_agent, url)
Boolean变量可以检测代理是否可以爬取
扫一扫
评论
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
查看更多评论
添加红包
