用Scrapy爬取Domain认证的内网数据比如SharePoint

软猫克鲁

于 2017-12-18 17:08:50 发布

阅读量4k

点赞数 1

CC 4.0 BY-SA版权

分类专栏： python 文章标签：爬虫 sharepoint python-scrapy python-爬虫

本文链接：https://blog.youkuaiyun.com/lj0425/article/details/78834994

本文介绍了如何使用Scrapy爬取需要Domain认证的内网数据，如SharePoint站点。首先，安装requests-ntlm组件以处理认证，然后将其封装到Scrapy中间件中，设置正确的域、用户名和密码。最后，在Scrapy配置和蜘蛛中启用中间件，启动爬虫即可进行内网数据抓取。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

用Scrapy爬取Domain认证的内网数据

只要是浏览器里面能够访问的东西，理论上都可以被爬虫爬取。有了这个信念，基本上所有问题就解决一半啦，笑~

公司内部网络通常都是由域控制器统一做安全登录认证，这对于window系的公司尤为常见。通常爬取内网Domain服务器认证的内部网站，基本都会返回401错误，这就是告诉我们没有通过服务器的认证检验。
那么怎么做呢？

安装requests-ntlm认证组件

你需要pip安装requests-ntlm，这个东西可以帮你完成内网的Request认证。
安装完成之后记得在ipython里面测试一下基本的访问情况：

import requests
from requests_ntlm import HttpNtlmAuth

requests.get("http://internal_protected_site.com",auth=HttpNtlmAuth('domain\\username','password')

最低0.47元/天解锁文章

200万优质内容无限畅学