北京理工大学-Python网络爬虫与信息提取学习笔记02

最新推荐文章于 2025-07-25 16:30:08 发布
最新推荐文章于 2025-07-25 16:30:08 发布
阅读量243 收藏
点赞数
CC 4.0 BY-SA版权
文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/I_HAVE_COME/article/details/105497324
本文探讨了不同规模网页爬取的工具选择，从小规模的Requests库到中大规模的Scrapy库及定制开发，并深入解析了Robots协议的作用与使用方法，强调其在网络爬虫中的重要性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Robo协议

小规模，数据量小，爬取速度不敏感的网页
用Requests库

中规模，数据规模大，爬取速度敏感的网站
用Scrapy库

大规模，搜索引擎，爬取速度关键，爬取全面
定制开发（如搜狗等）

Robots，Robots Exclusion Standard 网络爬虫排除标准
作用：网站告知网络爬虫哪些页面可以爬取，哪些不行
形式：在网站根目录下的robots.txt文件
User-angent：* #*代表所有
Disallow：/ #/代表根目录
例如：http://www.baidu.com/robots.txt

Robots协议的使用
网络爬虫：自动或人工识别robots.txt，在进行内容爬取
约束性：Robots协议是建议但非约束性的
ps：学习链接 https://www.icourse163.org/learn/BIT-1001870001?tid=1206951268#/learn/announce

I_HAVE_COME
关注
爬虫学习笔记二：网络爬虫之提取（MOOC北京理工大学）
qq_44838702的博客
04-20 423
第二周 网络爬虫之提取 单元四 Beautiful Soup库入门 · Beautiful Soup库的基本元素 · Beautiful Soup库是解析、遍历、维护“标签树”的功能库（beautifulsoup4或bs4） <p class="title">...</p> <p>..</p>：标签Tag ​ p：名称Name，成对出现 ​ cl...
北京理工大学MOOC爬虫笔记一（第0+1周）
xixiaodou的博客
05-29 513
一共四周 一、开发工具及特点 二、requests库 demo1: import requests r=requests.get('http://www.baidu.com') print(r.status_code) print(r.text) print(r.encoding) print("r.apparent_encoding:{}".format(r.apparent_encoding)) r.encoding='utf-8' #不会出现乱码 print(r.text
最新北京理工大学Python网络爬虫实战训练
梦独吟
06-01 892
2020年5月17日中国大学排名top100的定向爬虫(成功) https://www.datealive.top/2020/05/pypc2.html 2020年5月21日最新爬取淘宝商品比价信息(成功) https://www.datealive.top/2020/05/pythonxz.html 2020年5月22日股票数据定向爬虫(成功) https://www.datealive.top/2020/05/python-sz3-gp.html 2020年5月24日股票数据定向scrapy爬虫(成功)
【学习笔记】北京理工大学-Python网络爬虫与信息提取
qq_36226586的博客
03-08 837
掌握定向网络数据爬取和网页解析基本能力 第一周
北京理工大学-Python网络爬虫与信息提取学习笔记10
I_HAVE_COME的博客
04-16 469
Scrapy爬虫产生步骤 1、建立一个Scrarrpy爬虫工程 cmd命令提示符中选择目录 输入 scrapy start project name #工程名不要含中文，否则之后生成爬虫时会报错 生成文件中的scrapy.cfg 部署Scrapy爬虫的配置文件 name/ Scrapy框架的用户自定义Python代码 _ init_.py 初始化脚本...
Python网络爬虫与信息提取.pdf
02-29
本篇文档是自学python爬虫时候的一个笔记文档，长达千余行左右。 从requests库介绍，bs4库介绍，正则表达式的介绍，scrapy框架的介绍以及应用实例均有涉及。 个人感觉会给是新手学习python爬虫时带来特别大的作用...
北京理工大学-嵩天python语言程序设计-9-Python计算生态概览
leianuo123的博客
05-04 1133
第九章 Python计算生态概览 9.1从数据处理到人工智能 9.2实例15霍兰德人格分析雷达图 9.3从web分析到网络空间 9.4从人机交互到艺术设计 9.5实例16：玫瑰花绘制 方法论 -概览Python计算生态，看见更大的世界 实践能力 -初步编写带有计算生态的复杂程序 9.1从数据处理到人工智能 9.1.1 Python库之数据处理 9.1.2 Python库之数据可视化 9.1.3 Python库之文本处理 9.1.4 Python库之机器学习 数据表示->数据清洗->数据统计-
国家精品公开课：Python网络爬虫与信息提取+数据分析与可视化
2201_75362610的博客
06-24 994
Python网络爬虫与数据分析是两门课程，上半部分是Python网络爬虫与信息提取，下半部分是Python数据分析与展示。看完这两门课你可以完整地学习数据获取、清洗、统计、分析、可视化等数据处理周期的主要技术，也可以培养计算思维、数据思维及采用程序设计方法解决计算问题的实战能力。
网络爬虫 Python 大学排名数据抓取（学习笔记）
Monica
11-15 494
import requests from bs4 import BeautifulSoup #获取网页的内容 def getHTMLtext(url): try: r=requests.get(url,timeout=5)#发送请求，timeout限制请求时间 r.raise_for_status()#若有错误，抛出异常 r.encodin...
【MOOC】Python网络爬虫与信息提取-北京理工大学-part 4
linzch3的博客
03-08 5674
网络爬虫之框架1.scrapy爬虫框架介绍1.1.scrapy爬虫框架介绍安装方法： 简要地说，Scrapy不是一个函数功能库，而是一个快速功能强大的网络爬虫框架。 （爬虫框架是实现爬虫功能的一个软件结构和功能组件集合，是一个半成品，能够帮助用户实现专业网络爬虫。） scrapy爬虫框架的组成如下： 用户提交的网络请求以及从网络上获取的信息形成数据流，在这些模块间流动。 数据流的路径有：
【Python网络爬虫与信息提取】.MOOC. 北京理工大学 bs4+requests+re+scrapy 截屏笔记
mooe1011的博客
06-15 701
零基础建议可以先看python语法，然后看看《Python3 网络爬虫开发实战》 此为b站上北理爬虫的截屏笔记，每课的代码都在里面了，配合视频回顾 p17 p18 p19 可用devtool p23 查看父亲节点 查看标签 p24 bs遍历 soup.body下面有...
北理工爬虫课程学习记录
weixin_30312659的博客
08-27 281
Requests post方法如果提交字典会被存到form下，如果直接提交字符串，会被存到data下 put方法和post类似，只不过他会覆盖原始数据 　　　　　　　　　　　　　　###各个方法的使用### 13个 访问参数 url修改的字段 //模拟浏览器进行访问 //模拟不同的IP地址对这...
北理工2017年爬虫目录
weixin_44382711的博客
03-18 166
北理工爬虫笔记目录整理，于2002.3.18 丑憨批的爬虫笔记1（导学+requests）） 丑憨批的爬虫笔记2（爬虫引发的问题+robots协议） 丑憨批的爬虫笔记3（实例） 丑憨批的爬虫笔记4BeautifulSoup4 丑憨批的爬虫笔记5信息标记与提取 丑憨批的爬虫笔记6实例 爬虫笔记7正则表达式与re库 爬虫笔记8实例淘宝商品比价爬虫 爬虫笔记9实例股票数据 爬虫笔记10Scrapy-框架...
【MOOC】Python网络爬虫与信息提取-北京理工大学-part 1
linzch3的博客
03-07 9399
【第〇周】网络爬虫之前奏课程推荐阅读文章：关于反爬虫，看这一篇就够了网络爬虫”课程内容导学【第一周】网络爬虫之规则1.Requests库入门Requests库英文文档：Requests: HTTP for Humans Requests库中文文档：Requests: 让 HTTP 服务人类注意：中文文档的内容要稍微比英文文档的更新得慢一些，参考时需要关注两种文档对应的Requests库版本。（对于
Python网络爬虫实例——“中国最好大学排名爬取”（嵩天：北理工大学）学习笔记
涵盖了计算机专业基础知识、数学建模相关实践、复杂网络论文研究、LeetCode算法刷题经验、C语言开发经验、前端Vue、React框架开发实战相关知识
03-20 6887
Python网络爬虫实例，使用requests库和BeautifulSoup库对网站进行爬虫，并对爬虫结果进行格式化输出，此例中是以列表的形式输出。
北理工嵩天Python网络爬虫与信息提取MOOC 测验1: Python网络爬虫之规则 (第1周)
Teaphon
11-14 1755
Python网络爬虫与信息提取MOOC 测验1: Python网络爬虫之规则 (第1周)
网络爬虫引发的问题及robots协议说明
qq_44004117的博客
03-05 781
1、骚扰问题 网络爬虫会占用网站服务器资源。 2、法律风险 根据robots协议网页里的某些信息是不能被爬取的，否则将产生法律风险。 3、隐私泄露 网络爬虫可以获得用户设置的密码信息，这样个人隐私就存在被泄露的风险。 总结： 在进行网络爬虫时，我们有必要了解网站的robots协议，如： https://www.jd.com/robots.txt 上图中* 表示对所有的访问者。...
python实现dns协议_PYTHON通过DNS协议传输后门
weixin_39583013的博客
12-15 322
首先吐槽一下，，做了一天护网杯的题发现一题也做不了。我擦。。。心情mmp，然后这个实验是在上学的时候在FB看到的。这里的我也实验了一遍就当做个记录正文先放出FB看的那篇文章吧转自FreebufDNS后门与检测：http://www.freebuf.com/articles/network/185324.html思路这篇文章的主要思路是通过DNS的PTR记录存放payload然后，用python获取...
【Python】绘制小提琴、箱线和散点的组合图
最新发布
a11113112的博客
07-25 449
可根据需求修改各图的配色。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值