Python网络爬虫与信息提取（一）(Wing & Canopy)

最新推荐文章于 2023-12-24 05:12:30 发布

原创最新推荐文章于 2023-12-24 05:12:30 发布 · 366 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#python #网络爬虫

python 同时被 2 个专栏收录

10 篇文章

订阅专栏

网络爬虫

5 篇文章

订阅专栏

博客介绍了Python网络爬虫相关知识，包括掌握定向网络数据爬取和网页解析能力，介绍了Requests、Beautiful Soup、Re库等，还提及Scrapy框架。同时介绍了Python开发工具，如IDLE、Sublime Text、Wing、PyCharm、Canopy等。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

相关基础知识和概念

掌握定向网络数据爬取和网页解析能力

The Website is the API

Requests库：自动爬取HTML页面，自动网络请求提交
robots.txt：网络爬虫排除标准
Beautiful Soup库：解析HTML页面，提取相关信息
Re库：正则表达式库。通过正则表达式的使用可以在页面中提取我们最关心的关键信息
Scrapy：专业网络爬虫的框架

Python开发工具的介绍

①IDLE（包含交互式和文件式两种方式）

②Sublime Text

几乎所有专业的程序员，都是用类似Sublime Text这一类的编辑工具而不是使用集成的开发工具

因为专业程序员的编写代码质量相对较高，对调试的需求相对较低，而对编写代码过程的体验需求较高

③Wing

在编写几千行甚至上万行的大型应用中用得十分普遍

④PyCharm

PyCharm是所有这类集成工具中，相对简单和集成度很高的，它非常适合编写较大和较复杂规模的程序

⑤Canopy（科学计算领域）

收费的，价格还很高

是开发科学计算和数据分析领域里面集成度很高并且使用相对方便的一个第三方IDE