hxxjxw的博客

相关基础知识和概念掌握定向网络数据爬取和网页解析能力The Website is the APIRequests库：自动爬取HTML页面，自动网络请求提交 robots.txt：网络爬虫排除标准 BeautifulSoup库：解析HTML页面，提取相关信息 Re库：正则表达式库。通过正则表达式的使用可以在页面中提取我们最关心的关键信息 Scrapy：专业网络爬虫的框架pyt...

Requests库的7个主要方法Requests库的get()方法获得一个网页最简单的一行代码就是 r = requests.get(url)Requests库支持6种常用的连接异常raise_for_status() 方法 response这样一个对象返回了所有的网页内容，它也提供了一个方法：raise_for_status(),这个方法是专门与异常打...

Beautifulsoup库简介Beautifulsoup，又叫美丽汤，是一个优秀的python第三方库，能够对html，xml进行解析，并且提取其中的相关信息。Beautifulsoup的使用原理是他能够吧任何你给他的文档当做一锅汤，然后给你煲制这锅汤import requestsr = requests.get('http://python123.io/ws/demo....

scrapy爬虫框架scrapy是一个功能强大的网络爬虫框架scrapy不是一个函数功能库，而是一个爬虫框架scrapy爬虫框架一共包含7个部分，称为“5+2”结构。5个部分是框架的主体部分，另外包含2个中间件中间件之一spiders是整个爬虫框架最核心的一个单元中间件之二requesus库和scrapy爬虫比较scrapy是基于异步结构设...

正则表达式正则表达式的概念regular expression RE正则表达式是用来简洁表达一组字符串的表达式一行胜千言正则表达式的语法正则表达式语法由字符和操作符构成Re库的基本使用Re库是python的标准库，主要用于字符串匹配即“\”不被解释为转义符import rematch = re.sea...