Z_CH8648的博客

本章介绍了两种方法爬取动态网页，分别是逆向分析爬取和通过Selenium爬取，同时也介绍了如何将爬取到的数据，储存到MongoDB中，具体内容如下。通过源码比对，实现了静态网页与动态网页的区分。使用逆向分析技术爬取网站“http://www.ptpress.com.cn”首页新书信息。使用Selenium爬取网站“http://www.ptpress.com.cn/search/books”中的以“python编程”为关键词的信息。将爬取到的数据，储存至MongoDB数据库。

Beautiful Soup是一个可以从HTML或XML文件中提取数据的Python库。目前Beautiful Soup 3已经停止开发，大部分的爬虫选择使用Beautiful Soup 4开发。Beautiful Soup不仅支持Python标准库中的HTML解析器，还支持一些第三方的解析器。BeautifulSoup对象表示的是一个文档的全部内容。大部分时候，可以把它当作Tag对象。 BeautifulSoup对象并不是真正的HTML或XML的tag，所以并没有tag的name和attribute属性

章节介绍了Python中的底层Socket库，及运用socket库建立TCP和UDP连接。并对超文本传输协议（HTTP）及其相关机制进行了简要介绍。对本章做小结如下。 Socket库提供多种协议类型和函数，可用于建立TCP和UDP连接。 HTTP协议基于TCP协议进行客户端与服务器间的通讯，由客户端发起请求，服务器进行应答。 HTTP状态码由3位数字构成，按首位数字可分为5类状态码。 HTTP头部信息为HTTP协议的请求与响应消息中的消息头部分，其定义了该次传输事务中的操作参数。