Xuersry的博客

现在以QQ音乐周杰伦页面为例学习如何使用Chrome开发者工具分析网站。在图中可以看出来，在Network标签下捕捉到很多请求信息，请求类型有document、png、font和script等，分别对应HTML文件、图片、字体格式和JavaScript脚本。单击"Filters"下的Doc标签（Doc是当前网页的HTML文件），发现有两个请求信息，分别是：从请求的命名上来看，第一个请求与网站的URL是一致的。再来看它的响应内容（preview标签）：可以使用“Ctrl+F”快速查找歌曲信息。

在Network标签中可以看到页面向服务器请求的信息、请求的大小以及加载请求花费的时间。从发起网页页面请求Request后分析HTTP请求得到各个请求信息（包括状态、类型、大小、所用时间、Request和Response等）。Network标签结构如下：Network标签主要包含5个区域：Controls： 控制Network的外观和功能Filters：控制Request Table具体显示哪些那些内容·All：返回当前页面全部加载的信息，就是一个网页全部所需要的代码、图片等请求.

Chrome开发工具浏览器是从事编程开发人员必备的开发工具。世界上五大浏览器是：IE、Opera、Google Chrome、Safari、Firefox，其中Chrome和Firefox是编程开发人员的首选，主要是两者的运行速度、扩展性和用户体验都符合开发人员的需要。我们选择Chrome作为分析网站的工具，主要是因为Chrome简洁、速度快（无论是启动速度、页面解析速度还是JavaScript执行速度），对HTML5和CSS3的支持也比较完善。以豆瓣电影为例，先打开Chrome浏览器–进入豆瓣电

JSONJSON（JavaScript Object Notation，Javascript对象标记）是一种轻量级的数据交换格式，采用完全独立于编程语言的文本格式来储存和表示数据。简洁和清晰的层次结构使得JSNO成为理想的数据交换语言，易于阅读和编写，同时也易于机器解析和生成，并有效的提升网络传输效率。在JavaScript语言中，一切都是对象。因此，任何支持的类型都可以通过JSON来表示，例如：字符串、数字、对象、数组等。JSON格式说明如下：对象表示为键值对数据由逗号分隔花括号保存对

JavaScript是一种直译式脚本语言， 是一种动态类型、弱类型、基于原型的语言，内置支持类型。它的解释器被称为JavaScript引擎，为浏览器的一部分，广泛应用于客户端的脚本语言，最早在HTML网页上使用，用来给HTML网页增加动态功能。JavaScript脚本语言同其他语言一样，有自身的基本数据类型、表达式和算术运算符及程序的基本框架。JavaScript提供了4种基本的数据类型和两种特殊的数据类型来处理数据和文字，变量提供存放信息的地方，表达式则可以完成较复杂的信息处理。有时候分析网.

·HTML是超文本标记语言，标准通用标记语言下的一个应用。“超文本”就是指页面内可以包含图片、链接，甚至音乐、程序等元素。超文本标记语言的结构包括“头”部分（Head）和“主体”部分（Body），其中“头”部分提供关于网页的信息，“主体”部分提供网页的具体内容。·爬虫开发对HTML的要求是能看懂HTML各个标签的含义，了解标签的属性作用以及整个HTML布局设计。下面来看一个简单的HTML文档的结构：`<! DOCTYPE html > #声明为HTML5文档< html &g

Cookies也可以称为Cookie，指某些网络为了辨别用户身份，进行Session跟踪而储存在用户本地终端上的数据。一个Cookies就是储存在用户主机浏览器中的文本文件。Cookies是纯文本形式，他们不包含任何可以执行代码。服务器告诉浏览器将这些信息储存，并且每个请求中都将该信息返回到服务器。服务器之后可以利用这些信息来标识用户。多数需要登陆的网站通常会在用户登录后将用户信息写入Cookies，只要这个Cookies存在并且合法，就可以自由地浏览这个网站地所有站点。Cookies只包含数据，就其身

请求头描述客户端向服务器发送请求时使用的协议类型、所使用的编码以及发送内容的长度等。客户端（浏览器）通过输出URL后确定等于做了一次向服务器的请求动作，在这个请求里面带有请求参数，请求头在网络爬虫中的作用是相当重要的一部分。检测请求头是常见的反爬虫策略，因为服务器会对请求头做一次检测来判断这次请求是人为的还是非认为的。为了形成一个良好的代码编写规范，无论网络是否做Headers反爬虫机制，最好每次发送请求都添加请求头。请求头的参数如下：Accept：text/html,image/*(浏览器可以接收

HTTP（Hyper Text Transfer Protocol，超文本传输协议）是一个客户端和服务器请求和应答的标准（TCP）。客户端是终端用户，服务器是网站。通过使用Web浏览器、网络爬虫或者其他工具，客户端发起一个到服务器上指定端口（默认端口为80）的HTTP请求，这个客户端加用户代理（User Agent）。响应的服务器存储着资源，比如HTTP文件和图像，这个服务器为源服务器（Origin Sever），在用户代理和服务器中间可能存在多个中间层，比如代理、网关或者隧道（Tunnels）。通常由H

曾多次