Python除了做爬虫抓数据还能做什么？其实还能监视和衡量网站性能

在过去的一个月中，Google宣布了许多通过关键速度和性能指标来衡量用户体验的方法。

巧合的是，我一直在努力编写一个Python脚本，该脚本使用Google PageSpeed Insights(PSI)API一次收集多个页面的指标，而无需为每个单独的URL运行测试。

收到Google的公告后，我认为现在是共享它的绝佳时机，并解释了如何创建对初学者友好的Python脚本。

关于脚本的最好的事情是，一旦建立了基础，就可以提取许多不同的指标，这些指标可以在页面速度测试以及Lighthouse分析中找到。

网络重要指标简介

5月初，Google推出了Core Web Vitals，它是其关键Web Vitals指标的一部分。

这些指标用于提供有关网站上用户体验质量的指导。

Google将其描述为“帮助量化您的网站体验并确定改进机会”的一种方式，进一步强调了它们向关注用户体验的转变。

核心网络生命力是真实的，以用户为中心的指标，用于衡量用户体验的关键方面。加载时间，互动性和稳定性。

除此之外，Google 上周宣布，他们将引入一个新的搜索排名信号，它将这些指标与现有页面体验信号(例如移动设备友好性和HTTPS安全性)结合在一起，以确保它们继续为高质量网站提供服务给用户。

监控性能指标

预计此更新将于2021年推出，Google已确认不需要立即采取行动。

但是，为了帮助我们为这些更改做准备，他们更新了用于测量页面速度的工具，包括PSI，Google Lighthouse和Google Search Console Speed Report。

Pagespeed Insights API从何入手?

Google的PageSpeed Insights是查看网页效果摘要的有用工具，它使用现场数据和实验室数据来生成结果。

这是获得少数URL概述的好方法，因为它是逐页使用的。

但是，如果您在大型站点上工作，并且希望获得大规模的见解，那么该API可以有利于一次分析多个页面，而无需单独插入URL。

用于衡量性能的Python脚本

我创建了以下Python脚本来大规模度量关键性能指标，以节省手动测试每个URL所花费的时间。

该脚本使用Python将请求发送到Google PSI API，以收集和提取在PSI和Lighthouse中显示的指标。

我决定在Google Colab中编写此脚本，因为这是开始编写Python并允许轻松共享的好方法，因此本文将使用Google Colab贯穿整个安装过程。

但是，它也可以在本地运行，对数据的上传和下载进行一些调整。

请务必注意，某些步骤可能需要一些时间才能完成，尤其是当每个URL通过API运行时，为了不使请求过载。

因此，您可以在后台运行脚本，并在完成步骤后返回到脚本。

让我们逐步介绍启动和运行此脚本所需的步骤。

步骤1：安装所需的软件包

在开始编写任何代码之前，我们需要安装一些Python程序包，然后才能使用该脚本。这些使用导入功能很容易安装。

我们需要的软件包是：

• urllib：用于处理，打开，阅读和解析URL。
• json：允许您将JSON文件转换为Python或将Python文件转换为JSON。
• request：一个HTTP库，用于发送各种HTTP请求。
• pandas：主要用于数据分析和处理，我们正在使用它来创建DataFrames。
• time：一个用于处理时间的模块，我们正在使用它在请求之间提供时间间隔。
• 文件：通过Google Colab，您可以上传和下载文件。
• io：用于访问文件的默认接口。

# Import required packages  
import json 
import requests 
import pandas as pd 
import urllib 
import time 
from google.colab import files 
import io 

第2步：设置API请求

下一步是设置API请求。完整的说明可以在这里找到，但是从本质上讲，该命令将如下所示：

• https://www.googleapis.com/pagespeedonline/v5/runPagespeed?url={yourURL}/&strategy=mobile/&key={yourAPIKey}

这将允许您附加URL，策略(台式机或移动设备)和API密钥。

要在Python中使用它，我们将使用urllib请求库urllib.request.urlopen并将其添加到名为result的变量中，以便我们可以存储结果并在脚本中再次使用它们。

# Define URL   
url = 'https://www.example.co.uk' 
 
# API request url 
result = urllib.request.urlopen('https://www.googleapis.com/pagespeedonline/v5/runPagespeed?url={}/&strategy=mobile'\ 
.format(url)).read().decode('UTF-8') 
 
print(result) 

步骤3：测试API

为了测试API的正确设置以及对测试过程中生成的内容的理解，我使用简单的urllib.request方法通过