检测web服务质量

本文介绍如何利用PyCurl库进行网站质量检测,包括响应HTTP码、请求延时、HTTP头信息、下载速度等关键指标,并提供了一个完整的Python脚本示例。

调用pycurl提供的方法,探测web服务质量,如响应http码,请求延时,http头信息,下载速度等

pycurl安装:

easy_install pycurl

pip install pycurl

源码安装:

源码安装curl

wget http://curl.haxx.se/download/curl-7.39.0.tar.gz

tar  xf -->./configure-->make && make install-->export  LD_LIBRARY_PATH=/usr/local/lib

wget https://pypi.python.org/packages/source/p/pycurl/pycurl-7.19.5.tar.gz --no-check-certificate

tar xf -->cd -->python setup.py install --curl-config=/usr/local/bin/curl-config

检验安装结果:

import pycurl

pycurl.version  -->检验

检测web服务质量代码

webcheck.py


#!/usr/bin/env python
#encoding=utf-8

import os,sys
import time
import pycurl

URL="http://www.jd.com"    #目标url
c=pycurl.Curl()    #创建一个Curl对象
c.setopt(pycurl.URL,URL)   #定义请求url
c.setopt(pycurl.CONNECTTIMEOUT,5)   #定义请求连接的等待时间
c.setopt(pycurl.TIMEOUT,5) #定义请求超时时间
c.setopt(pycurl.NOPROGRESS,1)  #屏蔽下载进度条,非0表示屏蔽,0表示不屏蔽
c.setopt(pycurl.FORBID_REUSE,1) #完成交互后强制断开连接,不重用
c.setopt(pycurl.MAXREDIRS,1)  #指定http重定向的最大数为1
c.setopt(pycurl.DNS_CACHE_TIMEOUT,30)  #设置保存dns信息的时间
#创建一个文件对象indexfile,以wb方式打开,存储返回的http头信息及页面内容
indexfile=open(os.path.dirname(os.path.realpath(__file__))+"/content.txt","wb") 
c.setopt(pycurl.WRITEHEADER,indexfile) #将返回的http header定向到indexfile文件对象
c.setopt(pycurl.WRITEDATA,indexfile)  #将返回的html内容定向到indexfile文件对象
try:
        c.perform()    #提交请求
except Exception,e:
        print "connect error:"+str(e)
        indexfile.close()
        c.close()
        sys.exit()
NAMELOOKUP_TIME=c.getinfo(c.NAMELOOKUP_TIME)   #获取dns解析时间
CONNECT_TIME=c.getinfo(c.CONNECT_TIME) #获取建立连接的时间
PRETRANSFER_TIME=c.getinfo(c.PRETRANSFER_TIME) #获取建立连接后准备传输所耗时间
STARTTRANSFER_TIME=c.getinfo(c.STARTTRANSFER_TIME) #获取建立连接后开始传输所耗时间
TOTAL_TIME=c.getinfo(c.TOTAL_TIME) #获取传输总时间
HTTP_CODE=c.getinfo(c.HTTP_CODE) #获取http状态码
SIZE_DOWNLOAD=c.getinfo(c.SIZE_DOWNLOAD) #获取下载数据包大小
HEADER_SIZE=c.getinfo(c.HEADER_SIZE)  #获取http头部大小
SPEED_DOWNLOAD=c.getinfo(c.SPEED_DOWNLOAD) #获取平均下载速度

print "HTTP状态码: %s" % (HTTP_CODE)
print "DNS解析时间: %.2f ms" % (NAMELOOKUP_TIME*1000)
print "建立连接时间: %.2f ms" % (CONNECT_TIME*1000)
print "准备传输时间: %.2f ms" % (PRETRANSFER_TIME*1000)
print "开始传输时间: %.2f ms" % (STARTTRANSFER_TIME*1000)
print "传输结束总时间: %.2f ms" % (TOTAL_TIME*1000)
print "下载数据包大小: %d bytes/s" % (SIZE_DOWNLOAD)
print "HTTP头部大小: %d bytes/s" % (HEADER_SIZE)
print "平均下载速度: %d bytes/s" % (SPEED_DOWNLOAD)
#关闭文件及curl对象
indexfile.close()
c.close()




Nano-ESG数据资源库的构建基于2023年初至2024年秋季期间采集的逾84万条新闻文本,从中系统提炼出企业环境、社会及治理维度的信息。其构建流程首先依据特定术语在德语与英语新闻平台上检索,初步锁定与德国DAX 40成分股企业相关联的报道。随后借助嵌入技术对文本段落执行去重操作,以降低内容冗余。继而采用GLiNER这一跨语言零样本实体识别系统,排除与目标企业无关的文档。在此基础上,通过GPT-3.5与GPT-4o等大规模语言模型对文本进行双重筛选:一方面判定其与ESG议题的相关性,另一方面生成简明的内容概要。最终环节由GPT-4o模型完成,它对每篇文献进行ESG情感倾向(正面、中性或负面)的判定,并标注所涉及的ESG具体维度,从而形成具备时序特征的ESG情感与维度标注数据集。 该数据集适用于多类企业可持续性研究,例如ESG情感趋势分析、ESG维度细分类别研究,以及企业可持续性事件的时序演变追踪。研究者可利用数据集内提供的新闻摘要、情感标签与维度分类,深入考察企业在不同时期的环境、社会及治理表现。此外,借助Bertopic等主题建模方法,能够从数据中识别出与企业相关的核心ESG议题,并观察这些议题随时间的演进轨迹。该资源以其开放获取特性与连续的时间覆盖,为探究企业可持续性表现的动态变化提供了系统化的数据基础。 资源来源于网络分享,仅用于学习交流使用,请勿用于商业,如有侵权请联系我删除!
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值