抓取阿里云产品明细

最新推荐文章于 2024-07-19 03:05:54 发布

Ai_践行者

最新推荐文章于 2024-07-19 03:05:54 发布

阅读量309

点赞数

CC 4.0 BY-SA版权

分类专栏：爬虫文章标签： js 抓包

本文链接：https://blog.youkuaiyun.com/qq_41424519/article/details/89215214

本文详细介绍了如何使用JavaScript和抓包工具，从阿里云官网获取产品信息，包括产品名称、价格等关键数据，为个人或企业进行云计算资源成本分析提供支持。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

import re
import csv
from fake_useragent import UserAgent
from urllib.request import Request,urlopen

# 4种产品,16个地区,td的结构是：[产品_地区1--高可用版--金融版--基础版--]-[产品_地区2--高可用版--金融版--基础版-]-[产品_地区3-高可用版--金融版---基础版--]
#包含表头,高可用版16行数据,金融版6行数据,基础版4行数据.
# 数据单元总数=[7*(6+4)+8*16]*16=
url1='https://www.alibabacloud.com/price/pricing2.jsonp?comp=RdsIns&site=cn&lang=zh&callback=jQuery1111013988241812375368_1552283266015&_=1552283266016'
headers = {'User-Agent': UserAgent().random}
request=Request(url1,headers=headers)
#返回的response为字符串
str_response=urlopen(request).read().decode('unicode_escape')
#保存response结果
with open('aliyun_response.txt','a') as f:
    f.write(str_response)

#读取
str_response = open('aliyun.txt').read()

#切片结果是60-2=58,形式为list ：['mysql_QD ','mysql_BJ '。。。。'PPAS_US_WEST']
name_area_subs= re.split(re.compile('<div id="RdsInsTableTrans_',re.S),str_response)

with open('aliyun_price.csv', 'w') as csvfile:
    writer = csv.writer(csvfile)
    for i in rang