用python爬虫爬取2024年中国大学排行

defen1 = re.findall(defen, item)[0]

data.append(defen1)

#星级

xingji1 = re.findall(xingji, item)[0]

data.append(xingji1)

#层次

cengci1 = re.findall(cengci, item)[0]

data.append(cengci1)

datalist.append(data) # 把处理好的一个学校信息放入datalist中

return datalist

得到指定一个url网页信息内容

def askURL(url):

我的初始访问user agent

head = { # 模拟浏览器头部信息，向豆瓣服务器发送消息 伪装用的

“User-Agent”: “Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.116 Safari/537.36”

}

用户代理表示告诉豆瓣服务器我们是什么类型的机器–浏览器 本质是告诉浏览器我们可以接受什么水平的文件内容

request = urllib.request.Request(url, headers=head) # 携带头部信息访问url

用request对象访问

html = “”

try:

response = urllib.request.urlopen(request) # 用urlopen传递封装好的request对象

html = r