两种不同给的网页获取获取方式

原创于 2020-10-14 14:48:28 发布 · 161 阅读

CC 4.0 BY-SA版权

本文介绍了Python中requests库的基本用法，包括如何发起HTTP请求、设置User-Agent以及获取网页内容。示例代码展示了通过requests.get()函数获取指定URL的HTML源码，并设置了headers参数。通过对返回响应的处理，可以获取并打印出网页的UTF-8编码文本。

# 一种是 直接 requests.get(url)   一种是伪造header  requests.get(url.headers)
import requests

import time
import random
import csv


url = "http://www.66ip.cn"

#headers = {"User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.1 (KHTML, like Gecko) Chrome/14.0.835.163 Safari/535.1"}

#res = requests.get(url, headers)
res = requests.get(url)
res.encoding = "utf-8"
html = res.text

print(html)