requests简单爬虫试手

最新推荐文章于 2025-07-04 11:48:13 发布

OathkeePer2x

最新推荐文章于 2025-07-04 11:48:13 发布

阅读量562

点赞数

CC 4.0 BY-SA版权

分类专栏：网络爬虫学习

本文链接：https://blog.youkuaiyun.com/OathkeePer2x/article/details/78519272

网络爬虫学习专栏收录该内容

9 篇文章

订阅专栏

本文介绍了一个简单的Python网页爬虫程序实现，通过requests库获取指定网址的内容，并统计多次爬取的总耗时。该程序有助于理解基本的网页爬取流程和技术要点。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

import requests
import time

def WebInfoGet(url):
	try:
		r = requests.get(url,timeout = 20)
		r.raise_for_status()
		r.encoding = r.apparent_encoding
		print("爬取成功")
		print(r.text)
	except:
		print("爬取失败")


		
def main():
		url = input("输入需要爬取的网站:")
		n = int(input("输入需要爬取的次数:"))
		startTime = time.time()
		for i in range(n):
			print("第%d次爬取"%(i+1))
			WebInfoGet(url)
		endTime = time.time()
		subTime = endTime - startTime
		print("爬取",n,"个页面","共花费",subTime)
		
if __name__ == "__main__":
	main()

最开始总是遇到很多的小问题，如括号不对称，一定要细心