大学生的小乐趣：python网页爬虫_大学生必备网爬虫-优快云博客

本文链接：https://blog.youkuaiyun.com/weixin_40722661/article/details/88022626

本文深入探讨了网页爬虫的工作原理，重点介绍了如何利用Python的requests库和BeautifulSoup进行网页内容抓取和解析。从理解网页元素和网络请求开始，到实际代码实现，全面覆盖了爬虫开发的基本流程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

网页Dev

Element
Network

网络爬虫主要看在网页的检查元素的这两个页面（Element、Network）
Element ：index页面的源代码（并且能进行快速的查找）
Network：查找客户端和服务端之间的各种流

python Code

python里面含有多种框架使得对网页内容进行爬取简单而有效。

requests

import requests
response = requests.get("http://www.baidu.com")#return response (object)
print(response.status_code)  # 打印状态码
print(response.url)          # 打印请求url



print(response.headers)      # 打印头信息
print(response.cookies)      # 打印cookie信息
print(response.text)  #以文本形式打印网页源码
print(response.content) #以字节流形式打印

一般来说我们会自己加入header(有时候也会有参数)

import requests
#url
url = "http://www.baidu.com"
#Custom Headers
headers = {
	"User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.119 Safari/537.36"
}
#Passing Paramters in URLs
payload = {'key1': 'value1', 'key2': 'value2'}

page = requests.get(url=url, headers = headers, param = payload)

#使用BeautifulSoup来对文档进行解析

from bs4 import BeautifulSoup	

soup = BeautifulSoup(page.content, 'html.parser')
list = soup.find_all("div", class_="col-xs-6") # return a list