信息内容安全-爬虫实验

最新推荐文章于 2024-06-20 11:34:36 发布

radishleaf

最新推荐文章于 2024-06-20 11:34:36 发布

阅读量1k

点赞数

CC 4.0 BY-SA版权

分类专栏：信息内容安全实验文章标签： python

本文链接：https://blog.youkuaiyun.com/radishleaf/article/details/105949585

这篇博客介绍了信息内容安全的爬虫实验，主要分为三个步骤：使用requests获取网页内容，通过BeautifulSoup解析和提取所需信息，最后将结果存储。重点讲述了如何运用requests和BeautifulSoup进行网络爬虫实践。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

信息内容安全-爬虫实验

步骤

网络爬虫分为三步：
第一步是批量得到网页内容：可以借用 requests 模块中的 get 或 post 函数向网站发出请求，并储存得到的网页内容；
第二步是最关键重要的一步，分析网页内容，提取需要的有效信息：可以利用 BeautifulSoup 模块中的 bs 函数，借助 find 函数来识别标签，提取标签内容；也可以将网页内容转为字符串形式，利用正则表达式来提取；
第三步是收尾工作，将分析结果存储至文字或表格文档（放入数据库中也可）即可。

代码

# 信息内容安全-爬虫实验

import requests as req
from bs4 import BeautifulSoup as bs
import xlwt as xl
import re

# 向网站发出 get 请求，得到正确的状态码后传回网站响应
def request(url):
	try:
		response = req.get(url)		#注意查看请求是 get 还是 post
		if response.status_code == 200:		#正确的状态码为200
			return response.text
	except req.RequestException:
		return None

# 创建结果输出的表格文件
book = xl.Workbook(encoding = 'utf-8')
sheet = book.add_sheet('厚大法考罗翔老师最火 100 视频')
sheet.write(0, 0,