bs4之爬取诗词学习

星星本来就很美

已于 2022-04-24 23:22:25 修改

阅读量96

点赞数

文章标签： python 爬虫

于 2022-04-24 22:58:28 首次发布

版权

本文档详细介绍了如何使用Python进行网络爬虫操作，目标是获取三国演义的所有章节标题和内容。步骤包括导入相关库、设定目标URL、设置请求头、发送HTTP请求并获取响应，最后解析HTML提取所需数据。通过这个教程，读者可以掌握基本的网页抓取技能。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

需求: 爬取三国演义小说所有的章节标题和章节内容

1.导入模块

watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5pif5pif5pys5p2l5bCx5b6I576O,size_14,color_FFFFFF,t_70,g_se,x_16

2.确定目标URL

watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5pif5pif5pys5p2l5bCx5b6I576O,size_18,color_FFFFFF,t_70,g_se,x_16

3.伪装

watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5pif5pif5pys5p2l5bCx5b6I576O,size_15,color_FFFFFF,t_70,g_se,x_16

4.发送请求，响应数据

watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5pif5pif5pys5p2l5bCx5b6I576O,size_17,color_FFFFFF,t_70,g_se,x_16

5.解析数据

watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5pif5pif5pys5p2l5bCx5b6I576O,size_15,color_FFFFFF,t_70,g_se,x_16

watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5pif5pif5pys5p2l5bCx5b6I576O,size_17,color_FFFFFF,t_70,g_se,x_16

watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5pif5pif5pys5p2l5bCx5b6I576O,size_19,color_FFFFFF,t_70,g_se,x_16

watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5pif5pif5pys5p2l5bCx5b6I576O,size_16,color_FFFFFF,t_70,g_se,x_16