python3系列-爬虫解析

求学生

于 2018-03-09 16:33:21 发布

阅读量181

点赞数

CC 4.0 BY-SA版权

本文链接：https://blog.youkuaiyun.com/cinding/article/details/79499437

本文展示了一个简单的Python脚本，用于从特定网站抓取网络小说的章节链接和标题，并进一步获取某一章节的具体内容。该脚本使用了urllib.request模块发送HTTP请求，并通过BeautifulSoup解析网页数据。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

import urllib.request
from bs4 import BeautifulSoup

url="http://www.biquge5200.com/52_52542/"
req = urllib.request.Request(url)
response = urllib.request.urlopen(req)
data = response.read()
data=data.decode("gbk")
soup=BeautifulSoup(data)
soup=BeautifulSoup(str(soup.find(id='list')))
list=soup.find_all('a');
for l in range(9,len(list)):
    print(list[l].get('href'),list[l].text)

url="http://www.biquge5200.com/52_52542/150290199.html"
req = urllib.request.Request(url)
response = urllib.request.urlopen(req)
data = response.read()
data=data.decode("gbk")
soup=BeautifulSoup(data)
soup=BeautifulSoup(str(soup.find(id='content')))
print(soup)