python 爬小说

最新推荐文章于 2025-07-02 16:49:11 发布

原创

最新推荐文章于 2025-07-02 16:49:11 发布 · 634 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#python #bug #爬虫

本文记录了一位初学者使用Python进行爬虫实践的过程，详细描述了如何爬取笔趣阁的所有小说，尽管成功获取了数据，但遇到了运行速度缓慢的问题。作者怀疑存在Bug，期待社区中的专家提供帮助和优化建议。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

初学python爬虫，爬了笔趣阁的全部小说，倒是能爬下来，可是运行速度贼慢，怀疑有Bug,各位大佬可以帮忙看看

# -*- coding:utf-8 -*-
import urllib
import re
from bs4 import BeautifulSoup
import sys
reload(sys)
sys.setdefaultencoding( "gbk" )
f = open(" r.txt", "w+")

def get_synopsis(url):
    page=urllib.urlopen(url)
    soup = BeautifulSoup(page,"html.parser")
    for tag in soup.find_all('div',id="info"):
        item=tag.get_text().encode(