小说下载脚本

爬虫实战 | 手把手用Python教你采集&可视化知乎问题的回答(内附代码) 问题链接 https://www.zhihu.com/question/432119474/answer/1597194524 爬虫设计流程 探寻网址规律 尝试对某一网页访问 解析感兴趣的数据 存储到csv 整理汇总代码 1. 探寻网址规律 按F12键打开开发者工具, 选中network面板,点击查看全部6217个回答 准备观察开发者工具中的监测到的网址 对每个网址经过下图456操作 点击preview 查看content与当前页面的回答是否一致 最终发现... 阅读详情
#coding:utf-8

from requests import get
import re
from bs4 import BeautifulSoup
from time import sleep,ctime

from threading import Thread


import sys
reload(sys)
sys.setdefaultencoding('utf-8')
print sys.getdefaultencoding()

headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.91 Safari/537.36'}

def Usage():
    print "\n[Usage]python 笔趣阁.py"

def List_Fiction(name):
    Search_Url = "http://www.biquge5200.com/modules/article/search.php?searchkey="+name
    print Search_Url
    result = get(Search_Url.decode('gbk'))
    return result.text
    
def Make_Form(html):
    Fiction_urls = []
    Fiction_names = []
    num = 0
    result = re.findall(r'<td class="odd"><a href="(.*?)">(.*?)</a></td>',html)
    if result[0] == "":
        Usage()
        exit()
    for i in result:
        Fiction_urls.append(i[0])
        Fiction_names.append(i[1])
    A = re.findall(r'<td class="odd">(.*?)</td>',html)
    Authors = []
    for i in A:
        if "<a" not in i:
            Authors.append(i)
    for i in Fiction_urls:
        print "["+str(num)+"]"+i+"\t[name]"+Fiction_names[num]+"\t[Author]"+Authors[num]
        num += 1
    number = raw_input("选择想下载的小说(填写编号):")
    content = get(Fiction_urls[int(number)]).text
    Chapter = re.findall(r'<dd><a href="(.*?)">(.*?)</a></dd>',content)
    return Chapter

def Write_into_TXT(cont):
    f = open(Fiction_Name+'.txt','ab+')
    pattern = '<(.*?)>'
    CH_cont = re.sub(pattern,'\n',cont)
    f.write(CH_cont)
    f.close()

def Download_all(Chapter_urls):
    Number = 0
    for i in Chapter_urls:
        Number += 1
        try:
            Code = get(i,headers=headers).content
            #Status_code = str(get(i,headers=headers).status_code)
            #Content = re.search(r'<div id="content">(.*)',Code)#这里的正则不理解
            soup = BeautifulSoup(Code,"html.parser",from_encoding="utf8")
            Content = soup.find('div',id="content")
            H1 = re.search(r'<h1>(.*)</h1>',Code).group(1)
            cont = H1+"\n"+Content.encode('gbk')
            if cont == "":
                Download_Part(Chapter_urls,Number-1,Number)
                continue
            Write_into_TXT(cont)
            sleep(0.3)
            print "[Successful]%s" %H1
        except:
            print "[%s]Error Happenning!" %ctime()
            sleep(2)
            Download_Part(Chapter_urls,Number-1,Number)
            # Code = get(Chapter_urls[Number-1],headers=headers).content
            # H1 = re.search(r'<h1>(.*)</h1>',Code).group(1)
            # print "[Download_Again]%s" %H1
            # soup = BeautifulSoup(Code,"html.parser",from_encoding="utf8")
            # Content = soup.find('div',id="content")
            # cont = H1+"\n"+Content.encode('gbk')
            # Write_into_TXT(cont)

def Download_Part(Chapter_urls,num1,num2):
    Part_Urls = Chapter_urls[num1:num2]
    Download_all(Part_Urls)

def Select_Chapter(html):
    Chapter_urls = []
    Chapter_names = []
    num = 0
    for i in html:
        Chapter_urls.append(i[0])
        Chapter_names.append(i[1])
        print "[%s]%s[Chapter_name]%s" %(num,i[0],i[1])
        num += 1
    print '''[选择要下载的章节数]\n\n===>[Default][all]所有章节\n===>[0-100]0到99章\n'''
    Chapter_Numbres = raw_input("[章节数]:")    
    if Chapter_Numbres == "" or Chapter_Numbres == "all":
        #多线程下载
        # for i in range(num):
        #     t = Thread(target=Download_all,args=(Chapter_urls,))
        #     sleep(0.5)
        #     t.start()
        Download_all(Chapter_urls)
    else:
        result = re.search(r'(.*?)-(.*)',Chapter_Numbres)
        number1 = int(result.group(1))
        number2 = int(result.group(2))
        Download_Part(Chapter_urls,number1,number2)

if __name__ == "__main__":
    try:
        Fiction_Name = raw_input("[小说名称]:")
        while Fiction_Name == "":
            Fiction_Name = raw_input("[小说名称]:")
        print Fiction_Name
        html = List_Fiction(Fiction_Name)
        Chapter_Html = Make_Form(html)
        Select_Chapter(Chapter_Html)
    except:
        exit()
小说网站上自动下载小说文本的脚本 代码实现了一个功能完整的小说下载器,它首先通过用户输入的小说名搜索相关小说,然后列出搜索结果供用户选择,最后根据用户选择的小说编号自动下载小说的各个章节。使用requests库来发送网络请求,parsel库来解析网页内容,prettytable库来美化控制台输出的表格格式,os库来处理文件和目录。这个工具可以大大简化用户下载小说的过程,同时也为需要大量小说文本数据的研究人员提供了便利 立即下载

相关推荐

BeckHoff <--> ABB 机器手 Profinet 通讯

本文介绍了BeckHoff PLC与ABB机器人通过PROFINET通信的实现方案。主要内容包括:1)通信接口的详细变量定义,涵盖输入/输出信号、设备状态监控、夹爪控制等关键功能位;2)全局数据结构和变量配置说明;3)机器人任务控制程序的实现方法,包括参数校验、任务指令下发和状态监控机制;4)重点分析了任务调度功能块的代码逻辑,涉及慢速模式处理、多参数配置和执行状态判断。该方案通过结构化变量定义和模块化程序设计,实现了PLC对机器人作业的精确控制,为工业自动化系统集成提供了可靠通信范例。

工控智联驿站 1034

使用python实现小说下载脚本

【代码】使用python实现小说下载脚本。

hulknnn的博客 1659

Labview数据存储与读取——TDMS文件的创建与写入

Labview数据存储与读取——TDMS文件的创建与写入 你好,这是我在自学Labview编写软件过程中使用的一些功能。我在存储采集卡数据时,通过阅读大量他人的程序,发现TDM及TDMS文件十分适合波形数据的记录,TDMS文件比TDM文件在存储动态类型数据时读写速度更快,而且TDMS 文件没有容量限制,适合存储数据量庞大的测试数据。 前言少叙,书归正传 这一篇博客,说明一下如何使用基本的TDMS功能实现数据文件的存储。 所需要的控件如上图所示,在程序框图——编程——文件I\O——TDMS 中,写入TDMS

滑板小帅程序开发 2万+

手写一个摸鱼神器:使用python手写一个看小说的脚本,在ide中输出小说内容,同事直呼“还得是你”

我们可以爬取关键信息:章节名和章节的url,遍历章节名,通过章节的url即可获取每一章的内容!小说章节列表:http://www.yetianlian.cc/yt4017/然后输入要阅读的章节,不断的按回车键,就可以一直刷出内容了!每一章的内容,也可以很轻松的得到。

秃了也弱了 3779

薛定谔虚拟筛选实战:如何用PDB文件快速构建受体格点(避坑指南)

本文提供了薛定谔虚拟筛选实战指南,聚焦于如何从PDB文件快速、精准地构建受体格点。文章详细解析了可变残基的理性处理策略、基于配体尺寸的盒子量化设置方法,并分享了高级约束与排除体积的实战技巧,旨在帮助用户避开常见陷阱,提升虚拟筛选的成功率与效率。

weixin_28419039的博客 254

快速搭建SpringBoot3+Vue3+ElementPlus管理系统

快速搭建SpringBoot3+Vue3管理系统前端项目搭建(默认开发环境:node20,Jdk17)创建项目并下载依赖--执行以下命令 前端项目搭建(默认开发环境:node20,Jdk17) 创建项目并下载依赖–执行以下命令 创建项目 yarn create vite admin-vue --template 2.下载依赖(也可按需下载) yarn add echarts --save yarn add vue-router --save yarn add element-plus --save y

adingyb的博客 2817

【亲测免费】 小说下载器使用教程

本项目是一款名为“小说下载器”的开源工具,旨在为用户提供一个可扩展的通用型小说下载解决方案。它能够帮助用户从互联网上下载并保存小说,特别是那些质量上乘但不够热门、没有被其他网站转载、面临消失风险的小说。该项目是404小说文库项目的一部分,通过将小说详情页和目录页存档至互联网档案馆,以备日后查阅。 ## 2. 项目快速启动 首先,您需要在浏览器中安装一个脚本管理器,如Greasemonkey、V

gitblog_01126的博客 2033

第 10 篇:深度学习的“军火库”——CNN、RNN与Transformer,AI如何看懂世界?

深度学习的革命,不是依赖单一的通用大脑,而是为不同任务打造了专属“军火库”:CNN用“局部感知”看懂图像,RNN用“循环记忆”理解序列,而Transformer则用“全局注意力”开启了AIGC时代。理解这些架构,不是记忆孤立的技术,而是洞察AI从“专才”走向“通才”的进化脉络。

maqh_csdn的博客 787

下载网络小说的脚本

代码:[liwei@myhost ~/scripts/t-工具] $ >>_ cat search-novel.sh#!/bin/bash# 功能: 搜索小说名称或关键词(中文),从89文学网站(www.89wx.com)找到页面并下载储存在设定好的地方# 将中文字符转换为url编码命令参考了lrcdis脚本# 下载文件后用read-txt打开?# Date: May 31,2011 by

werty542的专栏 3127

华为OD机试 - 计算数列位置N的值 - 模拟法(Python/JS/C/C++ 新系统 100分)

本专栏收录于《华为OD机试真题(Python/JS/C/C++)》。刷的越多,抽中的概率越大,私信哪吒,备注华为OD,加入华为OD刷题交流群,每一题都有详细的答题思路、详细的代码注释、3个测试用例、为什么这道题采用XX算法、XX算法的适用场景,发现新题目,随时更新。输入 M,N 两个数,则按照以下规则形成一个数列。数列的前 M 个元素的值为 1 到 M从 M+1 个元素开始,计算逻辑为如果其前 M 个元素中,存在值相同的元素,则该位置上的数值等于前 M 个数中最大数值与最小数值之和。如果其前 M 个元素中,

学Java,找哪吒 509

ABAP BDC 处理踩坑笔记:把错误挡在录制之前,把稳定做进每一行 BDCDATA

本文总结了SAP BDC(批输入)开发中的常见问题和解决方案。重点包括:1)理解BDCDATA本质是模拟人工操作而非直接操作数据库;2)数据格式化技巧,如金额、日期、物料号等字段的标准化处理;3)通过CTU_PARAMS参数控制执行环境,确保屏幕尺寸和更新模式一致;4)不要依赖sy-subrc,应通过解析MESSTAB消息判断业务是否成功;5)录制阶段的常见陷阱及解决方法;6)疑难问题的系统性解决思路;7)建议建立完善的错误处理机制,包括日志记录和重跑功能。文章提供了实用的ABAP代码示例和配置建议,帮助开

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 270

python 自动下载脚本_Python脚本自动下载小说

本人喜欢在网上看小说,一直使用的是小说下载阅读器,可以自动从网上下载想看的小说到本地,比较方便。最近在学习Python的爬虫,受此启发,突然就想到写一个爬取小说内容的脚本玩玩。于是,通过在逐浪上面分析源代码,找出结构特点之后,写了一个可以爬取逐浪上小说内容的脚本。具体实现功能如下:输入小说目录页的url之后,脚本会自动分析目录页,提取小说的章节名和章节链接地址。然后再从章节链接地址逐个提取章节内容...

weixin_39675038的博客 581

OpenClaw 实战:7个真实场景的多 Agent 落地经验

《OpenClaw实战:7个真实场景的多Agent落地经验》摘要: 作者Maynor分享了从单Agent转向多Agent架构的实战经验。最初遇到的单Agent记忆混乱问题(如Flutter助手被C++话题干扰),通过拆分专项Agent(flutter-tutor/cpp-tutor等)并配置独立workspace解决。随后面临的技能调用混乱问题,采用"基础通用能力+专属能力"分层策略,通过Clawhub管理工具市场,将工具调用准确率从60%提升至95%。最后探讨多Agent协同方案,引入

Maynor的博客 1414

小说下载器浏览器脚本:三步搞定离线阅读,永久保存心爱小说

你是否遇到过这样的情况:追更的小说突然消失,付费章节无法离线阅读,或者想在通勤路上看小说却没有网络?别担心,今天我要为你介绍一款强大的**浏览器脚本小说下载器**,让你轻松将网络小说保存到本地,随时随地享受阅读乐趣! novel-downloader 是一款开源、可扩展的通用型小说下载工具,支持超过100个国内外小说网站,包括起点中文网、晋江文学城、番茄小说、七猫中文网等主流平台。无论你是想备份

gitblog_00171的博客 792

温度PID控制PLC程序

温度PID稳定控制程序,适用于欧姆龙PLC,对其他PLC也具有很大参考价值

锂电池充电器电路设计 里面有电路

锂电池充电器电路设计 里面有电路 3.7V升压到5V电路设计。

python 小说下载_Python实现的飞速中文网小说下载脚本

#!/usr/bin/env python3# vim:fileencoding=utf-8import sysfrom functools import partialfrom string import Templateimport argparseimport base64from urllib.parse import unquotefrom lxml.html import fromst...

weixin_39619893的博客 689

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

转载:用Python编写自动下载网络小说的脚本

http://www.cnblogs.com/agateriver/archive/2006/09/03/493800.html  <!--var theForm = document.forms[Form1];if (!theForm) { theForm = document.Form1;}function __doPostBa

prophet08的专栏 2631

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

一键保存整本小说:开源小说下载脚本 novel-downloader 实战全记录

凌晨一点,追更的小说正好卡在关键剧情,第二天再打开网站,页面已经 404 了。起点和晋江都搜不到这本书,评论区哀嚎一片。这种"书突然消失"的痛,追更多年的你一定不陌生。后来我找到一款开源小说下载浏览器脚本——novel-downloader,它支持 200 多个小说网站,能一键把整本书离线保存为 TXT 和 EPUB。今天就把我这几天的完整实战过程写给你。 ## 追更人的终极恐惧:书,会凭空消失

gitblog_01142的博客 426

5分钟学会全网小说下载:油猴脚本离线阅读终极指南

在这个数字阅读时代,你是否遇到过心爱的小说突然消失的烦恼?novel-downloader正是为你解决这一痛点的开源小说下载工具。这款强大的**油猴脚本**能够从100多个小说网站自动抓取内容,转换为TXT和EPUB格式,让你轻松保存珍贵的小说资源,随时随地享受**离线阅读**的乐趣。 ## 🚀 为什么选择这款小说下载工具? ### 简单易用,一键下载 novel-downloader的设

gitblog_01004的博客 804

摸鱼小能手 - 小说TXT文件下载爬虫脚本,支持中途中断,失败重试

摸鱼小能手 - 小说TXT文件下载爬虫脚本,支持中途中断,失败重试

weixin_45007276的博客 1146

如何快速安装小说下载器:面向新手的完整浏览器脚本使用指南

你是否曾经遇到过这样的情况:在追更心爱的小说时,突然发现网站上的章节消失了?或者想要离线阅读,却找不到合适的下载工具?别担心,今天我要为你介绍一款功能强大的**小说下载器浏览器脚本**,让你轻松将网络小说保存到本地,随时随地享受离线阅读的乐趣! novel-downloader 是一个开源、可扩展的通用型小说下载工具,支持超过100个国内外小说网站,包括起点中文网、晋江文学城、番茄小说、七猫中文

gitblog_01042的博客 337

python调用shell脚本的参数_python调用shell脚本 参数python下载小说

python调用shell脚本 参数python下载小说

weixin_39926014的博客 119

Gensim 快速入门:Python 主题建模与 NLP 库完整指南,从安装到跑通第一个模型

如果你正在寻找一款**简单易用**的 Python 主题建模工具,Gensim 会是很好的起点:它是一款开源的 NLP(自然语言处理)库,擅长**主题建模(Topic Modeling)、文档索引和相似度检索**。本指南带你从安装开始,理解 4 个核心概念,再到用几十行代码跑通你的第一个 LDA 主题模型和 Word2Vec 词向量模型,新手也能轻松上手。 ## 为什么选择 Gensim 做主题

gitblog_00422的博客 210

[Python] 更新知乎盐选小说下载脚本

2. 处理页面中使用的特殊字体,使用OCR技术识别并替换这些字体。4. 自动识别并下载下一节内容,直到没有下一节为止。1. 从指定的知乎盐选URL下载内容。3. 将处理后的内容保存为文本文件。

cc605523的博客 3490

小说下载器终极指南:一个脚本5分钟搞定全网小说离线下载

你有没有经历过这样的崩溃瞬间?追了三年的小说,某天打开网站突然显示"404";辛苦攒下的VIP章节,因为平台整改一夜之间全部下架;出差路上信号不稳,想看的章节永远卡在加载中。如果你也曾在深夜盯着"内容已删除"的页面发呆,那么这款开源的**通用型小说下载器**(novel-downloader)就是为你准备的救星。它是一款可扩展的油猴脚本,支持200多个小说网站,能一键把整本小说打包成TXT和EPU

gitblog_01162的博客 643
上一篇: ValueError: No JSON object could be decoded
下一篇: android开发之执行命令,文件操作(linux)
Dr. 熊
博客等级 码龄10年 29粉丝 140原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值