C# 爬取小说

最新推荐文章于 2024-08-23 10:46:01 发布
原创 最新推荐文章于 2024-08-23 10:46:01 发布 · 408 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#c#

项目功能简单介绍：
获取小说保存到本地
环境:

  • C#语言，
  • VS2022，
  • .net6.0，
  • Window 11，
  • 基于AntdUI框架

代码介绍：

  • AntdUI 页面类库
  • CrawlingNovels 主程序
    在这里插入图片描述
    实现思路：
    1.网上查询小说网址
    2.爬取主页面所有章节的HTML链接
    3.循环爬取HTML章节链接内容
    4.保存所有章节内容到text
    程序截图
    在这里插入图片描述
    代码链接
    1.Gitee
    2.https://gitee.com/lugangtian/crawling-novels.git

**视频演示

C# 爬取小说演示


**

承蒙_关照
关注
C#从网站爬取小说
网布的世界
04-12 1791
学习使用c#制作一个windows小程序在小说网站爬取小说。对于一些网络小说想要下下来却找不到下载的地方，只要能在线浏览的基本都可以通过分析后台的html来获取到内容。程序还有很多需要优化的地方，文章目的只是一个c#编程的练习，起到抛砖引玉的作用。
c#实现爬虫获取小说(.NET)
jsxiaochen的博客
09-09 1982
现在市面上大部分都是PYthon 做的爬虫，这里另辟蹊径用一下c# 本文获取的网站是：https://www.bqktxt.com 有更好的方法欢迎大佬指点 好了！开始吧！ 首先创建一个winfrom窗体应用，并画出窗体 用到的组件有：Lable,textbox,button,linklable,progressBar 各位注意区别 2. 创建一个接收类(用于传参) 检测URL按钮代码 这一步的主要作用是把网页的所有结构下载下来然后进行拆解，得到自己想要的部分。 我这里获取了"章节标题.
c#使用Selenium爬小说
qwas0202的博客
08-23 513
c#使用Selenium爬小说（伪装浏览器）
C# 爬虫 抓取小说
zy5757的博客
09-05 5153
心血来潮，想研究下爬虫，爬点小说。 通过百度选择了个小说网站，随便找了一本小书http://www.23us.so/files/article/html/13/13655/index.html。 1、分析html规则 思路是获取小说章节目录，循环目录，抓取所有章节中的内容，拼到txt文本中。最后形成完本小说。 1、获取小说章节目录 通过分析，我在标注的地方获取小说名字及章节目录。
用C#爬虫小说网站
yp807084850的博客
02-13 869
主要实现逻辑：“套娃”通过MyWebClient获取小说网站页面内所有小说的网络地址，然后通过网络地址找到每本小说的单独的网络地址，然后再通过每本小说的网络地址 找到小说章节正文的网络地址，最后通过章节地址获取到章节内容，最最后将章节内容整合起来的到整本小说。2、分析bookPageHtml_Default中获取到的网站页面源代码文本，从而用正则表达式获取所有小说的url、小说名。最近学习爬虫，做了个简单能实现爬取小说网站整页小说功能的DEMO。3、用以上获取到的小说url,获取每本小说的章节地址url。
C# winform 爬虫，爬取小说，含exe导出软件，（源码+exe）
11-21
在本文中，将详细探讨C# WinForms爬虫的设计与实现，特别关注于如何针对小说内容进行抓取。首先，我们需要了解爬虫的基本工作原理。网络爬虫通常通过发送HTTP请求来访问网页，然后解析网页中的HTML或XML文档，提取出...
精选资源
C# 小说爬取 主流小说网站 支持自定义爬取方式
08-29
C# 小说爬取 主流小说网站 支持自定义爬取方式
C# 爬取网页
积累
02-07 4178
C#爬小说 主要类：FileStream/StreamWriter/StreamReader/WebRequest/ HttpWebResponse
C#网络爬虫抓取小说
weixin_30662109的博客
09-07 387
心血来潮，想研究下爬虫，爬点小说。 通过百度选择了个小说网站，随便找了一本小书http://www.23us.so/files/article/html/13/13655/index.html 一、分析html规则 思路是获取小说章节目录，循环目录，抓取所有章节中的内容，拼到txt文本中。最后形成完本小说。 1、获取小说章节目录 通过分析，我在标注的地方获取小说...
C# 爬取小说 爬虫
绀目澄清
01-15 661
采用多线程爬取 ,System.Data.SQLite 数据库存储 发现多线程 开太多 ,电脑性能不足 造成 部分下载不了,还占用过多资源 多线程 开少了 下载又慢, 只能说调到 中间部分 ,电脑刚刚能处理 代码是想到哪写到哪,架构混乱,只能说能跑起来 NovelBookDetail using System; using System.Collections.Gen...
使用C#爬小说
weixin_30381793的博客
02-15 480
最近因朋友需要在研究如何从网站上爬小说，说到爬，很多人首先想到的是Python，但是因为没有用过Python，加上时程比较紧，就直接使用C#。 其原理也很简单，就是利用HttpWebRequest对象从网站获取HTML数据包再解析 HttpWebRequest httpReq = (HttpWebRequest)WebRequest.Create(httpURL); httpRe...
使用 c# +HttpClientFactory+HtmlAgilityPack抓取笔趣阁小说
qq_44994764的博客
07-10 757
前言 使用 c# +HttpClientFactory+HtmlAgilityPack抓取笔趣阁小说，最近增删改查写的有点腻了，所以抓取小说来玩玩，因为笔趣阁是不需要登录的，所以抓取数据变得很简单 一、HtmlAgilityPack是什么？ HtmlAgilityPack就是用来解析html格式的一个框架，感兴趣的可以看下别人的文档，总之就是让你解析html变得更简单 二、使用步骤 1.点击添加nuget包 就是这个nuget包，添加一下就ok了 三、简单分析下笔趣阁.
c#使用HttpWebRequest爬小说
qwas0202的博客
08-22 633
c#使用HttpWebRequest爬小说
C#爬虫基础 分析网页写一个爬去网络小说的程序（付完整代码）
蜗牛的博客
03-30 2267
C#爬虫基础 分析网页写一个爬去网络小说的程序（付完整代码） 一，抓包工具的使用（以Fiddler为例） 最常见的抓包工具就是Fiddler 下面是下载地址 链接：https://pan.baidu.com/s/1JgBqao4-dqqtdqYkZ8s1Gw 提取码：skj2 打开Fiddler之后 在网页上打开网站就会在Fiddler上显示各种参数 二，分析网页请求内容（以http://www...
利用爬虫-C#下载网络上的小说大部分网站可以用
qq_38251913的博客
10-22 1244
本文纯属个人爱好不含任何商业用途： 基本思路：爬取网站内容的基本规则是利用标签来进行匹配，首先我们以一个小说网站为例http://www.jjwxc.net/onebook.php?novelid=3325239&chapterid=6这是某个小说的一个章节，大家可以看到novelid=3325239这个在该网站中对应的就是小说的唯一表示chapterid=6对应的是小说的章节号 那好根据...
C# 爬虫 正则、NSoup、HtmlAgilityPack、Jumony四种方式抓取小说
weixin_30794851的博客
09-04 642
心血来潮，想爬点小说。通过百度选择了个小说网站，随便找了一本小说http://www.23us.so/files/article/html/13/13655/index.html。 1、分析html规则 思路是获取小说章节目录，循环目录，抓取所有章节中的内容，拼到txt文本中。最后形成完本小说。 1、获取小说章节目录 通过分析，我在标注的地方获取小说名字及章节目录。 <me...
写爬虫，只是为了下小说
github_30830155的博客
12-17 830
整体思路 spider 大概兴趣是第一生产力吧 网上找的小说现成的txt排版都有问题，缺少章节，不过一些盗版网站章节倒是挺全 本来想着是找到index页，爬取所有章节连接，然后拼接成网址，再进行细节爬取，但是搞了一下发现不知道怎么弄 所以后来就变成了直接从第一章节开始爬，找到标题和正文，用xpath就可以了，然后找到下一章的地址 看着网上一个博客，用的 yield ，我的理解就是一个循
c#爬取网页实时数据
最新发布
10-18
C#实现爬取网页实时数据有多种方法，以下结合参考内容介绍两种常见方式： ### 使用DotnetSpider框架 DotnetSpider是一个开源的网页爬取模块，属于轻量、高效的爬取框架，依赖HtmlAgilityPack模块，按其规则继承实现爬取类及数据解析类即可完成网页内容爬取。以爬取B站视频检索页面为例： 1. **安装DotnetSpider包**：新建Winform项目，在Nuget包管理器中搜索并安装DotnetSpider包。 2. **定义数据结构**：定义数据结构来保存视频检索结果。 ```csharp public class BiliBiliSearchData { public string Title { get; set; } = string.Empty; public string Uper { get; set; } = string.Empty; public string UpDate { get; set; } = string.Empty; } ``` 3. **分析网页结构**：使用postman获取网页返回结果，并将结果复制到HBuilder X中分析网页结构，确定数据所在的元素位置。 4. **实现爬取和解析逻辑**：按DotnetSpider规则继承实现爬取类及数据解析类完成网页内容爬取和数据解析。 ### 手动实现爬取逻辑 手动实现爬取逻辑可以灵活控制爬取过程，以爬取地区划分数据为例： ```csharp // 从index页面开始爬取，从第2、3级里获取的地址不完整，要自动补上 private static async Task<List<Node>> getDatas(string url = "index.html", string parentId = null, int leve = -1) { var txt = await getPage(url); var items = getMatches(txt); string preUrl = null; for (var i = 0; i < leve; i++) { preUrl += string.Concat(parentId.AsSpan(2 * i, 2), "/"); } List<Node> result = new(); await Parallel.ForEachAsync(items, async (match2, cancel) => { List<Node> Children = null; if (!string.IsNullOrEmpty(match2.path)) { Children = await getDatas(preUrl + match2.path, match2.id, leve + 1); } var data = new Node { Id = match2.id, Name = match2.name, Children = Children }; lock (result) result.Add(data); }); return result.OrderBy(t => t.Id).ToList(); } var task = getDatas(); var rlt = task.Result; var json = JsonConvert.SerializeObject(rlt, Newtonsoft.Json.Formatting.Indented); File.WriteAllText(@".\datas.json", json); ``` 此代码通过递归调用`getDatas`方法，从指定页面开始爬取数据，并将结果保存到JSON文件中。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值