c#实现爬虫获取小说(.NET)

现在市面上大部分都是PYthon 做的爬虫，这里另辟蹊径用一下c#
本文获取的网站是：https://www.bqktxt.com
有更好的方法欢迎大佬指点
好了！开始吧！

1. 首先创建一个winfrom窗体应用，并画出窗体

用到的组件有：Lable,textbox,button,linklable,progressBar
各位注意区别

2. 创建一个接收类(用于传参)

3. 检测URL按钮代码

这一步的主要作用是把网页的所有结构下载下来然后进行拆解，得到自己想要的部分。
我这里获取了"章节标题"，“文章名称”，"每一章节的URL"等需要的信息。
我们来看一下网页的HTML然后可以更好的写正则表达式来获取内容

根据上图可以看到章节的内容全部都在dd标签里面，然后还分了【正文部分】和【最新章节】,一般来说获取正文部分就可以，看了他的结构以后就可以开始写代码啦！

  try
            {
   
                WebClient MyWebClient = new WebClient();
                MyWebClient.Credentials = CredentialCache.DefaultCredentials;//获取或设置用于向Internet资源的请求进行身份验证的网络凭据
                Byte[] pageData = MyWebClient.DownloadData("https://www.bqktxt.com/38_38836/");//我这里写死了可以在"下载URL那个输入框里面输入" //从指定网站下载数据
                string pageHtml = "";  //如果获取网站页面采用的是GB2312，则使用这句 
                if (pagetype == "GBK" || pagetype == "GB2312")
                {
   
                    pageHtml = Encoding.Default.GetString(pageData);
                }
                if (pagetype == "UTF-8")
                {
   
                    pageHtml = Encoding.UTF8.GetString(pageData);
                }
                Regex redl = new Regex(@"(?is)(?<=<dl>)(?:(?!</dl).)*"); //<dl>内容正则匹配
                Regex retile = new Regex(@"(?is)(?<=<h2>)(?:(?!</h2).)*");//<h2>内容正则匹配
                Regex redd = new Regex(@"(?is)(?<=<dd>)(?:(?!</dd).)*");//<dd>内容正则匹配
                //遍历出标题
                foreach (Match retiles in retile.Matches(pageHtml))
                {
   
                    tilepage = retiles.Value;
                }
                foreach (Match rdl in redl.Matches(pageHtml))
                {
   
                    ddpage += rdl.Value;
                }
                HtmlDocument dod = new HtmlDocument();
                dod.LoadHtml(pageHtml);
                HtmlNode nodesd = dod.DocumentNode.SelectSingleNode("span[@class='last']/a");
                string all = dod.DocumentNode.InnerText;
                //定义正文规则
                string name = $"<dt>《{
     tilepage}》正文卷</dt>";
                //获取正文在全文的位置
                int cp = ddpage.IndexOf(name);
                //获取正文
                string zhengwen = ddpage.Remove