真正解决HtmlAgilityPack抓取网页中文乱码问题

最新推荐文章于 2021-05-31 05:34:10 发布

原创最新推荐文章于 2021-05-31 05:34:10 发布 · 1.7k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#null #dll

ASP.NET 同时被 2 个专栏收录

46 篇文章

订阅专栏

系统优化

6 篇文章

订阅专栏

本文介绍如何解决HTMLAgilityPack在抓取含有中文的网页时出现乱码的问题。通过修改源代码中的字符编码处理方式，确保中文内容能够正确解析并显示。

HTMLAgilityPack官方Dll处理汉字时出现乱码。

解决方案：

1.打开官方提供的Source项目

2.找到HtmlAgilityPack项目

3.找到“ private HttpStatusCode Get 方法”

4.按如下修改代码

//原官方代码 //Encoding respenc = !string.IsNullOrEmpty(resp.ContentEncoding) // ? Encoding.GetEncoding(resp.ContentEncoding) // : null; //修改中文乱码问题 System.Text.Encoding respenc; if ((resp.ContentEncoding != null) && (resp.ContentEncoding.Length > 0)) { respenc = System.Text.Encoding.GetEncoding(resp.ContentEncoding); } else if ((resp.CharacterSet != null) && (resp.CharacterSet.Length > 0))//根据Content-Type中获取的charset编码 { if (string.Compare(resp.CharacterSet, "ISO-8859-1", true, System.Globalization.CultureInfo.InvariantCulture) == 0) respenc = System.Text.Encoding.GetEncoding("GB2312"); else respenc = System.Text.Encoding.GetEncoding(resp.CharacterSet); } else { respenc = System.Text.Encoding.GetEncoding("GB2312"); } //编码修改结束

上个修改后的HtmlAgilityPack抓取网页中文正常显示的图片