HtmlAgilityPack 抓取页面的乱码处理

最新推荐文章于 2021-05-31 05:34:10 发布

转载最新推荐文章于 2021-05-31 05:34:10 发布 · 233 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/tracyjfly/archive/2013/06/13/3134094.html

本文介绍了解决使用HtmlAgilityPack抓取gb2312编码网页时出现乱码的问题。通过设置HtmlWeb的OverrideEncoding属性为gb2312编码，成功避免了乱码现象。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

利用HtmlAgilityPack抓取页面很方便，但是当页面是gb2312编码时候就会出现乱码，上网查了一下说是默认的获取页面方法不够成熟，具体什么的我也不知道，姑且就认为是不够成熟吧。

HtmlWeb htmlWeb = new HtmlWeb();
HtmlDocument htmlDocument = htmlWeb.Load(@url);

解决方法如下：

新建一个方法来获取 HtmlDocument，传进来的是抓取页面的地址

       private static HtmlDocument GetHtmlDocument(string url)
        {
            HttpWebRequest httpWebRequest = WebRequest.Create(new Uri(@url)) as HttpWebRequest;
            httpWebRequest.Method = "GET";
            WebResponse webResponse = httpWebRequest.GetResponse();
            Stream stream = webResponse.GetResponseStream();
            HtmlDocument htmlDocument = new HtmlDocument();
            htmlDocument.Load(stream);

            return htmlDocument;
        }

根据@无机の剑的评论，用这个属性就解决了（O(∩_∩)O~）：

HtmlWeb htmlWeb = new HtmlWeb(); 
htmlWeb.OverrideEncoding = Encoding.GetEncoding("gb2312");

这样就可以啦！至于后面的使用方法都一样，具体可以参考这个博客，讲的很详细哈 http://www.cnblogs.com/linfei721/archive/2013/05/08/3066697.html

转载于:https://www.cnblogs.com/tracyjfly/archive/2013/06/13/3134094.html