.net抓取html

最新推荐文章于 2025-08-13 00:21:08 发布

xuezj508

最新推荐文章于 2025-08-13 00:21:08 发布

阅读量614

点赞数

分类专栏： .NET学习资料文章标签： .net encoding string html null url

.NET学习资料专栏收录该内容

62 篇文章

订阅专栏

     // 获取网页的HTML内容，指定Encoding
    static string GetHtml(string url, System.Text.Encoding encoding)
    {
        byte[] buf = new System.Net.WebClient().DownloadData(url);
        if (encoding != null) return encoding.GetString(buf);
        string html = System.Text.Encoding.UTF8.GetString(buf);
        encoding = GetEncoding(html);
        if (encoding == null || encoding == System.Text.Encoding.UTF8) return html;
        return encoding.GetString(buf);
    }

    // 根据网页的HTML内容提取网页的Encoding
    static System.Text.Encoding GetEncoding(string html)
    {
        string pattern = @"(?i)/bcharset=(?<charset>[-a-zA-Z_0-9]+)";
        string charset = System.Text.RegularExpressions.Regex.Match(html, pattern).Groups["charset"].Value;
        try { return System.Text.Encoding.GetEncoding(charset); }
        catch (ArgumentException) { return null; }
    }