.NET中获取HTML页面并提取其中的超链接

下列的函数分别用于获取HTML页面和提取页面中的超链接。

using System.Net;
using System.IO;
using System.Text;
using System.Text.RegularExpressions;

string[] GetLink(string strHtml)
{
    Regex reg = new Regex("href[//s//r]*=[//s//r]*[/"/']{0,1}([^/"/'//s//r>]*)[/"/'//s//r]{0,1}", RegexOptions.IgnoreCase);
    MatchCollection mc = reg.Matches(strHtml);
    if (mc.Count > 0)
    {
        string[] strHref = new string[mc.Count];
        int i = 0;
        foreach (Match m in mc)
        {
            strHref[i] = m.Groups[1].Value;
            ++i;
        }
        return strHref;
    }
    return null;
}

string GetHttp(string strUrl)
{
    string strHtml = "";
    WebResponse wrp = null;

    try
    {
        WebRequest wrq = WebRequest.Create(strUrl);
        wrq.Timeout = 60000;
        wrp = wrq.GetResponse();
    }
    catch (WebException e)
    {

    }
    catch (Exception e)
    {

    }
    finally
    {
        if (wrp != null)
        {
            StreamReader sr = new StreamReader(wrp.GetResponseStream(), Encoding.GetEncoding("GB2312"));
            strHtml = sr.ReadToEnd();
            sr.Close();
            wrp.Close();
        }
    }

    return strHtml;
}

可首先使用GetHttp获取指定URL的页面内容，然后将此内容作为参数传给GetLink，GetLink返回的String数组中的每个元素代表一个超链接。