抓取网页源代码

使用C#抓取网页内容

weixin_30779691

于 2009-06-21 14:05:00 发布

阅读量217

点赞数

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/lds85930/archive/2009/06/21/1507748.html

本文介绍了一种使用C#进行网页抓取的方法。通过创建HttpWebRequest对象并设置UserAgent及请求方式为GET，可以获取指定URL的内容。然后通过WebResponse对象读取响应流，并利用StreamReader读取为字符串形式。

string PageUrl = " http://www.163.com/";
        System.Net.HttpWebRequest request = (System.Net.HttpWebRequest)System.Net.WebRequest.Create(PageUrl);
        request.UserAgent = "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.2; .NET CLR 1.1.4322; Alexa Toolbar; .NET CLR 2.0.50727; .NET CLR 3.0.04506.30)";
        request.Method = "GET";
        System.Net.WebResponse response = request.GetResponse();
        System.IO.Stream resStream = response.GetResponseStream();
        System.IO.StreamReader sr = new System.IO.StreamReader(resStream, System.Text.Encoding.Default);
        string PageInfo = sr.ReadToEnd();
        resStream.Close();
        resStream.Dispose();
        sr.Close();
        sr.Dispose();
        Response.Write(PageInfo);

转载于:https://www.cnblogs.com/lds85930/archive/2009/06/21/1507748.html