通过程序对远程url中的源码的获取

最新推荐文章于 2024-10-10 09:29:24 发布

原创最新推荐文章于 2024-10-10 09:29:24 发布 · 853 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#url #stream #string #exception #encoding #null

技术提高专栏收录该内容

4 篇文章

订阅专栏

博客介绍了两种获取网页源码的方法。一是使用WebClient，有DownloadData直接获取和OpenRead通过流读取两种方式，流方式适合大数据源url，数据大时可分步获取以优化性能；二是用WebRequest和WebResponse配合，通过GetResponse方法获取，读取数据流时以256字节为单位循环读取可减少性能影响。

第一种方法是通过WebClient 来获取

其中有两种方法：

1利用WebClien的DownloadData方法，直接获取。

   string PageUrl = "http://inhe.net";
   WebClient wc = new WebClient();
   wc.Credentials = CredentialCache.DefaultCredentials;

   ///方法一：
     Byte[] pageData = wc.DownloadData(PageUrl);
     Response.Write(Encoding.UTF8.GetString(pageData));

         2 利用WebClient的OpenRead 方法得到一个数据流，然后通过流数据来读取（我觉得这种方法适合大数据的源成url）呵呵，不知道说得对不对？

/// 方法二

    Stream resStream = wc.OpenRead(PageUrl);
    StreamReader sr = new StreamReader(resStream,System.Text.Encoding.Default);
    ContentHtml.Text = sr.ReadToEnd();
    resStream.Close();

当然这种用流的方式还是只是用于数据不大的情况，如果数据很大的话，由于我们开了个流，就可以采取措施。分步的来获取，不至于影响到程序的性能

第二种方法是用WebRequest 和 WebResponse来配合得到，具体流程是：

通过WebRequest 的 GetResponse方法将页面的源码传入WebResponse之中，然后在返回一个Stream 通过读取这个stream来得到源代码

string Url = "Http://inhe.net";
   string StrReturn = "";
   WebResponse result = null;
   try
   {
    WebRequest req = WebRequest.Create(Url);
    result = req.GetResponse();
    Stream ReceiveStream = result.GetResponseStream();
    Encoding encode = System.Text.Encoding.GetEncoding("GB2312");
    StreamReader sr = new StreamReader( ReceiveStream,encode);
    Char[] read = new Char[256];
    int count = sr.Read(read, 0, 256);
    while (count > 0)
    {
     String str = new String(read, 0, count);
     StrReturn += str;
     count = sr.Read(read, 0, 256);
    }
   }
   catch(Exception ee)
   {
    StrReturn += e.ToString();
    StrReturn += "找不到请求 URI，或者它的格式不正确";
   }
   finally
   {
    if ( result != null )
    {
     result.Close();
    }
   }
   Response.Write( @StrReturn.Trim());

其中这里有一个小的技巧读取数据流时，这段代码时让它以256字节为单位来循环读取，这样当数据较大时，就不会过大的影响到程序的性能

呵呵不知道我说的对不对，欢迎大家和我讨论