webclient中的downloadstring方法下载搜狐的网页(乱码)

最新推荐文章于 2018-03-13 11:01:44 发布

转载最新推荐文章于 2018-03-13 11:01:44 发布 · 138 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/wenbinliu/archive/2012/11/29/2794011.html

本文介绍了一个使用C#进行网页抓取的例子，通过HttpWebRequest获取搜狐汽车新闻页面的内容，并采用GZip压缩流解压数据，最后以GBK编码读取结果。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

   HttpWebRequest request = (HttpWebRequest)WebRequest.Create(
   "http://auto.sohu.com/20110414/n305786728.shtml"
   );
  
   request.Timeout = 30000;
  
   request.Method = 
   "GET"
   ;
  
   request.UserAgent = 
   "Mozilla/4.0"
   ;
  
   request.Headers.Add(
   "Accept-Encoding"
   , 
   "gzip, deflate"
   );
  
   //设置连接超时时间
  
   Encoding encoding = Encoding.GetEncoding(
   "GBK"
   );
  
   HttpWebResponse response = (HttpWebResponse)request.GetResponse();
  
   string 
   result = 
   ""
   ;
  
   using
   (Stream streamReceive = response.GetResponseStream())
  
   {
  
   using
   (GZipStream zipStream = 
   new 
   GZipStream(streamReceive, CompressionMode.Decompress))
  
   using 
   (StreamReader sr = 
   new 
   StreamReader(zipStream, encoding))
  
   result = sr.ReadToEnd();
  
   }
  
   Console.WriteLine(result);
  
   Console.Read();
  
   -------------------------------------------------------------------------
  
   //编码方式
  
   （ 
   
    WebClient wc = 
    new 
    WebClient();
   
    //...........
   
    wc.Encoding = System.Text.Encoding.GetEncoding(
    "gb2312"
    );
   
 ）

转载于:https://www.cnblogs.com/wenbinliu/archive/2012/11/29/2794011.html