获取远程网页的内容之一（downmoon原创）

最新推荐文章于 2021-08-04 22:30:18 发布

willmove

最新推荐文章于 2021-08-04 22:30:18 发布

阅读量680

点赞数

CC 4.0 BY-SA版权

文章标签： string byte encoding exception null stream

本文链接：https://blog.youkuaiyun.com/willmove/article/details/665093

本文介绍了一种通过代理服务器获取远程网页内容的方法，并提供了具体的C#实现代码。该方法适用于需要通过代理服务器访问互联网的企业内部环境。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

本机直接上网时，请参看
获取远程网页的内容之一（downmoon原创）

本文仅针AD下代理上网的情况：
代码如下：
1、定义变量：

#region　定义变量
private   string strFireWallIP
       {
           get
           {
               return System.Configuration.ConfigurationSettings.AppSettings["strFireWallIP"];
           }
       }
       private   string strFireWallPort
       {
           get
           {
               return System.Configuration.ConfigurationSettings.AppSettings["strFireWallPort"];
           }
       }
       private   string strUID
       {
           get
           {
               return System.Configuration.ConfigurationSettings.AppSettings["strUID"];
           }
       }
       private   string strPWD
       {
           get
           {
               return System.Configuration.ConfigurationSettings.AppSettings["strPWD"];
           }
       }
       private   string strDomain
       {
           get
           {
               return System.Configuration.ConfigurationSettings.AppSettings["strDomain"];
           }
       }
       #endregion

方法：
获取指定远程网页内容

/// <summary>
       /// 获取指定远程网页内容
       /// </summary>
       /// <param name="strUrl">所要查找的远程网页地址</param>
       /// <returns></returns>
       //[WebMethod(Description = "获取指定远程网页内容。")]
       public string getPageContent(string strUrl)
       {
           string strResult       =   "";
           this.CurrentUrl   =   strUrl;
           if(this.CurrentUrl.ToLower().StartsWith("http://")==false)
               this.CurrentUrl = "http://"+this.CurrentUrl;
           try
           {
               contentBytes   = GetHtmlByte(CurrentUrl);

           }
           catch(Exception err)
           {
               strResult = "请求错误：" + err.Message;
           }
           if(contentBytes==null)
           {
               throw new Exception("没有获得返回值");
           }
           strResult       =   getStringFromByteArray(contentBytes,Encoding.UTF8);
           return strResult;
       }

获取指定远程网页元素字节数组::

#region 获取指定远程网页元素字节数组
       /// <summary>
       /// 获取指定远程网页元素字节数组
       /// </summary>
       /// <param name="strUrl">所要查找的远程网页地址</param>
       /// <returns></returns>
       private byte[] GetHtmlByte(string strUrl)
       {
           string strPara=(strUrl.IndexOf("?")>=0?strUrl.Substring(strUrl.IndexOf("?")+1):"");
           System.Text.Encoding encoding   =   new UTF8Encoding();
           byte[] byte1                   =   encoding.GetBytes(strPara);
           byte[]   byteReturn               =   new byte[10000000];
           if(strUrl.Trim().ToLower().StartsWith("http://")==false)
           {
               strUrl = "http://"+strUrl;
           }
           HttpWebRequest myHttpWebRequest       =   (HttpWebRequest)WebRequest.Create(strUrl);
           myHttpWebRequest.AllowAutoRedirect   =   true;
           myHttpWebRequest.KeepAlive           =   true;
           myHttpWebRequest.UserAgent           =   "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0; .NET CLR 1.1.4322)";
           System.Net .WebProxy proxy = new WebProxy(strFireWallIP+":"+strFireWallPort,true);
           //proxy=(WebProxy)System.Net.GlobalProxySelection.Select;
           System.Net.NetworkCredential myCredential = new NetworkCredential(strUID,strPWD,strDomain);
           proxy.Credentials =myCredential;
           myHttpWebRequest.Proxy = proxy;

           HttpWebResponse myHttpWebResponse   =   (HttpWebResponse)myHttpWebRequest.GetResponse();
           byte[] bRead   =   new byte[1024];
           int lngCount   =   1;
           int totalLen   =   0;
           Stream recWeb   =   myHttpWebResponse.GetResponseStream();
           lngCount       =   recWeb.Read(bRead,0,1024);
           while(lngCount>0)
           {
               Array.Copy(bRead,0,byteReturn,totalLen,lngCount);
               totalLen   +=   lngCount;
               lngCount   =   recWeb.Read(bRead,0,1024);
           }
           recWeb.Close();
           byte[] byteGets =   new byte[totalLen];
           Array.Copy(byteReturn,0,byteGets,0,totalLen);
           byteReturn       =   null;
           bRead           =   null;

           return byteGets;
       }
       #endregion

转换指定字节数组为字符串::

#region　转换指定字节数组为字符串
       /// <summary>
       /// 转换指定字节数组为字符串
       /// </summary>
       /// <param name="ByteGet">字节数组Byte[]</param>
       /// <param name="myEncoding">编码方式</param>
       /// <returns></returns>
       private static string getStringFromByteArray(Byte[] ByteGet,Encoding myEncoding)
       {
           int i,lngCount;
           StringBuilder aTemp = new StringBuilder(10000);
           lngCount = ByteGet.Length;
           for(i = 0;i<lngCount;i+= 10000)
           {
               aTemp.Append(myEncoding.GetString(ByteGet,i,(lngCount>=i+10000?10000:lngCount - i)));
           }
           if(i<=lngCount)
           {
               aTemp.Append(myEncoding.GetString(ByteGet,i,(lngCount - i)));
           }
           return aTemp.ToString();
       }

       #endregion

借用这个，写了个抽取中国天气网预报的服务！很爽！