爬网程序(一)：文件下载功能

最新推荐文章于 2023-06-25 10:04:48 发布

iamke1987

最新推荐文章于 2023-06-25 10:04:48 发布

阅读量526

点赞数

CC 4.0 BY-SA版权

分类专栏： C# 文章标签： string url class null

本文链接：https://blog.youkuaiyun.com/iamke1987/article/details/6094871

C# 专栏收录该内容

1 篇文章

订阅专栏

本文介绍了一种使用Win32API和.NET框架中的HttpWebRequest与HttpWebResponse类来抓取和管理HTTP Cookie的方法。通过提供的Win32.cs和RobertUtility.cs文件代码示例，读者可以了解如何从指定URL获取Cookie，并将这些Cookie应用于后续的HTTP请求中。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1. 预备知识：

主要就是HttpWebRequest和HttpWebResponse这两个类的用法，请参考MSDN学习，这里不赘述。

http://msdn.microsoft.com/en-us/library/system.net.httpwebrequest.aspx

http://msdn.microsoft.com/zh-cn/library/0h6wsc8k(v=VS.80).aspx

2. 废话不多说，直接上程序，详情见注释：

(1)Win32.cs文件。里面主要放需要调用的Win32 API.

using System; using System.Collections.Generic; using System.Linq; using System.Text; using System.Runtime.InteropServices; namespace KQ.CrawlRobert.Robert { public class Win32 { //获取url的cookie. [DllImport("wininet.dll", SetLastError = true, CharSet = CharSet.Auto)] public static extern bool InternetGetCookie(string lpszUrlName, string lpszCookieName, StringBuilder lpszCookieData, ref int lpdwSize); } }

(2)RobertUtility.cs。放爬网程序需要的一些静态辅助函数。

using System; using System.Collections.Generic; using System.Linq; using System.Text; using System.Net; namespace KQ.CrawlRobert.Robert { public class RobertUtility { //获取CookieContainer. public static CookieContainer GetCookieContainer(Uri url) { CookieContainer container = new CookieContainer(); string cookieHeaders = GetCookie(url.AbsoluteUri); if (cookieHeaders.Length > 0) { try { container.SetCookies(url, cookieHeaders); } catch (CookieException) { } } return container; } //获取cookie private static string GetCookie(string url) { StringBuilder cookieHeader = new StringBuilder(new String(' ', 256), 256); int datasize = cookieHeader.Length; if (!Win32.InternetGetCookie(url, null, cookieHeader, ref datasize)) { if (datasize < 0) { return String.Empty; } cookieHeader = new StringBuilder(datasize); Win32.InternetGetCookie(url, null, cookieHeader, ref datasize); } return cookieHeader.ToString(); } } }

(2)RoberConsts。