C# WebRequest获取GZip页面

最新推荐文章于 2024-03-23 13:24:28 发布
原创 最新推荐文章于 2024-03-23 13:24:28 发布 · 658 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文详细介绍了如何在HTTP响应中使用GZip压缩与解压缩技术来减少数据传输量，提高网络效率。通过在请求中设置Accept-Encoding头为gzip,deflate，并利用Stream和GZipStream类进行数据流操作，实现响应数据的高效压缩与解压。重点阐述了此技术的应用场景、具体实现步骤以及性能优化策略。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

在请求中加入

request.Headers.Add("Accept-Encoding", "gzip, deflate");

响应中

Stream st = new GZipStream(response.GetResponseStream(), CompressionMode.Decompress);

只针对，响应中确实为GZip的情况。最好是判断响应头部的类型。

C#获取中国天气网免费天气预报信息
linwang_0104的博客
04-09 6533
中国天气网接口地址：”http://wthrcdn.etouch.cn/WeatherApi?citykey=” + weatherCityCode（为城市code）; 获取的信息为xml数据，所以在使用前我们可以将它转化成字符串，之后在序列化成天气类； 下面是转化过程中我们需要用到的方法（序列化的实体类文章结尾附） string weatherInfoUrl = "http://wthrc
C# 模拟浏览器发起http Get请求,Post请求,支持GZIP响应体
Sunsame_Wei的博客
07-17 1774
System.Net.HttpWebRequest 封装实现Get、Post请求，包括Url编码封装，防止内存泄漏
C#实现HTTP服务器：（5）压缩传输（GZip,Deflate）
艾恩
09-03 3272
在传输数据的基础上，我们再对数据进行压缩，C#有对这两种压缩算法的实现。即位于`System.IO.Compression`命名空间下的`GZipStream`和`DeflateStream`。这里只讲怎样使用Gzip压缩数据，分别用`Content-Length`和`Transfer-Encoding`两种传输方式实现。
HttpWebRequest开启gzip压缩
dz45693的专栏
11-06 5540
在用HttpWebRequest对象时，一般我们都没有开启gzip压缩，如果服务端返回的数据比较大，这是我们需要开启gzip压缩，怎么开启了？ 1.给HttpWebRequest对象，添加如下Header                  request.Headers.Add("Accept-Encoding", "gzip");         2.对接收到的流进行解码
c# gzip html,C＃-HttpWebRequest和本机GZip压缩
weixin_39834788的博客
06-25 495
当请求使用Gzip压缩的页面时，出现很多以下错误：System.IO.InvalidDataException： GZip页脚中的CRC与 从解压缩后计算出的CRC 数据我正在使用本机GZipStream进行解压缩，并正在寻找解决方法。 考虑到这一点，是否有解决方法可以解决此问题或另一个GZip库(免费？)，可以正确处理此问题？我正在验证webResponse ContentEncod...
HttpWebRequest提高效率之连接数,代理，自动跳转,gzip请求等设置问题
weixin_30628077的博客
08-23 351
先设置4个： [csharp] webrequest.ServicePoint.Expect100Continue = false; //是否使用 Nagle 不使用 提高效率 webrequest.ServicePoint.UseNagleAlgorithm = false...
C# WebClient gzip
星星的专栏
07-02 1430
WebClient 实现Gzip public class XWebClient : WebClient { protected override WebRequest GetWebRequest(Uri address) { HttpWebRequest request = base.GetWebRequest(addres
php gzipstream,c# – 在WebRequest中发送gzip数据？
weixin_32761653的博客
03-22 159
我有大量的数据(〜100k),我的C#应用​​程序发送到我的Apache服务器,安装了mod_gzip.我试图使用System.IO.Compression.GZipStream gzip数据.PHP收到原始的gzip压缩数据,所以Apache并不像我所期望的那样解压缩它.我错过了什么吗？System.Net.WebRequest req = WebRequest.Create(this.Url)...
C#从网址上读取json数据
青铜小码农
01-24 1324
找了好多资料，都不太好使，看到了一篇很有帮助的文章。需求：从客户给的网址中读取json格式的数据。
C#中用HTTP协议通过API获取返回的Json并解析入库
weixin_50583505的博客
06-08 2115
HTTP协议来获取某API下面的Json字符 并且用结构体处理
C#获取HTML源码
牛腩的专栏
03-23 565
然后还有一个playwright的也能实现操作浏览器打开网页的功能，用于自动化测试的，以前有记录过这个名字，不过一直没有时间看。后来又来了个更狠的，用PuppeteerSharp， 相当于用代码来控制让系统中的chrome浏览器打开一个网页，然后再来获取这个网页的源代码。以前的那个从网上找到的方法, 在一些网站上用不了，如17K，取出来的是乱码，要么就是一坨JS，好像是用JS又重新加载了什么的。弄了一上午，到处问人到处查，发现下面的代码可以用于17K网站，2024年03月23日记录。C#获取HTML源码。
利用HttpWebRequest获取网页内容，由于Gzip压缩导致乱码的情况
四度空间
10-17 5766
 服务器部分已经做好几天了，昨天测试的时候ZY说它那里获取不了数据，经过检查，发现是XML数据在Delphi里分析时出现非法字符。同时服务器抓取网页内容出现乱码的BUG已经知道好几天了，一直没时间修改。今天终于通过调试解决了^v^。  服务器端使用的vb.net 2005，中间有个模块是通过HttpWebRequest抓取网页内容并生成XML文件，抓取部分参考了网上的一段很流行的代码，
c# gzip html,C# 让WebClient使用gzip编码,并解压
weixin_34779845的博客
06-25 417
dxmnet2014-4-7 15:44:00阅读(1464)评论(0)WebClient client = new WebClient();client.Headers.Add("Accept-Encoding", "gzip, deflate");string sUrl = "";byte[] byteArray = client.DownloadData(sUrl);// 处理　gzipst...
c# gzip html,C#使用Gzip解压缩完整读取网页内容
weixin_39776787的博客
06-25 528
using System;using System.Threading;using System.Text;using System.Text.RegularExpressions;using System.IO.Compression;using System.IO;using System.Web;using System.Net;class Test{static void Main(){s...
如何在 webApi 当中接收 Gzip 压缩或者加密后的 请求消息内容！
weixin_30355437的博客
07-09 422
今天在上班的时候遇到个问题，移动端要求我们用GZIP加密。当时一想着多简单，但是在做的时候发现个问题。 就是移动端Post到 服务端的数据也是经过 Gzip的，并不是单一的像网站那样只针对网页进行 压缩。 下面是我的处理办法： 重写 ：DelegatingHandler抽象类 protected override Task<HttpResponseMessage> SendA...
C# HttpWebRequest\HttpWebResponse\WebClient\Flurl发送请求解析json数据 gzip压缩
热门推荐
KingCruel的专栏
03-03 2万+
在 ASP.NET Core 中使用 IHttpClientFactory 发出 HTTP 请求 * * ====================================================================================================================================== /// <su...
C#使用GZIP解压缩完整读取网页内容
Gary Leong
12-20 3598
/// <summary> /// C#使用GZIP解压缩完整读取网页内容 /// </summary> /// <param name="url"></param> /// <returns></returns> public static string GetHtmlWithUtf(string url)
c# gzip html,c# – 从WebClient解压缩gzip响应
weixin_42301080的博客
07-01 480
最简单的方法是使用内置的automatic decompression和HttpWebRequest类。var request = (HttpWebRequest)HttpWebRequest.Create("http://stackoverflow.com");request.Headers.Add(HttpRequestHeader.AcceptEncoding, "gzip,deflate"...
WebRequest.Create(string)”已过时 C#
最新发布
12-27
### C# 中 `WebRequest.Create` 方法的替代方案 在现代 .NET 应用程序开发中，推荐使用更高级别的 API 来处理 HTTP 请求。`HttpClient` 类提供了更好的性能和易用性，并且支持异步编程模型。 #### 使用 HttpClient 进行 GET 请求 ```csharp using System; using System.Net.Http; using System.Threading.Tasks; public class Program { public static async Task Main() { using var client = new HttpClient(); try { HttpResponseMessage response = await client.GetAsync("http://example.com"); response.EnsureSuccessStatusCode(); string responseBody = await response.Content.ReadAsStringAsync(); Console.WriteLine(responseBody); } catch (HttpRequestException e) { Console.WriteLine($"Request error: {e.Message}"); } } } ``` 此代码展示了如何创建一个简单的 GET 请求并读取响应内容[^1]。 #### 设置超时时间 对于设置请求超时的情况，可以配置 `HttpClientHandler` 或者直接通过 `HttpClient.Timeout` 属性来实现： ```csharp var handler = new HttpClientHandler() { AutomaticDecompression = DecompressionMethods.GZip | DecompressionMethods.Deflate }; handler.ServerCertificateCustomValidationCallback += (sender, cert, chain, sslPolicyErrors) => true; // 忽略 HTTPS 证书错误 using var client = new HttpClient(handler) { BaseAddress = new Uri("http://example.com"), Timeout = TimeSpan.FromSeconds(20) // 设置全局超时时间为20秒 }; // 对于特定请求也可以单独设定超时 var cts = new CancellationTokenSource(TimeSpan.FromSeconds(30)); HttpResponseMessage response = await client.GetAsync("/path", cts.Token); ``` 这段代码不仅设置了默认的连接超时，还展示了如何针对单个请求指定不同的超时时长以及如何忽略 SSL/TLS 验证失败的问题[^2]。 #### 发送 POST 数据 当需要发送数据给服务器时，比如执行 POST 操作，则可以通过如下方式构建请求体： ```csharp using System.Collections.Generic; using Newtonsoft.Json.Linq; JObject jsonContent = JObject.Parse(@"{""key"": ""value""}"); using var content = new StringContent(jsonContent.ToString(), Encoding.UTF8, "application/json"); HttpResponseMessage response = await client.PostAsync("/api/endpoint", content); if (response.IsSuccessStatusCode) { string result = await response.Content.ReadAsStringAsync(); Console.WriteLine(result); } else { Console.WriteLine($"Failed with status code: {(int)response.StatusCode}"); } ``` 上述例子说明了怎样序列化 JSON 格式的 payload 并将其作为 POST 请求的一部分提交出去[^3]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值