C# 从需要授权登录的网站上抓取数据

最新推荐文章于 2024-01-10 17:33:44 发布
最新推荐文章于 2024-01-10 17:33:44 发布
阅读量498 收藏 1
点赞数 1
CC 4.0 BY-SA版权
文章标签： c# 开发语言 C#
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/CyberWarpX/article/details/132633542
C# 专栏收录该内容
181 篇文章 ¥59.90 ¥99.00
订阅专栏
本文介绍了如何使用C#的HttpClient和CookieContainer类模拟用户登录，从需要授权的网站抓取数据。通过创建HttpClient，设置CookieContainer，发送登录请求并获取登录后的页面数据，为开发者提供了实现这一功能的基础思路。

C# 从需要授权登录的网站上抓取数据

在网络爬虫开发中，我们常常会遇到需要从需要授权登录的网站上抓取数据的情况。本文将介绍如何使用C#编写程序，在授权登录后从目标网站上获取数据。

首先，我们需要使用C#的HttpClient类来发送HTTP请求和接收响应。为了模拟用户登录行为，我们还需要使用CookieContainer类来管理登录状态的cookie。

下面是一个示例代码，演示了如何进行登录并抓取需要登录才能访问的网站的数据：

using System;
using System.Net;
using System.Net.Http;
了解本专栏 订阅专栏 解锁全文
模拟登陆C#实现
helloworlddm的博客
06-09 655
爬虫中登陆是非常关键的一步，如果没有办法登陆，很多信息是获取不到的，本文模拟qq空间的登陆，进入空间之后就可以根据页面元素可实现自动点赞，自动发布动态等功能。 预备知识 HTML HTML的英文全称是 Hyper Text Markup Language，即超文本标记语言（面试的时候被问到过）。HTML是由Web的发明者 Tim Berners-Lee和同事 Daniel W. Connolly于1990年创立的一种标记语言，它是标准通用化标记语言SGML的应用。用HTML编写的超文本文档称为HTML文档，
C# 从需要登录的网站上抓取数据
热门推荐
程序猿之路
10-22 1万+
背景：昨天一个学金融的同学让我帮她从一个网站上抓取数据，然后导出到excel，粗略看了下有1000+条记录，人工统计的话确实不可能。虽说不会，但作为一个学计算机的，我还是厚着脸皮答应了。 刚开始想的是直接发送GET请求，然后再解析返回的html不就可以获取需要的信息吗？的确，如果是不需要登录的网站，这样可行，但对于这个网站就行不通。所以首先我们需要做的就是抓包，即分析用户登录时浏览器向服务器发
C#登录后携带cookie爬取数据
yhj198927的博客
08-08 1577
前一段时间，公司以前的一个数据采集任务突然之间采集下来的数据都是0了，也就是未登录状态能够获取到的数据，于是猜想肯定是网站的服务升级了，升级了数据接口的逻辑，于是便开始解决此问题。3.在第2步中ContentType 和UserAgent 需要与登录获取cookie一致。此采集程序是由.net core开发，采用Quartz定时任务定时采集数据。2.打开需要爬取的网页时，将拿到的cookie放到打开网页的request中。1.首先从登录url拿到cookie，然后保存至内存中。
C#使用WebClient登录网站并抓取登录后的网页信息实现方法
01-21
本文实例讲述了C#使用WebClient登录网站并抓取登录后的网页信息实现方法。分享给大家供大家参考，具体如下： C#登录网站实际上就是模拟浏览器提交表单，然后记录浏览器响应返回的会话Cookie值，再次发送请求时带着这个会话cookie值去请求就可以实现模拟登录的效果了。 如下类CookieAwareWebClient实现在发送请求时都带着cookie。 public class CookieAwareWebClient : WebClient { private CookieContainer cookie = new CookieContainer(); protected o
c#爬需要登陆的网页的数据
qq_33638787的博客
08-21 969
用c#写爬虫时。遇到网页需要用户登陆才能访问，爬数据时需要设置cookie。代码如下       /// <summary>         /// Get提交-UTF-8编码         /// </summary>         /// <param name="postUrl">地址</param>         /// <...
C# asp.net 抓取需要登录的网页内容 抓取asp.net登录验证的网站
09-22 1757
private void btnASPNET_Click(object sender, EventArgs e)         {             Dictionary postParams = new Dictionary();             post
C# 抓取TCP UDP网络数据包.rar
06-03
此外，遵守版权和隐私法规非常重要，未经授权抓取或分析他人的网络数据可能会触犯法律。 在“版权须知.docx”文件中，可能包含了关于如何合法使用和分发该软件包的法律条款，建议仔细阅读以确保遵循相关规定。而...
C#实现网络订单数据抓取教程
在合法的范畴内，数据采集是指从各种数据源（例如网站、API、数据库等）收集信息，以用于分析、报告或改进系统性能等合法目的。C#是一种流行的面向对象的编程语言，它在.NET平台上运行，广泛用于开发Windows应用程序...
C#实现网站图片批量抓取技术详解
资源摘要信息: "C# 抓取...通过对以上知识点的详细了解和实践，开发人员可以编写出能够高效、稳定地从网站上抓取图片的C#应用程序。这不仅能提升开发技能，还可以在遵守网络道德和法律的前提下，应用于各种实际场景中。
C#抓取需要登录的页面
plean的专栏
12-24 924
http://blog.youkuaiyun.com/leftfist/article/details/7235034 抓取需要登录的页面的内容，原理主要是：先模拟登录，获取到COOKIE，然后接下来的访问，都使用这个COOKIE，就可以访问到需要登录的页面。 理论上，浏览器可以做到的事情，程序应该也可以。 不过，模拟登录，说起来容易，但不同站点有不同的处理方式，复杂程度不同。 1、最简单
c#多线程抓取网页内容
12-18
在《爬虫/蜘蛛程序的制作（C#语言）》一文中，已经介绍了爬虫程序实现的基本方法，可以说，已经实现了爬虫的功能。只是它存在一个效率问题，下载速度可能很慢。这是两方面的原因造成的： 1. 分析和下载不能同步进行。在《爬虫/蜘蛛程序的制作（C#语言）》中已经介绍了爬虫程序的两个步骤：分析和下载。在单线程的程序中，两者是无法同时进行的。也就是说，分析时会造成网络空闲，分析的时间越长，下载的效率越低。反之也是一样，下载时无法同时进行分析，只有停下下载后才能进行下一步的分析。问题浮出水面，我想大家都会想到：把分析和下载用不同的线程进行，问题不就解决了吗？ 2. 只是单线程下载。相信大家都有用过网际快车等下载资源的经历，它里面是可以设置线程数的（近年版本默认是10，曾经默认是5）。它会将文件分成与线程数相同的部分，然后每个线程下载自己的那一部分，这样下载效率就有可能提高。相信大家都有加多线程数，提升下载效率的经历。但细心的用户会发现，在带宽一定的情况下，并不是线程越多，速度越快，而是在某一点达到峰值。爬虫作为特殊的下载工具，不具备多线程的能力何以有效率可谈？爬虫在信息时代的目的，难道不是快速获取信息吗？所以，爬虫需要有多线程（可控数量）同时下载网页。 好了，认识、分析完问题，就是解决问题了： 多线程在C#中并不难实现。它有一个命名空间：System.Threading，提供了多线程的支持。 要开启一个新线程，需要以下的初始化： ThreadStart startDownload = new ThreadStart( DownLoad ); //线程起始设置：即每个线程都执行DownLoad()，注意：DownLoad()必须为不带有参数的方法 Thread downloadThread = new Thread( startDownload ); //实例化要开启的新类 downloadThread.Start();//开启线程 由于线程起始时启动的方法不能带有参数，这就为多线程共享资源添加了麻烦。不过我们可以用类级变量（当然也可以使用其它方法，笔者认为此方法最简单易用）来解决这个问题。知道开启多线程下载的方法后，大家可能会产生几个疑问： 1. 如何控制线程的数量？ 2. 如何防止多线程下载同一网页？ 3. 如何判断线程结束？ 4. 如何控制线程结束？ 下面就这几个问题提出解决方法： 1. 线程数量我们可以通过for循环来实现，就如同当年初学编程的打点程序一样。 比如已知用户指定了n（它是一个int型变量）个线程吧，可以用如下方法开启五个线程 Thread[] downloadThread;//声名下载线程，这是C#的优势，即数组初始化时，不需要指定其长度，可以在使用时才指定。这个声名应为类级，这样也就为其它方法控件它们提供了可能 ThreadStart startDownload = new ThreadStart( DownLoad );//线程起始设置：即每个线程都执行DownLoad() downloadThread = new Thread[ n ];//为线程申请资源，确定线程总数 for( int i = 0; i < n; i++ )//开启指定数量的线程数 { downloadThread[i] = new Thread( startDownload );//指定线程起始设置 downloadThread[i].Start();//逐个开启线程 } 好了，实现控制开启线程数是不是很简单啊？ 2. 下面出现的一个问题：所有的线程都调用DonwLoad()方法，这样如何避免它们同时下载同一个网页呢？ 这个问题也好解决，只要建立一下Url地址表，表中的每个地址只允许被一个线程申请即可。具体实现： 可以利用数据库，建立一个表，表中有四列，其中一列专门用于存储Url地址，另外两列分别存放地址对应的线程以及该地址被申请的次数，最后一列存放下载的内容。（当然，对应线程一列不是必要的）。当有线程申请后，将对应线程一列设定为当前线程编号，并将是否申请过一列设置为申请一次，这样，别的线程就无法申请该页。如果下载成功，则将内容存入内容列。如果不成功，内容列仍为空，作为是否再次下载的依据之一，如果反复不成功，则进程将于达到重试次数（对应该地址被申请的次数，用户可设）后，申请下一个Url地址。主要的代码如下（以VFP为例）： CREATE TABLE (ctablename) ( curl M , ctext M , ldowned I , threadNum I ) &&建立一个表ctablename.dbf，含有地址、文本内容、已经尝试下载次数、线程标志（初值为-1，线程标志是从0开始的整数）四个字段 cfullname = (ctablename) + '.dbf'&&为表添加扩展名 USE (cfullname) GO TOP LOCATE FOR (EMPTY( ALLTRIM( ctext ) ) AND ldowned < 2 AND ( threadNum = thisNum OR threadNum = - 1) ) &&查找尚未下载成功且应下载的属于本线程权限的Url地址，thisNum是当前线程的编号，可以通过参数传递得到 gotUrl = curl recNum = RECNO() IF recNum <= RECCOUNT() THEN &&如果在列表中找到这样的Url地址 UPDATE (cfullname) SET ldowned = ( ldowned + 1 ) , threadNum = thisNum WHERE RECNO() = recNum &&更新表，将此记录更新为已申请，即下载次数加1，线程标志列设为本线程的编号。 cfulltablename = (ctablename) + '.dbf' USE (cfulltablename) SET EXACT ON LOCATE FOR curl = (csiteurl) &&csiteurl是参数，为下载到的内容所对应的Url地址 recNumNow = RECNO()&&得到含有此地址的记录号 UPDATE (cfulltablename) SET ctext = (ccontent) WHERE RECNO() = recNumNow &&插入对应地址的对应内容 ctablename = (ctablename) + '.dbf' USE (ctablename) GO TOP SET EXACT ON LOCATE FOR curl = (cnewurl) &&查找有无此地址 IF RECNO() > RECCOUNT() THEN &&如果尚无此地址 SET CARRY OFF INSERT INTO (ctablename) ( curl , ctext , ldowned , threadNum ) VALUES ( (cnewurl) , "" , 0 , -1 ) &&将主页地址添加到列表 好了，这样就解决了多线程中，线程冲突。当然，去重问题也可以在C#语言内解决，只根建立一个临时文件（文本就可以），保存所有的Url地址，差对它们设置相应的属性即可，但查找效率可能不及数据库快。 3. 线程结束是很难判断的，因为它总是在查找新的链接。用者认为可以假设：线程重复N次以后还是没有能申请到新的Url地址，那么可以认为它已经下载完了所有链接。主要代码如下： string url = ""; int times = 0; while ( url == "" )//如果没有找到符合条件的记录，则不断地寻找符合条件的记录 { url = getUrl.GetAUrl( …… );//调用GetAUrl方法，试图得到一个url值 if ( url == "" )//如果没有找到 { times ++;//尝试次数自增 continue; //进行下一次尝试 } if ( times > N ) //如果已经尝试够了次数，则退出进程 { downloadThread[i].Abort; //退出进程 } else//如果没有尝试够次数 { Times = 0; //尝试次数归零处理 } //进行下一步针对得到的Url的处理 } 4. 这个问题相对简单，因为在问题一中已经建议，将线程声名为类级数组，这样就很易于控制。只要用一个for循环即可结束。代码如下： for( int i = 0; i < n; i++ )//关闭指定数量n的线程数 { downloadThread[i].Abort();//逐个关闭线程 } 好了，一个蜘蛛程序就这样完成了，在C#面前，它的实现原来如此简单。 这里笔者还想提醒读者：笔者只是提供了一个思路及一个可以实现的解决方案，但它并不是最佳的，即使这个方案本身，也有好多可以改进的地方，留给读者思考。 最后说明一下我所使用的环境： winXP sp2 Pro VFP 9.0 Visual Studio 2003 .net中文企业版 本文来自优快云博客，转载请标明出处：http://blog.youkuaiyun.com/peter1_jiang/archive/2007/10/23/1839137.aspx
需要提交登录信息的网页爬取
qq_39708579的博客
02-26 1004
import urllib  import urllib2  url = 'http://www.someserver.com/register.cgi'  values = {'name' : 'WHY',            'location' : 'SDU',            'language' : 'Python' }  data = urllib.urlencod...
C#自动登录网页浏览页面 抓取数据
疯狂的流浪狗
06-26 1281
document.body.oncopy = function() { if (window.clipboardData) { setTimeout(function() { var text = clipboardData.getData("text");
C#爬取数据_详细篇
deer_soul的博客
11-09 5725
C#爬取数据的三种方法
C#使用HttpWebRequest获取网页数据
c0411034的博客
08-25 4945
1.封装好的使用方法 class HttpGetUrl { public static string HttpGet(string url, string post_parament) { string html; HttpWebRequest Web_Request = (HttpWebRequest)We...
C#模拟登录后请求查询
diaobiao8107的博客
05-10 186
需求是这样子的，想开发一个外挂程序，能够抓取别的系统的数据，从而实现数据验证。 比如这样一个界面： 使用Chrome浏览器分析http请求和响应过程以及页面的html代码，发现这是一个ajax请求，于是跟踪找到了具体的请求地址和查询时提交的数据。 于是就可以请求这个地址，并且封装提交的数据进行http请求即可。 但实验后发现，需要先登录系统然后才能进行查询请求。 分析系...
需要登录的网站爬虫详解
最新发布
Jesse_Kyrie的博客
01-10 4461
针对需要登录的网站提供可行的登录方案与接口分析技巧，帮助大家更好得提升爬虫技术。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值