使用c#和selenium获取网页

最新推荐文章于 2025-09-23 09:55:12 发布
原创 最新推荐文章于 2025-09-23 09:55:12 发布 · 1k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#c# #selenium #网页爬虫 #爬虫代理

该文章介绍如何结合Selenium自动化测试框架和C#编程语言创建一个网络爬虫，用于从新浪财经网站抓取并分析热点信息。通过设置ChromeOptions启用代理IP以防止被识别，利用By.Id、By.Name、By.ClassName和By.XPath等方法定位网页元素，然后对抓取的数据进行处理和分析，最后将结果导出为PDF文件。

亿牛云代理
selenium 和 c# 的应用之一是创建一个网络爬虫，它可以从网页中抓取数据进行分析。网络爬虫是一种访问网页并从中提取信息的程序。 Selenium 是一个框架，它允许我们自动执行浏览器操作，例如单击、键入或导航。 C# 是一种编程语言，可用于编写网络爬虫的逻辑和功能。为避免被 Web 服务器阻止，我们可以使用代理 IP 地址来掩盖我们的身份和位置。要访问网页上的元素，我们可以使用通过 id、名称、类或 xpath 获取元素等方法。
下面用selenium 和 c#展示如何采集https://finance.sina.com.cn并分析热点信息：

using OpenQA.Selenium;
using OpenQA.Selenium.Chrome;
using OpenQA.Selenium.Remote;
using iTextSharp.text;
using iTextSharp.text.pdf;
using System.IO;

class Program
{
   
   
    static void Main(
最低0.47元/天 解锁文章
C#使用Selenium WebDriver模拟人工操作网页方法
一只没有感情的AI机械猿
09-15 4488
确保在项目中引用了`using OpenQA.Selenium`和`using OpenQA.Selenium.Chrome`（或适用于其他浏览器的命名空间，例如`OpenQA.Selenium.Firefox`），以便访问Selenium WebDriver的类和方法。- Chrome 驱动程序（ChromeDriver）：[ChromeDriver下载页面](https://sites.google.com/chromium.org/driver/)根据的项目需求，可以使用不同的浏览器和驱动程序。
C# Selenium使用及诸多事项-I
m0_37667916的博客
02-18 3446
Selenium的介绍 Selenium是一种web自动化测试的工具框架，现支持的浏览器足够的多。一般都是用于web的自动测试用，但同时，这种自动测试会使得经过特殊设计的程序（或脚本）来达成超出测试范畴的目的，即网络爬虫。基本上Selenium作为爬虫使用时，就像是人类自己打开某个网页并做某个事情，这极大加大一些反机器人页面的工作量。这样设计的爬虫因为直接使用现存的浏览器内核，所以支持的页面也非常...
C# Selenium学习（三）-获取网页属性
长空X的博客
01-13 7285
C# Selenium学习（三）上一节是操作部分，这一节主要是纪录获取信息的部分。 如果有交流或错误，请在下面评论区留言哦。 获取基本信息基本思想是一样的。大部分都是定位后直接获取属性。只有一部分信息是要掉用方法去查找的。 1.Title标题在创建对象、打开网页后，调用IWebDriver测试器对象的Title属性就可以获取了。如下代码： IWebDriver selenium = new Chr
基于C#与Selenium的Web自动化测试实战项目
最新发布
weixin_29025501的博客
09-23 673
Web自动化测试是通过脚本模拟用户在浏览器中的操作行为，自动执行测试用例并验证功能正确性的技术实践。相比手动测试，它具备高效率、可重复执行、支持回归验证等优势，广泛应用于现代敏捷开发与持续交付流程中。
selenium4-获取页面元素相关信息
m0_70618214的博客
06-13 2187
现在，越来越多的公司和企业开始将业务转移到线上平台。而对于网站或者应用的测试、开发人员来说，获取页面元素相关信息是解决很多问题的关键之一。 如果您正为此而苦恼，那么恭喜您，因为这篇文章将会为您揭秘Selenium4获取页面元素相关信息的技巧和方法！ 无论您是初学者还是专业人士，我都将为您提供详尽的指导和实战案例。让Selenium4帮助您更加轻松地获取页面信息，跟随我的脚步，掌握这些技能吧！
C#获取网页内容
12-17 228
using System.Net;using System.IO;using System.Text; //方法一： // Create a request for the URL. WebRequest request = WebRequest.Create("http://www.h...
c#远程获取网页内容
johncools的博客
12-22 1319
using System;using System.Collections.Generic;using System.Text;using System.Net;using System.IO;namespace thief{    class Program    {        static void Main(string[] args)        {               
C#获取网页内容的三种方式
giszou的专栏
11-21 1180
转载http://www.cnblogs.com/ceachy/articles/CSharp_Retrive_Page_Document.html 搜索网络，发现C#通常有三种方法获取网页内容，使用WebClient、WebBrowser或者HttpWebRequest/HttpWebResponse。。。 方法一：使用WebClient （引用自：http://fbljav
C# 使用Selenium模拟浏览器获取优快云博客内容
06-04
在IT领域，自动化测试和网页抓取是两个重要的实践领域，而C#结合Selenium与Edge浏览器的使用，为开发者提供了高效且灵活的工具来实现这些功能。本篇将深入探讨如何利用C#和Selenium WebDriver模拟浏览器行为，特别是...
C#使用Selenium+PhantomJS抓取数据
08-31
本文将详细介绍如何在C#环境中利用Selenium WebDriver和PhantomJS来抓取此类网页的数据。 首先，PhantomJS是一款无头浏览器，即它没有图形用户界面，但能够像普通浏览器一样加载和执行JavaScript，这对于网页抓取...
使用 C# 和 Selenium 实现验证码识别登录详解
asfdsgdf的博客
07-14 989
在使用 Tesseract 识别图片时，如果报错 tesseract-ocr 相关信息，可以通过 tesseract-ocr 下载 页面下载并安装 tesseract-ocr。设置 TesseractEngine 实例的 datapath，确保其指向 tesseract-ocr 的安装路径：更多内容联系1436423940。下载并配置 Tesseract-OCR，用于验证码识别。五、输入账号、密码和验证码。
C# 获取网页内容代码
12-27
C#抓取网站内容代码，可以获取各大网站的内容正文的信息。如：新闻网站，等有正文内容的网站。
C# 利用WebBrowser获取网页信息
08-01
用于获取网页信息！利用WebBrowser获取网页信息
C#操作Selenium自动化测试，采集数据实例源码。
03-05
C#操作Selenium自动化测试，采集数据实例源码。压缩包内有所需的资源，代码内有详细注释。可用于爬虫，采集数据，效率低，通过率高。
C#从指定的网站提取网页内容
11-10
本程序使用多线程从特定网页中提取textarea块中的内容。 具体从http://www.veryhuo.com提取中间演示textarea内的html文本，从(网页特效代码)->(详细分类)->html网页中textarea内容，程序内使用了1.多线程 2.正则表达式 3.web文件读取 4.本地文件保存及编码问题。线程挂起没实现 好像用ThreadPool可以暂停纯种线程。
selenium获取网页数据
patmos
10-17 3051
selenium获取网页数据 网页搜索关键词并将相关信息返回 from selenium import webdriver#导入驱动模块 import time#导入时间模块 # 实例化一个浏览器 driver = webdriver.Firefox() # 隐式等待 driver.implicitly_wait(10) # 浏览器最大化 driver.maximize_window() # 打开指定的网页(URL就是指网址) driver.get("http://www.baidu.com") driv
C#获取网页的内容 （转载）
ccx_john的专栏
12-15 1079
C#获取网页内容的三种方式 搜索网络，发现C#通常有三种方法获取网页内容，使用WebClient、WebBrowser或者HttpWebRequest/HttpWebResponse。。。 方法一：使用WebClient （引用自：http://fbljava.blog.163.com/blog/static/265211742008712105145244/） static voi
c#Selenium WebDrive获取网页windowss对话框
08-17
<think>我们正在使用C#和Selenium WebDriver来处理网页弹出的Windows对话框。根据引用[3]，Selenium WebDriver可以通过`SwitchTo().Alert()`方法来处理JavaScript的alert、confirm和prompt对话框。在C#中，我们可以使用类似的方法。 处理步骤： 1. 触发对话框（例如，点击一个按钮）。 2. 使用`driver.SwitchTo().Alert()`来获取对话框的引用。 3. 然后可以执行以下操作： - 获取对话框文本：`alert.Text` - 接受（确定）：`alert.Accept()` - 取消（取消）：`alert.Dismiss()` - 对于prompt，还可以输入文本：`alert.SendKeys("text")` 注意：这些对话框是JavaScript生成的，不是系统级别的对话框（如文件上传对话框）。对于文件上传对话框，Selenium WebDriver不能直接处理，但可以通过在input元素上直接发送文件路径来绕过（引用[2]中提到的基本用法，如sendKeys）。 下面是一个C#的示例代码，展示如何处理alert、confirm和prompt对话框： 示例1：处理alert对话框 ```csharp using OpenQA.Selenium; using OpenQA.Selenium.Chrome; class Program { static void Main() { IWebDriver driver = new ChromeDriver(); driver.Url = "你的网页地址"; // 触发alert对话框 driver.FindElement(By.Id("触发alert的按钮")).Click(); // 切换到alert IAlert alert = driver.SwitchTo().Alert(); // 获取对话框文本 string alertText = alert.Text; Console.WriteLine("对话框文本: " + alertText); // 点击确定按钮 alert.Accept(); driver.Quit(); } } ``` 示例2：处理confirm对话框 ```csharp // 触发confirm对话框 driver.FindElement(By.Id("触发confirm的按钮")).Click(); IAlert confirm = driver.SwitchTo().Alert(); Console.WriteLine(confirm.Text); // 选择确定 confirm.Accept(); // 或者选择取消 // confirm.Dismiss(); ``` 示例3：处理prompt对话框 ```csharp // 触发prompt对话框 driver.FindElement(By.Id("触发prompt的按钮")).Click(); IAlert prompt = driver.SwitchTo().Alert(); prompt.SendKeys("输入文本"); prompt.Accept(); // 或者使用Dismiss()取消 ``` 注意：在操作对话框之前，确保对话框已经弹出。如果对话框没有及时出现，可能需要等待。可以使用显式等待（WebDriverWait）来等待对话框出现。 等待对话框出现的示例： ```csharp using OpenQA.Selenium.Support.UI; // 等待alert出现 WebDriverWait wait = new WebDriverWait(driver, TimeSpan.FromSeconds(10)); IAlert alert = wait.Until(ExpectedConditions.AlertIsPresent()); ``` 对于非JavaScript弹窗（如文件上传对话框），Selenium WebDriver无法直接处理。但是，如果该对话框是由input元素触发的，那么我们可以通过直接设置input元素的值来上传文件，而不需要打开文件对话框（引用[2]中的基本用法）。 例如，处理文件上传： ```csharp // 定位到文件上传的input元素 IWebElement fileInput = driver.FindElement(By.Id("fileUploadInput")); // 直接发送文件路径（绝对路径） fileInput.SendKeys(@"C:\path\to\file.jpg"); ``` 总结：对于JavaScript的alert、confirm和prompt，使用`driver.SwitchTo().Alert()`；对于文件上传，通过input元素直接发送文件路径。 引用[1]提到Selenium采用JavaScript来管理整个测试过程，而WebDriver则直接使用浏览器内置的自动化支持。因此，上述方法在WebDriver中是直接支持的。 根据引用[3]和引用[4]，这些方法在多种浏览器中都是适用的。 最后，注意在C#中，需要添加相应的NuGet包（如Selenium.WebDriver, Selenium.Support等）。 相关问题： 1. 如何在C#中使用Selenium WebDriver处理多个连续的弹窗？ 2. 在C#中，如果弹窗出现后没有及时处理会有什么后果？如何避免？ 3. 对于非input元素触发的文件上传对话框，Selenium WebDriver在C#中有什么解决办法？</think>在C#中使用Selenium WebDriver处理网页弹出的Windows对话框（实际是JavaScript弹窗）主要通过`ITargetLocator.Alert`接口实现。以下是详细方法和代码示例： ### 基础处理步骤 1. **定位弹窗**：使用`driver.SwitchTo().Alert()` 2. **获取弹窗文本**：`alert.Text` 3. **操作弹窗**： - 确认：`alert.Accept()` - 取消：`alert.Dismiss()` - 输入文本：`alert.SendKeys("text")`（仅适用于prompt） ### 完整代码示例 ```csharp using OpenQA.Selenium; using OpenQA.Selenium.Chrome; class AlertHandler { public static void Main() { IWebDriver driver = new ChromeDriver(); driver.Navigate().GoToUrl("https://example-page.com"); // 触发弹窗（示例按钮点击） driver.FindElement(By.Id("alertButton")).Click(); // 1. 处理Alert警告框 IAlert alert = driver.SwitchTo().Alert(); Console.WriteLine("警告内容: " + alert.Text); alert.Accept(); // 点击确定 // 2. 处理Confirm确认框 driver.FindElement(By.Id("confirmButton")).Click(); alert = driver.SwitchTo().Alert(); alert.Dismiss(); // 点击取消 // 3. 处理Prompt输入框 driver.FindElement(By.Id("promptButton")).Click(); alert = driver.SwitchTo().Alert(); alert.SendKeys("测试输入"); // 输入文本 alert.Accept(); driver.Quit(); } } ``` ### 关键注意事项 1. **弹窗类型支持**： - ✅ JavaScript原生弹窗（alert/confirm/prompt） - ❌ 系统级文件上传对话框（需通过`SendKeys`直接操作文件输入框） ```csharp // 文件上传替代方案 driver.FindElement(By.Id("fileInput")).SendKeys(@"C:\path\to\file.txt"); ``` 2. **弹窗等待机制**： ```csharp WebDriverWait wait = new WebDriverWait(driver, TimeSpan.FromSeconds(10)); wait.Until(ExpectedConditions.AlertIsPresent()); ``` 3. **嵌套弹窗处理**： ```csharp // 处理主弹窗 driver.SwitchTo().Alert().Accept(); // 处理嵌套弹窗 driver.SwitchTo().Alert().Accept(); ``` ### 异常处理 ```csharp try { IAlert alert = driver.SwitchTo().Alert(); alert.Accept(); } catch (NoAlertPresentException) { Console.WriteLine("当前无弹窗"); } ``` ### 各弹窗类型操作对比 | 弹窗类型 | 获取文本 | 确认 | 取消 | 输入文本 | |---------|---------|-----|------|---------| | Alert | ✅ | ✅ | ❌ | ❌ | | Confirm | ✅ | ✅ | ✅ | ❌ | | Prompt | ✅ | ✅ | ✅ | ✅ | > **重要提示**：Selenium只能处理浏览器内的JavaScript弹窗，无法直接操作系统级对话框（如打印对话框）。对于文件上传，应绕过对话框直接操作文件输入元素[^1][^3]。 --- ### 相关问题 1. **如何在C#中处理连续弹出的多个对话框？** ```csharp // 处理第一个弹窗 driver.SwitchTo().Alert().Accept(); // 处理后续弹窗 driver.SwitchTo().Alert().Dismiss(); ``` 2. **Selenium能处理浏览器插件（如Adobe Reader）弹出的对话框吗？** 不能。这类对话框属于操作系统级别，Selenium只能通过绕过方案处理（如直接设置文件路径）。 3. **如何处理动态加载页面中的延迟弹窗？** 使用显式等待： ```csharp WebDriverWait wait = new WebDriverWait(driver, TimeSpan.FromSeconds(15)); wait.Until(ExpectedConditions.AlertIsPresent()); ``` 4. **在iframe中的弹窗如何处理？** 先切换到iframe再处理弹窗： ```csharp driver.SwitchTo().Frame("iframeId"); driver.SwitchTo().Alert().Accept(); driver.SwitchTo().DefaultContent(); // 切回主文档 ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值