C#使用selenium的爬虫速度再提升十倍的方法在这

最新推荐文章于 2025-07-01 16:39:14 发布

原创最新推荐文章于 2025-07-01 16:39:14 发布 · 2k 阅读

13 ·

CC 4.0 BY-SA版权

文章标签：

#爬虫 #C# #selenium

C#爬虫专栏收录该内容

7 篇文章

订阅专栏

本文介绍了一种使用浏览器自动化工具批量打开和抓取网页的方法，通过执行JavaScript代码实现窗口的快速打开与切换，有效提升数据抓取效率。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

紧接上文啊！
这个方法
其实就是使用打开窗口的方式。使用下面这行核心代码：

 driver.ExecuteScript("window.open(\"" + url + "\")");

就这么简单。
你可以一次性打开浏览器的20个窗口，然后获取他们的窗口句柄，通过切换窗口句柄，来得到源码,进行操作。

void craw()
{
int currentIndex=0;
List<string > urlList=new List<string>();
 for (int i = 0; i < 20; i++)
 {
 urlList.Add("https://mp.youkuaiyun.com/mdeditor/99235045");
}
 for (int i = 0; i < 20; i++)
 {
  driver.ExecuteScript("window.open(\"" + urlList[currentIndex] + "\")");
   currentIndex++;        
}
 List<string> handleList = new List<string>();
                var windowHandles = driver.WindowHandles;
               
                foreach (var item in windowHandles)
                {
                    handleList.Add(item);
                }
      for (int i = 1; i < handleList.Count; i++)
                {
                 driver.SwitchTo().Window(handleList[handleList.Count-i]);//后面的先加载完
                   if (i ==1)
                        {
                            Thread.Sleep(5000);
                        }
                        Console.WriteLine(driver.Title);//你对网址的操作，我就是输出了一下标题
                }      

}

你如果是同时达到五个浏览器，这些二十个窗口是同时进行加载的。最理想的情况下，网速内存都不考虑，那就是提高了近二十倍的速度。
不过这种事情，不可贪多，20个刚刚好，打开窗口过多，会被浏览器给封掉的。