爬虫利器,chrome headless ,无头浏览器Puppeteer

v18770350613

于 2019-06-06 17:34:22 发布

阅读量1.2k

点赞数

分类专栏： .net 文章标签：爬虫无头浏览器 .net 动态抓取数据

本文链接：https://blog.youkuaiyun.com/v18770350613/article/details/91047542

版权

本文介绍了在使用phantomjs爬取京东搜索页数据遇到问题后，转向采用.NET爬虫神器Puppeteer来解决动态加载数据的抓取。Puppeteer的异步特性使其在处理此类任务时表现出高效实用性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

之前使用phantomjs爬取京东搜索页数据,发现无法爬取后三十条数据,原因是京东数据动态加载的原因,后发现一款.net爬虫神器Puppeteer

上代码,十分简单:
首先引用headless, chrome .net api
在这里插入图片描述

        //Enabled headless option
        var launchOptions = new LaunchOptions { Headless = true };
        //Starting headless browser
        var browser = await Puppeteer.LaunchAsync(launchOptions);

        //New tab page
        var page = await browser.NewPageAsync();
        //Request URL to get the page

        string url;
        string key = HttpUtility.UrlEncode("水果");
        url = "https://search.jd.com/Search?keyword=" + key + "&enc=utf-8$page=1";

        await page.GoToAsync(url);

        await page.Keyboard.PressAsync("Space");
        await page.Keyboard.PressAsync("Space");
        awai