ChromeDriver中的PageSource返回 的问题

在使用ChromeDriver进行爬虫时,遇到PageSource返回时不包含HTML中的空格占位符 ,而是替换为不可见字符,导致解析后的页面出现错误。通过查阅资料,了解到可能是ChromeDriver自身的问题。为解决此问题,尝试使用JavaScript来获取页面源码,以此避免PageSource的不准确。参考了GitHub上的相关讨论和解决方案。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

由于PhantomJS停止开发,爬虫改用ChromeDriver,遇到如题问题,与大家分享。

我觉得应该是ChromeDriver的问题,没有找到官方的方法,其他的driver或许也有类似问题,没有测试

如果请求页面里面包含空格占位符 ,PageSource不会返回 ,而是返回不可见字符来代替,这样做在页面渲染的时候没有问题,但是想取得页面source的时候就会导致页面不正确,该显示空格的地方显示成了?号。

获取页面html的代码通常这样写,html中 会被替换成不可见字符

            driver.Navigate().GoToUrl(url);
            string html = driver.PageSource;

在网上参照了下面的文章

https://github.com/GoogleChrome/puppeteer/issues/406

https://github.com/jeresig/puppeteer/commit/861d76dfbce9adbcaf4bf1061927396dadceea6a

代码修改如下,不用PageSource,而是通过js来获取source,代码中保留PageSource的目的是等待html加载完成

            driver.Navigate().GoToUrl(url);
            IJavaScriptExecutor js = (IJavaScriptExecutor)driver;

            string html = driver.PageSource;

            string getContent = @"
      let retVal = '';
      const doctype = document.doctype;
      if (doctype) {
        // DOCTYPE serialization algorithm based on:
        // https://stackoverflow.com/a/10162353
        retVal = '<!DOCTYPE '
          + doctype.name
          + (doctype.publicId
            ? ` PUBLIC ""${doctype.publicId}""`
            : doctype.systemId ? ' SYSTEM' : '')
          + (doctype.systemId ? ` ""${doctype.systemId}""` : '')
          + '>';
      }

      if (document.documentElement)
        retVal += document.documentElement.outerHTML;
      return retVal;
";
            html = (string)js.ExecuteScript(getContent);


评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值