ChromeDriver中的PageSource返回 的问题

最新推荐文章于 2024-09-14 14:32:20 发布

原创最新推荐文章于 2024-09-14 14:32:20 发布 · 6k 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#ChromeDriver #PageSource #&nbsp; #Selenium

在使用ChromeDriver进行爬虫时，遇到PageSource返回时不包含HTML中的空格占位符 ，而是替换为不可见字符，导致解析后的页面出现错误。通过查阅资料，了解到可能是ChromeDriver自身的问题。为解决此问题，尝试使用JavaScript来获取页面源码，以此避免PageSource的不准确。参考了GitHub上的相关讨论和解决方案。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

由于PhantomJS停止开发，爬虫改用ChromeDriver，遇到如题问题，与大家分享。

我觉得应该是ChromeDriver的问题，没有找到官方的方法，其他的driver或许也有类似问题，没有测试

如果请求页面里面包含空格占位符 ，PageSource不会返回 ，而是返回不可见字符来代替，这样做在页面渲染的时候没有问题，但是想取得页面source的时候就会导致页面不正确，该显示空格的地方显示成了？号。

获取页面html的代码通常这样写，html中 会被替换成不可见字符

            driver.Navigate().GoToUrl(url);
            string html = driver.PageSource;

在网上参照了下面的文章

https://github.com/GoogleChrome/puppeteer/issues/406

https://github.com/jeresig/puppeteer/commit/861d76dfbce9adbcaf4bf1061927396dadceea6a

代码修改如下，不用PageSource，而是通过js来获取source，代码中保留PageSource的目的是等待html加载完成

            driver.Navigate().GoToUrl(url);
            IJavaScriptExecutor js = (IJavaScriptExecutor)driver;

            string html = driver.PageSource;

            string getContent = @"
      let retVal = '';
      const doctype = document.doctype;
      if (doctype) {
        // DOCTYPE serialization algorithm based on:
        // https://stackoverflow.com/a/10162353
        retVal = '<!DOCTYPE '
          + doctype.name
          + (doctype.publicId
            ? ` PUBLIC ""${doctype.publicId}""`
            : doctype.systemId ? ' SYSTEM' : '')
          + (doctype.systemId ? ` ""${doctype.systemId}""` : '')
          + '>';
      }

      if (document.documentElement)
        retVal += document.documentElement.outerHTML;
      return retVal;
";
            html = (string)js.ExecuteScript(getContent);