python 网页截取

转载于 2014-10-09 15:01:55 发布 · 717 阅读

文章标签：

#python

python 专栏收录该内容

6 篇文章

订阅专栏

本文介绍了如何使用Python的Selenium库自动化加载网页内容，并通过执行JavaScript脚本来实现页面滚动，以便捕获完整页面内容的截图。通过设置窗口大小、加载页面、执行滚动操作和保存截图等步骤，实现对网页复杂内容的完整捕获。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

# -*- coding: utf-8 -*-
#
# author: oldj <oldj.wu@gmail.com>
#
 
from selenium import webdriver
import time
 
 
def capture(url, save_fn="capture.png"):
  browser = webdriver.Firefox() # Get local session of firefox
  browser.set_window_size(1200, 900)
  browser.get(url) # Load page
  browser.execute_script("""
    (function () {
      var y = 0;
      var step = 100;
      window.scroll(0, 0);
 
      function f() {
        if (y < document.body.scrollHeight) {
          y += step;
          window.scroll(0, y);
          setTimeout(f, 50);
        } else {
          window.scroll(0, 0);
          document.title += "scroll-done";
        }
      }
 
      setTimeout(f, 1000);
    })();
  """)
 
  for i in xrange(30):
    if "scroll-done" in browser.title:
      break
    time.sleep(1)
 
  browser.save_screenshot(save_fn)
  browser.close()
 
 
if __name__ == "__main__":
 
  capture("http://www.jb51.net")