PYTHON 页面截屏

最新推荐文章于 2025-09-19 16:38:37 发布

原创最新推荐文章于 2025-09-19 16:38:37 发布 · 756 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#python #chrome

python 专栏收录该内容

1 篇文章

订阅专栏

该代码示例展示了如何结合Selenium浏览器自动化工具和PyMySQL数据库库来实现网页数据抓取。程序首先连接到MySQL数据库，然后通过Selenium以无头模式浏览指定网址，并滚动页面以加载更多内容。在抓取过程中，它将页面截图并保存为PNG文件。最后，数据被插入到数据库的img_tmp表中。

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
#需要下载chromedriver
from selenium.webdriver.chrome.options import Options

import os
import pymysql
# 1. 连接数据库，
conn = pymysql.connect(
    host='',
    user='',
    password='',
    db='',
    charset='utf8',
       # autocommit=True,    # 如果插入数据，， 是否自动提交? 和conn.commit()功能一致。
)
cur = conn.cursor()

import time
# 格式化成2016-03-20 11:45:39形式
create_time = time.strftime("%Y-%m-%d %H:%M:%S", time.localtime())

chrome_options = Options()
# 静默模式
chrome_options.add_argument('--headless')
chrome_options.add_argument('--disable-gpu')
# 禁止图片加载
chrome_options.add_experimental_option('prefs', {'profile.managed_default_content_settings.images': 2})
driver = webdriver.Chrome(options=chrome_options)

data = ['00340434496741082137','00340434496740474957']

js_height = "return document.body.clientHeight"
for i in data:
	driver.get('https://www.cne.com/English/?no='+i)
	k = 1
	height = driver.execute_script(js_height)
	while True:
		if k * 500 < height:
			js_move = "window.scrollTo(0,{})".format(k * 500)
			print(js_move)
			driver.execute_script(js_move)
			time.sleep(0.5)
			height = driver.execute_script(js_height)
			k += 1
		else:
			break
	scroll_width = driver.execute_script('return document.body.parentNode.scrollWidth')
	scroll_height = driver.execute_script('return document.body.parentNode.scrollHeight')
	driver.set_window_size(2000, scroll_height)
	tuple1 = ('img/',i, '.png')
	driver.get_screenshot_as_file(''.join(tuple1))

	sqli = "insert into img_tmp(type, tracking_no) values ('CNE', '"+i+"')";
	cur.execute(sqli)
	conn.commit()
	print(i)
	time.sleep(1)

driver.quit()