python - pychrome 页面抓取测试

最新推荐文章于 2025-11-22 08:41:43 发布
原创 最新推荐文章于 2025-11-22 08:41:43 发布 · 4.1k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#pychrome #chrome-headless

本文介绍了使用Python的PyChrome库配合Chrome无头模式(headless)进行网页内容抓取的测试过程。作者详细记录了如何启动浏览器并利用Chrome Dev Protocol进行操作。

python - pychrome 页面抓取测试

Max.Bai

2019.06

 

记录一下去年做页面抓取的脚本记录。

使用Chrome-headless抓取页面内容，使用python 的pychrome包。

要先开启浏览器

然后通过pychrome调用chrome dev protocol

#! python3
# _*_ coding:utf-8 _*_


__author__ = 'Max.Bai'
__date__ = '2018.06'

import pychrome
import threadpool
import threading
ticket_lock = threading.Lock()
p_lock = threading.Lock()
import time

# start chrome first
# "C:\Program Files (x86)\Google\Chrome\Application\chrome.exe" --headless --remote-debugging-port=9222 --disable-gpu --remote-debugging-address=0.0.0.0
# google-chrome --no-sandbox --headless --remote-debugging-port=9222 --user-data-dir=/home/tools/chrome/temp/ --remote-debugging-address=0.0.0.0 --disable-gpu

class BrowserManager(object):
    _tab_pool = {}
    _browsers = {}
    
    @staticmethod
    def add_browser(host, port, tab_count=5):
        browser_key = "{}:{}".format(host.lower(), port)
        if browser_key in BrowserManager._browsers:
            br = BrowserManager._browsers[browser_key]
        else:
            browser_url = "http://{}:{}".format(host.lower(), port)
            br = pychrome.Browser(url=browser_url)
            BrowserManager._browsers[browser_key] = br

        tabs = br.list_tab(5)
        if tab_count > len(tabs):
            for i in range(0, (tab_count - len(tabs))):
                br.new_tab()
        br.list_tab(5)
        BrowserManager._tab_pool.update(br._tabs)

    def get_tab(self):
        global ticket_lock
        tab = None
        ticket_lock.acquire()
        while tab is None:
            for key in BrowserManager._tab_pool:
                if BrowserManager._tab_pool[key].status == pychrome.Tab.status_initial and BrowserManager._tab_pool[key].used != True:
                    tab = BrowserManager._tab_pool[key]
                    tab.used = True
                    break
        ticket_lock.release()
        return tab

    def release_tab(self, tab):
        global p_lock
        p_lock.acquire()
        for browser_key in self._browsers:
            if tab._websocket_url.find(browser_key) >= 0:
                # self._browsers[browser_key].new_tab()
                # self._browsers[browser_key].close_tab(tab)
                self._browsers[browser_key].list_tab()
                BrowserManager._tab_pool[tab.id] = self._browsers[browser_key]._tabs[tab.id]
                # BrowserManager._tab_pool.pop(tab.id)
        p_lock.release()

    def close_all_tab(self):
        for br in BrowserManager._browsers:
            tabs = BrowserManager._browsers[br].list_tab()
            for tab in tabs:
                BrowserManager._browsers[br].close_tab(tab)


def callback_test(**kw):
    # print('call back')
    st = time.time()
    tab = kw['tab']
    count = 0
    timeout = 3
    while True:
        count += 1
        if time.time() - st > timeout:
            break
        
        try:
            root_dom = tab.DOM.getDocument(depth=1)
            result = tab.DOM.getOuterHTML(nodeId=root_dom.get('root')['nodeId'])
            tab.outerHTML = result.get('outerHTML')
            # print(str(result)[:100])
            # print('html cost', time.time() - st)
            break
        except Exception as e:
            print('failed {} times '.format(count))
            continue
    tab.stop()
    

def get_html_content(bm, url):
    tab = bm.get_tab()
    # print(tab._websocket_url)
    tab.debug = True
    tab.set_listener('Network.dataReceived', callback_test)
    tab.outerHTML = ''
    st = time.time()
    tab.start()
    tab.Network.enable()
    tab.CSS.disable()
    tab.Page.navigate(url=url)
    tab.wait(timeout=3)
    print('one url cost:', time.time()-st)
    # print(tab.outerHTML)
    bm.release_tab(tab)

def main():
    bm = BrowserManager()
    tab_count = 2
    bm.add_browser('127.0.0.1', 9222, tab_count=tab_count)
    bm.add_browser('127.0.0.1', 9223, tab_count=tab_count)
    bm.add_browser('127.0.0.1', 9224, tab_count=tab_count)
    bm.add_browser('127.0.0.1', 9225, tab_count=tab_count)
    bm.add_browser('127.0.0.1', 9226, tab_count=tab_count)
    # bm.add_browser('200.200.200.235', 9222, tab_count=tab_count)
    # bm.add_browser('200.200.200.235', 9223, tab_count=tab_count)

    urls = [
        "http://1.2.3.4/svn/repositories/server/wiki/project/pages/cms/abababababababababababab.html",
        "http://1.2.3.4/svn/repositories/server/wiki/project/pages/cms/ababababababababab.html",
        "http://1.2.3.4/svn/repositories/server/wiki/project/pages/cms/abababababababababababababababababababababababababababababab.html",
        "http://1.2.3.4/svn/repositories/server/wiki/project/pages/cms/abababababab.html",
        "http://1.2.3.4/svn/repositories/server/wiki/project/pages/cms/WIFIabababababababababababababababababab.html",
        "http://1.2.3.4/svn/repositories/server/wiki/project/pages/cms/abababababab.html",
        "http://1.2.3.4/svn/repositories/server/wiki/project/pages/cms/manage/WEB/abababababababababababab/index.html",
        "http://1.2.3.4/svn/repositories/server/wiki/project/pages/cms/manage/WEB/abababababababababababab/userList.html",
        "http://1.2.3.4/svn/repositories/server/wiki/project/pages/cms/manage/WEB/abababababababababababab/label.html",
        "http://1.2.3.4/svn/repositories/server/wiki/project/pages/cms/manage/WEB/ababababababababababababababab/adv.html",
        "http://1.2.3.4/svn/repositories/server/wiki/project/pages/cms/manage/WEB/ababababababababababababababab/media.html",
        "http://1.2.3.4/svn/repositories/server/wiki/project/pages/cms/manage/WEB/abababababababababababababababababab/orderconfig.html",
        "http://1.2.3.4/svn/repositories/server/wiki/project/pages/cms/manage/WEB/abababababababababababababababababab/orderconfig.html",
        "http://1.2.3.4/svn/repositories/server/wiki/project/pages/cms/manage/WEB/abababababababababababababababababab/voiceoperationconfig.html",
        "http://1.2.3.4/svn/repositories/server/wiki/project/pages/cms/manage/WEB/abababababababababababab/picture.html",
        "http://1.2.3.4/svn/repositories/server/wiki/project/pages/cms/manage/WEB/abababababababababababababababababab/help.html",
        "http://1.2.3.4/svn/repositories/server/wiki/project/pages/cms/manage/WEB/abababababababababababababababababab/producttrace.html",
        "http://1.2.3.4/svn/repositories/server/wiki/project/pages/cms/manage/WEB/abababababababababababab/albums.html",
        "http://1.2.3.4/svn/repositories/server/wiki/project/pages/cms/manage/WEB/abababababababababababab/service.html",
        "http://1.2.3.4/svn/repositories/server/wiki/project/pages/point/ababababababababababababappabababababab.html",
        "http://1.2.3.4/svn/repositories/server/wiki/project/pages/point/abababababababababababababababababab.html",
        "http://1.2.3.4/svn/repositories/server/wiki/project/pages/weather/abababababab.html",
        "http://1.2.3.4/svn/repositories/server/wiki/project/pages/weather/abababababab.html",
    ]

    thread_count = 10
    print('Thead count', thread_count)
    pool = threadpool.ThreadPool(thread_count)

    pars = [([bm, url], None) for url in urls]
    requests = threadpool.makeRequests(get_html_content, pars) 
    [pool.putRequest(req) for req in requests] 
    pool.wait()
    # bm.close_all_tab()
    


if __name__ == '__main__':
    st = time.time()
    main()
    print('Total Cost:', time.time() - st)

 

Python基础101：Python调用chrome浏览器
若北辰
06-26 1582
chrome浏览器调式的驱动下载网址 http://chromedriver.storage.googleapis.com/index.html注意： 下载chrome浏览器调试的驱动版本，要跟你的Windows上安装的chrome浏览器的版本一样。 例如：我的浏览器版本（ 86.0.4240.198）我就在上述网址中选中（86.0.4240.22）就可以了，前三个一致就行，然后进去后选择（chromedriver_win32.zip）下载，并安装 在该程序所在文件夹下创建一个文件夹，然后在该文件夹下创建一
10.Python使用chromedriver加selenium模拟人工对浏览器进行操作
你要明白，任何问题都不是孤立存在的，一定有人曾经遇到过，并且已经有更好的解决办法了，只是我还不知道。我不应该在黑暗中独自前行，去重新发明轮子，也许我的顿悟，只是别人的基本功！我应该要站在巨人的肩膀上，学习更成熟的经验和方法，然后再来解决这个问题
06-18 1264
selenium
python爬取动态网页_Python 抓取动态网页内容方案详解
weixin_39819661的博客
11-20 606
用Python实现常规的静态网页抓取时，往往是用urllib2来获取整个HTML页面，然后从HTML文件中逐字查找对应的关键字。如下所示：import urllib2url="http://mm.taobao.com/json/request_top_list.htm?type=0&page=1"up=urllib2.urlopen(url)#打开目标页面，存入变量upcont=up.read()...
掌握Python浏览器自动化：PyChrome从入门到实战
最新发布
gitblog_00990的博客
11-22 463
在当今Web开发和数据抓取领域，Python浏览器自动化工具PyChrome正成为开发者的得力助手。这款基于Chrome DevTools Protocol的Python包让开发者能够通过代码直接控制Chrome浏览器，实现各种复杂的自动化任务。 ## 🚀 快速上手指南 ### 环境准备与安装 首先通过以下命令安装PyChrome： ```bash pip install -U pych
python操控chrome抓网页
咖啡花园
01-28 2261
通过chrome浏览器直接打开目标网站，然后直接抓取里面的前端代码，可以让我们不必分析、破解目标网站的接口加密规则，因为对于非目标网站的内部人员来说，这个工作可没有那么简单。 首先要了解的是，WebDriver是一个开源工具，用于跨多个浏览器自动测试Web应用程序，它提供了导航到网页、用户输入、JavaScript执行等功能。 Python的Selenium库是WebDriver的Python语言...
Python爬虫基础讲解（二）：chrome开发者工具
Python案例分享，B站视频教程：https://space.bilibili.com/523606542
05-08 755
Python爬虫、数据分析、网站开发等案例教程视频免费在线观看 https://space.bilibili.com/523606542 Python学习交流群：1039649593 当我们爬取不同的网站是，每个网站页面的实现方式各不相同，我们需要对每个网站都进行分析。那是否有一些通用的分析方法?我分享下自己爬取分析的“套路”。在某个网站上，分析页面以及抓取数据，我用得最多的工具是Chrome开发者工具。 Chrome开发者工具是一套内置于Google Chrome 中的 Web 开发和调试工
使用python脚本配合Chrome浏览器抓取网站cookie
qq_41060781的博客
04-17 3240
提取网站cookie，python程序+Chrome浏览器
Python cdp ( Chrome DevTools Protocol ) 爬虫
墨鱼菜鸡
07-11 4145
devtools-protocol：https://github.com/ChromeDevTools/devtools-protocol Chrome DevTools Protocol：https://chromedevtools.github.io/devtools-protocol/ Awesome Chrome DevTools ：https:...
python+selenium+chromedriver实现爬虫示例代码
09-17
Python+Selenium+ChromeDriver 实现爬虫是一种自动化网页抓取技术，它允许开发者模拟真实用户在浏览器中的行为，包括点击、滚动、填写表单等。本文将深入探讨这个技术栈，帮助初学者理解和掌握相关知识。 首先，让...
Python环境下利用Chrome Debug Protocol解决动态网页爬取问题
标题“CDPcrawl-pychrome：多余的python的Requset库无法处理动态网页的问题，chrome debug procotol支持的所有内容”揭示了几个关键知识点： 1. **CDPcrawl-pychrome**：可能是一个工具或库的名称，用于在使用...
基于Python的AWS Lambda无头Chrome自动化工具
在描述中明确指出，该项目并非基于PyChrome，而是使用Selenium作为主要的浏览器控制工具，并运行于Python 3.6环境中。这说明其底层依赖的是成熟的WebDriver协议来驱动Chromium浏览器实例。然而，关键创新点在于它将...
pychrome：适用于Google Chrome开发协议的Python程序包[线程基础]
01-28
Chrome 适用于Google Chrome开发者协议的Python软件包， 目录 安装 要安装pychrome，只需： $ pip install -U pychrome 或从GitHub： $ pip install -U git+https://github.com/fate0/pychrome.git 或从来源： $ python setup.py install 设定Chrome 只是： $ google-chrome --remote-debugging-port=9222 或无头模式（Chrome版本> = 59）： $ google-chrome --headless --disable-gpu --remote-debugging-port=9222 或使用docker： $ docker pull fate0/headless-chrome $ docker run -it --rm --cap-add=SYS_ADMIN -p9222:9222 fate0/headless-chrome 入门 import pychrome # create a
探索PyChrome：一款强大的Python Chrome控制库
gitblog_00007的博客
04-15 2164
探索PyChrome：一款强大的Python Chrome控制库 项目地址:https://gitcode.com/gh_mirrors/py/pychrome 简介 是一个优秀的开源项目，它提供了通过Python编程语言直接控制和操作Google Chrome浏览器的能力。借助这个库，开发者可以实现自动化测试、网页数据抓取、模拟用户交互等多种功能，极大地扩展了Python在Web开发领域的应用范...
python调用chrome实现网页自动操作
qq_45179361的博客
11-10 8056
python调用chrome实现网页自动操作。
python测试系列教程——python+Selenium+chrome自动化测试框架
kk_lzvvkpj的博客
02-11 550
utils/extractor.py文件用于抽取器，从响应结果中抽取部分数据，这里实现的是json返回数据的抽取，可以自己添加XML格式、普通字符串格式、Header的抽取器。例如，要测试的网址、调试日志的文件名、日志的输出格式等。– utils/file_reader.py文件用于文件的读取,包含配置文件和数据文件的读取函数.根据文件地址，返回文件中包含的内容。– utils/generator.py文件用于一些生成器方法，生成随机数，手机号，以及连续数字等，以便使用这些数据进行测试。
Python chrome浏览器使用方法介绍
钢铁男儿
01-14 2007
学习目标 1、了解 新建隐身窗口的目的； 2、了解 chrome中network的使用； 3、了解寻找登录接口的方法； 1 新建隐身窗口 浏览器中直接打开网站，会自动带上之前网站时保存的cookie,但是在爬虫首次获取页面是没有携带cookie的，这种情况如何解决呢？ 使用隐身窗口，首次打开网站，不会带上cookie,能够观察页面的获取情况，包括对方服务器如何设置cookie在本地。 2、chrome中network的更多功能 2.1 Perserve log 默认情况下，页面发生跳转之后，之前的请求ur
PyChrome 项目教程
gitblog_00231的博客
10-10 1199
PyChrome 项目的目录结构如下： ``` pychrome/ ├── docs/ ├── examples/ ├── pychrome/ ├── tests/ ├── .coveragerc ├── .gitignore ├── .travis.yml ├── LICENSE ├── MANIFEST.in ├── README.md ├── mkdocs.yml ├── requirem...
python集成chrome浏览器实现程序自动化教程
02-03 1369
最近公司年底了来了个自动化项目，需要使用Python 集成 chromeDriver 实现加载chrome浏览器并实现自动化程序监控，结合使用socks协议实现某些特殊网路的连接。程序并不复杂，主要是在网络连接与多线程中出现的问题需要优化并合理平滑的过渡。
UI自动化测试python+chrome3｜pytest框架实战讲解
大飞记Python的博客
11-30 525
pytest框架实战讲解
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值