朗朗上口就行啦的博客

1、selenium.common.exceptions.InvalidArgumentException: Message: invalid argument: user data directory is already in use, please specify a unique value for --user-data-dir argument, or don't use --user-data-dir当我使用多进程驱动多个谷歌浏览器时，发现永远都只有一个界面刷新，由此，发现问题解决方法

目录一 multiprocessing模块介绍二 Process类的介绍三 创建并开启进程的两种方法方法一 直接调用方法二 继承式调用四Process对象的join方法五守护进程六进程同步(锁)例1：多个进程共享同一打印终端不加锁加锁七 进程间通信1. 队列（推荐使用）应用2. 管道创建管道的类：3. 共享数据4.信号量(了解）5.事件(了解)6. 进程池6.1、同步调用6.2、异步调用一 multiproc...

1、我是去360安全卫士安装最新版的火狐稳定版，版本81.0.2 (64 位)2、火狐浏览器驱动直接从网上下载即可， geckodriver的下载链接：https://github.com/mozilla/geckodriver/releases我下载的是geckodriver-v0.27.0-win64.zip3、配置参数fp = webdriver.FirefoxProfile()# 限制CSS加载fp.set_preference("permissions.defaul...

1、安装环境windows+pycharm2、安装PyQt5pip install PyQt53、安装PyQt5-toolspip install PyQt5-tools4、配置pycharm配置PyCharm是为了在Pycharm里面实现打开qt designer，然后生成qt文件，然后将qt文件转换成python语言的软件文件。4.1、配置designer.exe选择File->Settings->Tools->External Tools-&.

在windows下，可以使用pyinstaller打包python程序为exe可执行程序。1、安装pyinstaller在cmd命令行窗口运行以下命令安装pyinstallerpip install pyinstaller2、打包python程序在python程序所在目录，执行以下命令# 切换到指定目录cd /d path# 正常打包命令pyinstaller -F -w -i ico_path xxx.py-F 是将所有文件打成一个exe文件，一般是必写的（注意必须

1、环境pycharm+selenium+pyquery+openpyxl+tkinter+tkinter.filedialog2、功能说明通过openpyxl读取关键词，爬取亚马逊指定关键词商品 的信息，并将获取到的信息通过openpyxl写入到excel中 用户可自己选择文件打开和存储的路径 用户可选择增加或删减查找的信息 用户可选择配送地址3、新增文件对话框模块import tkinter as tkfrom tkinter import filedialogfrom t

1、环境pycharm+selenium+pyquery+openpyxl2、功能说明通过openpyxl读取关键词，爬取亚马逊指定关键词商品 的信息，并将获取到的信息通过openpyxl写入到excel中3、完整代码import timefrom selenium import webdriverfrom selenium.webdriver.support.ui import WebDriverWaitfrom selenium.webdriver.support impo

1、环境pycharm+selenium+pyquery+xlsxwrite+xlrd2、功能说明从前文爬取亚马逊商品一中确定了不能自己选择查找内容的弊端，所以添加了通过xlrd从excel中获取关键词链表，爬取亚马逊指定关键词商品 的信息，并将获取到的信息通过xlsxwrite写入到excel中3、完整代码import timefrom selenium import webdriverfrom selenium.webdriver.support.ui import WebD

1、环境pycharm+selenium+pyquery+xlsxwrite2、功能说明爬取亚马逊指定商品 duvet insert的信息，并将获取到的信息通过xlsxwrite写入到excel中3、完整代码import timefrom selenium import webdriverfrom selenium.webdriver.support.ui import WebDriverWaitfrom selenium.webdriver.support import ex

发现python很好玩，它会提供单纯的读、写的模块，所以我需要一个可以读写的模块 XlsxWriter xlrd openpyxl 介绍 可以创建XLSX文件 用来读取xls文件，是python-excel的三大模块 可以读写XLSX、XLSM文件 读 × √ √ 写 √ × √ .xls × √ × .xlsx √ × √ 大文件 √ × √ 注..

1、xlrd介绍xlrd是python环境下对excel中的数据进行读取的一个模板，可以进行的操作有：读取有效单元格的行数、列数 读取指定行（列）的所有单元格的值 读取指定单元格的值 读取指定单元格的数据类型2、基本功能我使用xlrd主要的目的就是为了读取2.1、导入模块#安装模块pip install xlrd#导入模块import xlrd2.2、新建excel表# 需要文件存在data = xlrd.open_workbook("C:/Users/adm

1、基本功能1.1、导入模块import xlsxwriter1.2、新建excel表workbook = xlsxwriter.Workbook('1.xlsx')1.3、新建sheetworksheet = workbook.add_worksheet('sheet1') 1.4、行写入worksheet.write_row('A1', ['日期', '标题', '内容'])1.5、列写入worksheet.write_column('D2',["无",

1、ChromeOptions相关配置chromeOptions 是一个配置 chrome 启动是属性的类。1.1、配置参数添加启动参数 (add_argument) 添加扩展应用 (add_extension, add_encoded_extension) 添加实验性质的设置参数 (add_experimental_option) 设置 chrome 二进制文件位置 (binary_location) 设置调试器地址 (debugger_address)1.2、构造函数# .\

在上一章python 爬虫前奏五 webdriver中的等待中简单的提过WebDriverWait与expected_conditions结合使用，但是这个是需要详细了解的内容来源于互联网，这里仅做笔记和参考用一、Expected Conditions 用法详解首先添加包from selenium.webdriver.support import expected_conditions as EC1、判断当前页面的 title 是否等于预期值title_is( String ti

在上一章python 爬虫前奏四 Selenium库的使用中简单的提过一句webdriver等待，但是这个是需要详细了解的1、强制等待sleepimport timesleep(2) #等待2秒由python的time包提供，但是使用缺点很大，因为sleep是整个进程休眠阻塞2、隐式等待:implicitly_wait()driver.implicitly_wait(10) #隐式等待10秒由webdriver提供的方法，一旦设置，这个隐式等待会在WebDriver对象实例的

1、环境windows+pycharm+selenium2、安装selenium2.1、win+R->cmd->pip install selenium2.2、File->Setting->Project::项目名->Python Interpreter->双击pip->搜索selenium->install Package如果一直安装失败，可以选择...Python Interpreter->add->选择System Int

1、Beautiful Soup简介简单来说，Beautiful Soup就是Python的一个HTML或XML的解析库，可以用它来方便地从网页中提取数据。Beautiful Soup提供一些简单的、Python式的函数来处理导航、搜索、修改分析树等功能。它是一个工具箱，通过解析文档为用户提供需要抓取的数据，因为简单，所以不需要多少代码就可以写出一个完整的应用程序。Beautiful Soup自动将输入文档转换为Unicode编码，输出文档转换为UTF-8编码。你不需要考虑编码方式，除非文档没有指定一个

1. xPath介绍xPath全称为XML路径语言（XML Path Language），它是一种用来确定XML文档中某部分位置的语言。同时，它完全适用于html的文档搜索。XPath基于XML的树状结构，他提供了非常简洁明了的路径选择表达式，能够在数据结构树中找寻指定节点。对于爬虫，我们完全可以利用xpath进行数据筛选和数据提取。2、xPath常用规则xpath常用语法规则，在接下来的内容中我们会经常用到:*:选取此节点下的所有节点 //: 从当前节点选取子孙节点 /: 从当前节

1、初始化字符串初始化doc = pq(html)文件初始化doc = pq(filename='demo.html')#但是需要修改pyquery的源码if 'filename' in kwargs: #html = open(kwargs['filename']) html = open(kwargs['filename'], "r", encoding="utf-8")URL初始化doc = pq(url='http://cuiqingcai.com'

python的介绍python保留字与c语言一样，关键词不能命名['False', 'None', 'True', 'and', 'as', 'assert', 'break', 'class', 'continue', 'def', 'del', 'elif', 'else', 'except', 'finally', 'for', 'from', 'global', 'if', 'import', 'in', 'is', 'lambda', 'nonlocal', 'not', 'or