分享我的点点滴滴，在成长路上与你同行！

Baidu Comate 智能编码助手

AttributeError: module 'pkgutil' has no attribute 'ImpImporter'. Did you mean: 'zipimporter'?

Python 匿名函数lambda()详解

Python 映射函数map()详解

Python 过滤函数filter()详解

Python selenium 模块使用find_element_by_id无效

Python 递归函数的使用

Python response.text与content区别

Python Xpath和 lxml库的使用

Python 在列表新增字典数据时先添加的数据被覆盖

Python中eval()函数的详细介绍

字典推导式和集合推导式的应用

随机函数random的使用

字符串的使用

使用zip()函数

python 列表切片的使用

python 使用enumerate()函数

.Jupyter notebook

开源项目you-get下载和使用介绍

原因：pip命令失效！解决方案1、ensurepip---启动pip安装程序python -m ensurepip2、upgrade --更新升级pippython -m pip install --upgrade pip测试安装Djangopip install django==3.2.8...

可能的原因：有不同版本的Python，当前项目使用了没有安装Django的Python。 创建的虚拟环境时，没有导入之前下载的包，导致在环境下搜索不到Django。 Django版本过低。解决方案：指定目前的虚拟环境异常：This Python interpreter is in acondaenvironment, but the environment has not been activated. Libraries may fail to load.注意：安...

1.创建工程名my12.配置环境３.查找到已安装好的Anaconda3４. 再次返回就OK５.添加第三方库：

异常如下：Try to run this command from the system terminal. Make sure that you use the correct version of 'pip' installed for your Python interpreter located at 'E:\myDjango\my1\venv\Scripts\python.exe'.解决：清华的仓库：：Simple Index操作如下： 单击Manage Reposioti

用python+ selenium写的UI自动化代码，原来可运行，今天运行突然报如下的错：selenium.common.exceptions.SessionNotCreatedException: Message: session not created: This version of ChromeDriver only supports Chrome version 96Current browser version is 98.0.4758.102 with binary path C:\U.

大家会遇到网页请求数据是经过 JS 处理的，特别是模拟登录时可能有加密请求。而目前绝大部分前端 JS 代码都是经过混淆的，可读性极低，想理解代码逻辑需要花费大量时间。因此不要着急使用 Selenium 暴力解决，毕竟 Selenium 严重拖慢爬虫效率，我们可以尝试使用一些第三方库，来直接执行前端 JS 代码得到处理过后的结果PyExecJS 这个库主要是将 JS 代码运行在本地的 JS 环境中，优点是我们有多种 JS 环境的选择，官方推荐了 PyV8、Node.js、Phant...

一、问卷的具体要求 1.单选题 2.多选题 5,6 （其中第5题选择2-3项） 3.文本题 (输入)二、根据要求分析 1.找到选项组 2.再查找到每一个选项 3.单选或多选的名字是否相同 4.最后查找提交按钮id或class三、核心部分代码四、 效果 ...

sample()方法返回一个列表，其中包含从序列中随机选择的指定数量的项目。random.sample(sequence,k)random.sample(range(1,N), k)表示从[1,N]的范围内随机生成k个数，结果返回列表如：随机生成5个(1, 15)范围内的数字： import random #随机数 for i in range(5): ran = random.randint(1, 10) print(r..

一、分析问卷：1.首先查找到选项组2.再查找到选项的每一个3.查找到按钮二、问卷的具体要求1） 根据要求填单选项2） 根据要求填写文本:第16题 #第16题：希望就读的专业 list1 = ['会计','计算机', '汽修', '幼师', '建筑','动漫', '工商'] key_2 = list1[random.randint(0, 6)] # 填写文本内容->第16选择项 browser.find..

运行selenium发生异常：原因：没有指定chromedriver路径解决： 将chromedriver.exe 放入当前目录安装的selenium库下代码如下：from selenium import webdriverchrome_driver = r'D:\lesson\python\PycharmProjects\venv\Lib\site-packages\selenium\webdriver\chrome\chromedriver.exe'...

大多数情况下，需要设置请求头。而在请求头中，随机更换User-Agent可以避免触发相应的反爬机制。使用第三方库fake-useragent便可轻松生成随机User-Agent。 以下简单介绍fake-useragent的安装使用，以及可能出现的问题和解决方法。 安装： （1）pip install fake-useragent -i https://pypi.doubanio.com/simple （2）File|setting|下 使用：...

scheduler - 调度器 dupefilter - URL去重规则（被调度器使用） pipeline - 数据持久化

分布式爬虫 scrapy-redisScrapy 爬虫框架本身不支持分布式, Scrapy-redis为了实现Scrapy分布式提供了一些以redis为基础的组件https://github.com/rolando/scrapy-redis.git

1.爬虫文件from ..items import GaoqingItemimport requestsclass GqSpider(scrapy.Spider): name = 'gq' allowed_domains = ['gaoqing.la'] start_urls = ['http://gaoqing.la/?s=%E7%94%B5%E5%BD%B1'] def parse(self, response): #获取电影

代码：# 3.2 定位节点-热门推荐-8条#find_elements_by_xpath 表示是多条数据,找到liele=driver.find_elements_by_xpath('//ul[@class="m-cvrlst f-cb"]/li[*]/p/a')# print(ele)#有问题：Message: stale element reference: element is not attached to the page document#使用循环-遍历列表for i i

代码：#2.url路径driver.get("https://music.163.com/")time.sleep(1) #1s# 3.2 定位节点ele=driver.find_element_by_xpath('//ul[@class="m-cvrlst f-cb"]/li/p/a')print(ele)发生异常：selenium.common.exceptions.NoSuchElementException: Message: no such element: Unab

代码：# 3.2 定位节点ele=driver.find_element_by_xpath('//ul[@class="m-cvrlst f-cb"]/li/p/a')# 3.3 模拟点击ele.click()发生异常：selenium.common.exceptions.ElementClickInterceptedException: Message: element click intercepted: Element <iframe name="contentFra.

一、 Selenium的定义Selenium是一个Web的自动化测试工具，最初是为网站自动化测试而开发的，Selenium 可以直接调用浏览器，它支持所有主流的浏览器（包括PhantomJS这些无界面的浏览器），可以接收指令，让浏览器自动加载页面，获取需要的数据，甚至页面截屏等。我们可以使用selenium很容易完成之前编写的爬虫，二、python虚拟环境中安装selenium模块 pip/pip3 install selenium三、下载版本符合的w...

使用时发生异常如下：原因：fake_useragent存储的UserAgent列表发生了变动，而本地UserAgent的列表未更新所导致的，在更新fake_useragent后报错就消失了。解决： Python的其他包也可以用这种方法完成更新pip install -U 包名pip install -U fake-useragent...

jsonpath官方文档：https://goessner.net/articles/JsonPath/1.语法：2.bookstore.xml文件案例：3.安装第三方库 pip install jsonpath查看 pip list4.json文件code:#使用jsonpath方法def usejsonpath(): #1.url url='https://www.lagou.com/lbs/getAllCitySearchLabels..

一、json 本质是字符串 1).json.loads() 将字符串转换成字典(把json数据转成python数据) 2).json.dumps() 将字典转换成字符串(把python数据转成json数据) 注意:json是双引号二、 响应内容分类 1)结构化数据： json,xml 2)非结构化数据：html三、具体使用：import json #内置模块，直接导入dic={'name':'爬虫'}print(dic,type(dic)) #di.