- 博客(61)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 SQLAlchemy: python类的属性值为None，数据为JSON类型，插入数据库为‘ NULL‘字符串，而不是真正的NULL
最近使用python orm框架SQLAlchemy时，遇到mysql数据库表字段类型为Json类型，python实体类属性对应值为None,但是插入数据库后为‘ NULL‘字符串，而不是真正的NULL。这里的user_info在mysql数据库是json类型,在python中将user_info赋值为: null(),这样该字段为空时，数据库的json类型字段值就为真正的NULL。
2025-01-12 17:10:05
275
原创 selenium 报错 invalid argument: invalid locator
find_element、find_elements一定要有查找类型参数,例如：By.ID、By.XPATH、By.NAME。selenium语法错误,find_element方法少写By.XPATH参数。
2024-12-19 18:18:26
443
原创 selenium 验证码滑块对齐没有验证通过
最近使用seleniuim采集有滑块验证码的数据，遇到了移动滑块对齐后，还是无法通过验证，经过模拟真人多次移动、控制移动时间(避免过快)一番尝试后、最终通过模拟抖动得以解决。把yoffset的值改为-6~6的随机整数，来模拟真人抖动，这里的y值就是上下抖动值。
2024-12-15 20:41:01
516
原创 selenium 截图报错
警告分析：截图的名称与文件类型不匹配，screenshot()方法支持.png扩展名结尾，所以截图为.jpg扩展名的图片文件会报警告。
2024-12-11 11:36:43
341
原创 python 清华pip镜像源报HTTP error 403
配置多个镜像源(方法二设置后为默认镜像源，这里多个两个镜像源平衡负载,分别是清华大学源、豆瓣源)配置多个可信任主机(域名)，分别为阿里、清华大学、豆瓣镜像域名。Package更换为自己所需安装的包。临时更改镜像源(阿里镜像源)永久更换源(阿里镜像源)
2024-12-05 14:40:33
4826
3
原创 python获取当前进程使用内存超出设置值后重启服务
最近遇到使用一个第三方python库，按照第三方库文档的方法释放内存也释放不了，不断消耗内存，最终导致内存溢出，这属于内存无法释放、内存泄露的bug。
2024-11-28 18:56:57
361
原创 linux内存检测超过一定内存后重启
最近遇到使用一个第三方python库，按照第三方库文档的方法释放内存也释放不了，不断消耗内存，最终导致内存溢出，这属于内存无法释放、内存泄露的bug。联系了该库的开发人员说这个问题不好解决，最终只能自己想办法，于是就想到了编写linux脚本定时执行内存检测超出一定内存后系统重启的方法，python项目配置了开机自启。切换到要保存的路径下：例如我这里路径: cd /usr/projects/sh_scirpt/每 5 分钟检查一次内存超过80%就重启系统。命令实现（以内存使用率超过 80% 为例）
2024-11-28 14:52:16
404
原创 SSLError(1, ‘[SSL: SSLV3_ALERT_HANDSHAKE_FAILURE] sslv3 alert handshake failure (_ssl.c:1000)‘)
试了很多种办法，最终通过给urllib3降级，解决报错问题。urllib3降级到1.26.5就可以了，亲测有效。
2024-11-27 11:18:42
1095
2
原创 SpireException(‘Arg_NullReferenceException: at sprdpx.sprb(sprdsl, String, Boolean)
可能是pdf部分格式不能被Spire.PDF10.8.1识别转换。升级Spire.Pdf版本到10.11.0修复了这个问题。
2024-11-24 14:29:12
209
原创 selenium 点击元素报错element not interactable element click intercepted
报元素不可交互的错误：可能是span标签不能使用元素自带的click方法，一些可以点击的标签元素，例如：button、a标签，才能用元素自带的click方法。
2024-11-02 17:14:34
537
原创 Centos8报错：Cannot download repomd.xml: Cannot download repodata/repomd.xml: All mirrors were tried
3.查看是否删除成功，若没有显示.repo就删除成功了。yum makecache(生成 Yum 缓存)4.下载阿里可以正常使用的.repo文件。2.删除所有扩展名为.repo的文件。6.测试yum能否正常使用。或者wget命令的使用。安装curl命令的使用。两个命令任选其一执行。
2024-10-27 17:17:18
2085
1
原创 python pip更换(切换)国内镜像源
执行完上面两条命令后会在: C:\Users\用户名\AppData\Roaming\pip 路径生成pip.ini配置文件。install.trusted-host：安装软件包过程中被信任的主机。global.index-url：全局软件包链接。
2024-10-27 15:29:04
1572
1
原创 Centos7 Could not retrieve mirrorlist http://mirrorlist,centos.org/?release=7&arch=x86
或者ping 114.114.114.114。ONBOOT=no改为ONBOOT=yes。修改完后vi编辑器 :wq 保存并退出。yum源更换完之后yum就可以使用了。
2024-10-20 22:16:43
437
原创 Pycharm (‘D:\\a\\1\\s\\Objects\\dictobject.c:1756: bad argument to internal function‘)
描述：用的python的flask框架，Pycharm2023调试突然一直报这个错误：bad argument to internal function，最初还以为自己写的代码有问题，看了很久也没发现我写的方法有问题，于是我就换了编辑器使用Visual Studio Code调试python代码，然后一点问题没有。
2024-09-21 22:33:43
457
原创 python sql中带引号字符串(单双引号)转义处理
描述： 最近在爬取数据保存到数据库时，遇到有引号的字符串插入MySQL报错：1064, "You have an error in your SQL syntax;
2024-09-21 21:56:57
894
原创 Python pdf转换为html
描述：最近在工作中遇到 pdf转换为html,找了很多个库，最后发现两个好用的pdf转html的库，特此记录。
2024-09-17 00:12:52
626
原创 Python 多线程访问数据库正确使用dbutils PooledDB数据库连接池
【代码】Python 多线程访问数据库正确使用dbutils PooledDB数据库连接池。
2024-09-08 19:03:21
580
原创 Python Flask_APScheduler定时任务的正确(最佳)使用
使用的Python 软件包下的__init__.py文件中初始化生成scheduler对象,此对象项目启动后只生成一次，然后导入scheduler对象，在定时任务执行的方法使用: with scheduler.app.app_context(): 就可以 获取flask当前app上下文，不需要create app,个人觉得这才是真正正确使用Flask_APScheduler参考资料。
2024-09-08 17:40:53
2392
1
原创 .Net6/.Net8(.Net Core) IIS中部署 使用 IFormFile 上传大文件报错解决方案
最近使用.Net6 WebAPI IFormFile对象接收上传文件时大于30MB(兆)的文件就会报错。1.打开Internet Information Services (llS)管理器，选中主页。上面IIS请求筛选配置完后项目Program中加入以下代码。大约2G,此时上传文件大小在2G内就可以上传成功。4.修改允许的最大内容长度(字节)的值，默认值为。IIS上传文件有大小默认限制大约28.6MB。.无论是Net6还是.Net8写法都一样。web.config示例截图如下。3. 点击编辑功能设置。
2024-09-08 00:29:07
896
原创 Windows 下载安装RabbitMQ
windows10 Erlang 26.2.x 版本 RabbitMQ 3.13.7。我这里是windows10 64位操作系统，点击win64即可下载。因为RabbitMQ是Erlang语言开发的，所以必须安装。下载完后双击下载的otp_win64_26.2.5.exe。将Erlang安装路径添加到系统环境变量。1.下载并安装Erlang 26.2.5。1.1下载Erlang 26.2.5。新建环境变量填入Erlang安装路径。检测Erlang环境变量是否设置成功。证明Erlang已经安装成功。
2024-09-01 16:31:05
2077
3
原创 在 XPath 中，‘//*‘、‘//‘ 、‘/‘ 的区别含义和用法
在 XPath 中，'//*'、'//' 和 '/' 有着不同的含义和用途：
2024-08-21 14:11:01
807
原创 seleniumwire报错 seleniumwire.thirdparty.mitmproxy.exceptions.TcpDisconnect: [WinError 10053]
seleniumwire.thirdparty.mitmproxy.exceptions.TcpDisconnect: [WinError 10053]
2024-08-18 11:38:48
513
原创 xpath 匹配带单引号、双引号的文本(字符串)
SyntaxError: Failed to execute 'evaluate' on 'Document'
2024-08-11 19:11:03
602
原创 python selenium selenium-wire使用代理
最近使用selenium、selenium-wire爬取数据，在使用代理时查阅很多资料，在使用过程中发现很多资料、博客中都是错误的用法，误导初学selenium使用代理的开发者描述：我这里使用的是Python 3.12.2。
2024-07-28 00:12:28
2412
原创 linux 部署flask项目
创建.ini配置文件或者.conf配置文件(具体要看[include]下面路径是*.ini,还是*.conf)，注意不同版本的Linux系统，不同版本supervisor，配置文件路径可能不同。放进/etc/supervisor/conf.d路径里。查看版本，确认supervisor是否成功安装。文件要放进 [include]下的文件路径里。文件要放进：[include]下的文件路径里，查看supervisor的配置。启动supervisor服务。再次提醒.conf配置文件，这里以Ubuntu为例。
2024-07-23 09:58:55
1040
原创 Linux 安装python编译make报错 ./Modules/binascii.c: In function ‘binascii_crc32_impl.isra.8’:
./Modules/binascii.c:1346:1: error: the control flow of function ‘binascii_crc32_impl.isra.8’ does not match its profile data (counter ‘time_profiler’) [-Werror=coverage-mismatch]cc1: some warnings being treated as errors
2024-07-20 16:16:38
764
原创 linux(CentOS、Ubuntu)安装python3.12.2环境
注意这里linux系统默认安装的有openssl，版本1.1.1以上，但是不清楚什么原因自带的openssl无法使python正常编译，因此需要再次安装。安装完openssl后重新配置、编译、安装python3.12.2，和1.3~1.5步骤一样，这里不再赘述。configure的用途：检测安装环境，配置安装参数，生成供编译用的Makefile。make install:负责把编译生成的目标文件安装到预定的目录。默认是python官方镜像源，没有配置镜像源的情况下，查看为空。我这里用的是pip3.12。
2024-07-20 16:07:53
3704
原创 flask 定时任务(APScheduler)使用current_app app_context()上下文
RuntimeError: Working outside of application context.This typically means that you attempted to use functionality that neededthe current application. To solve this, set up an application contextwith app.app_context().
2024-07-14 18:30:41
1386
原创 Python 获取今天(当天)、昨天(前一天)、前天(昨天的前一天)的开始时间、结束时间
Python 获取今天(当天)、昨天(前一天)、前天(昨天的前一天)的开始时间、结束时间
2024-07-14 16:43:42
2134
原创 wkhtmltopdf exited with non-zero code 1. error:QPainter::begin(): Returned false Exit with code 1
Python wkhtmltopdf exited with non-zero code 1. error:QPainter::begin(): Returned false Exit with code 1, due to unknown error.
2024-07-08 15:25:53
855
原创 flask使用定时任务flask_apscheduler(APScheduler)
flask使用定时任务，flask_apscheduler、APScheduler
2024-07-07 16:13:03
1197
原创 flask模块化、封装使用缓存cache(flask_caching)
flask使用缓存；flask使用cache(flask_caching)；flask中模块化使用flask_caching；flask中封装使用flask_caching
2024-07-06 23:36:01
739
原创 ModuleNotFoundError: No module named ‘blinker._saferef‘
from seleniumwire.thirdparty.mitmproxy import optmanager; import seleniumwire.thirdparty.mitmproxy.options; from seleniumwire.thirdparty.mitmproxy.net import tls, tcp from seleniumwire.thirdparty.mitmproxy import connections
2024-07-06 00:42:55
4943
2
空空如也
nextcloud-desktop编译打包报错
2021-04-28
TA创建的收藏夹 TA关注的收藏夹
TA关注的人