
Python
lytcreate.
唯有热爱,可抵万难。
展开
-
Kafka的安装与使用(windows下python使用等)
参数控制了是从第一个开始获取还是从接入的时候再算起,移除参数就代表从接入开始获取message里面的数据,如果是 earliest 就会从第一个开始获取,即使已经处理了!那么,如果是消费者掉线,生产者在掉线期间新增了若干条数据,如何让消费者上线后从没有处理的数据开始处理呢?:如果kafka没有正常关闭,可能下一次启动就会报错,可以删除data,log和logs目录里面的内容之后,再从启动zookeeper开始往下走。如果文件后缀是gz,解压后没有文件夹,此时需要先将文件后缀修改为tgz,然后再解压。原创 2025-03-31 18:29:03 · 756 阅读 · 0 评论 -
pyexcelerate在写入Excel时为何效率高?
xlsxxlwtopenpyxlPyExcelerate 是一个专注于高效生成 Excel 文件(特别是.xlsx。原创 2025-03-31 10:16:05 · 793 阅读 · 0 评论 -
Python实现图片文字识别-OCR
PaddleOCR是由百度飞桨(PaddlePaddle)团队开发的OCR工具库,它包含超轻量级的中文OCR模型,支持多种语言和复杂情况下的文字识别。使用:已知我的图片是 img.png。原创 2025-03-28 16:59:45 · 560 阅读 · 0 评论 -
如何设计系统以应对大量用户同时访问(高并发处理)?
通过以上多个层面的设计和优化,可以使系统具备较强的高并发处理能力,应对大量用户的同时访问。原创 2025-03-26 15:46:10 · 525 阅读 · 0 评论 -
poetry设置指定的安装源
【代码】poetry设置指定的安装源。原创 2025-03-18 16:45:23 · 152 阅读 · 0 评论 -
GIL详解:GIL是什么,为什么要有GIL
GIL是CPython为了线程安全的内存管理和开发便利性做出的权衡。尽管它限制了多线程的并行能力,但在Python生态中仍有不可替代的价值——尤其是在IO密集型任务和快速开发场景中。CPU密集型:用多进程或C扩展(如Cython释放GIL)。IO密集型:用多线程(利用GIL释放)或协程(完全无锁)。(注:GIL是CPython特有的机制,其他语言如Java、C++的线程模型无此限制,但需开发者手动处理锁或使用原子操作。原创 2025-03-13 18:08:22 · 567 阅读 · 0 评论 -
在协程当中,有三个任务,第一个任务开始执行,遇到await,开始执行第二个任务,在此期间,事件循环调度不断检查协程的状态,发现await的操作已完成,那么他会继续完成await的后续操作呢,还是开始第
事件循环会优先恢复等待操作已完成的协程的执行,以保证协程的执行逻辑连贯。只有当所有等待的协程都在等待某个操作完成时,事件循环才会继续调度其他可执行的协程。这种调度机制确保了异步编程的高效性和逻辑的正确性。原创 2025-03-13 18:05:58 · 262 阅读 · 0 评论 -
协程看起来既不受到GIL锁的限制,又能实现很小的切换开销,效率很高,那他有什么缺点呢
协程的高性能建立在严格的编码规范和特定场景适配优点:适合IO密集型、可控的异步场景(如网络请求、数据库IO),内存和调度效率极高。缺点:对编程范式要求苛刻(必须全异步化),错误处理和调试成本高,无法解决CPU瓶颈。建议:在设计系统时,优先评估是否真的需要“十万级协程”,多数场景下线程池+异步IO的组合(如)可能更易维护。原创 2025-03-13 18:04:49 · 499 阅读 · 0 评论 -
多进程,多线程,协程,在子任务里面如果出现错误,各有什么样的表现呢,会抛出异常吗,最终结果正确吗
并发方式异常抛出范围对其他任务影响对最终结果影响多进程子进程内部通常不影响其他进程可能导致结果不完整多线程子线程内部通常不影响其他线程可能导致结果不完整协程协程内部,可能传播到事件循环可能影响依赖该协程的其他协程,甚至终止事件循环可能导致结果不完整或事件循环终止为了确保程序的健壮性,建议在子任务中捕获并处理可能出现的异常,避免异常导致整个程序崩溃或产生不正确的结果。原创 2025-03-13 18:01:19 · 476 阅读 · 0 评论 -
生成器在任务队列中有什么优势?如何避免阻塞?
【代码】生成器在任务队列中有什么优势?如何避免阻塞?原创 2025-03-12 11:50:51 · 1044 阅读 · 0 评论 -
优化闭包或装饰器的内存性能开销
在装饰器中,尽量只让闭包捕获必要的变量,避免捕获大量的数据。如果某些变量在包装函数中不需要使用,就不要将其传递给闭包。2.避免使用多个装饰器,考虑合并到一个装饰器里面。原创 2025-03-12 11:40:24 · 305 阅读 · 0 评论 -
dataframe从另一个dataframe批量更新数据
把df2的数据更新进df1,并且以df1的列为准进行批量更新。原创 2025-03-10 18:41:03 · 94 阅读 · 0 评论 -
自动化操作浏览器时遇到了checkbox的人机验证要怎么处理
在自动化操作浏览器时遇到checkbox形式的人机验证(如"我不是机器人"复选框),处理方式需根据验证类型和复杂度决定。最终选择方案时,需在合规性、成本效益和技术实现难度之间取得平衡。对于关键业务系统,建议预留人工验证回退通道。原创 2025-03-05 10:14:01 · 517 阅读 · 0 评论 -
进程间通信方式:对列、管道、共享内存
进程间通信在多任务并发执行时,能够帮我们高效的协调各个进程的工作。队列、管道和共享内存各有优劣,适合不同的应用场景。队列:适合多个进程之间的消息传递,简单且高效,支持多个生产者和消费者。管道:适合两个进程之间的通信,通常用于进程对进程的简单数据传递。共享内存:适合高效的数据共享,多个进程可以直接访问同一块内存区域,避免数据复制的开销。但是,也要留意当生产者数据快于消费者速度时,数据会被更新,导致数据丢失,此时可以考虑使用对列进行替代。原创 2025-02-28 16:07:24 · 724 阅读 · 0 评论 -
什么是幂等性
幂等性(Idempotence)是一个在数学、计算机科学等多个领域都有重要应用的概念,下面从不同领域为你详细介绍其含义。原创 2025-02-07 17:10:41 · 213 阅读 · 0 评论 -
区分字符串和base64图片内容
用正则精准提取Base64图片部分,剩余内容则为普通文本。匹配Base64字符(允许包含空格或换行)。:图片的Base64数据通常以类似。:将提取的图片和文本分别存储或处理。用于清理多余空格,使文本更整洁。开头,随后是编码内容。匹配MIME类型(如。移除Base64部分。原创 2025-02-06 10:54:55 · 218 阅读 · 0 评论 -
问题记录:dataframe使用np.where两个条件时报错TypeError:Cannot perform ‘rand_‘ with a dtyped [float64] array and sc
运算符连接两个布尔数组时,需要在每个条件外加括号,以确保正确的运算顺序。在 Python 中,使用。将两个条件分别加括号。原创 2025-01-13 17:38:33 · 161 阅读 · 0 评论 -
python手动创建一个虚拟环境
在Python中,可以使用内置的venv模块来创建虚拟环境,以下是在不同操作系统中创建venv。原创 2024-12-25 15:39:46 · 297 阅读 · 0 评论 -
云梦API - 高质量API服务站推荐
云梦API 这是一个提供了多种实用 API 接口的平台,各接口涵盖生活娱乐、信息获取、数据处理等多个领域,能为开发者提供丰富的数据和功能支持,助力其快速构建多样化的应用程序。原创 2024-12-23 11:59:08 · 345 阅读 · 0 评论 -
python记录日志loguruf方法
【代码】python记录日志loguruf方法。原创 2024-12-19 17:30:58 · 414 阅读 · 0 评论 -
SQL或ORM获取随机一行数据
时,对于一些大型数据库可能会导致性能问题,因为它会在内存中对整个查询集进行随机排序。如果对性能有较高要求,建议使用原生 SQL 结合。或其他更高效的方法。原创 2024-12-19 14:58:43 · 466 阅读 · 0 评论 -
天选打工人日报周报AI平台-AI云记介绍
作为一名资深的天选打工人,肯定这样想过有没有这样一款编辑器?可以自己帮我写好日报周报,我粘贴一下就好啦!可以帮我把内容扩容一下,我写个关键词就好啦!可以帮我把内容写的高大上,我只需要写点流水账就好啦!当当当!这个平台现在出来了,他就是 AI云记平台- note.airtab.cn。原创 2024-11-18 00:01:54 · 453 阅读 · 0 评论 -
pip的whell包.whl打包过程记录
安装库:pip install setuptools wheel1.目录结构-test_package --src --test_package -- __init__.py --function.py --pyproject.toml --readme.md2.文件说明pyproject...原创 2023-11-08 17:09:00 · 280 阅读 · 0 评论 -
pandas读取hdfs里面文件的方法
注意sep是你的列分隔符。原创 2024-08-30 10:27:09 · 420 阅读 · 0 评论 -
pip3更换清华源-pip换源
【代码】pip3更换清华源-pip换源。原创 2024-08-26 16:39:05 · 649 阅读 · 0 评论 -
微信公众号发送模板消息使用说明
3.用户的openid一般在用户使用微信公众号登录时会获取,测试时可以在服务号后台的用户页面,在用户头像上右键在新标签中打开链接,里面的tofakeid=后面的值就是该用户的openid。1.测试时需要在服务号添加ip白名单,并等待10分钟生效。2.模板id在服务号的模板消息处获取。原创 2024-08-21 11:44:21 · 827 阅读 · 0 评论 -
Python生成缩略图
默认是128 * 128的缩略图,像电脑使用的宽图一般是 1920 * 1080 这种的,一个常见的尺寸是300x169(保持16:9的宽高比),或者更小的尺寸如200x113,甚至更小到100x56。这样的尺寸既能在网页上快速加载,又能提供足够的预览信息。原创 2024-08-13 18:51:22 · 406 阅读 · 0 评论 -
Python版本和cuda版本不匹配解决办法
选择适合自己的 平台 和版本,在控制台执行安装即可,注意在windows下使用的是pip不是pip3。获取pip安装命令,按照可视化进行选择,复制下方的一键安装命令进行安装。如果输出为 False,则说明不匹配。一、检查版本是否匹配。原创 2024-08-07 00:20:55 · 642 阅读 · 0 评论 -
公众号浏览器里微信支付的jsapi使用说明 前端+后端
后端用相关参数发起支付请求获得预订单信息 -- 获得签名信息 -- 将appid,预订单,签名等信息返回前端 -- 前端使用相关参数结合微信支付的js插件掉起支付 支付完成进行页面上的回调。除此之外,还需要配置公众号相关的服务器域名,js域名等,ip白名单等,还有微信支付的jsapi里面要配置支付的授权目录,提示什么url没配置就配置相关的url即可。后端在这个接口给传回来appid和回调地址,然后前端去请求微信的这个地址,这个时候微信页面会弹出一个授权请求弹窗,手动确认后微信会掉用刚才的回调地址。原创 2024-07-26 00:17:24 · 548 阅读 · 0 评论 -
Django日志配置
需要将上述 你的app名字修改为自己的应用名称,多个app时可以在后面叠加。除了logger.info以外,还有其他的用法,debug,error等。原创 2024-07-23 09:02:33 · 160 阅读 · 0 评论 -
在Django里面运行非项目文件
有时候需要调试一些方法,但是又不想启动整个项目,但是会用到django的一些模型方法。注意:一定要先设置环境,然后再引用models。原创 2024-07-22 14:17:53 · 290 阅读 · 0 评论 -
Django定时任务框架django-apscheduler的使用
6.添加完成后,做数据库迁移,会生成 表django_apscheduler_djangojob 和 表django_apscheduler_djangojobexecution。5.修改settings.py配置,将时区改为中国,最主要是把USE两项注释掉,否则后面的定时任务的时间会晚八小时!启动后,任务开始执行,数据库上述两张表会有数据进去,定时任务完成,其他的见后面拓展。3.在app下添加一个task.py文件,用来实现具体的定时任务。注:修改任务只能修改参数,如果要修改执行时间的话,有3种方法。原创 2024-07-18 18:38:50 · 603 阅读 · 0 评论 -
Python接口调用频率限制方法
Python接口调用频率限制方法原创 2024-07-09 10:57:13 · 396 阅读 · 0 评论 -
FastApi通过中间件实现IP白名单访问
【代码】FastApi通过中间件实现IP白名单访问。原创 2024-07-05 10:22:19 · 398 阅读 · 0 评论 -
Python获取QQ音乐歌单歌曲
Python获取QQ音乐歌单歌曲原创 2024-07-04 17:55:33 · 780 阅读 · 0 评论 -
全网小视频去水印接口使用说明
全网小视频去水印接口使用说明原创 2024-07-02 21:52:43 · 852 阅读 · 0 评论 -
pandas减少dataframe占用内存的若干方法
pandas减少dataframe占用内存的若干方法原创 2024-06-26 11:00:24 · 766 阅读 · 0 评论 -
python把多个wav文件拼成一个mp3文件
【代码】python把多个wav文件拼成一个mp3文件。原创 2024-06-25 11:44:52 · 225 阅读 · 0 评论 -
Python将mov转为mp4视频格式
【代码】Python将mov转为mp4视频格式。原创 2024-06-25 11:23:52 · 310 阅读 · 0 评论 -
python查看当前使用的内存大小代码实现
【代码】python查看当前使用的内存大小代码实现。原创 2024-06-24 10:56:09 · 506 阅读 · 0 评论