自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

唯有热爱 可抵万难

唯有热爱 可抵万难

  • 博客(345)
  • 问答 (11)
  • 收藏
  • 关注

原创 微信AI机器人使用说明-2024本地部署版(非wechaty)

微信机器人实现的功能,先看视频的演示效果:2024年最新稳定的本地部署AI微信机器人使用方法演示可以对话可以语音可以绘画支持主账号管理好友权限管理。

2024-06-11 16:31:56 2296

原创 Python离线语音识别高准确率方案分析及代码实现

Python离线语音识别多种方案代码实现及实测对比,其中最准确的识别率高达99%

2024-04-10 17:37:23 2220

原创 Kafka的安装与使用(windows下python使用等)

参数控制了是从第一个开始获取还是从接入的时候再算起,移除参数就代表从接入开始获取message里面的数据,如果是 earliest 就会从第一个开始获取,即使已经处理了!那么,如果是消费者掉线,生产者在掉线期间新增了若干条数据,如何让消费者上线后从没有处理的数据开始处理呢?:如果kafka没有正常关闭,可能下一次启动就会报错,可以删除data,log和logs目录里面的内容之后,再从启动zookeeper开始往下走。如果文件后缀是gz,解压后没有文件夹,此时需要先将文件后缀修改为tgz,然后再解压。

2025-03-31 18:29:03 580

原创 pyexcelerate在写入Excel时为何效率高?

xlsxxlwtopenpyxlPyExcelerate 是一个专注于高效生成 Excel 文件(特别是.xlsx。

2025-03-31 10:16:05 595

原创 Python实现图片文字识别-OCR

PaddleOCR是由百度飞桨(PaddlePaddle)团队开发的OCR工具库,它包含超轻量级的中文OCR模型,支持多种语言和复杂情况下的文字识别。使用:已知我的图片是 img.png。

2025-03-28 16:59:45 464

原创 如何保障kafka的数据不会重复消费呢,如何防止漏掉呢

在 Kafka 中保障数据不重复消费且不丢失,需要从生产者、消费者和 Kafka 自身配置三个层面综合设计。

2025-03-26 16:16:51 1323

原创 消息队列常见的有哪些,该如何选型

需求,可快速定位合适的消息队列解决方案。建议在选型前进行压力测试,验证实际场景下的性能表现。通过以上分析,结合具体业务场景的。

2025-03-26 16:03:35 1049

原创 如何设计系统以应对大量用户同时访问(高并发处理)?

通过以上多个层面的设计和优化,可以使系统具备较强的高并发处理能力,应对大量用户的同时访问。

2025-03-26 15:46:10 516

原创 TCP的长连接和短连接,以及它们分别适用于什么场合

技术实现 适用场景典型协议优化策略 四、选型决策树总结建议:优先选择长连接提升性能,但若存在以下情况则考虑短连接:

2025-03-26 14:52:40 461

原创 详解TCP的四次握手和三次挥手,以及里面每个阶段的状态

TCP 连接建立通过三次握手完成,确保双方同步初始序列号并确认可达性。TCP 连接关闭需要四次挥手,因为服务器可能需要时间处理未发送的数据。通过四次挥手,TCP 确保数据完整传输后优雅断开连接。

2025-03-26 14:40:18 593

原创 日志截断/日志中途清空/不停止程序

若想在不停止程序的前提下减小123.log。

2025-03-25 22:58:25 233

原创 docker安装向量数据库Milvus及可视化工具 Attu

1.在服务器找一个空间大的位置创建一个专属目录,比如 /home/dk/milvus_data。执行完成后,会提示一个 http://xx.xx.xx.xx:3000的地址。下载这个单机版本的,具体版本自己选择,除了2.5.7还有2.5.6等等。浏览器访问该地址,将0.0.0.0换成安装部署机器的可以连通的IP地址。2.执行拉取和安装启动milvus命令,注意yml文件名称要对应。3.服务器磁盘空间正常,docker磁盘占用过大,请参考。2.服务器网络正常,可以连接到容器下载地址。1.安装了docker。

2025-03-20 18:15:33 601

原创 docker占用根目录root盘大量存储空间解决办法

安装docker后,拉取镜像后会将 /var/lib/docker的空间占用很多,所以安装docker之后,应该将 /var/lib/docker 软连接到一个空间很足的地方,将整个/var/lib/docker目录移动到空间充足的地方。

2025-03-20 17:57:19 104

原创 PostgreSQL 14.17 安装 pgvector 扩展

下载完成后,双击安装即可。如果遇到安装路径选择,可以使用默认安装在C盘,或者自定义路径,这块会影响到后面的安装扩展,我这里安装的目录是 D:/Postgressql。这里面的路径需要修改为自己电脑的工具路径,如果不知道,建议使用 Everything搜索vcvars64.bat,选择这个 带build目录的路径即可。一般可以按一下win键,直接输入cmd,就会自动搜索出cmd,右键选择管理员打开即可。本次主要是在windows上安装,列出一些注意点。二、安装pgvector 向量扩展。

2025-03-19 14:14:15 181

原创 poetry设置指定的安装源

【代码】poetry设置指定的安装源。

2025-03-18 16:45:23 140

原创 error Error: Command failed: C:\Windows\system32\cmd.exe /s /c “./configure --with-system-zlib --pre

error Error: Command failed: C:\Windows\system32\cmd.exe /s /c "./configure --with-system-zlib --prefix="E:\personal\project_pro\CursorPool_Clinet-main\node_modules\optipng-bin\vendor" --bindir="E:\personal\project_pro\CursorPool_Clinet-main\node_modules\o

2025-03-14 18:00:16 154

原创 GIL详解:GIL是什么,为什么要有GIL

GIL是CPython为了线程安全的内存管理和开发便利性做出的权衡。尽管它限制了多线程的并行能力,但在Python生态中仍有不可替代的价值——尤其是在IO密集型任务和快速开发场景中。CPU密集型:用多进程或C扩展(如Cython释放GIL)。IO密集型:用多线程(利用GIL释放)或协程(完全无锁)。(注:GIL是CPython特有的机制,其他语言如Java、C++的线程模型无此限制,但需开发者手动处理锁或使用原子操作。

2025-03-13 18:08:22 565

原创 在协程当中,有三个任务,第一个任务开始执行,遇到await,开始执行第二个任务,在此期间,事件循环调度不断检查协程的状态,发现await的操作已完成,那么他会继续完成await的后续操作呢,还是开始第

事件循环会优先恢复等待操作已完成的协程的执行,以保证协程的执行逻辑连贯。只有当所有等待的协程都在等待某个操作完成时,事件循环才会继续调度其他可执行的协程。这种调度机制确保了异步编程的高效性和逻辑的正确性。

2025-03-13 18:05:58 262

原创 协程看起来既不受到GIL锁的限制,又能实现很小的切换开销,效率很高,那他有什么缺点呢

协程的高性能建立在严格的编码规范和特定场景适配优点:适合IO密集型、可控的异步场景(如网络请求、数据库IO),内存和调度效率极高。缺点:对编程范式要求苛刻(必须全异步化),错误处理和调试成本高,无法解决CPU瓶颈。建议:在设计系统时,优先评估是否真的需要“十万级协程”,多数场景下线程池+异步IO的组合(如)可能更易维护。

2025-03-13 18:04:49 499

原创 多进程,多线程,协程,在子任务里面如果出现错误,各有什么样的表现呢,会抛出异常吗,最终结果正确吗

并发方式异常抛出范围对其他任务影响对最终结果影响多进程子进程内部通常不影响其他进程可能导致结果不完整多线程子线程内部通常不影响其他线程可能导致结果不完整协程协程内部,可能传播到事件循环可能影响依赖该协程的其他协程,甚至终止事件循环可能导致结果不完整或事件循环终止为了确保程序的健壮性,建议在子任务中捕获并处理可能出现的异常,避免异常导致整个程序崩溃或产生不正确的结果。

2025-03-13 18:01:19 476

原创 数据库优化

2.字段设计精细化,用枚举,时间等,不用字符串。1.库表设计,字段冗余,尽量不跨表join。

2025-03-12 14:48:33 17

原创 生成器在任务队列中有什么优势?如何避免阻塞?

【代码】生成器在任务队列中有什么优势?如何避免阻塞?

2025-03-12 11:50:51 1044

原创 优化闭包或装饰器的内存性能开销

在装饰器中,尽量只让闭包捕获必要的变量,避免捕获大量的数据。如果某些变量在包装函数中不需要使用,就不要将其传递给闭包。2.避免使用多个装饰器,考虑合并到一个装饰器里面。

2025-03-12 11:40:24 305

原创 Python多进程任务中不报错但结果老是不对是为什么?

很可能是因为程序中间报错了,但是并没有显示呈现出来,此时需要利用编译器的断点功能,把错误部分挨个断点,然后就会跳到对应的错误信息。

2025-03-11 17:23:41 79

原创 Python多进程间进行列表数据更新

【代码】Python多进程间进行列表数据更新。

2025-03-10 18:44:16 334

原创 dataframe从另一个dataframe批量更新数据

把df2的数据更新进df1,并且以df1的列为准进行批量更新。

2025-03-10 18:41:03 93

原创 Linux服务器对文件或文件夹进行加密

执行后要求输入密码和确认密码,加密后生成一个data.zip的文件,使用密码解压后得到一个data文件夹。加密后生成一个aaa.zip的加密压缩文件。比如 文件名称 aaa.csv。2.对整个文件夹进行递归加密。比如文件夹名为 data。

2025-03-06 16:32:57 107

原创 huggingface镜像站hf-mirror的各大AI模型文件下载

huggingface地址:https://huggingface.co但是由于需要国外网络,国内网络延迟较大或无法下载,所以使用国内镜像站:hf-mirror地址:https://hf-mirror.com/

2025-03-05 18:08:15 1546 2

原创 AirChat-AI综合服务平台介绍

AirChat是一个提供国外AI对话的平台,基于平台,用户可以实现跟OpenAI,Claude,Deepseek等多个模型进行对话,并且该平台支持自定义的模型选择,智能体创建及选择,Tempuerator值选择和历史聊天轮数选择。对话支持流式输出,让对话更生动,有趣!该平台,页面设计非常简洁,除了功能较为全面之外,还支持相关的接口使用,可以参考右上角的API接口进行使用。欢迎大家使用,每天可以有1000tokens免费使用哦!平台地址为 chat.airtab.cn。

2025-03-05 10:21:14 332

原创 自动化操作浏览器时遇到了checkbox的人机验证要怎么处理

在自动化操作浏览器时遇到checkbox形式的人机验证(如"我不是机器人"复选框),处理方式需根据验证类型和复杂度决定。最终选择方案时,需在合规性、成本效益和技术实现难度之间取得平衡。对于关键业务系统,建议预留人工验证回退通道。

2025-03-05 10:14:01 515

原创 1panel安装ollama本地部署deepseek和lobechat实现网页对话和接口API发布

系统:服务器为centos7网络:支持连接互联网配置服务器IP地址:面板设置 - 服务器地址 - 设置,设置可以公开访问的IP地址。

2025-03-04 17:47:29 476

原创 进程间通信方式:对列、管道、共享内存

进程间通信在多任务并发执行时,能够帮我们高效的协调各个进程的工作。队列、管道和共享内存各有优劣,适合不同的应用场景。队列:适合多个进程之间的消息传递,简单且高效,支持多个生产者和消费者。管道:适合两个进程之间的通信,通常用于进程对进程的简单数据传递。共享内存:适合高效的数据共享,多个进程可以直接访问同一块内存区域,避免数据复制的开销。但是,也要留意当生产者数据快于消费者速度时,数据会被更新,导致数据丢失,此时可以考虑使用对列进行替代。

2025-02-28 16:07:24 719

原创 VUE实现背景图片上增加文字预览并下载图片

【代码】VUE实现背景图片上增加文字预览并下载图片。

2025-02-24 15:09:25 127

原创 为什么要用缓存?

用缓存,主要有两个用途:高性能、高并发。假设这么个场景,你有个操作,一个请求过来,吭哧吭哧你各种乱七八糟操作 mysql,半天查出来一个结果,耗时 600ms。但是这个结果可能接下来几个小时都不会变了,或者变了也可以不用立即反馈给用户。那么此时咋办?缓存啊,折腾 600ms 查出来的结果,扔缓存里,一个 key 对应一个 value,下次再有人查,别走 mysql 折腾 600ms 了,直接从缓存里,通过一个 key 查出来一个 value,2ms 搞定。性能提升 300 倍。就是说对于一些需要复杂操作耗时

2025-02-07 17:39:29 343

原创 什么是幂等性

幂等性(Idempotence)是一个在数学、计算机科学等多个领域都有重要应用的概念,下面从不同领域为你详细介绍其含义。

2025-02-07 17:10:41 211

原创 区分字符串和base64图片内容

用正则精准提取Base64图片部分,剩余内容则为普通文本。匹配Base64字符(允许包含空格或换行)。:图片的Base64数据通常以类似。:将提取的图片和文本分别存储或处理。用于清理多余空格,使文本更整洁。开头,随后是编码内容。匹配MIME类型(如。移除Base64部分。

2025-02-06 10:54:55 215

原创 问题记录:dataframe使用np.where两个条件时报错TypeError:Cannot perform ‘rand_‘ with a dtyped [float64] array and sc

运算符连接两个布尔数组时,需要在每个条件外加括号,以确保正确的运算顺序。在 Python 中,使用。将两个条件分别加括号。

2025-01-13 17:38:33 161

原创 python手动创建一个虚拟环境

在Python中,可以使用内置的venv模块来创建虚拟环境,以下是在不同操作系统中创建venv。

2024-12-25 15:39:46 291

原创 云梦API - 高质量API服务站推荐

云梦API 这是一个提供了多种实用 API 接口的平台,各接口涵盖生活娱乐、信息获取、数据处理等多个领域,能为开发者提供丰富的数据和功能支持,助力其快速构建多样化的应用程序。

2024-12-23 11:59:08 344

原创 npm run dev指定IP和端口运行VUE-TS项目

【代码】npm run dev指定IP和端口运行VUE-TS项目。

2024-12-22 00:23:33 268

milvus-standalone-docker-compose.yml

milvus-standalone-docker-compose.yml

2025-03-20

mysql高可用集群MGR组复制集群介绍及搭建说明

一、资源概述 本资源文档旨在为用户提供一份全面而详细的MySQL高可用集群MGR(组复制)集群的介绍及搭建说明。MySQL组复制(MySQL Group Replication, MGR)是一个基于原生MySQL复制实现的、提供数据一致性和容错性的同步复制插件。通过MGR,用户可以构建高可用性的MySQL集群,实现数据的实时同步和故障自动转移。 二、内容亮点 MGR集群原理:文档首先介绍了MGR集群的基本原理,包括集群的组成结构、数据同步机制、故障转移机制等,帮助用户深入了解MGR集群的工作原理。 搭建步骤:文档详细描述了从环境准备到集群搭建的每一步操作,包括服务器配置、MySQL安装、MGR插件安装与配置、集群初始化等,确保用户能够按照文档指引成功搭建MGR集群。 集群管理:文档还介绍了如何对MGR集群进行日常管理和维护,包括节点添加与删除、集群状态监控、性能调优等,帮助用户更好地管理和使用MGR集群。 故障场景处理:文档详细分析了MGR集群可能遇到的故障场景,如节点宕机、网络故障等,并提供了相应的处理方法和恢复步骤,帮助用户快速恢复集群的正常运行。

2024-05-27

mysql NDBcluster高可用集群介绍及部署搭建说明

本资源提供了一份详细的MySQL NDB Cluster高可用集群的介绍及部署搭建说明。NDB Cluster是MySQL数据库管理系统的一个特殊版本,它提供了集群级别的数据同步和自动故障转移,确保数据的高可用性和持久性。 内容亮点: 集群架构介绍:详细介绍了NDB Cluster的架构原理,包括数据节点、管理节点和SQL节点的作用及相互之间的关系。 部署步骤:从环境准备到集群搭建,每一步都详细描述了所需的工具和配置方法,确保用户能够按照指南成功搭建集群。 故障转移机制:深入解释了NDB Cluster的自动故障转移机制,确保在节点故障时,集群能够自动切换,保持服务的连续性。 常见问题解决:总结了在搭建和运维NDB Cluster过程中可能遇到的常见问题及解决方法,帮助用户快速定位并解决问题。 适用人群: 本资源适用于对MySQL NDB Cluster感兴趣的系统管理员、数据库工程师以及希望提升数据库高可用性的IT专业人士。无论是初学者还是有一定经验的专业人士,都能从中获得有价值的信息和指导。

2024-05-27

Mycat+Mysql实现数据分片存储高可用集群

Mycat与MySQL联合打造数据分片存储高可用集群部署文档 资源概述: 本资源提供了一份详尽的部署文档,详细阐述了如何使用Mycat与MySQL构建数据分片存储的高可用集群。随着数据量的不断增长,单一数据库的性能和扩展性面临挑战,数据分片技术成为解决这一问题的有效手段。本文档旨在帮助用户通过Mycat中间件实现MySQL数据库的水平扩展,构建高可用、高性能的数据存储集群。 内容亮点: 详细步骤:文档从环境准备到集群搭建,再到测试验证,每一步都进行了详细的说明,确保用户能够按照指引顺利完成部署。 技术解析:深入解析了Mycat的数据分片原理、负载均衡策略以及高可用机制,帮助用户理解其背后的技术原理。 实践指导:文档不仅提供了理论知识,还结合了丰富的实践经验,给出了各种可能出现的问题的解决方案。 性能优化:针对集群性能调优,文档提供了一系列优化建议,帮助用户进一步提升集群的整体性能。 适用人群: 本资源适用于对MySQL和Mycat有一定了解的数据库管理员、系统架构师以及后端开发人员,特别适合需要构建高可用、高性能数据存储集群的团队和个人。

2024-05-21

dolphinScheduler海豚调度器动态传递任务执行参数

dolphinScheduler海豚调度器通过设定参数值动态传参,让整个任务流都可以接收到任务参数,方便大批量补采数据任务时无需手动修改每个任务节点的任务执行参数,只需要在入口处对该参数进行修改,然后运行即可。 举例说明: 每个任务执行内容为 python3 aaa.py ${date_str},其中date_str是来自于linux脚本获取的日期,如果需要重新手动执行该任务时,需要将每个任务节点的date_str手动修改为具体的日期字符串,这样显然非常麻烦,通过本文的动态传递参数的方法,只需要修改最开始传递的变量参数,即可让后续所有任务接收到指定的任务参数值,极大地解放生产力!

2024-02-23

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除