自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(47)
  • 收藏
  • 关注

原创 importerror: cannot import name ‘basicmcpclient‘ from partially initialized module ‘llama_index.tool

检查当前脚本文件名称是不是和包名称一样了,比如我当时名称是mcp.py。修改成其他的即可正常运行。

2026-02-06 20:29:58 251

原创 milvus快速入门(包含图搜图文搜图)

Milvus 提供强大的数据建模功能,使您能够将非结构化或多模式数据组织成结构化的 Collections。它支持多种数据类型,适用于不同的属性模型,包括常见的数字和字符类型、各种向量类型、数组、集合和 JSON。

2026-01-23 19:17:31 550

原创 LlamaIndex使用指南

LlamaIndex 是一个强大的开源工具,它能帮助开发者构建各种基于(LLM) 的应用程序。它提供了一套工具和 API,使开发者能够轻松地将 LLM 与外部数据源连接起来,从而赋予 LLM 更强大的能力,从功能上看它与LangChian有点类似。

2026-01-16 15:01:33 957

原创 dify使用指南

Dify 后端服务需要一系列用于存储(如 PostgreSQL / Redis / Weaviate(如果本地不可用))和扩展能力(如 Dify 的。综合案例,将知识库查询到的数据插入到数据库当中大模型通过查询rag,然后调用mcp工具完成了该流程。agent就是智能体,可以理解为大模型可以自主的调用其他工具来完成一些事情。而且有定时触发和webhook触发器,可以很好的完成一些定时复杂任务。工作流可以理解成一个流水线,安装设定好的配置去跑。配置llm模型和mcp,知识库。官方有完整介绍不多讲。

2026-01-08 17:28:57 1726

原创 ragflow 构建本地知识库指南

默认数据都在docker的volume下面,可以改docker-compose-base.yml自定义目录。手动先pull下来,把镜像tag改成 docker-compose-base.yml 里面的内容。如果想用代码自定义开发可以使用 LlamaIndex。一定要点下面的保存,发现已经去检索知识库了。一共五个容器,如果镜像拉取不下来可以去。.env文件可以改端口。

2026-01-07 14:54:52 553

原创 Embedding 和 Reranker 模型

主要是rag用的比较多,先把内容换成向量然后使用排序模型提高召回率。

2026-01-06 17:42:27 1601

原创 Python环境管理全攻略

以下是针对不同场景的 Python 环境管理工具推荐,这些推荐基于常见的最佳实践,旨在帮助您高效管理开发环境。

2026-01-05 15:58:45 247

原创 mysql-mcp使用(cherry sdtuio配置)

官方。

2025-12-23 22:48:27 498

原创 Qwen多模态模型全解析(附ComfyUI)

ComfyUI是一个基于节点的开源可视化工具,用于构建和运行生成式AI工作流,主要用于Stable Diffusion等AI绘画任务。qw-vl 视觉模型可以识别图片以及视频,目前已经支持vllm和sglang运行。需要去huggingface下载对应模型放到指定位置。显存占用情况,比原生的要少很多就可以跑起来。显存占用情况,一张卡跑不起来。

2025-11-10 19:46:48 1067

原创 vLLM PD分离推理服务配置指南

参考。

2025-09-24 19:46:45 1936

原创 一键部署CosyVoice AI语音模型

GPU 支持需要宿主机已经安装 NVIDIA 驱动和 nvidia-docker 运行时。如果遇到权限问题,可能需要添加。存在且有足够的存储空间存放模型文件。如果模型已经下载到本地,可以直接挂载到容器内的对应目录。让容器使用宿主机的网络,确保端口可以正常访问。如果需要限制端口,可以改为使用。

2025-09-23 19:11:44 553

原创 RuntimeError: NCCL error: remote process exited or there was a network error

在使用多机多卡分布式训练时发现在容器里面通信不成功使用export NCCL_DEBUG=info发现一直在连接docker的虚拟网卡 eth0对应docker的veth97。

2025-09-17 23:32:19 421

原创 三大压测工具对比:Siege/ab/Wrk实战指南

测试结果 20w+请求,qps在8612。测试结果尽量保证请求数量和wrk一致。

2025-08-28 15:29:28 1093

原创 Python多线程任务处理如何保证顺序一致性

核心特点体现在任务提交与列表返回的顺序一致性,适合需要保持原始任务顺序的场景比如大文件分片整合以及m3u8片段累加顺序不能乱,使用固定线程数处理任务列表,通过map方法保持返回结果顺序与输入列表一致。基于生产者-消费者模型实现,提供更精细的任务控制能力。通过Queue实现线程安全的任务分发,配合锁机制实现进度监控,队列保证先入先出,按照生产者的输入顺序,消费者按照顺序取出执行。

2025-08-27 14:28:21 489

原创 Python map函数参数处理

同时将每个task元素作为动态参数传递。线程池自动分配任务并管理异常。结合可以高效处理并发任务。lambda函数捕获固定参数。

2025-08-27 11:01:31 347

原创 prometheus 自定义指标数据

当prometheus提供的exporter不能满足业务要求,可以使用 --collector.textfile.directory 选择采集自定义的文本指标,这种方式也是最简单的不需要额外操作。比如我这个有一个统计每个ip时间段使用的流量计数的示例。查看自定义的textfile。集成prometheus。启动exporter。

2025-08-22 15:37:04 573

原创 prometheus 之exporter

blackbox_exporter 是 Prometheus 的黑盒监控工具,主要用于监控 HTTP、HTTPS、TCP、ICMP 和 DNS 等协议的可用性和性能。memtype="virtual"表示虚拟内存VSZ,包括了动态链接库占用的一般都要比rss大。其中memtype="resident"是实际占用内存大小也就是ps里面的rss。是一个用于监控主机进程状态的工具,能够采集 CPU、内存等资源数据。top 的 RES == ps 中的RSS。top的 VIRT == ps 中的VSZ。

2025-08-22 11:12:28 461

原创 mysql读写分离

如果在执行创建proxysql用户的时候,主从两个节点同时执行了,会停止同步并且报错。需要让这个语句顺利执行,在从节点drop这个用户,重新运行就可以了。查看后端mysql信息,组为10的是master写,20的是读。查看proxysql的执行情况,可以看到重新语句都去了读组。查看非读请求都去了10组master节点。使用的中间件是proxysql。主从同步和配置文件可以参考。在master上执行测试数据。测试slave节点是否有数据。前提需要已经配置好了主从。

2025-08-20 09:05:23 345

原创 elasticsearch 分词器

安装可参考。

2025-07-30 17:43:44 378

原创 prometheus监控k8s

部署kubernetes_sd_configs 配置文件只采集了2 container* kubelet 的10250端口 /metrics/cadvisor4 apiserver* apiserver 6443 端口 /metrics5 kube* kube-state-metrics组件 8080端口 /metrics6 coredns* kubernetes-pods 自动发现 pod需要配置 prometheus.io/scrape: "true" 不然抓取不到 默认flase。

2025-04-17 17:39:20 1164

原创 StorageClass自动创建pv

1.检查并安装软件2.创建共享目录vim /etc/exports //NFS的配置文件,默认文件内容为空(无任何共享)//设置/data/testnfs为共享目录,允许192.168.48.0网段的IP地址主机访问3.启动服务systemctl start rpcbind //一定要先开启rpcbind服务systemctl start nfs //如服务已启动,更改完配置信息后需要重启服务exportfs -v //查看详细的nfs信息。

2025-04-10 20:57:42 605

原创 StatefulSet和Headless

pod访问另一个pod我们知道通过pod的ip就可以直接访问,但是显而易见的问题就是重建后pod的ip地址就会变化,总不能在业务里面一直修改最新的ip地址,既然这样不就可以通过域名自动解析成最新的ip不就可以了,正好k8s有一个组件叫coredns用来实现内部dns解析功能其中10.233.0.3 就是集群内部的dns服务地址。

2025-04-08 23:38:28 452

原创 elfk部署和使用

filebeat不建议容器启动,适合放到每个节点采集日志统一发给logstash;如果全部输出到elasticsearch会导致负载比较高;不建议每个节点用logstash采集因为比较重,filebeat比较轻量级。

2025-04-03 23:43:25 399

原创 iptables防止ddos(cc)

cat /sys/module/xt_recent/parameters/ip_pkt_list_tot 对应 xt.conf。-m recent --update --seconds 60 --hitcount 100 检查 IP 在 60 秒内是否发起超过 100 次新连接。-m recent --set 将来源 IP 记录到 recent 模块的默认列表(/proc/net/xt_recent/DEFAULT)效果图,到指定次数自动丢弃数据包,端口不通,到达指定时间自动恢复。

2025-03-21 11:34:52 558

原创 python 爬虫音乐;车票信息

DrissionPage操作浏览器自动获取cookie。

2025-01-13 13:23:24 246

原创 下载b站视频

【代码】下载b站视频。

2024-09-20 23:47:02 597

原创 访问kube-apiserver 报错 NSS error -5961 (PR_CONNECT_RESET_ERROR)

至此以后二进制搭建k8s就非常方便了,只需要把文件拷贝过去更换一下etcd和apiserver的证书就可以使用,当然所有组件监听的地址也需要跟换成新服务器的IP。发现执行kubectl get cs 卡住没反应,单独访问apiserver如图。我这里使用的cfssl 在这里添加新服务器IP。再次访问apiserver发现已经不报错了。查看etcd发现该IP拒绝访问。cfssl如何使用这里不做介绍。

2024-04-24 14:43:59 1028

原创 mount: /s: unknown filesystem type ‘LVM2_member‘.

a 参数指定卷组是否是活动的,n表示固定,y表示活动 如果需要删除卷组就要用n选项。vgchange new -ay 激活卷组不然无法挂载,未激活attr显示wi。提示 /dev/vdd3 /dev/vda3. UUID相同,无法激活。这种报错是因为没有激活lvm,所以无法挂载,当我去激活lvm的时候发现。/dev/mapper/new-ubuntu--lv 磁盘路径。克隆一个新的vg 名字叫new 可以自定义。现在UUID已经不一样可以激活了。/s 挂载点 可以自定义。

2024-04-23 17:03:20 998

原创 docker_registry搭建私有仓库一些问题

解决办法还是在 /etc/docker/daemon.json 添加 insecure-registries 可以解决,我看网上资料说在/etc/docker/certs.d/添加ca证书进去可以解决经过本人测试无效。格式必须为仓库地址加端口/镜像名称。/etc/docker/daemon.json 配置为 "insecure-registries" : ["lreg.io""]解决办法还是在 /etc/docker/daemon.json 添加 insecure-registries 可以解决。

2024-04-12 12:05:06 816

原创 atop 日志保存

atop -r /var/log/atop/atop_20240408 -b 202404081610 指定时间点打开。查看 atop -r /var/log/atop/atop_20240408 不可以直接打开。配置文件位置 /etc/sysconfig/atop。b:指定时间点,格式为 YYYYMMDDhhmm。C:按照进程的 CPU 使用率降序筛选。M:按照进程的内存使用率降序筛选。D:按照进程的磁盘使用率降序筛选。t:跳转到下一个监控采集点。T:跳转到上一个监控采集点。c : 显示进程详情。

2024-04-09 11:54:42 1342 1

原创 sslh 端口复用

配置文件为/etc/sslh.cfg;启动服务systemctl start sslh。访问11443端口相当于访问本地https 443端口和web服务的80端口。比如我想一个端口同时可以作为ssh登录又可以通过web访问,如上图所示。访问11443端口相当于访问本地ssh 22端口和web服务的80端口。listen为服务监听地址和端口;protocols为匹配规则。可以通过epel源直接下载。

2024-02-20 15:56:23 665 1

原创 expect 使用(自动拉取代码)

exp_continue } ##exp_continue继续匹配不写会结束,相当于需要写两个expect。yum install expect 或者 apt install expect。spawn git clone -b $addr ##开启一个交互。当前目录创建一个addr文件里面放自己的git地址。##循环取出addr列表的地址,可以写多个。通过addr列表循环取出git地址。可以直接通过包管理工具下载。

2024-01-24 18:10:28 690 1

原创 zabbix4.0 更换前端 php升级 数据库迁移等问题

1.2 添加php仓库 yum install http://rpms.remirepo.net/enterprise/remi-release-7.rpm。有的人可能php选择不全是ok,需要修改 /etc/opt/remi/php73/php.ini文件。3.2 需要修改源端/etc/zabbix/zabbix_server.conf配置文件。还需要修改 /etc/zabbix/web/zabbix.conf.php。/usr/share/zabbix 为zabbix所有php代码目录。

2023-12-26 12:42:34 440 1

原创 runlike和dfimage使用

dfimage -v 镜像ID 可以查看Dockerfile的构建过程(类似docker build )runlike -p 容器ID 可以查看创建容器时的命令。dfimage 镜像ID 可以查看Dockerfile。2 dfimage可以查看镜像的Dockerfile。runlike --help 可以查看帮助信息。1 runlike可以查看创建容器的命令。执行dfimage --help。

2023-12-22 12:09:13 378

原创 mydumper 使用

myloader -u 目标库用户 -p '目标库密码' -h 127.0.0.1 -P 3306 -C -t 4 -o -v 2 --directory data。

2023-12-18 18:16:44 528

原创 代理上网篇

如果对nginx不太熟悉或者觉得麻烦配置也可以使用tinyproxy代理上网可以直接yum安装(前提需要epel源)sed -i "s/^Allow/#&/" /etc/tinyproxy/tinyproxy.conf 注销掉只允许本机代理默认端口为 8888在需要代理的服务器上执行export http_proxy=http://your-tinyproxy_host-ip:8888 #在本次终端生效。

2023-09-11 19:11:46 380

原创 docker 少见错误总结

原因 systemctl --version 在243时 docker.service的改配置为无限大,导致出现上面情况。解决办法 需修改docker.service的infinity改为65535解决(65535是虚拟机支持最大打开数)以mysql为例 容器正常启动但是会显示连接不到mysql.socker,进入容器一段时间会自动退出。进不去容器内部,会卡死在当前tty终端 原因未知可能是docker的bug。可以查看到容器内文件打开数量已经超出虚拟机容许的最大打开数量。

2023-09-08 12:41:55 373 1

原创 zabbix安装使用

路径一般为/usr/share/doc/zabbix-server-mysql-4.0.47/create.sql.gz 我的版本是4。时间{EVENT.RECOVERY.TIME} on {EVENT.RECOVERY.DATE}接下来就可以在 配置----动作----事件源选择自动发现----创建动作。模版可以在配置----模版里面添加,模版里面可以添加自己自定义的监控项。时间 {EVENT.TIME} on {EVENT.DATE}可以在检查----自动发现检查刚刚配置的规则有没有检测到主机。

2023-09-04 14:59:04 197 1

原创 Linux安全加固

另外,不同的pam版本,设置可能有所不同,具体使用方法,可以参照相关模块的使用规则。可尝试经典的topn,vpn,owa,webmail,目标oa,各类Java控制台,各类服务器Web管理面板,各类Web中间件漏洞利用,各类Web框架漏洞利用等等……Linux系统中/etc/hosts.allow控制可以访问本机的IP地址,/ete/hosts.deny控制禁止访问本机的IP。# vim /etc/pam.d/system-auth或/etc/pam.d/common-password。

2023-08-31 19:12:32 348

原创 Mysql安全加固

validate-password=ON/OFF/FORCE/FORCE_PLUS_PERMANENT: 决定是否使用该插件(及强制/永久强制使用)。#典型的选项是 --datadir指定创建文件的位置,以及 --verbose查看mysql_ssl_rsa_setup执行的 openssl命令。比如 mysql_ssl_rsa_setup -d=/data/ -v #执行可以发现这条命令其实也是调用的openssl生成证书。

2023-08-31 17:19:17 537

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除