- 博客(102)
- 收藏
- 关注
RSS订阅
原创 Windows下安装Milvus向量数据库
在大数据时代，高效处理和检索向量数据变得尤为重要。Milvus作为一款开源的向量数据库，为海量非结构化数据提供了高性能的存储与搜索解决方案。本文将手把手教你如何快速安装并配置Milvus，从环境搭建到实战应用，让你轻松掌握这一强大工具的核心技能，开启智能检索的新篇章。无论你是初学者还是有经验的开发者，都能从中获得实用的技巧和宝贵的见解。milvus的使用一共有三种方式，分别为：本文接下来主要是来接是如何用docker安装milvus向量数据库，以及如何使用。
2024-10-21 15:14:10
2213
4
原创 RAG到底怎么分块！！
实际用下来，语义分块往往是个不错的起点，它在语义完整性和效率之间平衡得很好。不过，最靠谱的还是根据你的文档类型和目标试一试，找到最适合的那一款。真正落地业务时，分块策略的优化往往需要反复试验，甚至结合多种方法，才能达到最佳效果。需要设定一个相似度的标准（阈值），而这个标准可能因文档不同而变化，得试着调。追求语义：语义分块和递归分块能让AI更懂内容，适合需要深度理解的文档。适合场景：文档有层次结构，又需要控制大小的时候，这种方法很实用。不差钱：基于LLM的分块效果拔群，但得有足够的资源支持。
2025-03-26 17:33:15
698
原创 Mysql表中的字符编码到底怎么设置
记录一下趴~今天遇到一个问题在解析doc文件后想把拆解后的内容 存到mysql数据库表的一个字段当中，但是死活是存不进去报错这一看就猜到是编码的问题但是为啥呢？首先排查我的表的字符编码发现字符编码是utf8 utf8_general_ci的平时也没太注意过这些后来去了解了一下两者的区别。
2025-03-26 17:13:11
603
原创 使用Wheel包部署python项目
首先创建requirements.txt文件。或者在window上双击脚本。打包之后得到.whl文件。上传到服务器上执行命令。# 清理 pip 缓存。然后执行命令进行打包。# 然后重新安装依赖。# 安装 whl 包。
2025-03-10 14:47:30
173
原创 python怎么去搭建一个python后台项目并打成jar包运行项目
1.首先要创建requirements.txt文件。打包部署的方式有docker 和jar包的方式。这里为了打包的方便我想采用的是jar包的方式。三、要运行FastAPI项目，需要以下步骤。2.创建脚本文件 .start.sh。# 安装 PyInstaller。2..gitignore文件。kill -9 进程ID。二、创建运行的相关文件。# 后台运行并输出日志。
2025-03-06 10:08:10
394
原创 java中的CompletableFuture的使用过程中遇到的坑
今天遇到一个很诡异的问题，我们有一个业务实现是将一个uuid存入到redis当中的，前端会一直调用获取的接口，直到拿到数据，但是有时候发现却卡主了，一直获取不到。CompletableFuture异步去处理的，想着有没有可能是多线程阻塞了，又有很多地方都用了这个类去实现多线程。第二步找这查询不到的几个接口的共同点，发现都用了线程池 使用的。- IO密集型：使用自定义线程池，线程数可以设置较大。- CPU密集型：使用默认线程池或设置较小的线程数。- 开发测试：可以使用默认线程池。3.1 默认线程池适用场景。
2025-03-05 09:33:47
228
原创 Python 中调用 MySQL 数据库的学习文档
在现代应用程序中，数据库是存储和管理数据的核心组件。Python 提供了多种库来与 MySQL 数据库进行交互，最常用的包括 pymysql 和 MySQL Connector/Python。本文将介绍如何在 Python 中调用 MySQL 数据库，包括安装库、创建连接、执行查询和处理结果。在 Python 中，您需要创建一个与 MySQL 数据库的连接。以下是使用 pymysql 和 mysql-connector-python 创建连接的示例。在开始之前，您需要确保安装了与 MySQL 交互的库。
2025-02-21 14:52:47
247
原创 Python对MYSQL进行统一管理
在选择使用 pymysql 还是 Flask-SQLAlchemy 时，开发者应根据项目的复杂性和需求进行权衡。对于简单的数据库操作，pymysql 是一个轻量级的选择；而对于需要频繁与数据库交互的复杂 Web 应用，Flask-SQLAlchemy 提供了更强大的功能和更简洁的代码结构。通过本文的比较和示例，希望能帮助您更好地理解这两种工具的使用场景和优势。为了不要出现以下错误，大家还是统一化管理趴。
2025-02-21 14:47:46
809
原创 Windows10 将Docker虚拟磁盘文件ext4.vhdx迁移至D盘
今天打开电脑发现之前迁移到D盘的ext4.vdx居然占有80多个G不得不重新清理一下了于是先删除了d盘的ext4.vdx文件注销了原来的然后再重启的时候发现他会重新创建但是默认还是在C盘 占用太大了 之前忘记记录了迁移过程 今天还是想记录一下防止下次不时之需一、关闭Docker Desktop 打开cmd窗口输入命令。
2025-02-19 14:07:57
913
原创 Coze工作流搭建小红书推广智能体
通过扣子开发的 AI 应用有明确的输入和输出，可以根据既定的业务逻辑和流程完成一系列简单或复杂的任务，例如 AI 搜索、翻译工具、饮食记录等。扣子是新一代 AI 应用开发平台。无论你是否有编程基础，都可以在扣子上快速搭建基于大模型的各类 AI 应用，并将 AI 应用发布到各个社交平台、通讯软件，也可以通过 API 或 SDK 将 AI 应用集成到你的业务系统中。智能体：智能体是基于对话的 AI 项目，它通过对话方式接收用户的输入，由大模型自动调用插件或工作流等方式执行用户指定的业务流程，并生成最终的回复。
2025-02-18 17:18:07
473
原创 docekr在 x86d的 环境下打包arm64架构的docker包
buildx 的实现依赖 QEMU （某开源模拟器），支持多种 CPU 架构，如 ARM、Power-PC 和 RISC-V。需要注意：buildx推送镜像时，不会走主机的hosts文件，默认使用https协议关于QEMUQEMU 可以模拟一个完整的操作系统（开销较大）。
2025-01-17 13:23:28
606
原创 利用AI大模型和Mermaid生成流程图
例如，假设我们要绘制一个用户登录的业务流程图，内容包括用户登录、检查用户权限、显示内容或权限错误以及用户注销等步骤。Mermaid提供了丰富的API方法，使得在网页中创建和展示各种类型的图表变得非常方便。通过以上步骤，你可以高效地利用大模型和Mermaid实现业务流程图的快速生成，并将其应用于各种文档和项目中。方法可以将流程图渲染到指定的元素中。方法可以初始化一个流程图，该方法接受一个可选的配置对象作为参数，用于自定义图表的样式和行为。： 将生成的Mermaid代码粘贴到支持Mermaid的在线网站（如。
2025-01-10 16:34:49
2980
原创 POI在word中插入图片
后来稍微调整了一下设置了一下段落格式 重新创建了一个新的段落去作为“容器”一开始：使用默认方法插入流程图片但是发现默认图片总是嵌入布局无法展示完整。今天遇到一个新的任务：需要在一个word文件中插入一个流程图。
2025-01-10 16:28:34
596
原创 Docker安装GPUStack详细教程
添加 Docker 仓curl -fsSL https://mirrors.aliyun.com/docker-ce/linux/ubuntu/gpg | sudo gpg --dearmor -o /usr/share/keyrings/docker-archi库。# 2. 然后在容器内使用 gpustack 命令。# 添加 Docker 的 GPG 密钥。# 4. 查看 worker 状态。# 安装 containerd。# 1. 首先进入容器。# 3. 查看模型列表。# 重新启动 WSL。
2024-12-28 12:59:16
3191
原创 Kubernetes（K8s）学习笔记
Kubernetes（简称K8s）是一个开源的容器编排和管理平台，由Google主导开发，旨在自动化容器化应用程序的部署、扩展和管理。K8s以其强大的功能、高度的可扩展性和广泛的社区支持，已成为现代云原生应用架构的核心组件。Kubernetes是一个功能强大且复杂的容器编排平台，它提供了丰富的功能和灵活的架构，能够满足各种应用场景的需求。通过不断学习和实践，你可以逐步掌握K8s的核心概念和操作技巧，为构建高效、可扩展的云原生应用打下坚实的基础。：K8s是一个快速发展的项目，不断有新的功能和改进。
2024-12-20 15:23:12
1027
原创 语义检索系统嵌入模型选型技术方案
本文针对语义检索系统嵌入模型选型问题，提出了一套技术方案。在实际应用中，应根据业务场景、数据特点和技术需求，灵活选择合适的嵌入模型。通过实验与评估，不断优化模型性能，提高语义检索系统的整体效果。
2024-12-19 17:26:05
483
原创 whisper实时语音转文字
Openai whisper模型下载链接，包括medium（中型），large-v1、large-v2、large-v3。Whisper提供了多种大小的模型，您可以根据需要下载。模型文件通常保存在~/.cache/whisper/目录下。此外你还需要安装ffmpeg。
2024-12-19 17:25:10
1463
2
原创 FFmpeg 安装教程（Windows 系统）
1. 前言FFmpeg 是一个用于处理视频、音频等多媒体文件的开源工具包。它支持几乎所有的多媒体格式转换、剪辑和编辑，是开发者和多媒体工作者必备的工具。本文详细讲解如何在 Windows 系统上安装 FFmpeg 并进行基本配置。2. 下载 FFmpeg 安装包打开 Dpwnload FFmpeg 官网，选择安装包Windows builds from gyan.dev下滑找到部分，选择下载完成后，解压缩得到 FFmpeg 文件夹。
2024-12-19 17:22:46
2803
原创 长文本向量模型分块策略
长文本向量模型能够将十页长的文本编码为单个向量，听起来很强大，但真的实用吗？很多人觉得... 未必。直接用行不行？该不该分块？怎么分才最高效？本文将带你深入探讨长文本向量模型的不同分块策略，分析利弊，帮你避坑。长文本向量化的问题首先，让我们看看将整篇文章压缩成单一向量会存在哪些问题。比如这篇关于 ICML 2024 参会报告的博客，就包含会议介绍、Jina AI 的工作展示 () 以及其他研究论文总结。如果将整篇文章向量化成单一向量，该向量将混合三个不同主题的信息：表示稀释会削弱文本向量的精度。
2024-12-18 15:40:27
740
原创 MySQL、MybatisPlus中的坑啊啊啊啊啊
如果是 root 帐号，能看到所有用户的当前连接。processlist 命令的输出结果显示了有哪些线程在运行，不仅可以查看当前所有的连接数，还可以查看当前的连接状态帮助识别出有问题的查询语句等。show full processlist 返回的结果是实时变化的，是对mysql链接执行的现场快照，所以用来处理突发事件非常有用。command #连接状态，一般是休眠（sleep），查询（query），连接（connect）看上去如此简单的一个mybatisplus的运用 但是！
2024-12-18 15:37:29
643
原创 PaddleOCR：一款高性能的OCR工具介绍
PaddleOCR是一款基于飞桨深度学习平台开发的开源OCR工具，具有以下特点：高性能：PaddleOCR采用了先进的深度学习技术，识别速度快，准确率高。轻量级：PaddleOCR支持多种部署方式，包括服务器端、移动端和嵌入式设备，满足不同场景的需求。多语言支持：PaddleOCR支持多种语言识别，包括中文、英文、日文、韩文等。简单易用：PaddleOCR提供了丰富的API接口，方便开发者快速集成到自己的项目中。持续更新：PaddleOCR团队持续优化算法，更新版本，为用户提供更好的使用体验。
2024-11-27 17:30:58
1333
原创 RAG数据拆分之PDF
本文介绍了RAG数据拆分至PDF的方法和工具，并通过代码示例展示了如何使用PyPDF2进行PDF文件拆分。在实际应用中，可根据需求选择合适的解析方法和工具。RAG（关系型属性图）是一种用于表示实体及其关系的图数据结构。在RAG中，节点表示实体，边表示实体之间的关系，属性则用于描述实体和边的特征。希望这个分享笔记大纲和代码示例能帮助你完成你的分享笔记。在实际编写过程中，可以根据具体需求进行调整和优化。本文将介绍如何将RAG数据拆分至PDF格式，并探讨PDF解析的方法和工具，最后提供代码示例。
2024-11-27 17:19:51
729
原创 将python下载的依赖包传到没网的服务器
然而，有时我们需要在没有网络连接的机器上部署我们的代码，这就涉及到如何将Python下载的依赖包传输到没有网络连接的机器上的问题。将下载的依赖包传输到没有网络连接的机器上，可以使用各种传输工具，例如USB闪存驱动器、外部硬盘驱动器、局域网共享等。在有网络连接的机器上，我们可以使用Python的包管理工具pip来下载所需的依赖包。这将会在当前目录下下载一个名为numpy-x.x.x.tar.gz的压缩文件，其中x.x.x表示依赖包的版本号。这将会使用传输过来的依赖包文件进行安装，确保依赖包文件的路径正确。
2024-11-12 10:18:15
508
原创 LINUX离线安装Milvus
离线安装Docker需要你提前下载Docker的安装包，并将其传输到目标机器上进行安装。以下是一个基于Linux系统的离线安装Docker的简要步骤和示例：从有网络的机器上下载Docker安装包。将下载的安装包拷贝到离线的服务器上。在离线的服务器上安装Docker。下载Docker安装包：要在本地进行打包镜像上传到服务器上。
2024-11-05 14:18:06
1375
原创 Ollama接口文档中文版
如果 blob 创建成功，则返回 201 Created ，如果使用的摘要不是预期的，则返回 400 Bad Request。取消的拉取将从上次中断的位置继续，并且多个调用将共享相同的下载进度。如果 blob 存在，则返回 200 OK，如果不存在，则返回 404 Not Found。如果成功，则返回 200 OK，如果要删除的模型不存在，则返回 404 Not Found。时，输出将始终是格式正确的 JSON 对象。如果成功，则返回 200 OK，如果源模型不存在，则返回 404 Not Found。
2024-10-31 13:06:50
9344
原创 内网环境搭建Python3环境
注：如若安装的第三方库在调用中出现如下错误，请将文件夹内_bz2.cpython-36m-x86_64-linux-gnu.so拷贝至Python3.6的/usr/local/lib/python3.6/lib-dynload下，重新在终端进入python环境即可。（如若有依赖包，在第二步安装时先安装依赖包，再安装主包，比如上述下载的pymysql）第二步：将下载的第三方库文件通过ftp等工具放至对应目录，比如：/usr/local/data/pip_source/pymysql。
2024-10-31 11:39:05
817
原创 内网机安装docker
可以直接使用该链接进行下载：https://download.docker.com/linux/static/stable/x86_64/docker-20.10.9.tgz。上面的配置文件中，registry-mirrors中的内容就是我的私域镜像仓库，一般这种私有仓库需要执行docker login才能有权访问。也可访问官网选择匹配自己系统的版本进行下载： Index of linux/static/stable/ (docker.com)最后，使用改命令启动docker。解压安装包到当前文件夹下。
2024-10-31 10:32:23
929
原创 使用ollama本地部署qwen2并api调用
Ollama 是一个开源的、本地运行的 AI 聊天模型，允许在自己的设备上运行 LLM，无需依赖云服务。目前Ollama library已经支持Qwen2，可以直接使用。windows下选择exe ，然后运行安装，安装完成后。首先安装ollama， 访问官网 下载 ollama 对应版本 Download Ollama on macOS。等待模型下载，下载的模型速度取决您的网络速度。模型启动完成，这样我们就可以实现模型推理了。查阅官方的api参考文档，得到使用说明。使用ollama 命令行窗口推理。
2024-10-22 13:18:23
3711
原创 关于本地部署向量数据库的选择
Milvus因其成熟和社区支持而广受欢迎，而Chroma则因其基于FAISS的高性能而受到关注。：如果您更关注易用性和快速集成，Weaviate和Qdrant可能是更好的选择。：IVF 系列索引，适用于上亿规模的数据集，检索效率高，内存占用低，写入效率高。：适用于需要处理大量向量数据的应用，尤其是需要高性能搜索的场景。：适用于需要快速原型开发和易于集成到现有系统的应用。：适用于需要在关系数据库中添加向量搜索功能的应用。：适用于需要高性能和可扩展性的大规模向量搜索应用。：适用于需要快速搜索和高扩展性的应用。
2024-10-21 15:17:33
670
原创 探究RAG技术在自然语言处理领域的未来发展
RAG技术通过整合参数化知识与非参数化数据，提升了LLMs的能力。未来发展方向主要集中在技术优化、多模态融合和生态系统完善。随着RAG技术的不断进步，其在AI领域的应用前景广阔，值得我们持续关注和学习。通过对RAG技术的学习，我们对自然语言处理领域的未来发展有了更深入的了解。同时，我们也认识到，为确保RAG技术的有效性和实用性，对其评估方法的完善将是未来研究的关键。
2024-09-23 17:53:26
651
原创 RAG的数据清洗和拆分
虽然大模型压缩了大量的人类知识，但在垂直场景上明显存在短板，需要专业化的服务去解决特定问题。在大模型使用上有一些幻觉、合规问题，没有办法很好地落地，配套工作不足，缺乏现成的方案来管理非结构化文本、进行测试、运营和管理等。各业务孤立摸索，资产无法沉淀，存在低水平重复建设，对公司来说ROI低，不够高效。站在应用的角度，需要一种能够有效解决大模型在垂直领域知识短板、降低应用门槛、提高效率并发挥规模优势的技术方案。
2024-08-23 17:05:29
1432
原创 Dify接入TiDB Vector
左半部分是用户上传文档到向量库右半部分是用户使用向量库的数据增加大模型能力用户提出问题将用户的问题通过 Embedding 模型向量化以问题向量化作为查询节点，对向量库进行 ANN 查询，返回 TopK 个近邻节点将 用户问题和 TopK 节点的数据传递给 Reranker 模型进行重排序，并选择重排后的 TopN (N < K)将问题和 TopN 节点的内容拼接成 prompt 作为大模型的上下文调用大模型。在使用 Embedding 和 Reranker 的时候，需要通过 token 授权。
2024-08-02 16:20:04
2738
原创 本地部署SearXNG
当您安装 SearXNG 时，默认的输出格式是 HTML 格式。请将以下行添加到 settings.yml 文件中。如前面的示例所示，settings.yml 文件位于 ${PWD}/searxng/settings.yml。SearXNG 是一个免费的互联网元搜索引擎，整合了各种搜索服务的结果。用户不会被跟踪，也不会被分析。中填写访问地址，例如：http://x.x.x.x:8080，如果你想通过其他方式安装 SearXNG，请参考。3. 在 Dify 中集成 SearXNG。
2024-07-23 11:07:53
4567
原创 好用的AI搜索引擎
天工 AI 搜索打破了传统搜索引擎的搜索模式，整合互联网全真信息，为用户提供高效、精准、个性化的搜索体验，以及便捷、专业、丰富的内容服务。360AI 搜索，新一代智能答案引擎，值得信赖的智能搜索伙伴，为复杂搜索提供专业支持，解锁更相关、更全面的答案。现在，360 集团全新升级的大模型搜索产品"360AI 搜索"应运而生，为最复杂的搜索查询提供更相关、更全面的答案。直达结果：秘塔 AI 搜索通过智能算法，能够准确理解用户的搜索意图，直接呈现最相关的结果，节省用户的时间。
2024-07-17 17:22:36
1754
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人