自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(166)
  • 收藏
  • 关注

原创 MCP - 使用 BlenderMCP 让 Claude AI 控制你的 Blender 模型创作

BlenderMCP 打通了 AI 与 3D 工具之间的壁垒,使得通过 Claude 自然语言即可进行场景构建、模型控制和素材管理等操作,大幅度简化建模流程。无论是个人创作、游戏原型设计还是团队协作,这套流程都值得你体验一番。uv。

2025-03-30 13:15:40 1046 2

原创 使用 Helm 在 Kubernetes 上部署高可用的 Dify 系统

Dify 是一个功能强大的开源 LLMOps 平台,虽然官方提供了基于 `docker-compose` 的部署方式,但在生产环境中,我们通常需要具备可扩展性、高可用性和容错性,这些正是 Kubernetes 所擅长的,于是开源一个 dify-chart 项目,实现基于 `Helm` 在 Kubernetes 上的高可用部署。dify-chart 项目是基于 `Helm`,将 Dify 的 `docker-compose.yaml` 和 `.env` 配置转换成 Kubernetes 环境下脚本。

2025-03-28 13:41:32 1254

原创 Helm YAML 模板语法详解(values.yaml + templates)

Helm 的 YAML 语法基于 Kubernetes 的 YAML 配置文件,但在此基础上引入了 **Go Template 模板语法**,使得配置更灵活、参数化程度更高。以下是对 Helm 的 YAML 文件结构和语法的详细介绍。

2025-03-25 12:00:00 759

原创 Helm 全面介绍:Kubernetes 的包管理器

Helm 是 Kubernetes 的包管理工具,类似于 Linux 的apt或yum。管理 Kubernetes 应用的安装、升级、回滚等生命周期封装复杂的 Kubernetes YAML 配置文件成一个个可复用的“包”(称为 Chart)通过变量模板化部署,提高灵活性和复用性通过service:port: 80Helm 是 Kubernetes 下 DevOps 工程师的“利器”,它极大简化了复杂应用的部署、升级与维护。

2025-03-25 10:00:00 719

原创 利用 Patroni + etcd + HAProxy 搭建高可用 PostgreSQL 集群

etcd 集群etcd 作为分布式键值存储,为 Patroni 提供集群状态、元数据存储与服务发现功能。本例中,我们使用 3 个 etcd 节点构建一个高可用的 etcd 集群。Patroni 管理的 PostgreSQL 集群Patroni 通过监控 PostgreSQL 实例的状态,并利用 etcd 作为一致性存储,实现主从切换与故障恢复。这里我们部署 3 个 Patroni 节点,每个节点内嵌一个 PostgreSQL 实例。HAProxy 负载均衡器。

2025-03-25 08:00:00 559

原创 Dify - 部署高可用私有化系统指南

文件中配置了 Dify 部署的总体结构,包括:几个 Dify 自身工程(api、web、 work、sandbox等),还有 Dify 的一些依赖(nginx、PostgreSQL、Redis、罗列了各类向量数据库),具体结构可以参考。无论是多节点的服务组件,还是高可用的底层存储系统,均能确保在高并发场景下稳定运行。可以部署多台 Docker 服务,内部使用域名、代理、nginx负载,需要注意修改 ssrf_proxy 配置。文件给出了一个单机环境部署,如果私有化高可用部署,我们可以在这个基础上进行修改。

2025-03-24 23:07:33 1014 2

原创 OmniParser:安装、测试与原理剖析

如何让 AI 智能控制电脑和手机?首先要让 AI 模仿人理解设备屏幕的内容,微软开源的 **OmniParser** 是一个专为图文信息解析任务设计的多模态模型,它支持图标检测、图标描述(Caption)、OCR 区域校验等任务,集成了 YOLOv8 和 FLORENCE/BLIP2 等主流视觉模型,协助 AI 看懂屏幕,从而进一步执行智能操作。本篇博客将从 **安装配置、简单测试、原理解构** 三个方面,全面解析 OmniParser 的使用与原理。

2025-03-24 08:00:00 887 2

原创 SSRF 攻击与防御:从原理到落地实践

是一种常见的Web安全漏洞。扫描内网:探测企业内网中未暴露在公网的资产,如数据库、私有API等。获取云元数据:例如访问获得云服务器上敏感的配置信息或密钥。侧向攻击:在更深层的漏洞场景下,如果服务器对内部网络拥有较高权限,攻击者还能利用 SSRF 辅助横向渗透其他机器。SSRF是一种利用服务器端向外发送请求的漏洞手段,攻击者可以借此探测或攻击内网。最佳防御策略禁止或严格限制用户可控的URL请求;使用代理(如Squid)集中管理、筛选允许访问的域名/IP;

2025-03-20 19:25:03 725

原创 Dify - 架构、部署、扩展与二次开发指南

本文详细解析 Dify 的架构、部署流程、高可用中间件的独立部署方法,以及二次开发流程,帮助开发者更高效地管理和扩展 Dify。通过本指南,你可以更好的了解 Dify 的部署结构和代码结构,更高效地管理 Dify 的部署、扩展和二次开发,提高 AI 应用的灵活性和可维护性。

2025-03-20 18:47:11 2522 10

原创 向量数据库全景概览:100+解决方案分类解析

随着AI技术的快速发展,向量数据库已成为处理高维数据、支持相似性搜索的核心基础设施。本文将对当前主流的100+向量数据库/存储方案进行分类解析,为技术选型提供全景式参考。

2025-03-15 18:00:00 804

原创 Docker 镜像优化:如何避免重复安装软件,加速服务的构建与部署

构建持久化 Base Image:通过 Dockerfile 预装所有基础依赖,并构建版本化的基础镜像。基于 Base Image 构建服务镜像:各个服务镜像仅包含业务代码部分,构建速度更快。将镜像推送到公共或私有仓库:方便团队共享和 CI/CD 自动化,进一步提升部署效率。通过以上优化方案,你不仅能显著降低 Docker 镜像构建时间,还能确保每次部署都基于一致且经过测试的环境。希望这篇博客能为你的项目部署带来帮助,让开发和运维过程更加高效和可靠!🚀。

2025-03-15 14:00:00 661

原创 如何构建持久化镜像:避免重启后安装软件丢失

方法解决方案描述提交新镜像使用将当前容器状态保存为新镜像,适合临时调试。使用 Dockerfile编写 Dockerfile 构建包含 tightvncserver 的镜像,适合标准化流程。挂载数据卷通过卷挂载保存配置和数据,确保重启容器时配置文件不会丢失。对于正式环境和长期使用,推荐使用 Dockerfile 构建持久化镜像,并结合自动化启动脚本(例如设置CMD命令),实现容器启动时自动运行 VNC 服务。这样不仅保证了软件安装的持久性,还能确保环境的一致性和可维护性。

2025-03-15 12:00:00 686

原创 Manus 技术探索 - 使用 gVisor 在沙箱内运行 Ubuntu 容器并通过远程浏览器访问

本文介绍了如何利用 gVisor 沙箱技术运行带 GUI 的 Ubuntu 容器,并通过 VNC/NoVNC 实现远程浏览器访问。安装并配置 gVisor:下载 runsc,配置 Docker 使用 gVisor 作为运行时,并重启 Docker。运行 Ubuntu 容器并安装 VNC 服务:启动容器,更新软件包,安装 XFCE 桌面环境和 tightvncserver。配置 VNC 服务器:初始化 VNC 服务,设置启动脚本以加载 XFCE 桌面,并启动 VNC 服务器。安装并启动 NoVNC。

2025-03-15 10:00:00 941

原创 LangChain教程 - Agent -之 REACT_DOCSTORE

ReAct(Reasoning + Acting)是一种结合了推理(Reasoning)和行动(Acting)的智能代理架构。它让 AI 能够在推理的同时与环境进行交互,从而提升决策能力。例如,在问答任务中,ReAct 允许 AI 先进行逻辑推理,再调用搜索工具获取更多信息。REACT_DOCSTORE 在 ReAct 基础上集成了文档存储(DocStore),让 AI 先检索相关文档,再进行推理。这种方式适用于信息密集型任务,能够大幅提高 AI 对知识库的支持能力。

2025-03-15 00:50:23 894

原创 LangChain教程 - Agent -之 ZERO_SHOT_REACT_DESCRIPTION

零样本学习(Zero-Shot):无需提供示例,LLM 通过工具的描述来决定如何使用它们。自适应推理(ReAct):LLM 通过思考和行动循环决定调用哪个工具。工具可扩展:可以动态地向 Agent 添加新的工具。这种方式特别适用于开放域问答场景,例如查询天气、获取时间、计算数值等。

2025-03-11 19:00:00 1520

原创 J-LangChain - Agent - 编排一个 ReAct + Function Call 反应链

j-langchain 是一款基于 Java 的 AIGC 编排框架,致力于集成多种大模型(LLM)调用及 RAG 工具。自 1.0.8 版本起,我们引入了工具函数(Function Call)调用能力,正式实现了Tools功能,并将其与模式结合,从而构建出功能丰富、交互智能的Agent系统。在本文中,我们将通过一个详实的实例,展示如何利用 Tools 功能编排一个具备 ReAct 反应链的 Agent。

2025-03-11 12:30:22 1420

原创 LangChain教程 - Agent - 支持 9 种 ReAct 交互

LangChain 总结了 9 种经典的复杂模型交互模式,每种都针对特定任务设计,兼具独特优势与适用场景,内容涵盖: ReAct、Function Call、知识库、搜索等,使用这些模式可以大大简化这些场景开发难度。这些模式可以使用Agent形式来使用,并以AgentType来做区分,详见下面实例。在开发时,选择合适的 AgentType 是成功的关键,本文将逐一剖析这些代理类型,结合特性分析、应用场景和代码示例,助你在实际项目中快速找到最优解。

2025-03-06 09:00:00 1420

原创 Adapter-Tuning:高效适配预训练模型的新任务

相比 Fine-Tuning,Adapter-Tuning 计算资源消耗更低,并且存储占用小,是预训练模型调优的一个理想选择。Adapter-Tuning 通过在 Transformer 层中插入可训练的 “Adapter” 模块,而不改变原始预训练模型的参数。Adapter-Tuning 作为一种高效的模型调优方法,允许我们在预训练模型的基础上,通过引入轻量级 “Adapter” 层来进行任务特定的学习。本文介绍 Adapter-Tuning 技术,并通过一个意图识别任务的代码示例展示其应用。

2025-03-05 14:00:00 2020

原创 P-Tuning:高效利用预训练模型的轻量级调优方法

这些 Prompt Token 是可训练的参数,类似于传统 Fine-Tuning 过程中的权重更新,但它们仅作用于输入层,避免了对整个预训练模型进行参数调整。P-Tuning(Prefix-Tuning 或 Prompt-Tuning)是一种更高效的微调方法,它通过在输入前添加一组可训练的 “Prompt Embeddings” 来调整模型的行为,而无需修改预训练模型的权重。随着预训练语言模型(PLM)在自然语言处理(NLP)任务中的广泛应用,Fine-Tuning 仍然是最常用的微调方法。

2025-03-05 09:00:00 378

原创 Prompt-Tuning:让预训练模型更高效地适配任务

随着预训练语言模型(如 BERT、GPT、T5)的发展,Fine-Tuning 已成为 NLP 任务中的常见方法。Prompt-Tuning 作为一种轻量级替代方案,通过添加任务相关的提示(Prompt)来调整模型的行为,极大减少了参数更新的需求,同时提升任务适配性。Prompt-Tuning 是一种高效的 NLP 任务适配方法,能够在不改变大量模型参数的情况下,引导预训练模型完成特定任务。Prompt-Tuning 的核心思想是利用 “提示模板” 来引导预训练模型的输出,而不直接修改模型权重。

2025-03-04 15:40:00 855

原创 Fine-Tuning:从零开始训练文本润色模型

在自然语言处理(NLP)任务中,文本润色(text polishing)是一项重要的应用,例如帮助用户提升写作质量、改善语法或增强表达清晰度。T5(Text-to-Text Transfer Transformer)模型以其强大的泛化能力和灵活的文本转换特性,成为 Fine-Tuning 任务的理想选择。本文将通过一个简单的示例,介绍如何对 T5 模型进行 Fine-Tuning,使其具备自动文本润色能力。在 T5 中,所有任务都需要一个前缀,例如“polish:”,用于指示任务类型。

2025-03-04 08:00:00 297

原创 MOE(Mixture of Experts)门控网络的实现与优化

门控类型计算量适用场景适用专家数低小规模 MOE,计算简单所有专家低仅使用部分专家,适合大模型选定专家MLP 作为门控中提取复杂特征,提高精度所有专家LSTM 作为门控高时间序列数据(金融/语音)可调Transformer 作为门控高NLP 任务,大规模数据可调如果你的任务数据较简单,建议使用或,如果需要更复杂的决策,可以用MLP、LSTM 或 Transformer作为门控网络。你可以根据任务需求,调整 MOE 的门控策略来提升模型性能!🚀。

2025-03-03 20:21:22 789

原创 思维链(Chain of Thought, CoT)推理原理解析

思维链(Chain of Thought, CoT)是一种逐步推理的提示方法,引导模型在回答问题时,分步骤推导答案,而不是直接给出最终答案。让模型先生成一系列推理步骤。再基于这些推理步骤得出最终结论。这种方式类似于人类解题时的思维过程,例如在数学计算、逻辑推理、代码分析等任务中,我们通常不会直接写出答案,而是先进行分析、计算、归纳,最后得出结论。

2025-03-03 20:19:23 911

原创 微调训练方法概述:Fine-tuning、Prompt-tuning、P-tuning 及其他高效技术

在深度学习和自然语言处理的应用中,微调是一个至关重要的步骤。通过选择合适的微调方法,我们可以更高效、更精确地将预训练模型应用到特定任务中。不同的微调技术各有其优势和应用场景,选择适合自己任务的微调策略,将大大提升模型的性能与效率。

2025-02-28 15:09:39 981

原创 用JAVA玩转LangChain编排:打造会“自我进化”的AI笑话大师

你有没有想过,让AI不仅会讲笑话,还能根据评价“自我进化”,生成更搞笑的版本?今天,我们将用Java和打造一个“AI笑话大师”,它能根据你的主题生成笑话,聪明地评价自己,然后迭代出更幽默的升级版。准备好了吗?让我们用Java玩转AI编排的魔法,一步步解锁这个超酷的应用!

2025-02-28 08:00:00 529

原创 J-LangChain,用Java实现LangChain编排!轻松加载PDF、切分文档、向量化存储,再到智能问答

Java如何玩转大模型编排、RAG、Agent???在自然语言处理(NLP)的浪潮中,LangChain作为一种强大的模型编排框架,已经在Python社区中广受欢迎。然而,对于Java开发者来说,能否有一个同样高效、灵活的工具来实现类似功能?答案是肯定的!今天,我们将聚焦 J-LangChain——一个专为Java打造的LangChain实现,带你探索如何用Java语言轻松构建从PDF处理到智能问答的现代NLP系统。

2025-02-27 08:00:00 1641

原创 J-LangChain - RAG - PDF问答

是一个基于 Java 的链式模型开发框架,旨在帮助开发者利用现代语言模型(如 ChatGPT、Ollama 等)进行多步骤的推理和数据处理。它特别适合用于构建编排复杂的应用程序,这些应用程序涉及到多个步骤的转换、文档处理、模型推理等。本文展示了如何使用 J-LangChain 框架从 PDF 文件中提取信息并进行基于问题的回答。我们通过加载 PDF 文档、切分文档、向量化文档内容并存储到 Milvus 中,然后构建问答流程,最终利用语言模型来回答用户的问题。

2025-02-26 18:22:33 1659

原创 LangChain教程 - RAG - PDF问答

我们使用RAG(检索增强生成)技术,将检索到的文档与生成模型(如ChatOllama)结合,生成最终的答案。方法提供了一个预定义的RAG提示模板。# 定义RAG提示模板# 格式化检索到的文档# 定义RAG链| prompt在这里,我们将检索到的文档内容格式化为字符串,并将其与用户的查询一起传递到生成模型中,以生成最终的答案。通过本教程,我们展示了如何使用FastAPI和LangChain框架,结合检索增强生成(RAG)技术,构建一个基于PDF文档的问答系统。

2025-02-26 17:45:23 1315

原创 使用 Milvus 与 Ollama 进行文本向量存储与检索

Milvus用于存储向量数据和执行快速相似度搜索。Ollama提供文本嵌入 API,将文本转化为高维向量,作为 Milvus 中存储的向量数据。我们将首先在 Milvus 中创建一个集合,并定义存储结构,然后将文本数据和对应的向量插入到该集合中,最后实现向量的相似度查询。通过本示例,我们展示了如何结合Milvus和Ollama完成文本向量的存储和相似度检索。Milvus提供了强大的向量存储和检索功能,而Ollama则通过其 API 提供了高效的文本嵌入服务。

2025-02-26 10:34:30 1257

原创 LangChain教程 - RAG - 支持的100种向量数据库

随着人工智能和机器学习应用的快速发展,尤其是在自然语言处理(NLP)、图像识别、推荐系统等领域,对高效的向量存储和检索需求日益增长。通过对这些100多种向量存储解决方案的介绍,我们可以看到,随着人工智能和机器学习技术的不断进步,向量数据存储的需求也在不断增长。从内存型存储到基于云的分布式存储系统,针对不同应用场景和数据规模的需求,向量存储平台不断发展和优化。无论是小规模的开发环境,还是大规模的企业级应用,还是实时数据处理需求,开发者可以根据具体的场景需求选择最适合的向量存储解决方案。

2025-02-25 18:54:09 1074

原创 J-LangChain - RAG - PDF快速摘要

对于较长的文档,我们将只提取前后部分的内容进行摘要,以避免过长的输入对生成过程产生影响。如果文档长度小于 2000 字符,则直接使用全文作为输入进行摘要。} else {这样,我们能够确保在摘要生成时,文本不会过长,同时仍然覆盖文档的关键部分。通过框架,我们能够高效地将 PDF 文档中的文本提取出来并生成简洁的摘要。在实际应用中,这种方法不仅能够提高处理效率,还能使得文本摘要更加贴近我们需要的关键信息。

2025-02-25 08:00:00 782

原创 LangChain教程 - RAG - 文档转换与文本切分

LangChain 的文档转换器主要用于将不同格式的文档转换为统一的文本格式,方便后续处理。例如,HTML、Markdown 或其他格式的文档可以通过相应的转换器转化为纯文本。在处理长文本时,通常需要将其拆分为更小的块,以适应模型的输入限制。LangChain 提供了多种文本拆分器,满足不同的拆分需求。通过本篇博客,我们详细介绍了 LangChain 框架中的文档转换器和文本拆分器,并通过一个实际的示例展示了如何使用将 HTML 内容转换为纯文本,并结合对文本进行拆分。

2025-02-24 17:54:10 995

原创 LangChain教程 - RAG - PDF摘要

在这部分代码中,我们将设置Ollama的大语言模型并创建一个LangChain的链条来生成总结。你可以选择不同的Ollama模型,在这里我们选择了模型。为了生成总结,我们构建了一个简单的总结提示模板,要求生成的总结字数不超过100字。# 设置Ollama模型# 创建总结的提示模板请对以下文本进行总结(100个字以内):{text}总结:"""# 创建提示模板# 创建LLM链# 生成总结# 输出总结通过上面的代码示例,我们已经展示了如何结合LangChain和Ollama。

2025-02-24 14:40:43 791

原创 全面了解 Stanford NLP:强大自然语言处理工具的使用与案例

(斯坦福自然语言处理工具包)是斯坦福大学开发的一个开源项目,致力于为开发者提供一个全面的自然语言处理工具。这个工具包包含了多种自然语言处理(NLP)任务的实现,包括但不限于:分词、词性标注、句法分析、命名实体识别、情感分析等。Stanford NLP 的目标是提供一个高效且功能丰富的 NLP 解决方案,使研究人员、开发者和数据科学家能够更轻松地处理和分析大量文本数据。Stanford NLP 是用 Java 语言开发的,提供了简洁易用的 API,因此,它可以在 Java 项目中非常方便地集成。

2025-02-20 19:27:13 1084

原创 Java中的自然语言处理(NLP)工具:Stanford NLP、Apache OpenNLP、DL4J

无论是需要处理简单文本分析任务,还是要构建复杂的深度学习模型,Java中都有丰富的NLP库可以选择。适合需要全面语言处理功能的场景,是一个轻量级的开源选择,适合快速集成和定制,DL4J则适用于需要深度学习支持的复杂NLP任务。根据项目需求的不同,你可以选择最合适的工具来完成自然语言处理任务。希望这篇文章能够帮助你更好地理解这些库的特点,并帮助你在Java中实现NLP功能。如何在Java中使用深度学习进行NLPStanford NLP官方教程Apache OpenNLP官方文档。

2025-02-20 13:31:43 1596

原创 Java处理PDF合集

文章汇集了JAVA处理PDF的库详细介绍,包括:各个库的特点、Github、使用入门、详细案例,及JAVA处理PDF中图片文本识别的详细案例。

2025-02-19 13:11:52 659

原创 详细介绍Tess4J的使用:从PDF到图像的OCR技术实现

Tess4J是Tesseract OCR引擎的Java封装,提供了便捷的API接口,使得Java开发者能够轻松地将OCR功能集成到自己的项目中。Tesseract本身是一个开源项目,由Google支持,广泛应用于文档扫描、图像文字提取等领域。Tess4J允许开发者通过Java代码调用Tesseract引擎,处理图片、PDF等文件中的文本。Tesseract支持多语言的文本识别,包括中文、英文、法语、德语等,同时也支持自定义训练数据。它的高准确率使其成为OCR领域的领先工具之一。

2025-02-19 09:59:15 1597

原创 ICEpdf 全面介绍:一款强大的 Java 开源 PDF 引擎

随着各种应用程序中对 PDF 文件处理需求的增加,许多开发者开始寻找高效且强大的库来操作和显示 PDF 文件。ICEpdf 是由 IceSoft 提供的开源 PDF 引擎,它专为 PDF 渲染设计,并支持文本提取、图像提取等功能。在本文中,我们将深入探讨 ICEpdf 的关键功能,展示其实际应用的例子,并解释如何将其集成到 Java 项目中。

2025-02-18 13:40:49 704

原创 深入解析 iText 7:从 PDF 文档中提取文本和图像

iText 7 是 iText 库的最新版本,相比于其前身 iText 5,它不仅提供了更多强大的功能,还改进了 API 设计,并引入了模块化结构,使开发者可以根据需要选择所需的功能模块。iText 7 支持更多的 PDF 操作,例如生成 PDF/A、PDF/UA(无障碍 PDF)、数字签名、表单处理等,并且在性能、图形渲染等方面得到了显著优化。作为一个开源项目,iText 7 采用 AGPL 许可证,如果用于商业项目,则需要购买商业许可证。

2025-02-18 11:31:37 2050

原创 使用 Apache PDFBox 提取 PDF 中的文本和图像

Apache PDFBox 是一个用于创建、操作和提取 PDF 内容的 Java 库。

2025-02-17 13:55:59 1074

Mini-Omni:语言模型可以在流式传输中聆听、交谈和思考

Mini-Omni 是一个开源多模型大型语言模型,可以一边听、一边说,一边思考。具有实时端到端语音输入和流音频输出对话功能。 特征 实时语音对话功能。无需额外的 ASR 或 TTS 模型。 一边说话一边思考,能够同时生成文本和音频。 流音频输出功能。 通过“音频到文本”和“音频到音频”批量推理进一步提升性能。

2024-09-04

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除