- 博客(513)
- 资源 (16)
- 收藏
- 关注
原创 算法模型部署后_python脚本API测试指南-记录3
本文提供了多种测试API的方法,包括使用Curl命令和Python脚本。通过Curl命令,用户可以发送图像文件到API并获取预测结果。Python脚本则提供了更灵活的方式,用户可以通过命令行参数指定图像路径,并选择输出详细的JSON响应或简化的预测结果。测试时需确保API服务正在运行,并根据实际情况修改脚本中的URL和图像路径。这些方法适用于不同场景,帮助用户快速验证API的功能和性能。
2025-05-12 15:21:21
770
原创 算法模型部署(非docker版本)- 完整部署文档-ubuntu(香橙派开发板测试)学习记录2
本项目是一个基于机器学习的局部放电(PD)图像识别系统,使用支持向量机(SVM)算法实现对不同类型局放图像的自动分类。系统通过FastAPI框架提供RESTful API服务,可以接收上传的图像并返回识别结果。
2025-04-27 08:15:00
1203
原创 5.用DockerCompose启动FastAPIPostgreSQL和Redis
本文介绍如何使用 Docker Compose 快速搭建 FastAPI、PostgreSQL 与 Redis 的本地联调环境。三者分工明确:FastAPI 处理请求,PostgreSQL 存储持久数据,Redis 提升访问速度。通过 compose.yaml 统一管理服务依赖与健康检查,结合连接池与缓存策略实现高效数据读写。文中还强调开发与生产环境差异,如安全配置、数据迁移与备份等最佳实践,为算法服务工程化落地提供可靠基础。
2026-11-04 00:30:00
414
原创 4.DockerCompose是什么为什么算法服务需要多个容器
Docker Compose 通过 YAML 文件统一管理算法服务所需的多个容器(如 API、PostgreSQL、Redis、MinIO 等),实现开发、测试环境的可复现部署。它解决了多服务协同启动、网络通信、数据持久化与健康检查等问题,提升系统可维护性。但仅适用于单机场景,生产环境需转向 Kubernetes 等高可用平台。
2026-11-03 00:30:00
611
原创 3.Dockerfile如何构建一个Python算法镜像
本文详解如何用Dockerfile构建Python算法服务镜像,涵盖项目结构、依赖管理、模型部署策略(嵌入/挂载/下载)、安全优化(非root用户、健康检查)及生产实践。强调镜像应包含稳定环境与代码,通过.dockerignore减少构建上下文,合理处理模型版本与权限,并建议使用Docker Compose实现服务组合。最终目标是实现可复现、可交付、可运维的AI算法工程化部署方案。
2026-11-02 13:31:03
279
原创 2.如何用FastAPI把一个Python算法封装成HTTP服务
本文介绍如何用 FastAPI 将 Python 算法封装为可复用的 HTTP 服务。通过分层设计(HTTP、业务、推理、基础设施),定义清晰的请求/响应模型,利用生命周期管理加载模型,并实现安全可靠的预测接口。支持文件上传与异步任务调度,适用于 OCR、图像分类等场景,提升算法工程化与系统集成效率。
2026-10-30 00:15:00
254
原创 1.算法代码为什么不能直接放进生产系统
算法代码不能直接投入生产,因其仅完成“验证”而非“工程化”。生产系统需应对并发、错误输入、资源限制、配置管理、日志追踪与服务可观测性等挑战。必须将算法拆分为多层架构,分离模型加载与请求处理,使用环境变量管理配置,定义稳定输入输出契约,设置资源边界,分类错误处理,并记录结构化日志。唯有如此,才能实现可部署、可监控、可恢复的可靠服务。
2026-10-29 00:30:00
308
原创 时序预测里的“树”与“注意力”
时序预测面临非平稳性、时间泄露与长程依赖三大挑战。以LightGBM为代表的“树”派通过人工构造滞后、滚动统计等特征,将时序转为表格数据,具备高效、可解释性强的优点,但依赖复杂特征工程;而以Transformer为代表的“注意力”派直接处理原始序列,利用自注意力机制自动捕捉远距离依赖,支持端到端学习,适合长序列,但计算成本高。二者各具优势,选择应基于数据规模、精度要求与可解释性需求。
2026-10-24 00:15:00
295
原创 60.一个可维护的AI应用应该是什么样从Demo到生产系统
一个可维护的AI应用需从Demo演进为生产系统:边界清晰、行为可解释、失败可恢复、成本可控、版本可回滚。核心在于模块化架构、可测试RAG链路、全链路版本化、状态化失败处理、安全内嵌与质量-成本-体验协同优化。通过渐进式演进(单进程→异步→容器化),结合发布门槛与故障演练,确保系统在真实场景中长期稳定运行。
2026-10-22 00:30:00
304
原创 59.实战为RAG系统加入评估监控权限和审计
本文系统阐述企业级RAG上线必备四层能力:通过统一请求上下文实现链路可追踪,构建权限控制与审计闭环,集成质量评估与运行监控指标,分离观测数据并强化安全门禁。强调请求链路中权限、评估、监控、审计的协同设计,确保系统可解释、可回归、可合规,为RAG从Demo走向生产提供完整工程实践路径。
2026-10-21 00:15:00
190
原创 58.实战为知识库增加Agent工具调用和工作流编排
本文详解如何为知识库增强 Agent 工具调用与工作流编排,通过定义只读/写操作工具、严格权限控制、状态机管理、人工审批机制及循环限制,实现安全可控的智能体流程。强调工具需注册、参数校验、幂等性保障与审计追踪,确保企业级应用中 RAG 从“问答”升级为“可执行”的智能助手。
2026-10-20 00:15:00
364
原创 57.实战PostgreSQL-Milvus-Redis-MinIO构建企业知识库
本文详解基于PostgreSQL、Milvus、Redis与MinIO构建企业级知识库的实战架构:四组件各司其职——元数据与权限由PostgreSQL管理,向量索引存于Milvus,缓存与会话交由Redis,原始文件及派生数据存储于MinIO。通过异步Worker流程实现文档解析、嵌入与索引,确保幂等性与可恢复性;数据流严格遵循权限校验与版本控制,缓存不绕过业务逻辑。强调职责分离、状态一致性与故障处理机制,提出部署顺序、上线清单与观测链路要求,核心在于通过稳定ID与版本化设计保障系统治理能力,而非简单服务集
2026-10-17 00:15:00
496
原创 56.实战PostgreSQL-pgvector-FastAPI构建轻量级RAG
本文介绍基于PostgreSQL + pgvector + FastAPI构建轻量级RAG系统的实战方案:利用PostgreSQL存储文本块与元数据,pgvector管理向量,FastAPI提供检索接口。通过合理设计索引、封装Embedding服务边界、实现幂等入库与权限控制,形成可验证的RAG最小闭环。适用于原型验证与小规模生产,具备良好扩展性,为后续迁移到Milvus等专用向量库奠定基础。
2026-10-16 00:15:00
147
原创 55.从零搭建一个企业文档问答系统总体架构与技术选型
本文系统阐述企业文档问答系统的总体架构与技术选型,涵盖从文件上传、异步解析、向量索引到问答响应的完整链路。强调权限管理、任务幂等性、引用溯源与可观测性,提出“最小闭环→工程化→规模化”三阶段落地策略,推荐基于FastAPI、PostgreSQL/pgvector、Redis、RabbitMQ等组件构建可扩展、可恢复的生产级系统,最终实现安全、高效、可审计的企业知识服务。
2026-10-15 00:15:00
229
原创 54.Kubernetes是否适合部署RAG系统什么时候需要它
Kubernetes 适合需高可用、弹性扩缩容的中大型 RAG 系统,尤其在多服务编排、滚动发布与故障恢复场景下优势明显。但若仅单机部署、低并发或团队缺乏运维能力,Docker Compose 或托管服务更合适。应区分无状态(API、Worker)与状态服务(数据库、向量库),优先考虑托管方案以降低运维成本。关键在于:根据规模、可用性需求与团队能力权衡,避免为“技术先进”而引入过度复杂性。
2026-10-14 00:30:00
633
原创 53.NginxAPI-Gateway与鉴权如何保护大模型接口
本文系统阐述了如何通过Nginx或API Gateway保护大模型接口,强调反向代理在TLS终止、路由、限流与鉴权中的核心作用。重点区分鉴权(身份验证)与授权(权限控制),指出需多层防护:网关验JWT,应用层校验资源权限,数据库做最终约束。针对长连接、高成本调用,提出按接口类型配置超时、限流与重试策略,并避免泄露敏感信息。建议小团队从Nginx起步,随规模增长引入专业Gateway,始终确保可信代理边界与全链路安全。
2026-10-13 00:15:00
575
原创 52.Docker部署大模型应用从本地开发到服务化运行
本文系统阐述了使用Docker部署大模型应用的实践方法,涵盖镜像与容器区分、FastAPI服务构建、前后端分离、Docker Compose管理依赖、敏感配置安全处理、健康检查设计、CI/CD发布流程及数据持久化策略。强调环境可重复性、非root运行、职责分离与生产级检查清单,指出Docker不自动解决高可用与数据安全,建议从Compose起步,逐步过渡至Kubernetes。
2026-10-12 06:54:42
241
原创 51.知识库内容如何脱敏个人信息商业秘密与访问控制
知识库脱敏需系统化管理:先分类数据(公开、内部、敏感、商业秘密),再分层实施脱敏(掩码、替换、泛化),并贯穿存储、解析、向量、检索、日志全链路。脱敏不替代权限控制,须结合访问权限与字段级策略,确保敏感信息不可逆或受控回填。重点检查文件名、元数据、缓存、日志等隐蔽泄露点,强化权限过滤与结果回查,建立可追溯的脱敏记录与删除机制。最终通过真实样本验证脱敏有效性,兼顾安全与业务可用性。
2026-10-11 00:15:00
415
原创 50.提示词注入数据泄露与越权访问RAG系统的安全风险
RAG系统存在提示词注入、数据泄露与越权访问等安全风险。攻击可经由用户输入或外部文档植入恶意指令,导致敏感信息外泄或工具滥用。必须在检索前基于权限过滤数据,实施最小权限、参数白名单与工具审批机制。输出需脱敏、校验,防御体系应涵盖输入检测、权限控制、审计日志与应急响应。安全核心在于将权限置于模型之外,构建纵深防护,杜绝依赖模型自律。
2026-10-10 00:15:00
594
原创 49.Token延迟和成本监控如何知道一次问答花了多少钱
一次问答成本涉及查询改写、Embedding、检索、Reranker、LLM调用及工具调用等多环节。需通过trace_id与run_id关联全流程,分类型记录输入、输出、缓存等Token,按模型价格计算成本。拆解各阶段延迟(如TTFT、总响应时间),结合幂等性设计与缓存减少重复调用。按租户、功能分摊费用,设置预算与限流策略,优化方向包括上下文裁剪、限制输出、缓存嵌入等。最终实现成本透明化,支撑预算控制与质量-成本平衡。
2026-10-08 07:08:01
157
原创 48.RAG评估指标召回率忠实度相关性和答案准确率
RAG评估需区分召回率、忠实度、相关性和准确率四维度,避免以答案相似性替代全面评估。召回率衡量资料是否被检索到,忠实度检验答案是否受上下文支持,相关性判断是否回应问题,准确率对比标准事实。指标间存在权衡,应分层评测、按风险等级报告,并结合人工抽检与版本信息定位问题,确保系统可靠、可优化。
2026-10-08 06:59:24
448
原创 47.LangfuseOpenTelemetry与Prometheus分别监控什么
Langfuse、OpenTelemetry 与 Prometheus 在 AI 应用监控中各司其职:Langfuse 聚焦 LLM 调用细节(如 Prompt、Token、评估分数),OpenTelemetry 统一采集跨服务链路的 Trace、Logs 与 Metrics,Prometheus 则负责时序指标监控与告警。三者协同可实现从系统性能到模型行为的全链路可观测——既知“是否变慢”,也懂“为何出错”。需注意数据脱敏、标签设计与告警可操作性,避免信息过载。
2026-10-05 00:15:00
532
原创 46.大模型应用如何评估不要只看回答听起来像不像
大模型应用评估不应仅看回答是否“像人”,而需覆盖检索、生成、引用、安全、成本等全链路。应构建分层评测数据集,结合离线与在线评估,采用规则、模型与人工多维度打分,关注忠实度、完整性、权限合规等关键指标,并通过分项结果驱动迭代。避免数据泄漏,设置差异化发布门槛,确保系统可验证、可复现、可交付。
2026-10-04 00:15:00
633
原创 45.多租户知识库怎么做用户团队文档和向量数据隔离
本文系统阐述多租户知识库的隔离设计,强调从身份认证到向量检索、缓存、存储等全链路的租户数据隔离。核心要点包括:通过 tenant_id 实现数据库、对象存储、向量库与缓存的分域管理;依赖服务端生成可信上下文,杜绝客户端越权;强化权限校验与跨租户操作管控;严格测试越权场景并制定删除与审计策略。最终确保任一环节不因疏漏导致数据泄露,构建端到端的安全边界。
2026-10-03 00:15:00
296
原创 44.文件上传任务队列与知识库管理一套完整API如何设计
本文系统设计了一套完整的知识库API,围绕knowledge_base、document、job与run构建可追踪的生命周期。通过预签名上传、任务状态机、幂等控制与多层分层架构,实现文件上传、异步处理、版本管理、索引状态同步及安全删除。强调权限校验、状态一致性与失败补偿,确保大模型应用中知识库的可靠与可审计。
2026-10-02 07:24:18
159
原创 43.流式输出SSE是什么聊天应用为什么要实时返回
SSE(Server-Sent Events)实现服务端向浏览器实时推送事件流,适用于大模型聊天应用的流式输出。通过逐步返回Token、任务状态和日志,显著改善用户等待体验。关键设计包括run_id标识会话、event_id支持断线重连、心跳保活、错误与取消事件处理,并需配合反向代理正确配置。建议定义丰富事件类型(如检索、工具调用),提升交互透明度。可靠流式系统还需持久化状态、限流防刷,确保用户体验与服务稳定性。
2026-09-30 00:15:00
569
原创 42.VueReactNextjs如何为AI应用设计前端交互
本文探讨如何基于Vue、React、Next.js设计AI应用的前端交互,强调状态管理(如idle→generating→done)、流式更新、引用可见性、取消重试机制及前后端协议一致性。核心在于通过清晰的状态机与事件流(SSE)实现用户反馈,确保可解释性与可靠性,而非依赖框架本身。
2026-09-29 00:15:00
407
原创 41.用FastAPI搭建一个RAG后端需要哪些接口
使用 FastAPI 构建 RAG 后端需设计清晰的资源接口:涵盖知识库、文档、任务与对话四大模块,采用 /api/v1 版本前缀,实现鉴权、幂等、异步任务与流式响应。核心接口包括文件上传(返回 job_id)、异步解析、问答与引用生成,路由层仅负责请求校验与分发,业务逻辑交由服务层处理。统一错误格式、限制参数范围、避免泄露敏感信息,并通过 trace_id 追踪链路性能。安全方面需校验权限、文件内容与调用成本,确保系统可扩展、可观测且易维护。
2026-09-28 06:57:42
339
原创 40.数据库Agent的安全设计如何防止误删和越权查询
数据库 Agent 安全设计核心在于“模型提意图,系统定执行”。通过分级工具权限、只读账号隔离、业务 API 替代任意 SQL、租户范围服务端注入、强制人工确认写操作、严格 SQL 解析与审计日志,构建多层防护。关键防线在数据库权限与业务逻辑,而非模型指令。上线前需演练越权、注入、恢复等场景,确保误删与越权无法发生。
2026-09-24 08:42:12
91
原创 39.Agent为什么会循环调用工具从规划执行到终止条件
Agent循环调用工具源于缺乏状态管理与终止条件。本文提出通过结构化工具返回、设置硬性上限(步数、时间、成本)、检测重复调用、区分错误类型、分离规划与执行、追踪进展状态及分层设计终止条件,实现对Agent行为的可控闭环。结合LangGraph的流程控制与监控机制,可有效防止无限循环,提升系统稳定性与安全性。
2026-09-24 00:15:00
722
原创 38.多智能体系统真的更好吗
多智能体系统并非越多越好,其价值在于角色分工清晰、协作成本可控。合理拆分需满足专业差异、工具独立与明确契约;常见协作模式包括主管-专家、流水线、并行与辩论。共享状态应最小化,避免信息污染与成本爆炸。关键在于定义角色输入输出、权限边界与失败处理机制,防止踢皮球与循环失控。治理需设限并发、白名单、证据追溯与裁决节点。最终,单Agent在简单任务中更优,多智能体应以实际复杂度驱动,而非炫技。
2026-09-23 00:30:00
351
原创 37.智能体记忆怎么设计短期记忆长期记忆与用户画像
智能体记忆需分层设计:短期记忆保对话上下文,长期记忆存用户确认的稳定偏好,知识库承载外部资料,工作状态记录任务进展。四类数据分离存储,避免混用。短期记忆按Token预算截断或摘要;长期记忆需来源、时效、权限与用户确认机制。检索时按需注入,避免冗余。使用PostgreSQL存事实、Redis缓存、向量索引辅助召回,确保可重建。记忆写入须经用户确认,冲突数据保留时间线并可追溯。隐私删除需同步清理所有副本,保障合规。核心原则:分层、克制、可审计。
2026-09-22 00:15:00
208
原创 36.LangGraphLlamaIndexDifyn8n工作流工具如何选择
LangGraph、LlamaIndex、Dify 和 n8n 适用于不同场景的 AI 工作流构建。LangGraph 适合精细状态控制与 Agent 编排;LlamaIndex 擅长文档解析与 RAG;Dify 便于低代码快速搭建 AI 应用;n8n 则强于跨系统自动化。选型应区分原型与生产需求,关注控制力、数据能力、部署运维及可迁移性。推荐组合使用:n8n 触发流程,LangGraph 管理状态,LlamaIndex 处理知识,Dify 支持快速验证。避免过度依赖单一平台,确保长期可维护与合规。
2026-09-21 00:15:00
607
原创 35.Tool-Calling是怎么工作的让大模型调用搜索数据库和API
Tool Calling 是大模型与外部系统协作的桥梁,通过结构化调用意图实现安全访问搜索、数据库和 API。模型仅提出请求,应用负责校验参数、权限与上下文,执行工具并返回结果。关键在于:工具定义需清晰,参数必须强校验,敏感操作需用户确认,结果应限大小、去敏感,并记录审计日志。核心原则是“模型提建议,服务端定执行”,确保安全、可控与可追溯。
2026-09-20 00:15:00
339
原创 34.什么是AI-Agent它与普通聊天机器人有什么区别
AI Agent 与普通聊天机器人本质不同:前者是基于状态、工具和控制策略的多步任务执行系统,能规划、调用工具、观察结果并动态决策;后者仅实现单轮问答。Agent 非“更智能的模型”,而是可观测、可约束、可恢复的工程化系统,适用于需多步执行、动态分支的任务。其价值取决于任务完成率、工具成功率与成本收益比,而非对话流畅度。
2026-09-19 00:15:00
280
原创 33.长任务状态管理如何让用户看到文档解析进度
本文系统阐述长任务状态管理的核心实践:以数据库为事实源,细化状态机(如解析、OCR、嵌入等阶段),结合加权进度计算与版本控制,确保状态可追踪、可重试、可恢复。通过SSE/WebSocket实时通知与轮询结合,支持断线重连;强调ready状态必须满足数据可检索,避免虚假完成;并设计取消、超时检测与恢复机制,保障RAG知识库中文件真正可用。
2026-09-18 00:15:00
248
原创 32.RabbitMQKafkaRedis-Stream异步任务组件如何选择
本文对比RabbitMQ、Kafka与Redis Stream在异步任务场景下的适用性:RabbitMQ适合需确认、重试的任务队列;Kafka适用于多消费者、长期保留与事件回放的流处理;Redis Stream则适合已有Redis环境下的轻量级异步需求。选型应基于任务/事件属性、消费模式、保留要求及运维能力,而非单纯追求吞吐。建议统一消息契约,优先验证简单方案,再按规模演进。
2026-09-17 00:15:00
739
原创 31.消息队列在知识库构建中的作用为什么文件上传不能同步处理
文件上传在知识库构建中需异步处理,因解析、OCR、Embedding等任务耗时长且易失败。同步执行会导致超时、重复提交与服务雪崩。消息队列解耦核心流程,通过稳定ID传递任务,实现削峰、重试、扩展与状态追踪。关键在于幂等处理、可靠投递(至少一次)、死信机制及数据库与消息的双写一致性(如Outbox模式)。结合可观测性监控队列深度、延迟与失败率,确保系统健壮。
2026-09-16 00:15:00
456
原创 30.MinIOS3OSS-RAG原始文件应该存在哪里
RAG 系统中,原始文件(PDF、Word 等)应存储于 MinIO、S3 或 OSS 等对象存储,而非直接存入数据库。业务元数据与状态由 PostgreSQL 管理,确保可追溯与权限控制。推荐使用稳定 document_id 关联文件,通过预签名 URL 实现安全上传与下载,并严格校验文件类型、大小、哈希与病毒。派生数据(解析结果、向量等)应可基于原始文件重建。选型需结合部署环境、合规性与运维能力,同时配置生命周期策略与备份机制,保障数据安全与成本可控。
2026-09-15 00:15:00
328
原创 29.Redis在大模型应用中有哪些用途缓存会话与限流
Redis 在大模型应用中充当“加速器与保护层”,主要用于缓存嵌入向量、检索结果和热门问答,降低重复调用成本;通过共享会话存储支持多实例协作;实现基于租户、模型、知识库版本的精细化限流。缓存键需包含关键维度以保证一致性,采用 TTL、主动删除或版本化策略应对失效问题。避免将核心数据仅存于 Redis,确保事实源在持久化系统中,并制定降级方案。上线需检查缓存维度、过期策略、原子性及监控指标,保障系统稳定高效。
2026-09-14 00:15:00
444
电力领域gis局部放电的PRPD图谱详解
2025-09-12
svm-project-适用x86-64架构的dockerfile文件与完整镜像文件.7z
2024-09-13
svm-fastapi-app.tar 一个名为 svm-fastapi-app.tar 的文件,包含了完整的 Docker
2024-09-12
9-11-docker-svm-fastapi.zip
2024-09-12
LabelImg是目标检测数据标注工具,可以标注两种格式: VOC标签格式和YOLO标签格式
2024-06-26
车辆检测的视频,视频来自YouTube,Los Angeles Freeway I-101 HD 30fps traffic
2024-06-20
基于OpencvDNN和ONNXRuntime部署YOLOv7(源码+训练模型+说明文档+数据)包含C++和Python两个版本
2024-06-14
高光谱数据集(.mat.csv)-科研学术
2024-05-29
movie-score-info.csv
2020-05-15
卷积神经网络-源代码.rar
2020-11-28
pip-script.zip
2020-06-01
最新Landmark人脸68个关键点检测dat模型库-数据亲测真实可用.zip
2020-04-07
Pillow-7.0.0-cp37-cp37m-win_适用于windows64和32位操作系统
2020-04-07
ml-latest.zip
2020-05-06
python-遗传算法求四元函数极值.zip
2020-06-13
yolov5m.pt与yolo5s.pt预训练模型.zip
2021-08-12
cifar10数据集.rar
2020-05-05
python遗传算法旅行商代码.zip
2020-06-22
遗传算法实现TSP的完整代码.zip
2020-05-05
opencv_python-3.4.7.28-cp37-cp37m-win_amd64.whl
2020-04-26
冠状病毒确诊数据.zip
2020-04-07
手写体识别数据集-mnist.rar
2020-05-07
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅