- 博客(1680)
- 资源 (13)
- 收藏
- 关注
RSS订阅原创 UV用户行为轨迹分析
本文提出一套从轻量级到企业级的用户行为轨迹分析架构，核心解决基于手机号的UV统计与停留时长精准计算难题。通过手机号哈希脱敏保障隐私合规，前端采用心跳机制+网关兜底确保会话生命周期完整，后端结合Redis（轻量）或Kafka+ClickHouse（高并发）实现高效去重与实时分析。关键点包括：加盐哈希防泄露、页面可见性判断防刷、定时清理僵尸会话。最终实现安全、准确、可扩展的用户行为数据体系。
2026-11-04 10:56:03
243
原创 PV 和 UV 简介
PV（页面浏览量）与UV（独立访客数）是互联网产品核心指标，前者为流量累加，后者为去重统计。PV可借助Redis INCR高效计数；UV则需去重，企业级首选Redis HyperLogLog，内存占用仅12KB，误差0.81%。避免直接用SQL COUNT(DISTINCT)，防止数据库崩溃。高并发下采用Kafka+Flink流处理+离线数仓架构，实现亿级数据精准统计。关键避坑：防刷、跨天截断、热点Key分片。经典组合：Redis + 异步落库，兼顾性能与准确。
2026-11-04 08:38:01
308
原创 word转富文本
本文介绍基于docx4j的免费开源方案，实现Word与HTML双向转换的完整技术闭环。通过将Word转HTML（提取图片至MinIO并替换为URL），前端富文本编辑后，再将HTML还原为Word，可高效处理图文混排文档。但需解决图片嵌入、表格样式降级、字体丢失及分页符缺失等“坑”。该方案适用于普通文章类文档，对排版精度要求高的合同、公文建议采用模板引擎POI-TL生成。
2026-10-28 16:36:13
231
原创 PDF内容转移富文本
本文详解了将PDF转为富文本的全栈技术方案，核心难点在于格式丢失与中文字体渲染。通过ApachePDFBox解析文本、前端富文本编辑器（如Tiptap）实现可编辑性，再用OpenHTMLToPDF生成PDF，完成闭环。关键问题包括：原版复杂排版无法还原、字体缺失导致乱码、前端样式与后端渲染不兼容。建议仅用于简单文本类文档转换；若需精准保留排版，应采用PDF.js或WPS/OnlyOffice等专业工具。
2026-10-28 16:32:17
389
原创 在线文档编辑方案
本文提出一种前后端分工明确的文档生成方案：前端仅负责数据收集与轻量预览，后端利用Poi-tl、iText7、LibreOffice等工业级库实现精准排版、格式转换与安全生成。通过模板占位符替换（场景A）、坐标套打（场景B）和富文本转PDF（场景C）三种模式，兼顾灵活性与质量。核心优势在于前端零排版负担、文档安全可控、输出效果完美，推荐初学者优先采用Poi-tl+LibreOffice的场景A快速落地。
2026-10-28 14:00:45
318
原创 自定义注解使用简介
本文详解了Spring Boot中@RequestParam参数校验的正确实现方式，强调需依赖spring-boot-starter-validation引入验证框架，通过@Validated注解开启方法级校验（必须加在Controller类上），并自定义@ValidFile注解与FileValidator校验器，严格遵循JSR-380规范。关键点：避免在@RequestParam上使用@Valid，正确配置注解属性及校验逻辑，确保文件大小、类型等校验生效，最终实现安全可靠的参数校验机制。
2026-10-28 09:59:26
236
原创 基于 JDK 8 的 UUID.randomUUID()几乎不可能重复
JDK8的UUID.randomUUID()生成的Version 4 UUID理论重复概率极低（约10³⁶量级），日常使用几乎不可能重复。真正导致“重复”的原因多为：数据库字段截断、误用nameUUIDFromBytes()（基于MD5）、或人为截取前几位。建议避免将UUID作主键，推荐用于traceId、messageId等场景；存储时可采用BINARY(16)优化空间。
2026-10-21 08:54:09
170
原创 Minio公开直连模式 与 私有预签名代理模式
MinIO文件访问有公开直连与私有预签名代理两种模式。前者需Bucket设为PublicRead，URL永久有效，易被盗链；后者通过预签名URL（带过期时间）结合网关代理，安全可控，适合敏感数据。代理方案采用Base64+URL编码避免参数错乱，且可绕过内网限制。推荐在企业场景中使用方式二，设置短有效期（如10-30分钟），并注意避免URL过长及Content-Type丢失问题。公开资源可选方式一，但应配合防盗链或CDN。
2026-10-20 15:03:47
391
原创 生产级 Agent 的“可观测性 + 安全护栏”方案
一个能在生产环境存活的Agent，核心在于可观测性与安全护栏的深度融合。通过OpenTelemetry实现全链路追踪，监控模型、工具等关键指标；以输入、执行、输出三道防线构建安全护栏，防范注入、越权与泄密。可观测数据反哺安全策略，实现攻击预警与审计溯源。落地建议包括渐进式护栏调优、合规备案及APIKey防护，最终形成可演进的企业级自主智能体平台。
2026-10-19 16:34:41
215
原创 多 Agent 协作（Planner + Executor + Critic 联合工作） 的方案
角色职责输入输出约束Planner（规划者）意图理解、任务拆解、动态重规划用户目标、历史计划、Critic 反馈严格的 JSON 任务列表只做规划，不调用任何工具Executor（执行者）执行单步任务、调用工具当前步骤、期望结果、相关上下文执行结果、工具调用记录不关心全局，只专注当前步Critic（审查者）质量把控、逻辑校验、进度审查执行结果、原始目标、当前计划通过/驳回指令，以及驳回理由只找茬，不生成最终答案Synthesizer（综合者）汇总所有步骤，生成最终回答。
2026-10-19 16:12:08
342
原创 PyCharm 报 Unresolved reference ‘RestrictedPython‘
PyCharm报错“Unresolved reference ‘RestrictedPython’” 因未安装该库。解决方法：在虚拟环境中执行pip install RestrictedPython（可加清华源加速）。但需注意，RestrictedPython仅限制语法，无法防范死循环、内存爆炸或逃逸攻击。正确做法是将其置于子进程运行，并结合超时强杀机制。推荐生产环境使用E2B、Docker/K8s、云函数或Pyodide等成熟沙箱方案，实现真正安全隔离。
2026-10-19 15:58:24
28
原创 agent 工具生态（随着工具从 2 个变成 20 个，需要做工具的向量检索 + 沙箱环境）
当Agent工具增至50个时，全量注入Prompt将引发Token爆炸、工具误调与安全风险。P2架构通过工具向量检索动态召回Top-5相关工具，结合元工具（如search_tools）实现智能发现，并在沙箱环境中安全执行代码，确保高效、精准、安全的自动化决策。
2026-10-19 15:23:16
17
原创 评测集与自动化回归体系（CI 门禁）
本文提出一套标准化的Agent评测体系，解决“改Prompt提心吊胆、上线靠玄学”痛点。通过构建smoke/regression/adversarial三类自动化测试集（JSONL格式），结合规则校验与LLM-as-a-Judge打分，实现代码/提示词修改后自动跑回归测试。核心引擎支持并发执行、指标汇总与门禁校验，CI/CD中若通过率低于85%则阻断发布。建议从真实日志抽样冷启动，优先保障关键链路100%通过，合理使用LLM打分以控成本，并定期重跑评测以应对模型迭代。最终实现开发全链路数据驱动、防退化、可信
2026-10-19 15:07:12
30
原创 Flink Exactly-Once 数据对最终结果的影响（效果）只生效一次
Flink Exactly-Once并非物理上“只处理一次”，而是确保数据对最终结果的影响唯一，通过Source（可重放）+Checkpoint（分布式快照）+Sink（事务/幂等）三端协同实现。核心依赖2PC机制：Checkpoint触发时预提交，成功后正式提交，失败则回滚，保障端到端不重不丢。虽有性能开销与恢复延迟，但在金融、实时数仓等场景中仍是数据一致性的基石。需注意，其效果依赖下游系统支持事务或幂等写入，且新版本已弃用旧有API。
2026-10-19 10:12:35
357
原创 数据流图（DFD） 和 数据字典（DD）详解
DFD 解决了“系统长什么样、数据怎么流转”的问题；数据字典解决了“数据到底具体是什么”的问题。现代软件工程中，UML 的类图、顺序图配合数据库设计文档，实际上就是 DFD 和数据字典在面向对象时代的新延续。
2026-10-19 09:23:12
196
原创 RUP（Rational Unified Process，统一过程）模型
RUP（统一过程）是一种以用例驱动、架构为中心、迭代增量为特征的软件工程框架。其二维模型涵盖4个阶段（初始、细化、构建、移交）与9个核心工作流：6个核心过程（业务建模、需求、分析设计、实现、测试、部署）聚焦产品开发，3个支持工作流（配置与变更管理、项目管理、环境）保障过程高效运行。各工作流在不同阶段按强度交织推进，实现高质量、可控的软件交付。
2026-10-19 09:13:46
397
原创 DFD数据流图原则总结
DFD是结构化系统分析的核心工具，强调数据流的逻辑建模。其核心原则包括：数据守恒（有进必有出，父子平衡）、元素连接规则（存储与外部实体须经加工连接）、命名规范（动宾短语命名加工，名词命名数据流与存储）、分层分解（自顶向下，每层3~7个子加工）。避免黑洞、奇迹、灰洞等错误，坚持“只画数据流，不画控制流”，确保逻辑清晰、层次分明，助力精准表达系统功能。
2026-10-19 08:44:49
421
原创 给智能会话加 Redis 会话持久化：让规划中途断线可恢复(agent)
通过将Plan对象序列化存入Redis并结合会话锁，实现规划过程的断线恢复。每步执行后持久化状态，新请求优先尝试恢复未完成任务，避免重复执行。使用24小时TTL保障长期可用性，5分钟锁防止死锁，并通过plan_resumed事件与状态查询接口提升可观测性。支持并发控制、手动取消与多实例部署兼容，确保规划流程在中断后可无缝续接。
2026-10-16 15:22:02
142
原创 记忆分层 + 评测集
P1通过构建五层分层记忆体系（工作、短期、摘要、事实、长期与反思记忆），解决了Agent记忆扁平化与缺乏评估的痛点。结合定制评测集与CI门禁，实现任务可规划、可反思、可恢复，并支持个性化、防重复错误与质量量化。全链路优化后，系统具备生产可用能力，为后续工具生态与多Agent协作奠定基础。
2026-10-16 15:15:09
37
原创 带规划 + 反思的 Agent 主循环
本文实现了一个带规划与反思的Agent主循环，包含Planner、Executor、Validator、Replanner和Synthesizer五模块。流程为：规划→逐步执行→每步校验→失败则重规划→最终综合。通过分步执行、独立校验与有限重规划，显著提升复杂任务成功率（85%↑）与可解释性，支持流式输出，适用于需高可靠性的复杂任务处理。
2026-10-16 13:32:52
38
原创 改造 chat_stream_event_gen 接入记忆读写
改造chat_stream_event_gen接入记忆读写核心思路：使用build_messages_with_memory自动整合Redis短期记忆与Chroma长期记忆，替代手动构建messages；过程中保留tool_calls及结果的append以累积增量；结束时通过save_messages_with_memory统一落库，追加assistant回答、写Redis并异步写Chroma。关键顺序为“先落库、再yield done”，确保前端获取最新历史，避免竞态。异常时不落库，防止脏数据，保障对话一
2026-10-16 10:57:52
29
原创 agent 代码逐行详解
本文详解一个基于FastAPI与DeepSeek的异步Agent系统，涵盖导入依赖、工具注册、Token计数裁剪、工具定义、客户端配置及核心推理逻辑。通过装饰器注册工具，实现动态扩展；利用SSE流式接口支持实时交互；结合异步并发执行工具调用，并具备超时保护与上下文裁剪机制。系统支持同步/流式调用，具备健康检查与工具列表查看功能，整体结构清晰可维护。建议改进包括：使用环境变量管理API密钥、优化Token计算性能、封装工具管理类、增加鉴权与会话持久化。
2026-10-16 09:01:47
31
1
原创 zip 详解
zip 是 Python 内置函数，用于将多个可迭代对象按位置一一配对，返回迭代器。在处理 LLM 工具调用结果时，zip(msg.tool_calls, results) 确保每个工具调用与其对应结果顺序匹配，避免信息错位。其关键特性包括：以短者为准、返回迭代器、支持多对象配对。配合 strict=True 可增强安全性，防止长度不等导致的隐式截断。相比下标或 enumerate 遍历，zip 更简洁直观，是处理有序数据配对的高效选择。
2026-10-16 08:57:22
161
原创 搭建一个有短期记忆和长期记忆得agent
本文将Redis短期记忆与Chroma长期记忆融合至带Function Calling的Agent，通过FastAPI暴露接口。改造后支持双键隔离（session_id+user_id）、异步写入Chroma、Redis存储裁剪与Token双保险机制，实现高效、稳定的记忆管理。系统具备工具调用、长上下文处理及跨会话记忆检索能力，显著提升多轮交互智能性与可扩展性。
2026-10-15 13:58:43
32
1
原创 一个完整得 agent 创作demo
本方案基于FastAPI与Uvicorn构建可运行的Agent HTTP服务，支持同步/流式接口、Token控制、工具注册与异常处理。通过Pydantic校验请求响应，集成DeepSeek模型与自定义工具（如查询称重记录、获取时间），实现多轮会话与并行工具调用。项目结构清晰，配置化管理（.env），支持Docker部署与生产级优化：限流鉴权、Redis会话存储、熔断降级、OpenTelemetry可观测。完整覆盖从开发到上线全流程，具备高可用与可扩展性。
2026-10-15 13:52:02
147
2
原创 DSS 决策支持系统
决策支持系统（DSS）面向半结构化、非结构化决策，辅助而非替代决策者。其核心由数据库、模型库等“库”子系统与对话子系统构成，按结构分为两库（数据+模型）、三库（加知识库）、四库（再加方法库），对话子系统为必选项但不计入库数。DSS强调灵活性、人机交互与假设分析，适用于投资评估、市场预测等复杂决策场景，依赖高质量数据与用户理解能力，不适用于固定流程的结构化管理。
2026-10-15 08:30:03
197
原创 是“把文本变成向量”这一步必须用 embedding。
在将历史对话文本存入Chroma并实现语义检索的场景中，必须使用embedding模型将文本转为向量。Chroma仅负责存储与检索向量，无法自行生成向量。若无embedding，系统无法识别语义相似性（如“川A12345车主是谁”与“登记在张三名下”）。尽管DeepSeek可生成回答，但不具备向量化能力，不能替代embedding模型。因此，语义检索必须依赖embedding模型（如BGE-small-zh），二者分工明确，缺一不可。
2026-10-14 17:33:52
128
原创 deepseekAPI 模型和 中文 embedding 模型
问题答案DeepSeek 能替代 embedding 吗？❌ 不能，两者是不同模型为什么 Chroma 需要 embedding？它靠向量计算相似度，没有 embedding 就没法检索为什么选 BGE-small-zh？中文好、免费、本地跑、速度快两者关系？DeepSeek 管“生成”，BGE 管“检索”，互补一句话：DeepSeek 是你的“嘴巴”，负责说话；BGE 是你的“记忆索引”，负责在脑海里快速找到相关内容。少了哪一个，系统都不完整。
2026-10-14 17:32:02
245
原创 智能问答系统改造使用向量库Chroma存长上下文
本文提出将智能问答系统的会话存储从Redis改造为基于Chroma的“热-冷”双层记忆架构：热层（Redis）保留最近几轮对话，保障低延迟与连贯性；冷层（Chroma）异步存入历史对话摘要，支持语义检索。通过摘要压缩、多租户隔离、异步写入与HNSW索引优化，实现长期记忆的高效管理与可控Token消耗。系统在保持高频访问性能的同时，显著提升跨会话理解能力，建议从最小可行链路起步，逐步优化。
2026-10-14 16:55:06
28
原创 从使用redis到使用向量库的思考
本文提出Redis与向量库应分工协作：Redis存储短期、精确、有序的会话历史（支持TTL与原子操作），向量库则存长期语义记忆（如用户偏好、跨会话事实），用于相似性检索与RAG增强。两者互补而非替代。推荐混合架构：从Redis读最近对话，向量库检索相关记忆，合并后生成回答，并异步更新向量库。若不想引入新组件，可使用RedisStack的向量搜索功能。大规模场景建议选用Qdrant、Milvus等专业向量库。核心原则：Redis管“最近说了什么”，向量库管“以前说过什么相关的”，实现上下文记忆与个性化理解的平
2026-10-14 16:49:13
33
原创 使用 VLLM
从LocalAI切换至vLLM，标志着从通用兼容向高性能生产部署的跃迁。vLLM专为高并发、低延迟设计，依托PagedAttention与连续批处理，吞吐量提升5-10倍，适合企业级API服务。部署可通过pip（开发）或Docker（生产）实现，支持OpenAI兼容接口，代码几乎无需修改。关键调优包括控制生成长度、优化提示词前缀以提升缓存命中率、合理设置显存利用率。迁移仅需三步：安装→启动→改base_url，即可获得显著性能提升。
2026-10-14 16:25:22
40
原创 从 DeepSeek API 迁移到 LocalAI
从DeepSeekAPI迁移到LocalAI仅需两步：部署LocalAI服务（推荐Docker，支持CPU/GPU），并将base_url指向本地http://localhost:8080/v1。由于其完全兼容OpenAI API，原有openai SDK代码无需修改，只需更新base_url和model字段。通过Web界面或命令行安装GGUF模型（如qwen3-4b），配置YAML参数即可。关键注意：LocalAI默认max_tokens=0，api_key可填任意值。推荐使用GPU加速与线程调优提升性能
2026-10-14 16:11:26
130
原创 从 DeepSeek API 切换到本地模型
只需修改base_url和model两个参数，即可从DeepSeekAPI无缝切换至本地模型。通过Ollama（入门推荐）或vLLM（生产级）部署OpenAI兼容接口，配合环境变量配置，实现云端与本地一键切换，业务代码零改动。本地部署保障数据隐私、降低延迟与成本，适合个人开发、团队协作及敏感场景。
2026-10-14 16:05:57
148
原创 SFTP 和 FTPS 都用于安全文件传输
SFTP与FTPS均为安全文件传输协议，但本质不同：SFTP基于SSH，使用单连接、端口22，认证灵活、防火墙友好，性能优，适合现代环境；FTPS是FTP的SSL/TLS扩展，采用双连接（21/990端口），依赖证书管理，兼容传统FTP，但配置复杂、安全性易受配置影响。总体而言，SFTP更安全便捷，为现代首选；FTPS适用于需兼容旧系统或已有PKI体系的场景。
2026-10-13 13:20:13
134
原创 状态图和状态转换图中，“箭头”和“转换边”
状态转换图中的“箭头”即状态转移，仅连接简单状态，标注事件、条件与动作，为原子性外部转移。而UML状态图中，“箭头”是转换的可视化，支持内部、本地、完成等多类转换，可连接复合状态与伪状态（如历史、分叉），体现层次、并发与优先级，且内部转换不画箭头。二者形似而神异：前者为扁平有限状态机表示，后者为复杂层次化状态模型，语义更丰富，表达能力更强。
2026-10-13 10:36:40
205
原创 黑盒测试的测试方法
黑盒测试通过输入输出验证功能，核心方法包括等价类划分与边界值分析，适用于范围明确的输入；复杂逻辑用判定表和因果图；多因素组合采用正交实验；业务流程用场景法；状态变化用功能图或状态迁移法；经验补充则依赖错误推测。实际测试中常组合多种方法，以高效覆盖功能与异常情况。
2026-10-13 10:16:29
238
原创 黑盒测试边界值分析法详细解析
边界值分析法是黑盒测试中高效发现缺陷的关键方法，聚焦输入/输出范围的边界。核心概念为上点（边界值）、离点（邻近边界值）和内点（内部值），适用于整数、浮点数及多变量场景。结合等价类划分，优先采用单缺陷假设，避免用例爆炸。需注意开闭区间差异、浮点精度、健壮性测试等细节。广泛应用于数值、日期、长度等有明确边界的测试场景，显著提升测试效率与缺陷覆盖率。
2026-10-13 10:13:33
125
原创 测试用例设计中的因果分析法（因果图法）
因果图法是一种基于逻辑组合的黑盒测试用例设计方法，通过分析输入条件（原因）与输出结果（结果）间的与、或、非关系及互斥、包含等约束，绘制因果图并转换为判定表，生成覆盖全面且精简的测试用例。适用于输入组合复杂、逻辑关系明确的功能测试，如登录验证、权限判断等场景，能有效提升测试效率，避免遗漏。但对无逻辑关系的输入或过于复杂的系统适用性较差。
2026-10-13 10:07:35
516
【云原生高并发】基于Gin与gRPC的Go语言微服务架构：WebSocket聊天室与K8s Operator实战设计
2026-05-21
云原生基于Go语言的Kubernetes Operator与Service Mesh集成：Serverless函数高并发架构设计
2026-05-21
【云原生可观测性】基于Go语言的高并发系统工具开发：命令行工具、日志收集与Prometheus监控告警一体化设计
2026-05-21
赤水，黄果树瀑布图资源
2026-05-21
【嵌入式系统】基于STM32的软硬件协同设计：嵌入式系统组成结构与典型应用开发指南
2026-04-24
网络安全基于DVWA的渗透测试实战指南
2026-04-24
网络安全DVWA漏洞靶场原理分析与总结：Web安全测试中的命令注入、文件上传、CSRF等漏洞防御机制研究
2026-04-24
即时通讯亿级消息量分布式IM系统架构设计：读写扩散模式与多端同步关键技术研究
2026-04-24
Jenkins DevOps 自动化中枢
2026-04-10
harbor 镜像仓库，存放K8s 镜像的平台
2026-03-30
nginx，负载均衡，代理
2026-03-30
谷歌浏览器，属于一种浏览器
2026-03-30
mysql innodb死锁问题详解.docx
2020-01-15
微服务架构下的数据一致性：概念及相关模式.docx
2020-01-15
fastdfs集群安装部署V1.0.docx
2020-01-15
Disruptor 一种可替代有界队列完成并发线程间数据交换高性能解决方案.docx
2020-01-15
京东针对Redis Rehash机制的探索和实践.docx
2020-01-15
深度学习应用.docx
2020-01-15
KingbaseES.pdf
2020-01-15
实战体验几种MysqlCluster 方案.docx
2020-01-15
numpy-1.16.5.zip
2020-01-02
ZenTaoPMS.11.7.stable.zip
2020-01-15
怎么提高记忆力，给一个好办法
2026-04-10
TA创建的收藏夹 TA关注的收藏夹
TA关注的人