- 博客(201)
- 收藏
- 关注
RSS订阅原创 SFT（监督微调）
SFT（监督微调）是大模型从“知识储备”迈向“实用能力”的关键环节，通过高质量指令-响应数据，使模型具备指令遵循、任务执行与格式对齐能力。其核心在于仅对响应部分计算损失，聚焦于“输入-输出”映射。数据质量决定上限，LoRA/QLoRA为当前主流训练范式，兼顾效果与成本。SFT为后续对齐训练奠基，但无法新增知识，过拟合风险高，需控制轮次与数据质量。
2026-10-19 17:24:40
182
原创 DocTamper 模型
DocTamper是CVPR2023发布的首个专用于文档伪造检测的模型，针对复制粘贴、文字替换等传统编辑手法优化。其基于SwinTransformer主干，创新设计文档频率损失头（DFL）与邻域特征耦合模块（NFC），分别捕捉频域不连续性与排版一致性异常，嵌入文档固有属性先验。在自分布测试中，图像级AUC达0.98，像素级定位IoU达0.71，显著优于通用图像取证方法，代表文档篡改检测的专用化方向。
2026-09-30 09:02:32
140
原创 STOMP 协议
生产者：客户端通过SEND命令向指定目的地发送消息消费者：客户端通过SUBSCRIBE命令订阅目的地，接收 Broker 推送的MESSAGE帧消息代理（Broker）：负责接收、路由、投递消息，管理订阅关系和会话状态极简易用：类 HTTP 的文本格式，学习成本低，客户端开发速度快调试友好：明文传输，可直接通过 telnet、wscat 等工具调试交互传输层无关：可运行在 TCP、TLS、WebSocket 等任意可靠流之上生态完善：几乎所有主流消息中间件和开发语言都支持能力均衡。
2026-09-20 15:15:53
143
原创 @Configuration 注解和@EnableWebSocketMessageBroker注解
用于开启「基于 STOMP 协议的 WebSocket 消息代理」，是业务级实时消息场景的核心入口。，完全替代传统的 XML 配置文件，是 JavaConfig 配置方式的核心标识。Spring 核心容器层的基础注解，用于。Spring WebSocket 模块的。
2026-09-20 09:29:50
232
原创 SQL 递归
SQL 中的递归，全称是递归公共表表达式（Recursive Common Table Expression），是 MySQL 8.0、PostgreSQL 等主流数据库都支持的语法，核心能力是在 SQL 内部实现“自己引用自己”的迭代查询，专门用来处理树形、层级结构的数据（比如多级评论、部门上下级、商品分类、菜单树等）。简单说：它可以从一个“起点数据”开始，一轮一轮地自动查找下一层子数据，直到没有更多层级为止，最终把所有层级的数据一次性返回。
2026-09-19 10:19:19
117
原创 KGW 水印方案
KGW是ICML2023提出的经典解码型统计水印方案，通过在推理解码阶段对绿表词统一加偏置（δ），实现零训练、黑盒部署的水印嵌入。其核心参数k（窗口大小）、γ（绿表比例）与δ共同权衡水印强度、隐蔽性与文本质量。该方法仅修改解码逻辑，不改动模型权重，具备高效检测、理论支撑与灵活可控等优势，已成为LLM水印研究的基准方案。
2026-09-15 18:56:12
332
原创 联邦学习（Federated Learning, FL）
联邦学习（FL）是一种“数据不出本地、模型协同训练”的分布式机器学习框架，通过客户端本地训练并上传模型更新（如梯度或LoRA参数），由服务器聚合生成全局模型，有效解决数据孤岛与隐私合规问题。主流分为横向、纵向与迁移联邦学习，其中横向联邦（如FedAvg）适用于跨机构大模型微调。其核心优势在于隐私保护、数据价值共享与算力分散，但面临隐私泄露、通信开销大、客户端异构及系统鲁棒性等挑战。针对这些问题，参数高效微调（如LoRA）与安全聚合技术（如SHE-LoRA）成为关键研究方向，推动联邦学习在医疗、金融等场景的落
2026-09-12 14:40:00
276
原创 LoRA基础
LoRA是一种高效的参数微调技术，通过低秩分解仅训练少量矩阵（A、B），实现接近全参数微调的效果。其核心优势在于极低的参数量（如7B模型仅需0.1%）、无推理延迟、模块化灵活切换任务，并天然适配联邦学习与端侧微调。然而，其性能受限于低秩假设，存在聚合偏差与隐私泄露风险，尤其在异构设备下需解决秩不匹配问题。变体如QLoRA、FedLoRA、SHE-LoRA等进一步优化显存、通信与安全性，推动其在轻量化定制与隐私保护场景中的广泛应用。
2026-09-12 14:20:31
252
原创 zk‑SNARK 三者结合的完整工作原理
zk-SNARK通过三层递进编译实现非交互式零知识证明：首先，PIOP定义证明逻辑，依赖理想预言机与交互；其次，PCS将预言机替换为密码学承诺，实现现实可验证的交互协议；最后，Fiat-Shamir变换用哈希函数生成挑战，消除交互，形成可离线验证的非交互证明。三者层层替换，不可颠倒。在zkRAG中，该流程被定制化应用于HNSW检索，通过优化多项式编码与承诺结构，显著提升效率。核心优势在于简洁性（证明小）与零知识性，源于承诺隐藏、少量查询与哈希派生挑战。
2026-09-11 13:38:16
41
原创 Fiat‑Shamir 变换
Fiat‑Shamir（FS）变换，是密码学中。背景：PIOP 本身是：证明者P、验证者V需要多轮来回通信。V不断生成发给P，P收到挑战后再回复。但现实场景（比如zkRAG、区块链），我们想要：证明者直接输出一段证明串π，丢给任何人都可以验证，。Fiat‑Shamir变换就是干这件事的。
2026-09-11 11:13:05
120
原创 PIOP多项式交互预言证明
PIOP是zk-SNARK的核心抽象层，通过多项式交互预言机实现高效验证：证明者将计算轨迹编码为多项式，验证者随机查询点值，以概率方式检测正确性。zkRAG创新性地手写定制PIOP，突破通用电路限制。结合PCS（如KZG、PST）与Fiat-Shamir变换，PIOP可转化为非交互式zk-SNARK。其核心子协议（如Sumcheck、Zerocheck、Lookup）构成工具链，保障完备性、知识可靠性和零知识性。需注意：PIOP≠zk-SNARK，亦非R1CS/QAP，而是新一代多项式级协议框架。
2026-09-11 11:00:05
202
原创 零知识证明
零知识证明（ZKP）是一种让证明者在不泄露任何额外信息的前提下，向验证者证明某陈述为真的密码协议。其核心特性包括完备性、可靠性与零知识性。经典“阿里巴巴山洞”比喻形象展示了其原理：证明者可反复通过山洞验证身份，却未暴露咒语。按交互形式分为交互式与非交互式（如zkSNARK），后者因高效性成为区块链、隐私计算与可信云服务等场景的主流技术，广泛应用于匿名交易、身份认证与程序正确性验证等领域。
2026-09-11 10:39:58
311
原创 在Linux中杀死占用某个端口的进程
选项表示强制终止进程，但这种方式可能会导致数据丢失或其他不良后果，所以在使用时要谨慎。确定要杀死的进程 PID。从上述步骤中获取到占用端口 9997 的进程 PID。
2024-08-28 09:29:32
2928
原创 提示词工程
提示工程也叫指令工程。就是探讨如何设计出最佳提示词，用于指导语言模型都助我们高效完成某项任务。Prompt(提示词)即发送给大模型的指令，比如「讲个笑话」、「制定一份哈尔滨三天的旅游攻略」等。Prompt是AGl时代的编程语言Prompt工程是Al时代的软件工程提示工程师是AGI时代的「程序员」
2024-08-17 10:57:44
1142
原创 Docker入门
但卷映射会先将容器中目录的文件复制到宿主机目录上；而目录挂载不会，会原封不动的维持宿主机目录中的内容；因此目录挂载可能导致docker启动的image中定义的文件缺失。语法相近，都是在 `docker run` 的 `-v` 参数上设置。但目录挂载的`:`左侧是一个开头目录名，而卷映射的`:`左侧是一个普通的名字(卷名)⽬录挂载： -v /app/nghtml:/usr/share/nginx/html。卷映射： -v ngconf:/etc/nginx。使⽤ CentOS 7.9。
2024-08-15 16:25:48
314
原创 创建Python的虚拟环境
通过使用Python的虚拟环境工具virtualenv和venv，我们可以为每个项目创建一个独立的Python环境，避免不同项目之间的依赖冲突。在开发过程中，我们可以根据需要安装和管理库，提高项目的可维护性和可移植性。为了避免不同项目之间的依赖冲突，我们可以使用虚拟环境来隔离每个项目的依赖。在虚拟环境中，我们可以使用pip来安装所需的库。创建虚拟环境后，我们需要激活它才能在其中安装和使用库。激活虚拟环境后，命令行提示符会显示虚拟环境的名称，表示我们已经进入了虚拟环境。完成项目开发后，我们可以退出虚拟环境。
2024-08-08 09:19:17
429
原创 python中的venv文件夹用途和用法
虚拟环境是一种隔离 Python 环境的机制，可以让我们在同一台机器上运行多个 Python 项目，并保证每个项目使用的 Python 版本和第三方库版本都是独立的。在 pytest 中，我们可以在虚拟环境中安装 pytest 和其他需要使用的第三方库，然后在虚拟环境中执行测试脚本。总之，venv 文件夹是 pytest 中用来存储 Python 虚拟环境的文件夹，用于隔离不同项目的 Python 环境，提高项目的可维护性和稳定性。创建虚拟环境：在终端中输入以下命令，创建一个名为 myenv 的虚拟环境。
2024-08-07 17:18:41
2763
原创 聊一聊知识图谱结合RAG
rag在利用私有数据增强大模型回答的领域是一种比较典型的技术，也就是我们提出问题的时候，rag会根据我们的问题去知识库中检索一些比较相关的文档或者语句，将这些文档和我们的问题一起拼接到提示词模版中，得到一个完整的提问大模型的问题，这样大模型就可以根据我们提供的知识以及我们的问题来对特定领域的问题进行回答了。这时候就需要知识图谱了，知识图谱是一种类似于图结构，其中有很多的实体，也就是结点，也有很多的关系，也就是边，一个文档可以理解为一个图结构，各个文档之间没有交集，也就是对应的图结构不会有关系。
2024-07-26 22:57:55
748
原创 JVM---垃圾回收
⚫ 终结器引用指的是在对象需要被回收时，终结器引用会关联对象并放置在Finalizer类中的引用队列中，在稍后由一条由FinalizerThread线程从队列中获取对象，然后执行对象的finalize方法，在对象第二次被回收时，该对象才真正的被回收。由于内存是连续的，所以在对象被删除之后，内存中会出现很多细小的可用内存单元。复制算法只需要遍历一次存活对象，复制到To空间即可，比标记-整理算法少了一次遍历的过程，因而性能较好，但是不如标记-清除算法，因为标记清除算法不需要进行对象的移动。
2024-05-11 14:52:13
1610
原创 力扣2105---给植物浇水II（Java、模拟、双指针）
当 i<j 时，我们分别判断 Alice 和 Bob 的水量是否足够浇水，如果不够，我们就重新灌满水罐。最后我们还需要判断 i 和 j 是否相等，如果相等，我们还需要判断 max(a,b) 是否小于植物的水量，如果小于，我们需要再次重新灌满水罐。- Alice 的水罐有 10 单元水，Bob 的水罐有 8 单元水。- Alice 和 Bob 现在都只有 1 单元水，并分别需要给植物 1 和植物 2 浇水。- 最初，Alice 的水罐中有 3 单元水，Bob 的水罐中有 4 单元水。
2024-05-09 09:40:36
1266
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人