JAVA_AI人工智能项目实战

原创 深度学习实验笔记

计算机不认识文字，只认识数字。动作：把输入句子（比如“这部电影太好看了”）里的每个词，查表变成一个稠密的实数向量。意义：在这个向量空间里，语义相近的词（如“好看”和“精彩”）距离会比较近。此时，句子从(B, L)的单词ID序列，变成了(B, L, D)的向量矩阵（L 是句子长度，D 是向量维度）。

原创 轻量级模型训练_RNN文本分类流水线实验代码

模型：Embedding → RNN → 掩码 MaxPool → LayerNorm → Dropout → Linear → Softmax。“ja”: “日语”, “ko”: “韩语”, “pt”: “葡萄牙语”, “ru”: “俄语”,“th”: “泰语”, “tr”: “土耳其语”, “vi”: “越南语”, “zh”: “中文”,“ar”: “阿拉伯语”, “en”: “英语”, “es”: “西班牙语”, “hi”: “印地语”,

原创 模型训练实验代码（用最简单的pytorch，带你对模型训练驱魅）

目的：用最小可运行的代码，走通 PyTorch 训练一个模型的完整流程。让大家对模型训练驱魅任务本身：5 维随机向量，x[0] > x[4] 则标签为 1，否则为 0。一个线性可分的玩具二分类问题，重点在流程，不在模型效果。跑法：直接运行本文件 → 训练 200 轮 → 保存 miniModel.pth → 画出曲线。取消 predict(…) 的注释可对新输入做预测。

原创 机器学习实验_线性回归代码

【代码】机器学习实验_线性回归代码。

原创 基于 GRPO 的大模型算术能力微调实战笔记（Qwen2-0.5B-Instruct、SFT、LoRA）

LoRA 更像是给大模型装了一个“特定技能的 DLC（扩展包）”。使用时，是。

原创 分布式大模型训练_学习笔记

训练大模型的三重瓶颈（显存/算力/时间）决定了单卡不可行，分布式训练是唯一路径。整份材料围绕一条主线展开：三种并行策略各负责一个维度，组合成 3D 并行 = DP × TP × PP 即可扩展到数千张 GPU。最终以 DeepSeek-V3（$557 万训练 671B 模型）作为高效训练标杆案例收尾。关键数字速查：结论：突破显存和算力瓶颈，分布式训练是训练大模型的唯一可行路径。两大目标：三种主流并行策略：三种策略可组合为 3D 并行（DP × TP × PP）。选择简则：TP 限节点内（高带宽）· PP

原创 强化学习与大模型对齐_学习笔记

RLHF-PPO 在大模型上的工程代价极高，限制了可扩展性。痛点说明4 份显存Actor + Critic + RM + Reference 同时驻留，显存压力巨大Critic 同量级价值网络与 Actor 参数量相同，70B 模型训练需要 280B+ 参数的显存Critic 训练不稳定价值估计偏差会累积并传播到策略梯度，导致训练振荡，需要额外预热阶段工程复杂度高4 模型需精细同步和调度，每个模型的学习率、更新频率都需单独调参能不能去掉 Critic，同时保持训练稳定？→ GRPO 给出了答案。

原创 大模型结构演进.学习笔记

从 Transformer（2017）到 2026 开源旗舰，九年间架构改动的全景。

原创 LLM与GRAPH（Graph Engineering）

定义：设计 multi-agent 系统的拓扑——哪些节点存在、哪些转换允许、状态如何流动。与 GraphRAG 的关键区别GraphRAG / 知识图谱结构化对象结构化数据——实体、关系、三元组结构化系统本身——agent、路由、审批门的拓扑回答的问题系统知道什么系统是谁关系两者可在同一架构共存——回答不同问题AI 工程五层栈（命名事件，2026 年定型；层名称L1L2L3L4Loop Engineering（单 agent 循环）L5。

原创 自进化Agent

若变体 A 在所有指标上均不劣于 B，且至少一项严格更优，则 A 支配 B；被支配者淘汰。

原创 拥有MCP注册广场的自主决策Agent实战（DeepSeek+ClaudeCode+Milvus+BGE-M3+hybrid_search+RRF融合排序+麦当劳MCP+Agent实现）

前文我们已经学习了 Agent = 模型 + 记忆 + 工具 + 规划 + 循环本文章中，我们将使用DeepSeek大模型，对接麦当劳MCP官方tools，实现一个支持多轮对话的进行麦当劳下单的Agent。

原创 Agent核心架构（四层架构、ReAct、OTAC、自主决策、Multi-Agent）

Agent定义持续扩张的三个根源：底层能力跃升上下文窗口扩大、工具调用成熟、推理能力增强 --每次跃升都解锁新的Agent形态，旧定义随之过时社区定义分裂研究者、工程师、产品经理对Agent的理解不同，同一词在不同语境中含义差异极大，需根据上下文判断商业竞争驱动企业倾向于将产品冠以Agent以突出智能性，导致定义被宽泛化使用，反而模糊了技术边界Agent = 模型 + 记忆 + 工具 + 规划 + 循环循环中的错误放大工具层：工具返回值做格式验证，拦截异常输出。

原创 大模型之工具调用（FunctionCall、CLI、MCP）实战

上一篇博客中的在本地搭建的RAG检索能力，定义为一个tool，供本处调用由于该RAG的检索服务就在本地，我这里就可以使用三种方式进行该工具调用：方式一：Function Call调用方式二：cli调用，封装两种模式的cli工具供调用原生调用：python -m query_pipline.cli “用户问题”封装为： query_rag 命令调用方式三：MCP调用，封装两种模式的mcpServer供调用将方式一的FunctionCall的api封装为mcpServer。

原创 大模型之工具调用（Function Call 、MCP、CLI）

大模型的工具调用能力：Function Call、MCP、CLI三种做法与对比。从会说到会做，让大模型真正动手操作外部世界。

原创 RAG+LLM_企业实战

企业内部的知识的载体有ppt、pdf、word、excel、csv、txt、.log、html、markdown、邮件、会议记录、json、图片、音频转录文本、知识问答文本、工单、反馈、历史对话记录 等。接下来，我将会从如下各个阶段的技术选型及实操，结合ClaudeCode+大模型的模式，打通一个真正的企业级RAG+LLM的应用样例。本文将会就RAG这项技术与LLM的结合，在企业实际生产中的使用，进行相关技术选型记录描述。这里直接把web页面打开，观察即可。

原创 大模型之检索增强生成 RAG

原创 大模型之文本匹配

定义：给定文本对（A，B），计算其语义相似度或判断相似性，输出相似分数或类别标签技术演进：传统方法：编辑距离/TF-IDF、BM25词向量时代：Word2Vec、GloVe均值向量预训练时代：BiEncoder、CrossEncoder、SimCSELLM时代：Prompt/Few-shot/蒸馏/Embedding模型核心认知：没有最好的方法，只有最合适的方法效率与精度是核心权衡，不可兼得工业实践：两阶段（召回+精排）是黄金组合。

原创 大模型之文本分类问题

介绍了这么多微调的方法，但是实际工程应用过程中，不到万不得已，我们不会使用微调，因为容易对原模型产生损伤。我们在实际工程应用中，更多会使用Harness的方式，达到平替的效果。SFT（Supervised Fine-Tuning）:用[指令-回答]对继续训练LLM，让它学会按要求输出特定格式的标签。核心思想：将分类视作生成任务，由prompt描述类别和规则，让大模型直接输出标签–零标注、零训练。你是一个文本分类助手。Prompt模版示例。[正面，负面，中性]

原创 大语言模型跨时代的突破

经典NLP流水线：精心设计的工程体系BERT：预训练+微调范式传统NLP的三大瓶颈。

原创 如何得到LLM

关键点：每一步都把新生成的token拼回输入，在跑一次前向，CausalMask保证前文embedding不受后续token影响。M[i][j] = 0 ->第i个token可以看见第j个。在softmax之前，把不允许看的位置的score设为。幂值约等于0，相当于mask的位置的数字不起作用。M[i][j] = 1 ->屏蔽（score =从logits到文字、确定性vs不确定性、Mask的本质：一个L * L 矩阵。不同架构对应不同任务。

原创 【ArcTs+AI零花钱项目鸿蒙】1.5天完成鸿蒙APP的前后端 （Pixso AI + DevEcoStudio+DevEcoCode+GLM5.1+IDEA+ClaudeCode+deepseek

Spec-Driven开发模式，使用PixsoAI进行UI视觉设计，将功能设计给到ClaudeCode+DeepSeek生成后端服务代码，将后端规范文档+UI设计给到DevEcoStudio+DevEcoCode+GLM生成鸿蒙APP。1.5天，完成鸿蒙APP实现

原创 大语言模型

对文字序列赋予概率的数学模型，建模语言中词序列的合理程度，也叫成句概率也就是说，建立一个数学模型，能够判断一个句子是否为人话的概率，这个模型就可以称为语言模型链式规则分解实际应用场景。

原创 深度学习组件

自适应学习率·动量加速·偏差修正离线符号 -> 稠密向量·中文NLP实例为什么需要EmbeddingEmbedding矩阵结构中文NLP：分词与词表构建预训练Embedding VS 随机初始化Embedding实践建议：局部感受野·权重共享·1D卷积用于文本已经是过去式的算法，但是了解历史才能意识到现在的Transformer的可贵。所以这里还是要了解下。也不排除有些小型的模型诉求，还是可以考虑用下CNN，虽然概率很小。序列建模·隐状态·遗忘门·双向此处描述的是 序列池化。MaxPool·Avg

原创 深度学习基础知识

数据上对该点积开根号得到的是欧几里得距离，也就是原点距离该向量点的距离值。反向传播需要激活函数的导数：ReLU’ = 1(x > 0),Sigmoid’ = f(x)·（1-f(x)）损失函数越小，模型越好–>学习的目标是损失函数最小化–>模型权重影响损失值–>通过梯度下降来找最优权重。神经网络中的全连接层的核心计算：y = Wx。C[i][j]的计算方式：取A的i行与B的第j列，做内积。参数W，就是神经网络的权重矩阵，训练的目的就是找出最优W。这里说的梯度，实际上是损失函数对权重的偏导数组成的向量。

原创 【ArcTs+AI零花钱项目鸿蒙APP】鸿蒙APP实现及成品展示（DevEcoStudio+DevEcoCode+GLM5.1+前后端自动部署，真机调测）

<think>1. 分析请求：用户希望根据提供的详细文章内容，生成一篇不超过150字的摘要。 2. 分析源内容： * 主题：使用AI Agent（DevEco Code 和 ClaudeCode）开发 HarmonyOS（鸿蒙）应用（“零花钱APP”）。 * 环境：DevEco Studio、DevEco Code（AI Agent）、GLM5.1 API（免费）。 * 流程：从后端（Java）迁移到前端（HarmonyOS 客户端）。 * 开发：使用DevEco Code，基于里程碑（M0至M5及以后）逐

原创 机器学习基本介绍

特点及定义无标注数据没有正确答案自己探索发现任务：聚类、降维、异常检测一句话：让机器自己在数据中发现结构和规律聚类：K-Means算法随机初始化K个点作为中心、分配归属、更新中心、重复迭代，直到中心不再变化为止。应用：用户分群/新闻分类/图像压缩数据是核心，模型是工具过拟合 = 训练好，泛化差动手实践比看书快10倍。

原创 AI行业基本介绍

让机器完成“只有人类才能做”的任务。

原创 【Java+AI零花钱项目实战五M4~GA】AI交互集成（IDEA+ClaudeCode+ccSwitch+DeepSeek-V4-Pro+doubao-seed-evolving+SpringAI）

<think>我们根据内容生成摘要，≤150字。需要概括主要点：最佳实践方案、开发过程、经验总结、未来展望。用简洁中文。</think>本文总结Java+AI零花钱项目M4至GA阶段实战，确认最佳实践为不降级ClaudeCode+便宜DeepSeek+Spec-Driven开发。全程亲测多款国产模型，DeepSeek按量计费性价比最优。AI自动完成编码、测试、打包部署及文档，实现“产品经理+架构师+AIAgent+大模型”项目交付。经验：配置需谨慎，Lite套餐额度不足。下篇预告鸿蒙APP实现。

原创 【Java+AI零花钱项目实战四M3】移动端适配与可靠性（IDEA+ClaudeCode+ccSwitch+DeepSeek-V4-Pro+火山方舟+Spec-Driven+SpringAI）

本文延续零花钱Java项目AI实战专栏系列，针对前三期M0/M1/M2迭代暴露出的**AI编码Token消耗巨大、全额模式成本高昂、降级模式体验崩盘**核心痛点，深度研读ClaudeCode官方高阶规范，落地全套零降级省Token实操方案。同时横向对比阿里云、火山方舟、DeepSeek等主流大模型编码套餐，通过M2收尾、M3全流程迭代实测，验证高阶用法\+优质套餐组合的降本增效效果。IDEA + ClaudeCode(Beta) + CC Switch + 火山方舟 + DeepSeek-v4-pro

原创 【Java+AI零花钱项目实战三M2】零花钱核心业务（IDEA+ClaudeCode+ccSwitch+Qwen3.8-max+Spec-Driven+SpringAI）

本文延续Spec-Driven规范驱动开发模式，基于零花钱智能管理项目，完成**M2业务迭代阶段**全流程AI实战开发。针对M0、M1阶段大模型Token消耗过高、自动全量迭代成本失控的痛点，本次M2迭代重点落地**省Token精细化开发策略**。全程真实记录AI问答式设计、轻量化编码、人工辅助自测、模型切换踩坑、环境问题修复全流程，深度复盘迭代期Token损耗规律与低成本AI编程实战技巧，为Java开发者长期AI工程化落地提供可复用的降本方案。IDEA + ClaudeCode(Beta)

原创 【Java+AI零花钱项目实战二M1】认证与家庭域（IDEA+ClaudeCode+ccSwitch+Qwen3.8-max+Spec-Driven+SpringAI）

本文基于Spec-Driven规范驱动开发模式，延续零花钱智能管理项目实战，依托IDEA+ClaudeCode+Qwen3.8-Max大模型，完整落地项目M1核心业务模块开发。全程记录AI问答式架构设计、全自动编码、自动化测试、代码提交全流程，深度对比M0、M1阶段的开发效率与Token成本，真实复盘AI企业级Java项目开发的性价比、落地痛点与全新开发范式。IDEA + ClaudeCode(Beta) + CC Switch + 阿里云百炼大模型 + SpringAI

原创 【Java+AI零花钱项目实战一】工程基建与骨架（IDEA+ClaudeCode+ccSwitch+Qwen+Spec-Driven+SpringAI）

本文基于 **Spec-Driven 规范驱动开发模式**，完整记录零花钱AI项目后端工程从零搭建全过程。涵盖技术选型、环境配置、编码规范落地、核心工程文档（mission/tech-stack/roadmap）AI生成、M0基建骨架全自动编码与多轮验证迭代，同时分享AI工程化落地的成本踩坑与低成本使用心得，完整复刻AI主导开发的全新工作流。IDEA + ClaudeCode(Beta) + CC Switch + 阿里云百炼大模型 + SpringAI

原创 前置知识：Java开发者AI入门优质学习资源整理

作为Java后端开发者，想要真正落地 AI 项目开发、驾驭 AI 编码助手，必须先建立基础、正确的 AI 认知。本文整理两套最适合程序员入门的 AI 学习体系，帮大家快速建立全局视野，为后续专栏 **Spec\-Driven 规范驱动 AI 开发** 实战铺路。

原创 IDEA搭建ClaudeCode本地环境，对接国产大模型实操指导（IDEA+ClaudeCode+ccSwitch+Qwen）

本文手把手搭建适配国内网络的 ClaudeCode 开发环境，通过 **IDEA + ClaudeCode(Beta) + CC Switch + 阿里云百炼大模型**组合方案，解决国内无法直接访问原生 Claude 模型的问题，最终实现 IDEA 内 AI 编程，为后续 **Spec-Driven 规范驱动开发** 奠定环境基础