- 博客(58)
- 收藏
- 关注
RSS订阅原创 小白面试精解：Transformer 为什么点积注意力缩放要除以根号dk
Transformer 中点积注意力除以 $\sqrt{d_k}$，是为了控制查询（Query）与键（Key）点积的方差恒定。在理想假设下（各分量独立、均值为0、方差为1），点积 $ \sum_{i=1}^{d_k} q_i k_i $ 的方差为 $ d_k $。若不缩放，随着维度增加，点积值会急剧增大，导致 softmax 输入过大，梯度消失。通过除以 $\sqrt{d_k}$，使点积方差保持为 1，确保注意力分数分布稳定，提升训练稳定性。
2026-10-05 00:55:25
340
原创 数据结构-秒懂树的非递归遍历【动态图解+代码详解】【看不懂你找我】
本文提供一套统一的非递归二叉树遍历模板，核心思想是将每个节点的访问过程视为“中→左→中→右→中”，通过vis标记访问次数（1/2/3）控制遍历顺序。利用显式栈模拟递归调用栈，先压入父节点的后续状态，再压入子树，确保返回时能正确恢复执行位置。先序、中序、后序遍历仅需在对应vis阶段记录节点值，最大深度则在每次pop时更新深度。空节点不入栈，仅作图示。时间复杂度O(n)，空间复杂度O(h)。
2026-09-10 18:49:44
349
原创 三方API中转也能！Codex 手机端远程 vibe coding 傻瓜式教程
📱💻 一篇把 Codex 变成手机远程工作台的实战教程：电脑端开 `codexapp` + `cloudflared`，手机一键直连，随时发任务、看回复、同步项目；还顺手做了一个悬浮小工具，自动拆 Markdown、按块复制/粘贴，写 优快云 更快更顺。🚀
2026-05-20 14:33:26
1885
原创 一文搞定GPT-5.4 开启 1M 上下文 Codex 联网搜索 + 多 Agents配置
本文详细讲解了如何正确配置GPT-5.4以充分发挥其1M上下文、联网搜索和多Agent协作能力。核心内容包括：1) 必须显式设置model_context_window参数才能启用1M上下文；2) 通过web_search="live"开启实时联网搜索；3) 配置multi_agent=true启用多Agent并发处理。文章提供了最小可用配置模板，并特别强调第三方兼容接口需要替换相关参数。同时详细解释了各参数含义，指出了常见配置误区，帮助用户避免仅修改模型名称而未能完全激活GPT-5.4
2026-03-11 10:47:39
19828
1
原创 CodexAPP-Desktop-Mac更新以后转Windows封包版不兼容问题解决方案
本文介绍了如何将Mac版Codex.dmg转换为Windows可复现打包的实战教程，解决了App更新后内置锁定、三方网关500错误及本地CLI兼容性问题。教程包含完整构建流程，从环境配置、打包脚本到增量热修方案。关键步骤包括：1）规范目录结构放置Codex.dmg；2）使用提供的PowerShell脚本完成可复现打包；3）通过增量替换解决版本漂移问题。文中提供了两个核心脚本（build-win-portable.ps1和hotfix-embedded-codex.ps1）的完整代码，可直接复制使用。
2026-03-03 16:59:37
2011
原创 Claude Code /fast 中转启动不了？Windows一招让你用上超级快的Opus4.6-fast！！！！！
摘要： 本文提供Windows系统下Claude Code的完整安装与排错指南，重点解决/fast模式无法启动的问题。关键步骤包括：安装Node.js、Git和Claude Code的npm版本，执行claude install获取原生二进制支持，并通过刷新PATH确保路径生效。常见问题如"requires native binary"提示、网络限制或会话卡死均有对应解决方案，强调原生二进制是启用/fast的必要条件。文末附一键检查清单和安装要点总结，帮助用户快速验证环境配置。（149字
2026-02-11 15:09:22
1361
1
原创 【Claude Code】无需sudo！无魔法！Linux 普通用户也能装 Claude Code 全流程
💥 无需 root、不碰系统目录，10 分钟在 Linux 私有化部署 Claude Code！本文手把手带你下载最新 Node 20.x LTS、秒级解压、npm 全局路径改到自家地盘，一键装上 Anthropic 官方 CLI，公司服务器/校园集群/共享主机统统适用。附赠版本切换、一键卸载、防坑指南，全程 emoji 图解，复制即可跑。想在工作站低调开 AI 外挂？点进来，零 sudo 直接起飞！🚀
2025-12-28 14:38:18
2596
1
原创 ffmpeg离线安装到服务器：解决conda／sudo／无法安装的通用方案
本文介绍了FFmpeg离线安装到服务器的通用解决方案。首先从官网下载适合平台的静态二进制文件（本案例使用amd64版本），然后上传到服务器并解压。接着将ffmpeg和ffprobe复制到用户bin目录，并设置PATH环境变量。最后通过ffmpeg -version命令验证安装是否成功。这种方法解决了conda/sudo无法安装FFmpeg的问题，适用于各种服务器环境。
2025-11-13 20:41:59
701
原创 【速读】一文快速了解RoPE旋转位置编码：从一维到多模态（三维）：旋转位置编码 RoPE / 2D RoPE / MRoPE （附 9 个进阶例子 + 全量符号释义 + “外推稳”解读）
✨还不知道？旋转位置编码RoPE？一文速通RoPE✨本文介绍了旋转位置编码（RoPE）及其扩展形式2D RoPE和MRoPE，从一维序列到多模态时空数据。
2025-11-08 19:27:13
2662
原创 【项目】pyqt5基于python的照片整蛊项目
FacePrank 是一个功能强大的图像变形工具，使用Python和PyQt5开发。无需复杂的PS技能，只需鼠标点击拖拽，就能对照片进行各种有趣的变形处理。无论是恶搞朋友、制作表情包，还是进行创意设计，这个工具都能满足你的需求！FacePrank 是一个功能丰富、使用简单的照片整蛊工具。通过五大核心变形工具，你可以轻松制作各种搞笑照片。无论是恶搞朋友、制作表情包，还是进行创意设计，这个工具都能满足你的需求！核心优势✅ 纯Python实现，代码简洁易懂✅ 基于NumPy向量化运算，性能优秀。
2025-11-08 19:09:29
1309
3
原创 pycharm找不到Tencent Cloud CodeBuddy如何安装[windows]？pycharm插件市场找不到插件如何安装？
🔥PyCharm在Market Place找不到插件怎么办🔥？手动安装Tencent Cloud CodeBuddy插件指南 下载插件包：从JetBrains插件市场获取zip安装包（无需解压） 进入PyCharm设置：File→Settings→Plugins 选择
2025-10-01 15:01:16
2108
原创 【从零手搓Transformer】：小白也能懂的超详细教程（含完整代码+公式+示例应用实现）
从零开始手搓Transformer的详细教程，包含完整代码+公式！
2025-09-29 13:34:58
2991
5
原创 PyTorch nn.Linear 终极详解：从零理解线性层的一切（含可视化+完整代码）
本文深入讲解了PyTorch中的nn.Linear线性层，从生物神经元到人工神经元的转化过程开始，详细解析了线性层的数学本质和实现原理。主要内容包括： 生物神经元到人工神经元的转换：通过简单示例展示了人工神经元如何模拟生物神经元的工作机制 线性层的数学本质： 单个样本的计算公式和实现细节 批量样本处理时的矩阵运算过程 多维张量的处理方法 可视化与代码实现： 提供完整的PlantUML可视化代码 包含详细的Python实现示例 展示权重矩阵和偏置向量的作用方式 文章采用循序渐进的方式，从基础概念到实际应用。
2025-09-29 13:34:17
1253
原创 【多模态前沿】2024 CVPR Video ReCap递归架构：小时级视频也能搞定！从秒到小时的层次字幕生成黑科技
看完这篇论文真的被惊艳到了！🔥 Video ReCap用递归架构解决了长视频字幕生成的世纪难题，从1秒到2小时的视频都能处理！核心创新是递归视频-语言模型，通过三层递归（片段→段落→摘要）逐层理解视频语义。配合课程学习策略，让模型像人类一样从简单到复杂逐步学习视频层次结构。最绝的是用LLM生成伪标签来解决数据稀缺问题！在EgoSchema上刷新SOTA，性能提升18.13%！这套方法不仅优雅而且实用，强烈推荐深度学习er们细品这个递归设计思路～ 🎯💡
2025-09-29 13:32:41
1065
原创 【对抗攻击前沿】2025 IJCV - Dilated Attention 揭秘！让AI“看走眼”的对抗攻击别样思路：视觉模型安全新威胁-扩张注意力攻击完全解析
🔥当AI的"注意力"成为攻击突破口！本文精读IJCV 2025最新论文，深度解析Dialted扩张注意力攻击的原理与实现机制对抗攻击研究已从简单的像素扰动发展到精确操控模型注意力机制。通过系统分析视觉模型在处理对抗样本时的注意力变化规律，研究者发现了提升跨模型攻击可转移性的关键因素。本文详细介绍DA（扩张注意力）攻击的核心技术：注意力最大化损失函数通过多层特征操控模型关注区域，动态线性增强技术生成多样化攻击模式突破传统防御。实验验证显示该方法在ImageNet数据集上攻击成功率提升8%以上。
2025-09-28 13:46:40
1245
原创 【多模态前沿】2024 EMNLP VIEWS让AI秒变新闻主播: Entity-Aware News Video Captioning论文解读Notes
还在为视频配字幕发愁？来看这篇EMNLP 2024的VIEWS论文🔥！它能让AI自动识别新闻视频中的人物、地点，生成包含"布什总统访问利比里亚"这样的专业字幕，而不是"一个男人见另一个女人"😅。核心就是三步走：先用视觉模型抓实体，再用大模型查背景，最后融合生成。实测比传统方法提升30%性能！想让你的视频字幕更专业？这个方法必须学！💪
2025-09-28 13:45:13
1126
原创 【多模态必读】VideoCLIP：视频-文本对比学习&& RAT 检索增强训练 && 时间重叠策略
🔥 VideoCLIP论文深度解读：让视频真正"看懂"文字！ 🔥花了整整一天啃完这篇2021 EMNLP的神作！VideoCLIP巧妙解决了视频和文本配对的老大难问题 🎯核心亮点我总结成三板斧：1️⃣ 时间重叠策略：抛弃死板的精确对齐，让视频片段和文本"模糊匹配"，就像人说话和做动作本来就不同步2️⃣ 检索增强训练：不再随机找负样本，而是专门找"长得像但不是"的困难样本来训练，让模型练就火眼金睛3️⃣ 双向对比学习：视频找文本+文本找视频
2025-09-28 13:44:35
1138
原创 【多模态必读】VideoCaption：看视频说话！-CLIP4Caption论文精读：双模态预训练+Transformer微调，附公式详解
🔥 模型！看！视频！说话！本文深入解析CLIP4Caption论文，揭秘如何用CLIP增强的视频-文本匹配网络实现视频字幕生成！🚀 通过两阶段训练策略，先用对比学习预训练获得强文本相关视频特征，再微调Transformer生成字幕。集成策略超有意思，让多个模型互相评价选出最佳字幕。实战效果爆表！📈 包含详细公式推导、特征维度标注和关键技巧总结，适合深度学习爱好者收藏学习~
2025-09-27 14:16:09
1097
原创 【多模态必读】UniVL视觉-语言：一个模型搞定视频检索+字幕生成，5个损失函数的妙用【附公式详解】
🎯 还在为视频理解和生成任务训练两个模型发愁？UniVL用一个统一框架搞定！本文深入剖析UniVL的核心设计：**双流编码器**保证检索效率，**交叉编码器**实现深度融合，配合**5个精心设计的预训练目标**（含创新的CMFM掩码帧预测），在HowTo100M上预训练后，5个下游任务全面开花🚀。特别亮点：EnhancedV策略通过100%文本掩码强制模型学习视频表征，StagedP两阶段训练加速收敛。实测YouCook2检索R@1达28.9%，碾压同期工作！附详细公式推导和shape标注📊
2025-09-27 14:15:27
1166
原创 【多模态必读】看！图！说！话！2021 arxiv CLIPCaption： CLIP Prefix for Image Captioning
🔥看！图！说！话！模型！🔥。本文深入解读2021年arxiv上的ClipCap论文，这是一种巧妙的图像描述生成方法。与传统端到端训练不同，ClipCap冻结了预训练的CLIP视觉编码器和GPT-2语言模型，仅训练一个轻量级映射网络来连接两者🔥。文章详细剖析了两种训练策略：微调GPT-2获得更强表现力 vs 冻结GPT-2实现极致轻量。最有趣的是，这篇论文名为"Prefix"却实际采用了Prompt Tuning架构，展现了PEFT技术早期发展的有趣历史💡包含完整的方法流程图、实验对比表格等
2025-09-26 15:35:13
591
原创 【多模态必读】CLIP4Clip视频-文本对比学习检索
CLIP4Clip论文精读笔记！🔥 这篇工作巧妙地把CLIP这个图文预训练模型迁移到视频检索任务上，核心思路是把视频当作"帧序列"来处理。论文提出了三种相似度计算方式：无参数型（简单均值池化）、序列型（LSTM/Transformer捕获时序）、紧密型（跨模态交互）。实验发现一个有趣现象：在小数据集上，越简单的方法反而越好用！文中还探讨了2D vs 3D卷积、帧采样策略等实用技巧。2022在5个数据集上都刷新了SOTA，证明了"站在CLIP巨人肩膀上"的威力。适合想了解视频-文本检索的小伙伴参考~ 💪
2025-09-26 15:34:35
1174
原创 【多模态必读】全站最详细2023 ICML BLIP-2：Q-Former【视觉+文本】跨模态交互
🔥跨模态交互组件，Q-Former始祖，BLIP-2巧妙解决视觉-语言大模型训练成本高昂的痛点。通过创新的Q-Former架构，两阶段训练策略如何各司其职、32个Learnable Query如何实现信息瓶颈、三种注意力掩码怎样控制跨模态交互。更有大量实践insights：为什么要隔层插入交叉注意力？prefix text到底是不是泄露答案？
2025-09-25 18:16:36
1458
原创 【多模态必读】全站最详细2021 CVPR ClipBERT 视觉语言学习 Video-and-Language Learning精读笔记
🔥 CLIPBERT：用"偷懒"的方式让AI看懂视频，性能反而更强了！你有没有想过，训练AI看视频时用更少的数据，效果反而会更好？CLIPBERT就做到了这一点！这个来自CVPR 2021的研究颠覆了传统思路。以前的方法需要处理视频的每一帧，计算量巨大。而CLIPBERT采用"稀疏采样"策略，训练时随机抽取1-4个视频片段就够了，推理时才用16个片段。这就像考试时只复习重点章节，但考试成绩却比全书背诵的同学还要好。
2025-09-25 18:16:13
887
原创 适用于校园服务器：无魔法情况下Linux(x86_64)安装Anaconda3【linux无魔法windows有魔法但是能联通linux服务器】-20250922
摘要： 本文介绍在无魔法校园服务器（x86_64 Linux）上安装Anaconda3的方法，通过Windows下载并上传安装包实现。步骤包括：1）从官网下载对应版本（如Anaconda3-2024.06-1）；2）使用FileZilla上传至服务器；3）执行安装脚本，默认路径为~/anaconda3；4）配置环境变量（可选自动激活base环境）；5）建议配置清华源加速依赖下载，并附一键配置命令；6）验证安装及创建Python 3.8.20虚拟环境。适用于个人或多人服务器环境，兼顾效率与灵活性。
2025-09-24 12:49:38
895
原创 在无 sudo、仅国内源/离线条件下，一次性跑通 BLEU / METEOR / ROUGE_L / CIDEr / SPICE
本文介绍了在无sudo权限、仅使用国内源/离线资源的条件下，从安装JDK 8到成功运行SPICE、ROUGE_L、METEOR、BLEU和CIDEr评测指标的全流程。关键步骤包括：1）通过清华源安装JDK 8并配置环境变量；2）在conda环境中安装Python依赖和离线安装pycocoevalcap；3）手动部署Stanford CoreNLP 3.6.0资源并添加"已就绪就早退"的安全补丁，防止重复下载。该方案解决了高版本JDK兼容性问题，适用于离线环境下的稳定评测。
2025-09-24 12:22:19
1275
原创 极简清华源Linux安装JDK8
本文介绍了在Ubuntu 22.04系统上安装Java JDK8的步骤：1)从清华镜像下载JDK8压缩包；2)解压并验证bin目录下的java和javac文件；3)通过临时环境变量测试安装；4)将JAVA_HOME和PATH变量永久写入.bashrc文件。安装完成后，通过java -version命令验证版本号确认安装成功，适用于需要使用旧版JDK8的开发环境。
2025-09-24 12:14:19
1000
原创 【多模态必读】BLIP论文逐行解读：揭秘Salesforce如何用自举策略刷新22年SOTA
如何用一个模型同时搞定图像理解和文本生成？BLIP作为视觉-语言预训练领域的里程碑工作，首次实现了理解与生成任务的统一建模。本文深入剖析BLIP的三大核心创新：MED多模态混合编解码器架构、CapFilt自举去噪机制、以及ITC/ITM/LM三重预训练目标。
2025-09-04 17:14:32
1068
原创 【代码：万字长文+保姆级手把手带练】AI 大模型 Prompt Engineering：基于开放大模型ERNIE-SPEED-128K API的实践
【代码级】2万字保姆级教程，手把手入门Prompt Engineering！ 基于百度ERNIE Speed免费API，提供1000+行可运行代码，从入门六大要素到应用级系统构建，带你掌握与AI对话的艺术
2025-08-23 01:28:16
1526
原创 【深度学习】PyTorch中间层特征提取与可视化完整教程：从零开始掌握Hook机制与特征热力图
🔥 还在把神经网络当黑盒子？本文通过PyTorch的Hook机制，手把手教你提取神经网络任意层的特征，并用多种可视化技术直观展示模型到底"看到"了什么。从零开始构建完整的特征可视化系统，包括特征图提取、Grad-CAM热力图生成、激活分布分析等核心技术。全文代码可直接运行，配套FashionMNIST数据集，小白也能轻松上手！让你的模型不再神秘，调试优化有的放矢！💡
2025-08-20 11:26:01
1581
原创 AI视觉系统的致命弱点：一张贴纸就能骗过自动驾驶！深度解读物理对抗样本开山之作
🔥当AI遇上现实世界的"视觉欺骗"！本文精读Google Brain经典论文，全面解析物理对抗样本的生成原理与攻击机制。对抗样本研究已从数字图像延伸到物理世界。通过在真实物体上添加特定的扰动图案，可以影响深度学习模型的识别结果。本文介绍物理对抗样本的基本原理、常见生成方法，以及在交通标志识别、人脸识别等场景中的实际表现。同时探讨现有的防御机制和未来研究方向，帮助开发者更好地理解和应对AI系统在真实环境中面临的安全挑战。
2025-08-20 10:27:14
1033
原创 【速通】深度学习模型调试系统化方法论：从问题定位到性能优化
【干货】深度学习模型调试方法论 - 让Debug效率提升10倍！【假的】 🔧还在为模型不收敛抓狂？本文总结了一套系统化的深度学习调试方法论，从三层调试架构（代码层→数值层→优化层）到问题诊断清单，涵盖梯度检查、NaN检测、过拟合诊断等高频场景。
2025-08-18 23:57:27
1241
原创 【公式+代码】mPLUG-2：跨文本、图像、视频模块化多模态基础模型【论文精读注解】
【学习笔记】mPLUG-2多模态模型精读注解 - 小白也能看懂！ 📝跟着论文一起学习阿里达摩院的mPLUG-2模型！本文是我的学习笔记，详细记录了模型的三大核心模块（视觉编码器、文本编码器、跨模态融合），逐行解读关键公式含义，标注了数据在网络中的shape变化过程。特别整理了ITC、ITM、MLM三个损失函数的作用和计算方式。作为一个正在学习的小白，我把容易困惑的地方都做了注释，希望能帮到同样在学习多模态AI的朋友们！
2025-08-18 23:49:04
1152
原创 警！你连写个class都要问GPT：我们是在用AI学习，还是在被AI驯化？
💔 离开ChatGPT就不会写代码了？AI正在把我们从"创造者"变成"搬运工"！为什么越用AI越笨？程序员、学生、科研工作者必看：如何打破"思维被AI绑架"的恶性循环，重新掌控自己的大脑！
2025-08-17 21:05:38
1452
原创 GPT5 你真的会用吗？为什么测评说牛的GPT5，你用起来笨笨的？OpenAI官方 GPT-5 Prompt手册解读
🔥 GPT-5来了，但99%的人都用错了！ OpenAI官方Prompt指南首次公开：为什么别人的GPT-5像超级助手，你的却像个"智障"？本文深度解读官方万字手册，揭秘Responses API带来5%性能提升、Agent工作流精准控制、Cursor团队独家调教秘籍。从"笨笨的AI"到"生产力倍增器"，一文掌握GPT-5正确打开方式！
2025-08-17 20:15:17
1354
原创 Nature大佬公开ChatGPT学术写作终极指南！
🔥Nature副教授亲自下场，公开ChatGPT学术写作核心Prompt！本文独家整理Dritjon Gruda教授在Nature发表的AI辅助论文写作方法，包含3个即用即走的Prompt模板：论文润色、同行评审、编辑反馈。中英双语对照，手把手教你如何让ChatGPT成为你的学术写作助手。⚠️附完整伦理准则，强调AI仅辅助不替代，拒绝学术不端！顶刊编辑的私藏技巧，速度收藏！
2025-08-16 22:41:04
2375
原创 《GPT-5辅助科研创新：几分钟搞定一个创新点》
如何用GPT-5快速探索模块组合创新？本文通过真实案例，手把手教你用GPT-5将CSTA和解码器模块组合成新方法，架构设计、数学推导等。这是GPT-5辅助科研的真实效率。本文以CSTA+Decoder组合为例，展示完整的创新流程：任务分析→方案设计→公式推导→代码实现→论文撰写。附赠实用提示词模板、避坑指南和学术规范建议。
2025-08-16 21:23:26
1149
原创 2021 IEEE【论文精读】用GAN让音频隐写术骗过AI检测器 - 对抗深度学习的音频信息隐藏
本文详解2021年IEEE论文《Learning to Generate Steganographic Cover for Audio Steganography Using GAN》的核心创新点。该方法通过生成对抗网络自动学习生成优质隐写载体音频，采用生成器、判别器和隐写分析器三方对抗训练，实现了对深度学习检测器的主动防御。实验表明，在各种嵌入率下检测准确率接近50%随机猜测水平，PESQ评分达4.42，成功实现了高感知质量与强抗检测性的双重目标。
2025-08-15 23:13:00
1340
原创 AI大模型一键绘制任何结构图：高效智能结构图绘制，让Claude帮你秒变专业结构图绘制师
AI一键绘制万能图！流程图，思维导图，结构图，饼图。AI绘制结构图，让变成专业结构图绘制er！
2025-08-15 21:30:41
2542
原创 2020 GPT3 原文 Language Models are Few-Shot Learners 精选注解
【GPT-3内容选读笔记】从1.17亿到1750亿参数，看AI如何学会"举一反三"！本文深入解读OpenAI的GPT-3论文核心内容，揭秘它如何仅凭几个例子就能翻译、写作、做算术。带你了解零样本、少样本学习的奥秘，看懂AI发展的关键转折点。附详细图解和通俗解释，小白也能读懂的技术科普！
2025-08-15 20:11:42
1245
原创 2019 GPT2原文 Language Models are Unsupervised Multitask Learners - Reading Notes
一文读懂GPT-2原论文！本文对《Language Models are Unsupervised Multitask Learners》进行逐段精读注解，用通俗语言解释零样本学习、模型架构、WebText数据集等核心概念。特别整理了GPT-1与GPT-2的详细对比表，补充了Decoder-only架构解析。适合想深入理解GPT-2但觉得原论文晦涩的读者。
2025-08-14 18:36:58
1653
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人