- 博客(12)
- 收藏
- 关注
RSS订阅原创 代码生成领域发展史
代码智能技术经历了从规则驱动到AI驱动的演进历程。2017年Transformer架构引入后，代码生成进入数据驱动时代，2020-2021年实现实用化突破。2022年起专用化代码大模型爆发，StarCoder、CodeLLaMA等涌现，并发展出指令微调、检索增强等关键技术。当前趋势聚焦代理式编程和智能化集成，未来将向多模态生成和强化学习优化发展。关键技术包括大规模预训练、指令微调、检索增强生成等，代表模型如GPT-4、Claude等已支持复杂代码推理。这一演进推动了从独立工具到全流程智能开发平台的生态转变。
2025-12-29 19:50:56
8
原创 第2讲 Dify安装配置详细指南
Dify是一个开源的LLM应用开发平台，支持多模型接入和工作流可视化编排。部署Dify需满足Docker环境、4核CPU+8GB内存等基本要求，通过Docker-Compose可快速启动服务。配置包括初始化管理员账号、模型API设置和存储选项，生产环境建议使用域名和HTTPS。常见问题涉及端口冲突、容器启动失败等，可通过日志排查。平台适用于快速构建和发布AI应用，官方文档和社区论坛提供技术支持。
2025-12-29 13:59:03
105
原创 第1讲：Docker 零基础入门指南：从原理到安装，再到第一个容器
本文为Docker新手入门指南，详细讲解Docker的核心概念、安装方法和基础实践。首先对比容器与虚拟机的区别，说明Docker轻量级、快速启动和高效资源利用的优势。接着提供Windows、macOS和Linux系统的详细安装步骤，包括常见问题解决方案。最后通过运行hello-world容器验证安装，并介绍容器生命周期管理的基本命令。文章强调环境一致性是Docker的核心价值，帮助开发者摆脱"在我机器上能跑"的问题。通过完成本指南，读者将掌握Docker基础，为后续学习Dockerfil
2025-12-26 13:30:32
11
原创 代码生成大模型全景：技术架构、安全机制与智能体生态
代码生成已从"生成玩具代码"迈向"构建可靠软件系统"；下一战场是"可信赖、可协作、可演化的编程智能体"。掌握本指南中的技术栈，将使你在这一领域保持领先地位。本指南整合了代码大模型领域的全栈知识，从基础模型到安全机制再到应用生态。内容基于2025年中最新技术进展，适合研究与工程实践。随着领域快速发展，建议持续关注开源社区与学术会议的最新成果。
2025-12-11 22:06:20
674
原创 LoRA训练及其经典变体方法
LoRA：通过低秩增量BABABA实现参数高效微调 —简单、易实现、无推理开销，已成为 PEFT 的工业标准。变体类别秩/预算自适应（AdaLoRA、ARD-LoRA、IncreLoRA）——提高参数利用率。arXiv量化 + LoRA（QLoRA、QA-LoRA、CLoQ）——显存/部署优化，使超大模型单卡可训。arXiv更接近 Full-FT 的设计。
2025-08-11 16:52:49
745
原创 模型剪枝整理与总结
快速部署：优先权重幅度或BN缩放因子剪枝，配合简单微调。高精度保留：采用重建误差评估+渐进式剪枝，结合知识蒸馏。硬件加速优先：结构化剪枝为主，避免不规则稀疏模式。
2025-06-20 14:26:13
1132
原创 权重量化整理与总结
快速部署场景：优先训练后8位逐层量化，配合MinMax量化策略。高精度需求场景：采用量化感知训练+逐通道量化，或混合精度量化。极致压缩场景：尝试二值化/三值化，但需配合网络架构优化（如残差连接、特征复用）。
2025-06-20 13:14:54
1051
原创 知识整理整理与总结
方法选择建议快速轻量化：优先输出层软标签蒸馏，配合温度自适应策略。高精度保留：采用中间层特征蒸馏+注意力引导，适合异构模型迁移。数据稀缺场景：自蒸馏+伪标签生成，减少对标注数据的依赖。当前技术趋势自动化知识蒸馏（Auto-KD）：通过神经架构搜索（NAS）自动设计蒸馏策略（如最优蒸馏损失组合、学生模型架构）。多教师协同蒸馏：集成多个不同教师模型的知识（如跨任务教师、跨模态教师），提升学生模型的泛化能力。
2025-06-20 13:03:26
394
原创 高效结构设计整理与总结
通过优化神经网络的拓扑结构、计算单元和连接方式，在减少参数量、计算复杂度的同时保持或提升模型性能。高效结构设计的核心是平衡模型表达能力与计算效率，关键挑战在于如何在资源受限条件下（如移动端、边缘设备）设计兼具轻量化和高精度的网络架构。
2025-06-20 12:59:18
459
原创 低秩分解整理与总结
方法选择建议快速部署场景：优先选择训练后分解方法，如矩阵 SVD 训练后分解，实现简单且能快速压缩模型。高精度需求场景：采用分解感知训练方法，如张量 Tucker 分解感知训练，以减少精度损失。对计算复杂度敏感的场景：选择计算复杂度较低的分解方法，如矩阵 SVD 分解，同时结合硬件加速。当前技术趋势自适应低秩分解：根据模型的不同层和不同任务的特点，自适应地选择合适的秩和分解方法，以实现更好的精度和效率平衡。
2025-06-20 12:55:30
626
原创 2021-11-14
解决git clone报错fatal: unable to access ‘https://github将命令里面的https改为git
2021-11-14 21:42:14
321
原创 2021-11-13
Pytorch学习（1）—— 构建网络模型的四种操作利用pytorch来构建网络模型有很多种方法，以下简单列出其中四种。假设构建一个网络模型如下： 卷积层–Relu层–池化层–全连接层–Relu层–全连接层首先导入几种方法用到的包：import torchimport torch.nn.functional as Ffrom collections import OrderedDict需要注意的是，无论哪种方法，每一层层中的参数都是可以从外部传进去的，在初始化阶段传入参数；super里的第一
2021-11-13 23:53:38
83
【大模型微调】LLaMA Factory多方法对比：SFT、DPO、PPO等技术在通用与专业领域的高效对齐应用解析
2025-12-29
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人