自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(10)
  • 收藏
  • 关注

原创 Qwen代码层面解密

eos_token_id”: 151645, //instruct model的eos_token_id修改为, base model本来都是

2024-12-12 21:08:20 1753

原创 研究生如何快速发CVPR

研究生如何快速发CVPR,找到科研方向

2025-03-03 20:03:19 578

原创 科研工作分享——CVRP|TIP|TGRS Pansharpening 扩散模型 多模态

Dual-Granularity Semantic Guided Sparse Routing Diffusion Model for General PansharpeningYH Xing, LT. Qu, SZ. Zhang, K. Zhang, YN. Zhang and L. BruzzongCVPR 2025(学生一作)[pdf][code]CrossDiff: Exploring Self-Supervised Representation of Pansharpening via Cr

2025-02-26 14:20:19 1151 1

原创 Qwen微调的流程

在huggingface的TRL中,支持最常见的SFT数据格式,以下两种格式不需要任何预处理,直接load_dataset后传入Trainer,格式的处理方式会按照tokenizer的chat_template进行处理,本文按照conversational format处理数据。load_in_8bit和load_in_4bit的模型参数量化,显著降低模型显存要求,加速base model的运算,只在PEFT使用。lora_alpha 一般是lora_r的两倍,超参数trick。

2024-12-13 19:48:02 825

原创 Qwen的FunctionCall模版整理

Qwen的chattemplate一看太复杂了,似乎最开始有tools的说明,assisatant会输出tool call并加入对话,以下给出Qwen官方的一个demo和自己的注释说明。

2024-12-12 21:15:54 1869

原创 从Qwen看多模态技术的发展路径

接下来是本博客的第三部分,即Qwen团队的多模态技术发展,也是我个人觉得技术tricks最多的部分,多的一个输入条件为LLM架构和训练方式带来了很多可操作的“创新点”,包括token对齐、token压缩、图片视频处理、音频处理、多模态数据集的构造、多阶段训练pipeline、多维度ROPE编码等。

2024-12-09 20:26:17 433

原创 从Coder和Math看Qwen的下游任务适配流程

这些模型都是在基座模型基础上continue pretrain+post train获得的,因此其训练过程可以看做行业模型的适配流程;我将简单讨论这两年Qwen团队的适配技术,最后介绍一个旅游行业大模型的比赛和一些简单的思路。本文将介绍qwen-coder, qwen-math, qwq等模型。

2024-12-05 16:31:04 311

原创 从Qwen基础模型看LLM的技术发展

3T的预训练Tokens,基于SFT+PPO的后训练对齐方案;2K的训练上下文,32K的推理最大上下文长度(NTK ROPE+logn+window),以及15万大小的词表(对多语言非常友好,一般不需要拓展词表适配新语言);模型结构上采用RoPE相对位置编码、SwiGLU激活函数、RMSNorm;模型在MMLU和CMMLU上分别为77和83分,MATH得分35,

2024-12-04 21:03:19 2366

原创 Prompt大全(Qwen实践)

生成candidate和判断candidate分别调用了一次LLM,对于失效的candidate进行剪枝;上述few-shot prompt中,包含推理轨迹-任务操作-操作结果三个基本步骤,其中任务操作允许与外部环境交互来提升LLM的能力;针对特定任务的Few-shot COT example比较难写,可以在LLM自动生成的COT链路上不断优化微调。对于复杂任务难以一次性解决的或者输入输出太长的,可以多轮调用LLM,进行step-by-step的微调控制。指令:想要模型执行的特定任务或指令。

2024-12-03 19:56:11 2151

原创 【清华NLP】刘知远团队大模型公开课学习笔记(全网最细)

清华NLP公开课笔记记录,全网最全,截图全面

2024-12-02 13:26:58 303

【Java代码安全】基于大模型的漏洞识别与修复技术:工业界产品化实践与学术界前沿方法研究

内容概要:本文系统梳理了大模型在Java代码漏洞识别与修复领域的最新进展,涵盖工业界产品化实践与学术界前沿研究两大维度。工业界方面,Google、阿里巴巴、Snyk、GitHub、字节跳动、腾讯等企业通过AI编码助手、自主修复代理、集成化扫描修复插件等形式,将大模型深度融入开发流程,实现漏洞的智能识别、自动修复与安全左移,显著提升修复效率并降低漏洞密度。学术界则聚焦技术突破,探索多模型协作、上下文优化、专用模型微调、自主修复代理等创新方法,致力于提升修复准确性、降低误报率并拓展应用场景。文章还分析了AI修复在大型开源项目中的成功案例,并指出当前面临的核心挑战,如修复可靠性验证、复杂漏洞处理能力及人机协作模式优化。; 适合人群:从事Java开发、软件安全、DevOps或AI工程化的技术人员,具备一定编程与安全基础知识的研发人员、安全工程师及技术管理者。; 使用场景及目标:①了解大模型在代码安全领域的技术趋势与典型解决方案;②掌握主流厂商(如Google、阿里、Snyk等)的AI修复工具原理与应用效果;③借鉴学术界最新研究成果以指导技术选型或科研方向;④推动企业实现安全左移、提升代码质量与研发效率。; 阅读建议:本文兼具技术深度与实践广度,建议结合自身开发或安全工作场景,重点关注工业界产品功能与学术方法创新之间的关联,思考如何将前沿技术落地于实际项目中,同时关注修复准确性、可解释性与人机协同等关键挑战。

2025-11-09

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除