jiaomongjun的博客

定义对比学习模型self.head = torch.nn.Linear(768, 256) # 降维embeddings = self.head(outputs.last_hidden_state[:, 0]) # 取[CLS]向量# 训练代码略（需准备正负样本对）

（Semantic Segmentation）的结合，正在计算机视觉领域发挥越来越重要的作用。语义分割的核心是为图像或视频中的每个像素分配语义类别标签（如“人”“车”“天空”），而大模型的引入显著提升了分割的精度、泛化能力和应用场景。，使其从纯视觉任务升级为感知-推理-决策闭环中的智能组件。未来随着多模态大模型的演进，语义分割将进一步融入通用人工智能（AGI）系统。大模型（如多模态大语言模型、视觉大模型等）与。大模型为语义分割带来了。

编码器是“理解者”，擅长从数据中提取抽象特征；解码器是“生成者”，擅长基于上下文创造新内容；两者协作可处理复杂任务（如翻译、对话），而独立设计则针对特定场景优化（如GPT纯生成、BERT纯理解）。现代大模型（如LLaMA、PaLM）常采用解码器-only架构，因其生成能力更适配通用任务，而编码器-解码器架构在需精确对齐输入输出的场景（如翻译）中仍不可替代。

大模型Agent是一种基于大型语言模型（LLM）的智能系统，能够自主感知环境、规划任务、调用工具并完成复杂目标。其核心原理是，实现从“思考”到“行动”的闭环。

该架构通过预训练对齐或投影层学习实现跨模态向量统一，结合混合检索策略，使RAG系统能同时处理文本和图像查询，生成更丰富的多模态回答。

RAG（Retrieval-Augmented Generation，检索增强生成）是一种结合信息检索与文本生成的技术，旨在通过引入外部知识库提升生成内容的准确性和相关性。其核心机制是先检索相关信息，再基于检索结果生成答案。相比传统生成模型，RAG具有更准确、知识可更新、透明可信等优势。RAG的核心组成包括检索器和生成器，工作流程分为检索阶段和生成阶段。训练方式可以是联合训练或分阶段训练。RAG的优势在于准确性、可解释性和动态更新，但也存在检索效率、依赖检索质量和上下文长度限制等局限。应用场景包括开放域问答

提示工程是释放大模型潜力的关键技能，核心在于清晰定义任务+结构化引导模型思考。迭代优化：通过测试不同提示版本对比效果。领域适配：医疗、法律等专业领域需结合术语和规范。伦理审查：避免生成有害或偏见内容（如添加过滤条件）。通过持续实践，可显著提升模型输出质量，减少“AI幻觉”风险，使其真正成为高效的生产力工具。

定义大模型（Large Models）是指参数量极大（通常在十亿级（Billion）到万亿级（Trillion））的深度学习模型，通过海量数据和复杂架构训练，具备强大的泛化能力和多任务处理能力。大规模参数：模型参数量远超传统模型（如GPT-3有1750亿参数，PaLM达5400亿）。通用性：通过预训练学习通用知识，可适配多种下游任务（如文本生成、图像识别、代码编写）。自监督学习：依赖无标注数据（如互联网文本、图像）进行训练，无需人工标注。关键概念预训练与微调。