- 博客(10)
- 收藏
- 关注
RSS订阅原创 多模态LLM
对嵌入向量之间的相似度进行优化，旨在在 CLIP 训练的第一步中，分别使用图像编码器和文本编码器对图像和文本进行嵌入处理在 CLIP 训练的第二步中，使用余弦相似度计算句子嵌入与图像嵌入之间的匹配程度在 CLIP 训练的第三步中，根据预期相似度更新文本编码器和图像编码器参数。这种参数更新使相似输入的嵌入向量在向量空间中的距离逐渐缩小在获得该图像的文本描述后，我们可以使用 OpenCLIP 框架分别为其视觉内容和文本描述生成嵌入向量。
2025-11-04 23:05:03
649
原创 监督微调实战
因此，这种方法允许对开放式问题进行自动评估，其主要优势在于，随着 LLM 的优化，它们评判输出质量的能力也会提高。2.基准测试：要评估生成模型在语言生成和理解任务上的表现，一种常见方法是使用广为人知的公共基准测试，如 MMLU、GLUE、TruthfulQA、GSM8k 和 HellaSwag除了自然语言任务，一些模型专注于其他领域，如编程。使 用 适 配 器 的 方 案 是，在 Transformer 内部引入一组额外的模块化组件，通过微调这些组件来提升模型在特定任务上的性能，而无须微调模型的所有权重。
2025-10-31 22:44:05
294
原创 微调生成模型问题汇总
对齐（Alignment）旨在使 LLM 的行为与我们期望它在不同场景中的表现保持一致。这通常包括让模型学会遵循指令和对齐人类价值观（例如有用性和安全性）。资料中提到，LLM 的广泛应用涉及社会和伦理影响，需要考虑透明度和问责制等关键点。模型微调（特别是偏好调优）用于对齐安全性和人类价值观，可以用于训练模型避免生成敏感或有害内容。
2025-10-31 14:50:59
865
原创 优化器Optimizer和损失函数总结
在 PyTorch 中，优化器（optimizer）是用于更新神经网络参数的工具，它会根据计算得到的来调整模型的参数，通常是以来改进模型的性能。结合着计算图在运行时动态更新张量（模型参数）的需要，PyTorch 已实现了所有主流的优化器算法。
2025-10-25 18:19:38
987
原创 RAG有哪些优化手段？
图结构检索（GraphRAG）微软近年提出的新方向，把知识库构造成图（Graph），节点是实体、边是关系。进一步，可以用Query Expansion的方式，让模型生成若干语义相近的子问题，从多个角度去检索，提升覆盖度。在实际喂LLM时，可以采用“小块检索，大块生成”的策略： 用小块保证检索准确，用大块拼接保证上下文完整。密集检索：使用向量模型，BERT、E5、bge，基于语义相似度，能理解同义表达，但可能会引入语义噪音。RAG的最大风险之一，是模型“编故事”——也就是幻觉（Hallucination）。
2025-10-24 22:14:42
882
原创 Transformer核心架构和基础机制
每个子空间（每个 “头” ）独立执行缩放点积注意力，然后将所有头的结果拼接（Concat）起来，最后再通过一个线性变换得到最终输出。由于 Transformer 没有 RNN 的迭代操作来捕捉序列顺序，不具备顺序感，必须引入位置编码，没有则模型会失去句子结构的理解能力。每个子层（如 Multi-Head Attention 或 Feed Forward）的输出都会应用残差连接（Add）和层归一化（Layer Normalization）。在每个编码器和解码器层中，自注意力子层之后都会跟随一个前馈网络。
2025-10-23 19:09:27
245
原创 向量数据库
其中，Filed代表数据字段，这些字段可以是结构化的标量数据或向量数据；Pinecone虽然不开源，但用户可以通过云存储的方式管理向量数据，使用比较方便；整个系统可以划分为接入层（验证客户端请求并合并返回结果）、协调服务（向执行节点分配任务）、执行节点（完成下发的命令）和存储服务（数据的持久化）4个层面。对于希望通过本地私域数据增强大模型知识储备的读者来说，向量数据库将是不可或缺的工具，它能够有效弥补模型本身存在的。的数据库系统，具有高效检索和高效分析向量数据的优点。（同时基于向量和属性进行搜索）。
2025-10-22 09:29:59
140
原创 调用deepseek处理中文小学数学教育数据集
client = OpenAI(api_key="你的deepseekapi", base_url="https://api.deepseek.com"){"role": "user", "content": f"回答并给出详细的思考过程:\n\n{document_content}"},{"role": "system", "content": "你是一个数学专家，需要回答每个问题并给出详细的思考过程。file_path = r"文本路径" # 替换为你的文件路径。# 提取并打印生成的摘要。
2025-03-14 21:31:27
428
原创 Embedding
目标：学习相关算法，增加对词嵌入的理解。如one-hot(二进制)、word2vec(预测单词上下文)、fastText、glove(全局词频统计)等embdding，嵌入，向量或向量表示技术，把离散的高维映射到低维的连续向量空间。
2025-03-10 19:01:41
1879
原创 NLP基础
分词器：是为模型准备输入数据的，把语料数据集预处理为模型可以接受的输入格式。分词器的作用是把文本转换为词元序列，一个词元可以是字母、单词、标点符号、其他符号，这个过程也被称为分词(tokenization)。词元(token)可以理解为最小的语义单元，分词的目的是将输入文本转换为一系列的词元，并且还要保证每个词元拥有相对完整的独立语义。把每个词元转换成一个数字，也叫tokenID，词ID分词应该分到什么粒度？character、word、subword(子词)
2025-03-08 14:30:09
1761
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人