qq_43087912的博客

原创 RAG之微调垂域BGE的经验之谈【总结】

1、数据集格式{"query": "小孩做胃镜有哪几种方法","pos": ["儿童做胃镜常用的方法有如下两种：1、有痛胃镜，不在麻醉状态下做胃镜；2、无痛胃镜，在麻醉状态下做胃镜。国内通用的方法，不建议麻醉。因为小孩子麻醉，有很多副反应，包括麻醉药本身的副作用和麻醉后的复苏，都有副反应。不麻醉，即不使用麻醉药，目前通用的方法是抓麻，即把小孩抓住，做胃镜。这种情况虽然恢复快，但也有不好的地方。因为小孩害怕做该检查。

原创 大模型中文问答场景下的模型选择

C-MTP综合了标注数据和未标注数据，来自于多种来源，如Wudao语料库、科学文献、XLSUM-Zh、Wiki-Atomic-Edit、AmazonReviews-Zh等，确保了数据的大规模、多样性和质量。架构：BGE-Large-zh模型是基于BERT-like(类BERT)架构，特别是在特殊的[CLS]标记的最后一层隐藏状态被训练来作为文本的嵌入表示。的embedding。采用Distilling step-by-step分步蒸馏可以在较少的训练数据和较小的模型下，训练出性能超越LLM的小模型。

原创 知识库大模型的召回模型调查

然后，通过优化目标函数来调整模型参数，使得相似句子的余弦相似度提高，而不相似句子的余弦相似度降低。SimCSE的基本思想是对比学习，对比学习的目标是学习编码器f（下面是目标函数），其中前者为相似的正样本，后者为不相似的负样本，score是相似度度量函数。对应到SimCSE中，x和x+是两个相似的句子，x和x-是不相似的句子。对比学习的目标是学习一个编码器，使得相似的正样本(即相似的句子)在编码后的向量空间中更接近，而不相似的负样本(即不相似的句子)在空间中更远离。它的基本原理是对比学习。

原创 大模型的几个要点

TCN：时序卷积网络（Temporal Convolutional Network，TCN）是一种使用卷积操作来处理序列数据的模型，旨在克服 RNN 的一些缺点。即query与query的相似度，而不是query召回answer的相似度。query计算query与title的相似度，设定一个阈值0.9筛选0.9以上的title，再人工打标label，相似1，不相似0。TCN 通过因果卷积和扩张卷积处理序列数据，能够并行计算，捕捉长时间依赖关系，并缓解梯度消失问题，但参数量较大。

原创 大模型应用开发教程阅读

GPT 的 Tokenizer：实际上 GPT 的 Tokenizer 采用了 BPE 算法，即将单个字符的 二进制表示，不断提取重复的字符对，进行压缩，最终用一个较为合理大小的词汇表表示 Token 到数字的映射。Prompt 其实是通过提供一个外部的 Context 帮助大模型更好的预测下一个词， 大模型本身有着海量的互联网数据学习过，它可以利用本身学习过的知识之间的权重\联系，更好完成补全提示词后的输出的任务。2 不限制，是带来幻觉的原因，它的回答取决于训练的数据，学到什么回答什么(待求证)

原创 Q：vscode导出markdown为pdf且显示数学公式

vscode导出markdown为pdf且显示数学公式

原创 蚁群算法流程图

原创 关于蚁群算法的概述与应用——思维导图

原创 蚁群算法流程图

原创 Python——import导入模块

Python导入第三方库或者使用标准库。如使用数学函数，import math ,如余弦函数cos,绝对值函数fabs()；import numpy as np，解决矩阵数组问题等。import主要有以下两种用法：import 模块名1 [as 别名1], 模块名2 [as 别名2]，…： 使用这种语法格式的 import 语句，会导入指定模块中的所有成员（包括变量、函数、类等）。 使用该模块的成员时，需要用该模块名或者别名加前缀； 如:import mathmath