LLM学习(3)——搭建知识库

使用LM Studio与Anything LLM基于Llama-3高效构建本地知识库系统 另外,也可以选择openai或AnythingLLM,如果选择AnythingLLM,如下图所示,列表了其支持的大语言模型,选择了对应的模型点击“save changes“时,在后台会下载对应的大模型到本地。针对测试人员,可以在构建的大型模型和知识库问答应用中进行快速测试,并跟踪各个环节的结果,如embedding的召回结果是否覆盖所有知识点,可通过接口调用日志进行快速查看。针对业务专家和产品设计人员,即使不懂代码,也能快速构建产品原型,了解基于大型模型知识体系的构建过程,并能选型大语言模型。 阅读详情

3.1.1 词向量

[词向量(Word embedding),又叫Word嵌入式自然语言处理(NLP)中的一组语言建模和特征学习技术的统称,其中来自词汇表的单词或短语被映射到实数的向量。 从概念上讲,它涉及从每个单词一维的空间到具有更低维度的连续向量空间的数学嵌入。]

3.1.2 词嵌入

将单词映射到实向量的技术称为词嵌入。

为什么不选择one-hot而要选择更为复杂的word embedding呢:一个主要原因是独热向量不能准确表达不同词之间的相似度,比如我们经常使用的“余弦相似度”。对于向量x,y∈R,它们的余弦相似度是它们之间角度的余弦:

xTy||x||||y||∈[−1,1]

由于任意两个不同词的独热向量之间的余弦相似度为0,所以独热向量不能编码词之间的相似性。
word2vec工具是为了解决上述问题而提出的。它将每个词映射到一个固定长度的向量,这些向量能更好地表达不同词之间的相似性和类比关系。word2vec工具包含两个模型,即跳元模型(skip-gram) (Mikolov et al., 2013)和连续词袋(CBOW) (Mikolov et al., 2013)。
任何神经网络或任何监督训练技术的先决条件是具有标记的训练数据。当您没有任何标记数据(即单词及其相应的单词嵌入)时,如何训练神经网络来预测单词嵌入?
我们将通过创建一个“假”任务来训练神经网络来做到这一点。我们不会对这个网络的输入和输出感兴趣,相反,目标实际上只是学习隐藏层的权重,这些权重实际上是我们试图学习的“词向量”。

word2vec#

Skip-gram#

以黄色突出显示的单词是源单词,以绿色突出显示的单词是其相邻单词

Skip-gram 模型的任务是,给定一个单词,我们将尝试预测它的相邻单词,如上图。
如下式,給定中心词 w 和模型参数 θ 要計算上下文 c 出現的几率 p(c|w; θ),其中 C(w) 表示中心词 w 周围的上下文词的个数。
对于所有的在文本中的中心词 w 我们希望可以通过更新模型参数 θ ,最大化上下文词语的出现的概率的乘积,此时的 θ 就是我们需要的词向量,词向量并不是某个NN的结果而是中间层,且一般为一个浅层的NN。

argmaxθ∏ω∈Text[∏c∈C(ω)p(c|ω;θ)]

其条件概率可以通过点积然后softmax进行建模,其中ω是中心词,c为上下文词,

p(c|ω;θ)=evc⋅vω∑c′∈Vevc′⋅vω

为了得到需要的θ∗我们需要使用maximum log likelihood:

arg⁡maxθ∑(w,c)∈Dlog⁡p(c|w)=∑(w,c)∈D(log⁡evc⋅vw−log⁡∑c′evc′⋅vw)

另外还需要注意的一点是Text中的每一个词语都可以有两个身份分别是作为中心词和作为上下文词出现所有在实际的操作中,
word2vec将为每个词都预设两个向量(中心词向量矩阵 W & 上下文向量矩阵 W’)下面是实际的流程:

  1. input layer 为中心词 xk 的 1-hot vector,维度 1 x V。
  2. 通过预先初始化好的权重 W,W 的大小为上下文窗口 V 与词向量维度 N ,V x N 的矩阵,此 W 训练完成后,就是我们需要的词向量矩阵
  3. 完成第二步后, hidden layer 获得中心词维度 N 的词向量。
  4. 从 hidden layer 到 output layer 做了 C 次的前向传播,每次的传播都与 W’产生 V 維的向量 y,这里的 W’ 表示上下文的词向量矩阵,这样的话通过进行C次传播,可以使得在一定窗口大小内的词向量的位置具有一定的影响,再通过更改窗口的尺寸去更新这种影响(个人见解不敢保证准确),W’不同于 W 的是当词语的身份是是上下文时,才会对应到到此向量,而且W’中包含的不仅仅是上下文词出现的信息还有出现的位置c的信心(但是我不确定的是这种位置信息怎么读取或者说他在这里是可以读取的吗);而 C 表示该中心词语的上下文数量,通过 window size 決定(2*window size)。
  5. 将这 C 次所产生的值 Softmax function 转换,这里要注意的是,Softmax 分母的计算是由结果的每一个维度而來,而非只通过对应維度,因此我们可以將结果的每一个维度值视为所有上下文词语与中心词的点积,点积越大,概率值就越大。
  6. 由于 y1 到 yC 都是 xk 的上下文词,因此给定中心词 xk 我们要最大化 y1 到 yC 的条件概率值,而每一个条件概率值就以 Softmax 來模拟。
    [注意:实际上这不是一个网络而应该是C个网络不过他们的W权重是相同的,但是 W′应该分为Wc′去确定位置,y_{kj}其实指的是k位置j词作为上下文的概率]

CBOW#

连续词袋(CBOW)模型类似于跳元模型。与跳元模型的主要区别在于,连续词袋模型假设中心词是基于其在文本序列中的周围上下文词生成的。由于连续词袋模型的输入存在多个上下文词,所以我们在计算条件概率时对这些上下文词向量进行平均如式

P(w|c(1),c(2),c(3),…,c©)=exp⁡(vω⊤v¯c)∑i∈Vexp⁡(vωi⊤v¯c)

相当于我们需要

argmaxθ∑v=1Vlog⁡P(w(v)∣c(v−C2),…,c(v−1),c(v+1),…,c(v+C2))

这里的意思是我们要最大化给定上下文词,所有中心词出现的概率

加速计算#

负采样#

负采样修改了目标函数。给定中心词ω的上下文窗口,任意上下文词c∈C是由以下建模概率的事件

P(D=1|c,w)=σ(vcTvω)

考虑最大文本化序列中所有这些事件的联合概率V是文本总词数,C为上下文词数(C=2*window_size):

∏v=1V∏−C2≤i≤C2,c≠0P(D=1∣w(v),c(v+i))

对一个正样本,考虑一个小的负样本集合,也就是随机选择一个负单词集合(也就是若干非上下文的单词组成的一个子集)

P(c(v+i)∣w(v))=P(D=1∣w(v),c(v+i))∏k=1,ck∼P(ω)P(D=0∣w(v),ck)

然后取对数,计算似然函数损失

−log⁡P(cv+i∣ωv)=−log⁡σ(vTcv+ivωv)−∑ωk∼P(ω)log⁡σ(−vckvωv)

层序Softmax#

Huffman Tree (哈夫曼树)
哈夫曼树是一种带权路径长度最短的二叉树,也称为最优二叉树

作者利用霍夫曼编码 (huffman coding) 來建立二元树,通过统计每个词的出现频率,来决定词的编码,词频越高,编码越短,从而实现对数据的高效压缩。

每个节点都有一个可训练的参数 θ,分别与输入 X_w 点积后作为 sigmoid 函数的输入,根据 sigmoid 的特性其输出介于0-1之间,所以,可依据 sigmoid 的输出值靠近 1 或靠近 0,来决定要往右或往左走

σ(XωTθ)=11+e−XωTθ

可以把条件概率写为
这里的djω是预先对词进行的Huffman编码用于确定我们需要最大化向左还是向右的概率

p(djω|Xω,θj−1ω)={σ(XωTθj−1ω),djω=0;1−σ(XωTθj−1ω),djω=1;

可以等价为

p(djω|Xω,θj−1ω)=[σ(XωTθj−1ω)]1−djω⋅[1−σ(XωTθj−1ω)]djω

计算似然函数

L=∑ω∈Clog∏j=2lω{[σ(XωTθj−1ω)]1−djω⋅[1−σ(XωTθj−1ω)]djω}=∑ω∈C∑j=2lω{(1−djω)⋅log[σ(XωTθj−1ω)]+djω⋅log[1−σ(XωTθj−1ω)]}

Glove#

GloVe 本质上是一个具有加权最小二乘目标的对数双线性模型。该模型的主要直觉是一个简单的观察,即词与词共现概率的比率有可能编码某种形式的含义。例如,考虑目标词 ice 和 steam 与词汇表中各种探测词的共现概率。以下是来自 60 亿个单词语料库的一些实际概率:

正如所预料的那样,冰与固体的共生频率高于与气体的共生频率,而蒸汽与气体的共存频率高于固体的共存频率。这两个词经常与它们的共同属性水同时出现,并且都很少与不相关的词时尚同时出现。只有在概率比率中,来自水和时尚等非歧视性词语的噪音才会被抵消,因此大值(远大于 1)与冰的特定属性密切相关,而小值(远小于 1)与蒸汽的特定属性密切相关。这样,概率比编码了与热力学相的抽象概念相关的某种粗略的意义形式。

于是基于上面的发现我们可以假设存在于一个未知的函数F

F(ωi,ωj,ωk)=PikPjk

经过推导可得到F的形式和J
推导过程见:通俗易懂理解——Glove算法原理
因为共现概率的比值是标量,所以我们要求是标量函数,因此我们改进为:

F((ωi−ωj)T⋅ωk)=PikPjk

公式左边是差右边为商
我们自然而然的可以得到F的一个选择为exp,那么公式可转换为

exp(wiTwk−wjTwk)=exp(wiTwk)exp(wjTwk)=PikPjk

现在我们选择exp(wiTwk)=αPik=αXikXi
两边取对数可得到:

wiTwk=logα+logXik−logXi

这样模型就引入了两个偏置项(bias)
再计算加权平方误差就可以得到如下公式

J=∑ikf(Xik)(wiTwk+bi+bk−logXik)2

加权函数为

f(x)={(xxmax)α,ifx<xmax1,otherwise

加权函数的选择Glove的作者给出了一种比较好的选择为:xmax=100,β=34

下图为原论文中glove对比CBOW和SG的结果,可以看出存在明显的优势。

SVD(矩阵分解)+共现矩阵#

首先我们先了解SVD的概念:
SVD分解将任意矩阵分解成一个正交矩阵和一个对角矩阵以及另一个正交矩阵的乘积。对角矩阵的对角元称为矩阵的奇异值,可以证明,奇异值总是大于等于0的。当对角矩阵的奇异值按从大到小排列时,SVD分解是唯一的。

A=UΣVT

可以推出:

AAT=(UΣVT)(VΣTUT)=U(ΣΣT)UT

UTAATU=ΣΣT

依然是对角矩阵,又为正交矩阵。依然是对角矩阵,又为正交矩阵。(ΣΣT)依然是对角矩阵,又U为正交矩阵。
所以(ΣΣT)为AAT的相似对角矩阵,其对角元为AAT的特征值,U由其对应特征向量构成,这些向量称为A的左奇异向量。
因此Σ的对角元为AAT特征值的平方根,称之为矩阵A的奇异值。
类似地V由ATA的特征向量构成,这些向量称为A的右奇异向量。
简单来说我们对AAT和ATA进行特征值分解,得到的特征矩阵分别就是U和V,然后对(ΣΣT)的对角线取平方根就可以了
另外(ΣΣT)和(ΣTΣ)在是不相等的,两者的维度不相同,但是两者对角线的值是一样的。
你是对的,ΣΣT和ΣTΣ在矩阵的角度上是不相等的,因为它们的维度不同。ΣΣT是一个m×m的矩阵,而ΣTΣ是一个n×n的矩阵,其中m是A的行数,n是A的列数。
设

Σ=[σ10⋯00σ2⋯0⋮⋮⋱⋮00⋯σr00⋯0⋮⋮⋱⋮00⋯0]

其中r是A的奇异值个数。
则

ΣΣT=[σ120⋯00⋯00σ22⋯00⋯0⋮⋮⋱⋮⋮⋱⋮00⋯σr20⋯000⋯00⋯0⋮⋮⋱⋮⋮⋱⋮00⋯00⋯0]

ΣTΣ=[σ120⋯00⋯00σ22⋯00⋯0⋮⋮⋱⋮⋮⋱⋮00⋯σr20⋯000⋯00⋯0⋮⋮⋱⋮⋮⋱⋮00⋯00⋯0]

这样我们就可以使用三个矩阵去代表一个矩阵(听起来工作还增加了 ?)但是对于奇异值,它跟我们特征分解中的特征值类似,在奇异值矩阵中也是按照从大到小排列,而且奇异值的减少特别的快,在很多情况下,前10%甚至1%的奇异值的和就占了全部的奇异值之和的99%以上的比例。也就是说,我们也可以用最大的k个的奇异值和对应的左右奇异向量来近似描述矩阵。也就是说:

Am×n=Um×mΣm×nVn×nT≈Um×kΣk×kVk×nT

其中k要比n小很多,也就是一个大的矩阵A可以用三个小的矩阵,实现了降维操作(感觉和PCA有异曲同工之妙)
下面介绍共现矩阵
我们定义一个window_size,来对称的寻找出现在某个单词周围单词的频数,最后把他们汇总为一个矩阵。
例如我们有下列语料库设置window_size=1:

  • I love you
  • I like deep learning
  • I like cats
    那么我们就可以得到
Iloveyoulikedeeplearningcats
I0102000
love1010000
you0100000
like2000101
deep0001010
learning0000100
cats0001000

接着我们对共现矩阵进行SVD降维、可视化,依然呈现出了类似Word2Vec的效果。结果如下:

Copy
import numpy as np
import matplotlib.pyplot as plt
la=np.linalg
words=["I","love","you","like","deep","learning","cats"]
x=np.array([[0,1,0,2,0,0,0],[1,0,1,0,0,0,0],[0,1,0,0,0,0,0],[2,0,0,0,1,0,1],[0,0,0,1,0,1,0],[0,0,0,1,0,0,0],[0,0,0,1,0,0,0]])

U,s,Vh=la.svd(x,full_matrices=False)
scale_factor = 10
plt.xlim(np.min(U[:, 0])-0.1, np.max(U[:, 0])+0.1)
plt.ylim(np.min(U[:, 1])-0.1, np.max(U[:, 1])+0.1)
for i in range(len(words)):
    plt.text(U[i,0],U[i,1],words[i])
plt.show()

3.2.1 Embedding API 使用

如何使用API见LLM学习(2)——使用 LLM API 开发应用(传送门)

Copy
result = genai.embed_content(
    model="models/text-embedding-004",
    content="What is the meaning of life?",
    task_type="retrieval_document",
    title="Embedding of single string")

# 1 input > 1 vector output
print(str(result['embedding'])[:50], '... TRIMMED]')
print(result)
print(type(result))
print(type(result['embedding']))
#结果如下

3.2.2 检索

Copy
#导入数据,并且切割,这里并没有对数据进行清洗只是简单的进行了文档的分割
file_paths = []
folder_path = '.\data'
for root, dirs, files in os.walk(folder_path):
    for file in files:
        file_path = os.path.join(root, file)
        file_paths.append(file_path)
print(file_paths)

from langchain_community.document_loaders import PyPDFLoader
from langchain_community.document_loaders import UnstructuredMarkdownLoader

# # 遍历文件路径并把实例化的loader存放在loaders里
loaders = []

for file_path in file_paths:

    file_type = file_path.split('.')[-1]
    if file_type == 'pdf':
        loaders.append(PyPDFLoader(file_path))
    elif file_type == 'md':
        loaders.append(UnstructuredMarkdownLoader(file_path))

# 下载文件并存储到text
texts = []

for loader in loaders: texts.extend(loader.load())

text = texts[1]
print(f"每一个元素的类型:{type(text)}.", 
    f"该文档的描述性数据:{text.metadata}", 
    f"查看该文档的内容:\n{text.page_content[0:]}", 
    sep="\n------\n")


from langchain.text_splitter import RecursiveCharacterTextSplitter

# 切分文档
text_splitter = RecursiveCharacterTextSplitter(
    chunk_size=500, chunk_overlap=50)

split_docs = text_splitter.split_documents(texts)

结果:

Copy
#向量库构建
from langchain_google_genai import GoogleGenerativeAIEmbeddings

os.environ["GOOGLE_API_KEY"] = "AIzaSyBZFSrCWg7Ow2D3I2rMbf37qXp1SlF9T5k"

# 这里无法使用004可能是因为还没有适配???
embeddings = GoogleGenerativeAIEmbeddings(model="models/embedding-001",task_type="retrieval_document")
下
## 建立一个用来存放chroma数据库的文件夹
# if not os.path.isdir(".\data\vector_db\chroma"):                   
#     os.makedirs(".\data\vector_db\chroma")  

## 下面是查看API可以调用的model但是好像不能查看embedding的model
# for m in genai.list_models():
#   if 'generateContent' in m.supported_generation_methods:
#     print(m.name)

from langchain_community.vectorstores import Chroma

vectordb = Chroma.from_documents(
    documents=split_docs[:20], 
    embedding=embeddings,
    persist_directory=".\data\vector_db\chroma"
)

vectordb.persist()

print(f"向量库中存储的数量:{vectordb._collection.count()}")
Copy
#相似检索
question="什么是大语言模型"
sim_docs = vectordb.similarity_search(question,k=3)
print(f"检索到的内容数:{len(sim_docs)}")
for i, sim_doc in enumerate(sim_docs):
    print(f"检索到的第{i}个内容: \n{sim_doc.page_content[:200]}", end="\n--------------\n")
# MMR检索
mmr_docs = vectordb.max_marginal_relevance_search(question,k=3)
for i, sim_doc in enumerate(mmr_docs):
    print(f"MMR 检索到的第{i}个内容: \n{sim_doc.page_content[:200]}", end="\n--------------\n")

下面是两种检索的结果:(都蛮古怪的)

补充

PCA和SVD之间有着密切的联系。实际上,PCA可以被视为对数据矩阵进行SVD分解后的特例。具体来说假设我们的样本是m * n的矩阵X,如果我们通过SVD找到了矩阵 XTX 的最大的k个特征向量组成的m * d维矩阵U,则我们进行如下处理:

Xd×n′=Ud×mTXm×n

可以得到一个d * n的矩阵X,且这个矩阵和我们原来的m * n维的样本矩阵X相比,行数从m剪到了K,可见对行数进行了压缩。
也就是说,左奇异矩阵可以用于行数的压缩。相对的,右奇异矩阵可以用于列数即特征维度的压缩,也就是我们的PCA降维。
proof
在PCA中,我们可以通过计算数据的协方差矩阵来找到主成分方向这个协方差矩阵可以被分解为C=VΛVT其中V是特征向量矩阵,Λ是特征值对角矩阵
对数据进行去中心化后Xc=X−X¯将进行进行Xc进行SVD分解得到Xc=UΣVT代入协方差矩阵可以得到

C=1nXcTXc=1nVΣ2VT

如何系统的去学习AI大模型LLM ?

作为一名热心肠的互联网老兵,我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。

但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的 AI大模型资料 包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

所有资料 ⚡️ ,朋友们如果有需要全套 《LLM大模型入门+进阶学习资源包》,扫码获取~

👉优快云大礼包🎁:全网最全《LLM大模型入门+进阶学习资源包》免费分享(安全链接,放心点击)👈

​

一、全套AGI大模型学习路线

AI大模型时代的学习之旅:从基础到前沿,掌握人工智能的核心技能!

img

二、640套AI大模型报告合集

这套包含640份报告的合集,涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,这套报告合集都将为您提供宝贵的信息和启示。

img

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展,AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型,如GPT-3、BERT、XLNet等,以其强大的语言理解和生成能力,正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

img

在这里插入图片描述

四、AI大模型商业化落地方案

img

阶段1:AI大模型时代的基础理解

  • 目标:了解AI大模型的基本概念、发展历程和核心原理。
  • 内容:
    • L1.1 人工智能简述与大模型起源
    • L1.2 大模型与通用人工智能
    • L1.3 GPT模型的发展历程
    • L1.4 模型工程
      - L1.4.1 知识大模型
      - L1.4.2 生产大模型
      - L1.4.3 模型工程方法论
      - L1.4.4 模型工程实践
    • L1.5 GPT应用案例

阶段2:AI大模型API应用开发工程

  • 目标:掌握AI大模型API的使用和开发,以及相关的编程技能。
  • 内容:
    • L2.1 API接口
      - L2.1.1 OpenAI API接口
      - L2.1.2 Python接口接入
      - L2.1.3 BOT工具类框架
      - L2.1.4 代码示例
    • L2.2 Prompt框架
      - L2.2.1 什么是Prompt
      - L2.2.2 Prompt框架应用现状
      - L2.2.3 基于GPTAS的Prompt框架
      - L2.2.4 Prompt框架与Thought
      - L2.2.5 Prompt框架与提示词
    • L2.3 流水线工程
      - L2.3.1 流水线工程的概念
      - L2.3.2 流水线工程的优点
      - L2.3.3 流水线工程的应用
    • L2.4 总结与展望

阶段3:AI大模型应用架构实践

  • 目标:深入理解AI大模型的应用架构,并能够进行私有化部署。
  • 内容:
    • L3.1 Agent模型框架
      - L3.1.1 Agent模型框架的设计理念
      - L3.1.2 Agent模型框架的核心组件
      - L3.1.3 Agent模型框架的实现细节
    • L3.2 MetaGPT
      - L3.2.1 MetaGPT的基本概念
      - L3.2.2 MetaGPT的工作原理
      - L3.2.3 MetaGPT的应用场景
    • L3.3 ChatGLM
      - L3.3.1 ChatGLM的特点
      - L3.3.2 ChatGLM的开发环境
      - L3.3.3 ChatGLM的使用示例
    • L3.4 LLAMA
      - L3.4.1 LLAMA的特点
      - L3.4.2 LLAMA的开发环境
      - L3.4.3 LLAMA的使用示例
    • L3.5 其他大模型介绍

阶段4:AI大模型私有化部署

  • 目标:掌握多种AI大模型的私有化部署,包括多模态和特定领域模型。
  • 内容:
    • L4.1 模型私有化部署概述
    • L4.2 模型私有化部署的关键技术
    • L4.3 模型私有化部署的实施步骤
    • L4.4 模型私有化部署的应用场景

学习计划:

  • 阶段1:1-2个月,建立AI大模型的基础知识体系。
  • 阶段2:2-3个月,专注于API应用开发能力的提升。
  • 阶段3:3-4个月,深入实践AI大模型的应用架构和私有化部署。
  • 阶段4:4-5个月,专注于高级模型的应用和部署。
这份完整版的所有 ⚡️ 大模型 LLM 学习资料已经上传优快云,朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】

全套 《LLM大模型入门+进阶学习资源包》↓↓↓ 获取~

👉优快云大礼包🎁:全网最全《LLM大模型入门+进阶学习资源包》免费分享(安全链接,放心点击)👈

​

在llm中什么才是知识库 **摘要:**大语言模型(LLM)中的知识库分为两种形态:一是预训练阶段内化的隐性知识库,以权重参数形式存在,涵盖通用知识但存在时效性、准确性局限;二是推理阶段外挂的显性知识库,通过检索机制补充最新或专业领域知识,用于修正模型输出。知识库的核心作用是扩展LLM的知识边界并验证其准确性,弥补内置知识的不足,常见技术如RAG(检索增强生成)。内置知识分散存储于模型各层权重矩阵中,而非特定位置。(150字) 阅读详情

相关推荐

LLM知识库构建实战:从文档解析到向量检索的完整流水线

在构建基于大语言模型(LLM)的智能应用时,文档处理与知识库构建是核心基础环节。其核心原理是通过文本向量化技术,将非结构化文档转换为机器可理解的语义表示,从而实现高效检索。这一过程的技术价值在于为LLM提供了精准、可扩展的外部知识源,极大提升了模型在专业领域的问答准确性和可靠性。典型的应用场景包括企业知识库问答、法律文档分析、技术手册查询等。本文以开源工具链为例,深入探讨了从PDF解析、文本分块到向量化存储的完整流水线,其中文本分块策略和嵌入模型选型是影响最终效果的关键因素。通过合理配置分块参数与选择合适的

weixin_27021789的博客 560

LLM+本地知识库?简单又没那么简单

绝大部分文本文档都是有着段落层级关系,就像是Markdown或者word等,有着明显的层级关系。就想Langchain的Markdown分割器就可以很好的进行Markdown文件的切割。一般来说,一个段落的核心内容不会割裂太多,那么最简单粗暴的就是分割成段落,然后tokenizer分词,在标准的Markdown的文件上表现一般不会太差。但也要考虑一个问题,段落的长度也是不确定的,对于长段落,很多tokenizer可能无法处理。

2401_84494441的博客 3046

知识库集成:LLM操作系统的海量信息管理

1. 背景介绍 1.1 LLM 与知识爆炸 近年来,大语言模型 (LLM) 凭借其强大的语言理解和生成能力,在自然语言处理领域掀起了一场革命。从智能客服到机器翻译,从文本摘要到创意写作,LLM 在各个领域都展现出了巨大的潜力。然而,随着信息时代的飞速发展,我们正面临着前所未有的知识爆炸。海量的信息

AI天才研究院 1022

基于LangChain+LLM的本地知识库问答:从企业单文档问答到批量文档问答

本文则侧重讲解 1 什么是LangChain及langchain的整体组成架构 2 解读langchain-ChatGLM项目的关键源码,不只是把它当做一个工具使用,因为对工具的原理更了解,则对工具的使用更顺畅 3 langchain-ChatGLM项目的升级版langchain-chatchat

结构之法 算法之道 13万+

避坑指南:Zephyr RTOS与nRF Connect SDK环境搭建常见错误及解决方案

本文详细解析了Zephyr RTOS与nRF Connect SDK环境搭建过程中的常见错误及解决方案,涵盖网络问题、代理设置、SEGGER Embedded Studio配置、分支切换等关键环节。针对开发者实际遇到的痛点问题,提供了一系列实用技巧和深度排错方法,帮助高效完成NCS开发环境部署。

weixin_28685287的博客 172

西门子S7-1200的PID应用(恒温热水器)

物料清单:1200PLC一台,模拟量输入模块SM1231(PLC自带的输入通道不支持4-20mA电流输入)一个,PT100一个,温度变送器,热得快,固态继电器。 第一步,硬件接线; 第二步,新建1200工程,添加PLC和模拟量输入模块,修改模块的模拟量输入类型为4-20mA,模拟量模块的IO地址为96-103(8个字); 第三步,新建循环组织块OB30,循环时间选择默认点1...

weixin_30835649的博客 6551

llm-universe学习小记录3--搭建知识库

介绍了词向量及向量数据库、如何使用Embedding API、如何进行数据处理、如何搭建并使用向量数据库以及如何基于 LangChain 自定义 Embeddings。

Adela0546的博客 981

图解Self Attention:从输入到输出,一步步拆解QKV计算过程

本文通过图解方式,一步步拆解Self Attention机制中Q、K、V矩阵的计算过程。从输入向量开始,详细阐述了线性变换生成QKV、点积计算注意力分数、Softmax归一化权重以及加权聚合生成新表示的核心步骤,帮助读者直观理解Transformer架构的核心机制。

flink9streamer的博客 728

【知识库本地部署】MacBook+RAG+大模型知识库 = 王炸!

对于 IT 同学来说,自己亲手搭建一个完整的方案、能灵活调整和对接各种不同的模型、评测各种模型不同的表现,也是出于对技术的探索本能使然。

2401_82469710的博客 859

在群辉(NAS)中安装虚拟机套件(Virtual Machine Manager)

一、在群辉中下载虚拟机套件Virtual Machine Manager ①启用Open vSwitch(网络-->管理--启用Open vSwitch) ②打开“套件中心” ③查找到Virtual Machine Manager套件点击“安装套件” 二、安装虚拟机套件(Virtual Machine Manager) ①打开虚拟机套件运行设置向导 ②选择存储空间...

提供C#相关开发 、云计算、运维测试、网络安全相关技术分享与服务,有意向可联系。 2万+

使用 MATLAB/Simulink + Simscape Electrical 构建一个他励直流电机的启动与制动过程仿真模型

直流电机在工业控制、电动车辆、自动化设备中广泛应用。其中,他励直流电机(Separately Excited DC Motor)因其励磁绕组与电枢绕组分别供电,具有良好的调速性能和启动特性,常用于需要平稳启动和精确控制的场合。在实际应用中,电机的启动过程和制动过程对电网、机械系统以及电机本身都具有重要影响。因此,仿真分析他励直流电机的启动与制动特性,是电机控制设计的重要环节。本文将详细介绍如何使用构建一个他励直流电机的启动与制动过程仿真模型,并通过仿真分析其动态响应。本文详细介绍了如何使用构建一个。

amy_mhd的博客 233

FastGPT+BGE-M3向量模型打造企业级AI知识中枢—无需云端依赖,本地化训练专属智能体知识库

我们终于迎来企业级AI助手落地的最后一环——私有知识库搭建!无需代码、无需云服务依赖,今天手把手教你用FastGPT打造安全高效、秒级响应的智能知识中枢,从此告别信息孤岛!

2301_81888214的博客 1065

RK3568平台(电源篇)电源域IO配置

在kernel之前需要修改电源域,主控电源域的IO电平要与对接外设芯片的IO电平匹配,还要注意软件的电压配置要跟硬件的电压一致,否则,最坏的情况可能会导致IO的损坏。其实就是管理 IO 输出的电平;假如硬件上 IO 电源域配置为 3.3V,则 IO 输出最大电平为 3.3V;同理 IO 电源域硬件配置为 1.8V,则 IO 输出最大电平是 1.8V;这样有利于 IO 电平的灵活配置;

weixin_49303682的博客 3480

【知识库部署】MacBook+RAG+大模型知识库 = 王炸!

最核心最重要的是我们手上的文档资料出于安全要求,不能随便上传到云服务,也就无法实际验证知识库的实际效用。另外对于 IT 同学来说,自己亲手搭建一个完整的方案、能灵活调整和对接各种不同的模型、评测各种模型不同的表现,也是出于对技术的探索本能使然。使用的 MacBook 配置如下,对大模型经过量化处理(比如:int8)后,可以流畅运行。基于一台 MacBook 搭建部署的架构设计如下图,在这套架构设计中,我们采用了实力排上游、并且对企业和学术都友好的国产开源大模型 ChatGLM3-6B。

2301_81888214的博客 1063

Transformer实战(32)——Transformer模型压缩

在本节中,我们学习了如何在硬件资源受限的情况下减轻运行大模型的负担。我们介绍了如何通过蒸馏、剪枝和量化从训练好的模型中提取高效模型。预训练轻量级的通用语言模型(如 DistilBERT) 可以在各种任务上进行微调,并表现出与非蒸馏模型相当的性能。随着数据量的不断增加,我们希望模型能够更快地运行,在这方面,高效 Transformer 起着至关重要的作用。

盼小辉丶的博客 2629

Plecs standalone 4.9.5最新版本,赶紧来下载使用吧,需要做并网逆变器及光伏储能变换器的朋友赶紧下载起来

PLECS 4.9.5较4.7.1版实现全面升级:采用自适应求解器切换技术,支持多核CPU/GPU加速,仿真速度提升30-50%;新增模型引用功能,实现模块化设计;强化光伏/风电等新能源组件,支持多物理场耦合分析;优化代码生成功能,兼容多种硬件平台和FMU导入。新版特别适用于复杂电力电子系统、多域联合仿真及硬件在环测试项目,但对硬件配置要求更高。基础教学项目仍可使用4.7.1版本。建议用户根据项目复杂度选择升级方案。

2459

如何基于一台MacBook搞定企业级大模型知识库部署

最核心最重要的是我们手上的文档资料出于安全要求,不能随便上传到云服务,也就无法实际验证知识库的实际效用。另外对于 IT 同学来说,自己亲手搭建一个完整的方案、能灵活调整和对接各种不同的模型、评测各种模型不同的表现,也是出于对技术的探索本能使然。

Y525698136的博客 1325

ssm框架搭建

这个是一个在idea上成功跑起来的ssm框架项目,保存在这里方便以后使用直接下载

十分钟用DeepSeek v3快速搭建企业级本地私有知识库(保姆级教程),AI终于私有化了!_deepseek 企业知识库

2024年底,DeepSeek发布了新一代大语言模型V3,同时宣布。测试结果显示,它的多项评测成绩超越了一些主流开源模型,并且还具有成本优势。DeepSeek官网地址:https://www.deepseek.com/DeepSeek实在是太火了,最近一段时间DeepSeek反应时间巨长,甚至小圆圈转半天最后却提示“服务器繁忙,请稍后再试。本文通过在本地部署 DeepSeek+Dify,零成本搭建自己的私有知识库。

HJS123456780的博客 1399

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等,可在创建的窗口进行控制

RU DOS版、EFI版32bit/64bit BIOS常用工具

DOS版、EFI版的RU工具,可用来查看IO、MEM、PCI、SMBIOS等资源。亲测在EFI SHELL下可用。

知识库本地部署:MacBook+RAG+大模型知识库 = 王炸(附教程)

知识库本地部署:MacBook+RAG+大模型知识库 = 王炸(附教程)

2301_81888214的博客 1146

【大模型】基于 ChatGLM3 和 LangChain 搭建知识库助手

同时,我们需要使用到开源词向量模型 Sentence Transformer(HuggingFace 链接名为:sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2),可以将其模型参数以类似于下载 ChatGLM3 模型参数的方式下载到本地 /root/autodl-tmp/sentence-transformer。再者,学习AI大模型也能为我们自己创造更多的价值,提供更多的岗位以及副业创收,让自己的生活更上一层楼。

python1234567_的博客 984

【AI大模型实操】Dify+Ollama+Deepseek+BGE-M3来搭建本地知识库实操

智能体(Al Agent)是大模型与业务应用的桥梁,智能体=大模型+知识库+业务系统API+工作流编排

datian1234的博客 898

教你基于LangChain和ChatGLM3搭建本地知识库问答,实现大模型AI应用开发

现如今,大语言模型发展到达了一个新高度,其应用场景也是适用于千行百业。而华为云EI更是具备了全栈AI能力,其提供的ModelArts是一站式AI开发平台,可帮助开发者智能、高效地创建AI模型和一键模型部署到云、边、端。

2401_82469710的博客 1390

AI时代的巨潮让NIM+RAG+LLM带你飞

目前正在迎来一个真正的AI时代,对于AI技术的学习是很多人需要面临的选择和道路,为了让大家在AI之路上走的更快乐,我们计划创建一个基于AI学习领域的AI Agent对话机器人,帮助大家去搭建环境,一步一步学习如何成为一个优秀的AIer。

SophiaC2020的博客 513

DeepTutor 完整指南:带知识库与三层记忆的免费开源 AI 导师工作区

DeepTutor 是一个免费的开源 AI 导师工作区,把聊天式智能辅导、知识库 RAG、三层学习记忆和协同写作装进同一个 Agent 系统,解决的是"有一堆资料,但没人陪你系统啃完"的问题。 ## 面对 80 页论文,两小时后要交出核心论点 这时候你需要的是:先把论文灌进知识库,之后每问一个问题,它都先在原文里检索再回答,并且记得你上一轮问到了哪里。这就是 DeepTutor 的 AI 导师

gitblog_00378的博客 853

企业知识库搭建指南:基于RAG与LLM搭建智能知识库

基于RAG与LLM的知识库作为目前最有潜力的企业端大模型应用之一,从技术角度可以看到,建设方案已经完备;从业务角度,最终的应用效果和业务价值还需要观察,并通过业务侧的反馈不断地促进建设方案的进一步优化,比如增加对多模态知识的处理能力等。让我们共同期待这类应用普及那一天的到来。最先掌握AI的人,将会比较晚掌握AI的人有竞争优势这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。倘若大家对大模型抱有兴趣,那么这套大模型学习资料肯定会对你大有助益。如果你是零基础小白,快速入门大模型是可行的。

大模型学习路线 1143

快速搭建自己的RAG知识库(Ollama、Page Assist、Anything LLM)

先解释一下字面意思:RAG Retrieal-Augmented Generation 检索增强生成。RAG 可以帮助我们减少大模型的“幻觉”问题,还可以注入最新资讯及特定领域的关键信息,是一种低成本(相比于模型微调,肯定是成本低得多)的让大模型知道专业领域知识或者一些隐私数据的手段。首先将我们的知识库(一些专用领域的数据或者隐私数据等,可以是 PDF、CSV、txt、md 等多种格式)分割为文本块。使用 Embedding Model 将文本块转为向量(Vector Embeddings)。

瓦罗兰特顶级C位的博客 1549
上一篇: LLM学习(2)——使用 LLM API 开发应用
下一篇: LLM学习(4)——构建 RAG 应用
Llama-Turbo
博客等级 码龄4年 9902粉丝 2026原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值