大模型探索：Datawhale llm-universe Task1 简介

最新推荐文章于 2025-12-02 18:57:44 发布

转载最新推荐文章于 2025-12-02 18:57:44 发布 · 456 阅读

1 ·

CC 4.0 BY-SA版权

原文链接：https://www.keshedaima.cn

文章标签：

#java

部署运行你感兴趣的模型镜像

intro to LLM

大模型发展路线图

做了个导图简单汇总开源和闭源大模型

intro to langchain

langchain 架构图

找到了一张很好的图，清晰地说明了langchain的六个核心模块分别是干啥的，以及相互怎么交互

相关的链接
Modules | 🦜️🔗 Langchain

下面我依据图来做一个langchain架构的解析

6 个核心模块组成:

（Model I/O）
：以prompt来处理LLM的输入(模板template等)和输出(调整格式)
（Data connection）
：从网络or向量数据库中检索文本并分割成小块(LLM处理长度有限)
（Chains）
：Let LLM process step by step. 如此可以形成流水线，加快效率
（Memory）
：主要用于维护LLM的短期记忆(其实就是上下文状态)
（Agents）
：最早应该是起源于论文ReAct，让LLM在文字推理中学会调用一下外部api (感兴趣的可以看之后的文章，toolformer和graph-toolformer等)
（Callbacks）
：跟踪大模型的状态等，例如其参数verbose就是对应一个回调函数

您可能感兴趣的与本文相关的镜像

Stable-Diffusion-3.5

图片生成

Stable-Diffusion

Stable Diffusion 3.5 (SD 3.5) 是由 Stability AI 推出的新一代文本到图像生成模型，相比 3.0 版本，它提升了图像质量、运行速度和硬件效率

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

xuezhangdaima

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

【Datawhale之Happy-LLM】Github最火大模型原理与实践教程task01精华~

Z__Danny的博客

08-18

351

本文介绍了NLP（自然语言处理）的研究内容，对比了PLM（预训练语言模型）和LLM（大语言模型）的区别，指出LLM在数据规模、参数量和训练策略上的改进使其具备涌现能力。同时推荐了Datawhale三个开源LLM学习项目：Self-LLM（部署教程）、LLM-Universe（应用开发）和Happy-LLM（原理实践）。作者感叹LLM让计算机通过参数学习人类语言的奇妙性。

Datawhale AI夏令营第四期 大模型应用开发 Task3.1：源大模型RAG实战

spring5的博客

08-14

1907

在上一节，我们成功搭建了一个源大模型智能对话Demo，亲身体验到了大模型出色的能力。然而，在实际业务场景中，通用的基础大模型可能存在无法满足我们需求的情况，主要有以下几方面原因：知识局限性：大模型的知识来源于训练数据，而这些数据主要来自于互联网上已经公开的资源，对于一些实时性的或者非公开的，由于大模型没有获取到相关数据，这部分知识也就无法被掌握。数据安全性：为了使得大模型能够具备相应的知识，就需要将数据纳入到训练集进行训练。

参与评论您还未登录，请先登录后发表或查看评论

Datawhale llm-universe Task1

programer_cao的博客

05-12

1825

虽然图像也是对真实世界的采样, 但是不同的人、动物, 对于图像中提取的信息是不同的, 我们从图像中获取的信息都是根据一种强"先验"知识学习到的, 其他动物的理解也是基于它们的"先验"学习到的问题 2. 语言是一种人类或物种创造出来描述世界的, 本身会有一种强结构性, 更容易通过概率模型经过大量的学习根据前因后果进行预测(扯远了…, 随着模型参数量的提升, 模型的性能显著增强, 远远超出人们的预料. 随着GPT o1的提出, llm的后训练和在线推理过程中, 也出现了Scaling Law的现象.

Datawhale LLM-universe Task6

programer_cao的博客

05-25

482

一般 embedding model 的 max token 即最大可 embedding 句子长度通常为512至1024 token，过长的分块或分块中有多个语义的句子在 embedding 时很难从中提取完整的语义信息。3. 使用不同的embedding模型, 在hugging face上, 有许多sota的embedding模型, 如果当前的RAG系统遇到瓶颈了, 可以试一下新的embedding模型看是否能有提升。学习终于接近尾声了, 这一章节的学习任务主要是介绍一些开源的RAG应用是怎样搭建的。

Datawhale LLM-universe task2

programer_cao的博客

05-14

328

在Task1中对LLM有了一些背景和理论上的了解以后, Task2就是让我们可以实操试一下如何以调用API的方式调用各家的LLM base大模型, 在课程中提供的一部分模型, 比如openai、千帆、星火、智谱的大模型等, 各个大模型的API调用稍有不同但是基本上都是需要相应的API key, 设置到.env中后, 再利用dotenv加载. 之后再根据各个大模型的接口, 对模型进行初始化, 在下面贴个图方便记忆.以下是我改了一模型和prompt参数的输出。模型的大小对于生成的响应还是有些联系的。

Datawhale LLM-universe Task4

programer_cao的博客

05-21

404

这里面的RunnableLambda是LCEL中要求的类型, 这里的chain用到了管道符号链接retriever和定义的combiner, 即输入会先输给retriever检索器, 再由combine_doc对检索器的输出做整理。构建好以后, 再定义prompt模板, 就可以构造一个由langchain支持的LCEL数据到prompt然后喂给大模型最后再输出的标准的检索问答链, 这里原作者用的openai的模型, 我用的是智谱。最后面是使用streamlit做一个llm的网页端app, 还是很有意思的。

Datawhale llm-universe task3

programer_cao的博客

05-18

385

接着, 每个LLM都会限制输入的最大token数, 因此我们在数据处理的时候也需要将其纳入考虑, 在构建向量数据库的过程中, 往往是需要将一个大文本划分为不同的chunk, 然后对不同的chunk再使用embedding转化成词向量, 这里langchain同样有一个包方便我们分割上下文.最后课程的补充里还给我们提供了一个构建embedding的API框架，用已经封装好的智谱embedding模型为例, 我们可以看到每一部分的api在框架中的结构是怎样的。本节的内容是向量知识库的搭建(周末拖拉了点)

Datawhale LLM-universe Task5

programer_cao的博客

05-23

196

量化评估说白了就是对LLM的输出进行打分, 这里使用两个提示词得到不同的输出, 观察输出结果哪个更靠谱。第二部分就是针对badcase优化prompt，以提升模型的输出能力，我们可以自己定义badcase。下面这里自定义了一个评分公式, 可以对输出结果进行打分，后面的多维评估也是这个的延申。另外一种比较靠谱的是计算答案的相似度，这里用NLTK的bleu。为了避免大模型的幻觉, 我们可以让大模型附上信息来源。这里我用的是Zhipu的模型。还有就是用靠谱的大模型做评估。系统评估的主要流程如图。

Datawhale llm-universe Task1 大模型简介

qq_46231296的博客

11-13

330

LLM 入门

【打卡】2406Datawhale-llm-universe-task3

张不懂的博客

06-24

2244

LLM零基础，在这篇博客完成打卡记录。本项目是一个面向小白开发者的大模型应用开发教程，旨在基于阿里云服务器，结合个人知识库助手项目，通过一个课程完成大模型开发的重点入门。【教程地址】https://datawhalechina.github.io/llm-universe/【开源项目仓库】https://github.com/datawhalechina/llm-universe。

【打卡】2406Datawhale-llm-universe-task1

张不懂的博客

06-19

2205

LLM：Large Language Model，大语言模型PLM：Pre-trained Language Model，大规模预训练语言模型ICL：In-Context Learning，上下文学习Emergent Abilities，涌现能力GPT：Generative Pre-Training，生成式与训练语言模型，decoder-onlyRoPE，Rotary Position Embedding，旋转位置编码，LLaMA。

Datawhale AI 夏令营——CPU部署大模型(LLM天池挑战赛)——Task2与3学习笔记

m0_63566347的博客

07-18

2341

Task2 的任务是组队 + 寻找灵感，这里不作阐述；Task3 的任务是实现 RAG 应用，阅读文档并观看卢哥的直播后，结合个人经验做个分享。运行大语言模型，对 LLM 使用的加深，我们发现，在使用过程中，大模型会有很多幻觉出现。为了解决幻觉，科研人员提出了各种各样的方案，努力提高长上下文下的召回精度，但就成本与效果而言，在目前都不如简单粗暴的检索增强生成（RAG）。

Datawhale AI 夏令营第四期 大模型技术-微调 task3 数据增强与评分

spring5的博客

08-15

1070

如果你对baseline1的解读仍然充满困惑，那么推荐你从学习python开始，打好基础再来尝试也不迟~你可以学习《聪明办法学python第二版》打扎实深度学习相关的python基础知识~

DataWhale Task04：手搓一个LLM Eval 241001

L念安dd的博客

10-01

1192

简单的LLM评测框架，该框架是一个双阶段的评测体系，我们称之为TinyEval，包含了LLM通用评测的核心功能，支持生成式、判别式、选则式评测问题，框架主要包含inference与eval部分，目的是为了帮助大家更好的力即LLM评测的原理与实现。

Java 泛型详解：类型参数的力量

ZHE|张恒的博客

11-28

1170

本文系统讲解了Java泛型的概念与使用方式。泛型通过在类或方法中引入类型参数，提高了代码的类型安全性和复用性。主要内容包括：1）泛型的基本语法，如定义泛型类和接口；2）泛型方法及其类型推断；3）三种通配符（?、? extends T、? super T）的使用场景；4）边界限制和多重限制；5）泛型的优缺点，如类型安全与类型擦除的影响；6）常见陷阱，如静态上下文和instanceof的限制。泛型是现代Java编程的重要特性，能显著减少类型转换和运行时错误。

TensorRT笔记（5）：研究timingCache

ouliten的博客

12-02

637

在里出现了大量的timingCache，但是当时没有取研究这是干啥的，本文就来解析一下。样例都基于上面的文章。

Plugin ‘org.springframework.bootspring-boot-maven-plugin‘ not found的解决方法

2509_94105214的博客

11-30

207

尝试使用 VPN 或更换网络环境，然后再次执行 Maven 构建命令。出现这个报错通常是因为 Maven 无法找到相应的 Spring Boot Maven 插件。如果仍然有问题，请提供更多详细信息，例如完整的错误堆栈跟踪和你的 Maven 配置，以便我更好地帮助你解决问题。如果没有，可以将相应的配置添加到父项目的。执行 Maven 的清理命令，然后重新构建项目。这将清除所有已编译的类文件和错误的依赖缓存，并重新下载正确的依赖。如果你的项目是基于父项目的，检查父项目的。

基于Springboot2+Vue2的旅游景点购票系统

自学网站s.jf3q.com,菜鸟的成长之路

12-02

422

本系统是一个集旅游景点信息展示、在线购票、用户游记分享与互动交流于一体的综合性平台。核心价值在于提供便捷的景点门票预订服务，同时构建活跃的旅游社区，促进用户间的经验分享。

Java 缓冲区优化

最新发布

qq_43427354的博客

12-02

380

在 Java 中，缓冲区（Buffer）是一块用于临时存储数据的内存区域，核心作用是协调数据生产者和消费者的速度差异，减少频繁 I/O 操作或数据拷贝的开销，提升程序性能。它本质是 “数据中转站”，避免了直接对原始数据源（如文件、网络流、数组）的频繁读写，通过 “批量处理” 优化效率。

TimeCMA: Towards LLM-Empowered Multivariate Time Series Forecasting via Cross-Modality Alignment

07-22

TimeCMA是一种创新性的多变量时间序列预测（MTSF）框架，它通过跨模态对齐的方式，利用大型语言模型（LLM）来提升预测性能[^1]。这一方法的设计目的是解决传统时间序列预测模型在处理高维、复杂时空依赖性和多尺度动态方面的不足。TimeCMA的核心在于其跨模态对齐模块，该模块基于信道间相似性检索来聚合时间序列和LLM分支，从而增强模型的预测能力[^1]。在TimeCMA中，时间序列数据和由LLM生成的提示嵌入被有效结合，前者提供了解耦但可能较弱的时间序列嵌入，后者则提供了纠缠但鲁棒的提示嵌入[^2]。这种双模态编码策略使得TimeCMA能够更好地捕捉时间序列中的长期依赖关系，同时克服了LLM在处理多尺度动态和季节模式上的局限性。此外，TimeCMA通过使用最后一个token嵌入来减少计算成本和加速LLM方法的推理速度，这表明了其在实际应用中的高效性和可行性。这种方法不仅提高了预测的准确性，还增强了模型的可解释性，这对于需要高度透明度的应用场景尤为重要。 ### 示例代码下面是一个简化的示例，展示如何构建一个基本的时间序列预测模型，尽管它并不直接实现TimeCMA，但可以作为理解其工作原理的基础。 ```python import numpy as np from tensorflow.keras.models import Sequential from tensorflow.keras.layers import LSTM, Dense # 构建LSTM模型 model = Sequential() model.add(LSTM(50, activation='relu', input_shape=(n_steps, n_features))) model.add(Dense(1)) model.compile(optimizer='adam', loss='mse') # 准备数据 def split_sequence(sequence, n_steps): X, y = [], [] for i in range(len(sequence)): end_ix = i + n_steps if end_ix > len(sequence)-1: break seq_x, seq_y = sequence[i:end_ix], sequence[end_ix] X.append(seq_x) y.append(seq_y) return np.array(X), np.array(y) # 定义输入序列 raw_seq = [10, 20, 30, 40, 50, 60, 70, 80, 90] n_steps = 3 n_features = 1 X, y = split_sequence(raw_seq, n_steps) X = X.reshape((X.shape[0], X.shape[1], n_features)) # 拟合模型 model.fit(X, y, epochs=200, verbose=0) # 进行预测 x_input = np.array([70, 80, 90]) x_input = x_input.reshape((1, n_steps, n_features)) yhat = model.predict(x_input, verbose=0) print(yhat) ``` 此代码片段演示了如何使用Keras库中的LSTM层来构建一个简单的递归神经网络模型，用于时间序列预测。虽然这不是TimeCMA的具体实现，但它可以帮助理解时间序列预测的基本概念。