Datawhale LLM-universe task2

最新推荐文章于 2025-05-25 15:51:24 发布
原创 最新推荐文章于 2025-05-25 15:51:24 发布 · 328 阅读 · 7 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#语言模型

在Task1中对LLM有了一些背景和理论上的了解以后, Task2就是让我们可以实操试一下如何以调用API的方式调用各家的LLM base大模型, 在课程中提供的一部分模型, 比如openai、千帆、星火、智谱的大模型等, 各个大模型的API调用稍有不同但是基本上都是需要相应的API key, 设置到.env中后, 再利用dotenv加载. 之后再根据各个大模型的接口, 对模型进行初始化, 在下面贴个图方便记忆.

一、初次使用LLM
在这里插入图片描述
质朴的初始化比较简单, 只需要初始化ZhipuAI这个类就可以, 然后我们使用prompt获取返回completion的函数中需要接收prompt参数、model、还有用于调整模型输出是否放飞自我的temprature, 特别我发现了一个反直觉的地方, 不是所有模型的temprature的定义域都是0-1的, 智谱的是(0, 1)开区间, 这里需要注意一下.
以下是我改了一模型和prompt参数的输出
可以看见flash模型输出的结果就比较简短
把模型改回默认参数 再看看输出
可以看到用GLM4-plus模型的输出就很长
模型的大小对于生成的响应还是有些联系的
把temprature改小 看看效果

temprature改成0.1
可以看到, 这时候智谱就把自己当作了GPT4(笑哭, 我推测是用GPT4的输出进行训练的, temprature越小就越容易用用于训练的语料来做输出, 输出会更保守)
记录zhipuai的传入参数
在这里插入图片描述
二、结构化prompt和结构化输出
在这里插入图片描述
可以看到, 加和不加分隔符的结构化prompt区别会对LLM的completions造成比较大的影响, 像下面不使用分隔符时, 模型就会没有按照我们的guidance输出, 甚至这个输出有的时候还会暴露一些训练数据, 例子如下（这个人工智能助手很多LLM都用于训练了 可能看不出来啥, 就记录个大致的意思, 这里temprature调低了）
在这里插入图片描述
我们可以通过prompt让模型给我们一些结构化的输出 比如json
在这里插入图片描述
还有xml
在这里插入图片描述
LLM的few shot的能力也很强
在这里插入图片描述
指导LLM发现解决方法(我这里用的是GLM4-plus，模型已经能指出错误和并改正错误了, LLM的进步还是很快的呀)
在这里插入图片描述
重新设计prompt后
在这里插入图片描述
三、大模型的幻觉
简单来说就是大模型毕竟是个生成模型, 会出现一些错误, 生成一些错误的知识或者直接给你虚构知识, 下面我把temprature调大展示一下
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
结果可以发现arxiv号和文章名称根本对不上, 笑死, 这个幻觉问题是各家大模型都在极力解决的问题(我这里特意看幻觉把temperatrue调整到了0.99, 实际使用时不会这么离谱的)

programer_cao
关注
【Datawhale之Happy-LLM】Github最火大模型原理与实践教程task01精华~
Z__Danny的博客
08-18 351
本文介绍了NLP（自然语言处理）的研究内容，对比了PLM（预训练语言模型）和LLM（大语言模型）的区别，指出LLM在数据规模、参数量和训练策略上的改进使其具备涌现能力。同时推荐了Datawhale三个开源LLM学习项目：Self-LLM（部署教程）、LLM-Universe（应用开发）和Happy-LLM（原理实践）。作者感叹LLM让计算机通过参数学习人类语言的奇妙性。
【打卡】2406Datawhale-llm-universe-task3
张不懂的博客
06-24 2244
LLM零基础，在这篇博客完成打卡记录。本项目是一个面向小白开发者的大模型应用开发教程，旨在基于阿里云服务器，结合个人知识库助手项目，通过一个课程完成大模型开发的重点入门。【教程地址】https://datawhalechina.github.io/llm-universe/【开源项目仓库】https://github.com/datawhalechina/llm-universe。
Datawhale llm-universe Task1
programer_cao的博客
05-12 1825
虽然图像也是对真实世界的采样, 但是不同的人、动物, 对于图像中提取的信息是不同的, 我们从图像中获取的信息都是根据一种强"先验"知识学习到的, 其他动物的理解也是基于它们的"先验"学习到的问题 2. 语言是一种人类或物种创造出来描述世界的, 本身会有一种强结构性, 更容易通过概率模型经过大量的学习根据前因后果进行预测(扯远了…, 随着模型参数量的提升, 模型的性能显著增强, 远远超出人们的预料. 随着GPT o1的提出, llm的后训练和在线推理过程中, 也出现了Scaling Law的现象.
Datawhale LLM-universe Task6
programer_cao的博客
05-25 482
一般 embedding model 的 max token 即最大可 embedding 句子长度通常为512至1024 token，过长的分块或分块中有多个语义的句子在 embedding 时很难从中提取完整的语义信息。3. 使用不同的embedding模型, 在hugging face上, 有许多sota的embedding模型, 如果当前的RAG系统遇到瓶颈了, 可以试一下新的embedding模型看是否能有提升。学习终于接近尾声了, 这一章节的学习任务主要是介绍一些开源的RAG应用是怎样搭建的。
Datawhale LLM-universe Task4
programer_cao的博客
05-21 404
这里面的RunnableLambda是LCEL中要求的类型, 这里的chain用到了管道符号链接retriever和定义的combiner, 即输入会先输给retriever检索器, 再由combine_doc对检索器的输出做整理。构建好以后, 再定义prompt模板, 就可以构造一个由langchain支持的LCEL数据到prompt然后喂给大模型最后再输出的标准的检索问答链, 这里原作者用的openai的模型, 我用的是智谱。最后面是使用streamlit做一个llm的网页端app, 还是很有意思的。
Datawhale llm-universe task3
programer_cao的博客
05-18 385
接着, 每个LLM都会限制输入的最大token数, 因此我们在数据处理的时候也需要将其纳入考虑, 在构建向量数据库的过程中, 往往是需要将一个大文本划分为不同的chunk, 然后对不同的chunk再使用embedding转化成词向量, 这里langchain同样有一个包方便我们分割上下文.最后课程的补充里还给我们提供了一个构建embedding的API框架，用已经封装好的智谱embedding模型为例, 我们可以看到每一部分的api在框架中的结构是怎样的。本节的内容是向量知识库的搭建(周末拖拉了点)
Datawhale LLM-universe Task5
programer_cao的博客
05-23 196
量化评估 说白了就是对LLM的输出进行打分, 这里使用两个提示词得到不同的输出, 观察输出结果哪个更靠谱。第二部分就是针对badcase优化prompt，以提升模型的输出能力，我们可以自己定义badcase。下面这里自定义了一个评分公式, 可以对输出结果进行打分，后面的多维评估也是这个的延申。另外一种比较靠谱的是计算答案的相似度，这里用NLTK的bleu。为了避免大模型的幻觉, 我们可以让大模型附上信息来源。这里我用的是Zhipu的模型。还有就是用靠谱的大模型做评估。系统评估的主要流程如图。
【打卡】2406Datawhale-llm-universe-task2
张不懂的博客
06-21 460
本项目是一个面向小白开发者的大模型应用开发教程，旨在基于阿里云服务器，结合个人知识库助手项目，通过一个课程完成大模型开发的重点入门。【开源项目仓库】https://github.com/datawhalechina/llm-universe。【教程地址】https://datawhalechina.github.io/llm-universe/LLM零基础，在这篇博客完成打卡记录。
【打卡】2406Datawhale-llm-universe-task1
张不懂的博客
06-19 2205
LLM：Large Language Model，大语言模型PLM：Pre-trained Language Model，大规模预训练语言模型ICL：In-Context Learning，上下文学习Emergent Abilities，涌现能力GPT：Generative Pre-Training，生成式与训练语言模型，decoder-onlyRoPE，Rotary Position Embedding，旋转位置编码，LLaMA。
【打卡】2406Datawhale-llm-universe-task5
张不懂的博客
06-28 315
本项目是一个面向小白开发者的大模型应用开发教程，旨在基于阿里云服务器，结合个人知识库助手项目，通过一个课程完成大模型开发的重点入门。【开源项目仓库】https://github.com/datawhalechina/llm-universe。【教程地址】https://datawhalechina.github.io/llm-universe/LLM零基础，在这篇博客完成打卡记录。
Datawhale AI 夏令营第四期 大模型技术-微调 task3 数据增强与评分
spring5的博客
08-15 1070
如果你对baseline1的解读仍然充满困惑，那么推荐你从学习python开始，打好基础再来尝试也不迟~你可以学习《聪明办法学python第二版》打扎实深度学习相关的python基础知识~
Datawhale AI 夏令营——CPU部署大模型(LLM天池挑战赛)——Task2与3学习笔记
m0_63566347的博客
07-18 2341
Task2 的任务是组队 + 寻找灵感，这里不作阐述；Task3 的任务是实现 RAG 应用，阅读文档并观看卢哥的直播后，结合个人经验做个分享。运行大语言模型，对 LLM 使用的加深，我们发现，在使用过程中，大模型会有很多幻觉出现。为了解决幻觉，科研人员提出了各种各样的方案，努力提高长上下文下的召回精度，但就成本与效果而言，在目前都不如简单粗暴的检索增强生成（RAG）。
DataWhale Task04：手搓一个LLM Eval 241001
L念安dd的博客
10-01 1192
简单的LLM评测框架，该框架是一个双阶段的评测体系，我们称之为TinyEval，包含了LLM通用评测的核心功能，支持生成式、判别式、选则式评测问题，框架主要包含inference与eval部分，目的是为了帮助大家更好的力即LLM评测的原理与实现。
DataWhale Task02：从零预训练一个tiny-llama 20923
L念安dd的博客
09-23 1136
从 JSON 数据集中提取文本，使用 SentencePiece 进行 BPE 分词器的训练，并生成词汇表，Tokenizer 类为文本的编码和解码提供了简洁的接口。它基于 SentencePiece 进行操作，并且支持处理 BOS、EOS 和 PAD 这样的特殊标记。通过这个类，可以方便地将字符串转换为适合模型处理的 token ID 列表，或者将模型的输出结果解码为可读的文本。构建了一个完整的数据预处理和加载管道，特别适合于大规模语言模型的训练
AI时代，科技园区面临收入增长乏力挑战，如何抓住AI+数智化解决方案机遇实现市场占有率？.docx
12-02
AI时代，科技园区面临收入增长乏力挑战，如何抓住AI+数智化解决方案机遇实现市场占有率？
基于Unity引擎开发的移动端点云可视化与智能路径规划系统_点云显示手势交互点云格式转换ply格式导入pcx插件应用点云地图构建栅格地图系统六边形地图设计可通行区域.zip
12-02
基于Unity引擎开发的移动端点云可视化与智能路径规划系统_点云显示手势交互点云格式转换ply格式导入pcx插件应用点云地图构建栅格地图系统六边形地图设计可通行区域.zip
科技服务合作伙伴如何借助AI赋能的科技管理服务突破平台“建而无用”，以打造可持续的品牌影响力？.docx
12-02
科技服务合作伙伴如何借助AI赋能的科技管理服务突破平台“建而无用”，以打造可持续的品牌影响力？
地方政府如何借助新一代技术转移SaaS系统构建精细化管理效能？.docx
12-02
地方政府如何借助新一代技术转移SaaS系统构建精细化管理效能？
基于Matlab的植物叶片虫害检测系统：融合颜色与纹理特征的病害识别及GUI交互界面
最新发布
12-02
本课题设计了一种利用Matlab平台开发的植物叶片健康状态识别方案，重点融合了色彩与纹理双重特征以实现对叶片病害的自动化判别。该系统构建了直观的图形操作界面，便于用户提交叶片影像并快速获得分析结论。Matlab作为具备高效数值计算与数据处理能力的工具，在图像分析与模式分类领域应用广泛，本项目正是借助其功能解决农业病害监测的实际问题。 在色彩特征分析方面，叶片影像的颜色分布常与其生理状态密切相关。通常，健康的叶片呈现绿色，而出现黄化、褐变等异常色彩往往指示病害或虫害的发生。Matlab提供了一系列图像处理函数，例如可通过色彩空间转换与直方图统计来量化颜色属性。通过计算各颜色通道的统计参数（如均值、标准差及主成分等），能够提取具有判别力的色彩特征，从而为不同病害类别的区分提供依据。 纹理特征则用于描述叶片表面的微观结构与形态变化，如病斑、皱缩或裂纹等。Matlab中的灰度共生矩阵计算函数可用于提取对比度、均匀性、相关性等纹理指标。此外，局部二值模式与Gabor滤波等方法也能从多尺度刻画纹理细节，进一步增强病害识别的鲁棒性。 系统的人机交互界面基于Matlab的图形用户界面开发环境实现。用户可通过该界面上传待检图像，系统将自动执行图像预处理、特征抽取与分类判断。采用的分类模型包括支持向量机、决策树等机器学习方法，通过对已标注样本的训练，模型能够依据新图像的特征向量预测其所属的病害类别。 此类课题设计有助于深化对Matlab编程、图像处理技术与模式识别原理的理解。通过完整实现从特征提取到分类决策的流程，学生能够将理论知识与实际应用相结合，提升解决复杂工程问题的能力。总体而言，该叶片病害检测系统涵盖了图像分析、特征融合、分类算法及界面开发等多个技术环节，为学习与掌握基于Matlab的智能检测技术提供了综合性实践案例。 资源来源于网络分享，仅用于学习交流使用，请勿用于商业，如有侵权请联系我删除！
llm-universe
02-25
### 大型语言模型生态系统 #### 构成要素 大型语言模型生态系统的构成要素主要包括数据源、预训练框架、微调工具集以及下游应用接口。这些组件共同作用，使得LLM能够处理各种自然语言任务并提供广泛的服务。 - **数据源**：高质量的数据对于构建有效的LLM至关重要。这不仅限于文本本身还包括元数据和其他辅助信息。通过多样化的数据输入，可以增强模型的理解能力和表达能力[^1]。 - **预训练框架**：这是指用于开发和优化神经网络架构的技术栈，如TensorFlow或PyTorch等平台支持下的Transformer结构。它们允许研究人员快速迭代实验设计，并利用分布式计算资源加速训练过程[^2]。 - **微调工具集**：为了使通用的语言理解技能适应特定领域的需求，通常需要针对目标场景调整权重参数。为此目的而创建的各种API和服务简化了这一流程，降低了进入门槛的同时提高了效率[^3]。 - **下游应用场景**：最终用户交互界面构成了整个链条的最后一环；无论是聊天机器人还是自动摘要生成器，在实际部署之前都需要经过严格的测试来验证性能指标是否满足预期标准。 ```python import transformers as trfms from datasets import load_dataset model_name = "bert-base-uncased" tokenizer = trfms.BertTokenizer.from_pretrained(model_name) dataset = load_dataset('imdb') ``` #### 半参数化方法的优势 相比于完全依赖内部参数存储世界知识的传统做法，引入外部记忆机制后的混合模式能够在保持灵活性的基础上显著提升检索精度与响应速度。具体来说就是把静态的记忆单元替换成了动态查询接口，从而更好地应对长尾分布特征带来的挑战。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值