大模型学习路线（2）——数据工程（数据预处理）

已于 2024-06-01 17:20:35 修改
阅读量1.8k 收藏 5
点赞数 15
CC 4.0 BY-SA版权
分类专栏： 大模型 & AIGC 文章标签： 学习 AIGC 人工智能 机器学习
于 2024-05-16 18:56:17 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_51175703/article/details/138971114

目录

前言

一、数据工程（Data Engine）

二、Token分词/Tokenizer

三、提示工程

四、向量数据库

前言

该思维导图参考自ZOMI酱的B站视频整理而来，数据预处理/数据工程全栈式的思维导图如下：

视频链接1：ZOMI酱的个人空间-ZOMI酱个人主页-哔哩哔哩视频 (bilibili.com)

视频链接2：向量数据库介绍，Vector和Embedding关系 #大模型 #向量数据库_哔哩哔哩_bilibili

一、数据工程（Data Engine）

（待更......）

二、Token分词/Tokenizer

最低0.47元/天 解锁文章

200万优质内容无限畅学
大模型数据预处理---词元化（分词）
weixin_43961909的博客
05-23 2067
其中，出现频率最高的是 “oo”，出现了 48 次，因此，学习到的第一条合并规则是（“o”, “o”）→ “oo”，这意味着“oo”将被添加到词汇表中，并且应用这一合并规则到语料库的所有词汇。语料库：（“l”“oo”“p”，15），（“p”“oo”“l”，10），（“l”“oo”“t”，10），（“t”“oo”“l”，5），（“l”“oo”“t”“s”，8）语料库：（“loo”“p”，15），（“p”“oo”“l”，10），（“loot”，10），（“t”“oo”“l”，5），（“loot”“s”，8）
人工智能大模型技术基础系列之：大规模数据处理与特征工程
AI天才研究院
10-06 1398
作者：禅与计算机程序设计艺术 1.背景介绍 自从大数据的到来，越来越多的人研究和开发基于大数据的人工智能(AI)产品与服务，例如推荐系统、搜索引擎、图像识别、语音助手等。 但是，如何有效地处理海量的数据并提取其特征成为一个重要的难点，也是众多人工智能模型研究者面临的关键挑战。如何高效地训练高维度、高
大模型预训练中的数据处理及思考
Kaiyuan_sjtu的博客
05-31 2337
作者：赵亮，NLPer；昆仑万维·预训练。原文：https://zhuanlan.zhihu.com/p/641013454整理:青稞AI大模型预训练需要从海量的文本数据中学习到充分的知识存储在其模型参数中。预训练所用的数据可以分为两类。一类是网页数据（web data），这类数据的获取最为方便，各个数据相关的公司比如百度、谷歌等每天都会爬取大量的网页存储起来。其特点是量级非常大，比如非...
大模型的开发应用（十）：对话风格微调项目（上）：数据工程与模型选型
最新发布
weixin_44457930的博客
06-13 757
本项目是制作一款聊天机器人，机器人回复的消息，一会儿温柔（关心），一会儿毒舌（嘲讽），通过变换聊天风格，从而提供情绪价值。我: "今天好累啊" 机器人: "辛苦啦~ 要给自己泡杯热茶放松一下吗？🌸" 我: "考试没考好..." 机器人: "没关系的呀~ 下次一定会更好！需要我陪你聊聊吗？😊"我: "又胖了5斤！" 机器人: "好家伙！你这是要把体重秤压成分子料理？🏋️" 我: "游戏又输了" 机器人: "菜就多练练！需要给你推荐《从零开始的电竞之路》吗？🎮"
大模型数据工程
毕竟共产主义接班人
06-13 273
低质过滤 语言过滤：如果一个大语言模型仅关注一种或者几种语言，那么就可以大幅度的过滤掉数据中其他语言的文本。 指标过滤：利用评测指标也可以过滤低质量文本。例如，可以使用语言模型对于给定文本的困惑度（Perplexity）进行计算，利用该值可以过滤掉非自然的句子。 统计特征过滤：针对文本内容可以计算包括标点符号分布、符号字比（Symbol-to-Word Ratio）、句子长度等等在内的统计特征，利用这些特征过滤低质量数据。 关键词过滤：根据特定的关键词集，可以识别和删除文本中的噪声或无用元素，例如，HT
大模型的核心之一——大模型预训练之数据预处理
2401_85375186的博客
11-30 2494
通过精心设计的步骤和严格的质量控制，可以确保大模型的训练数据高质量、多样性和合法性，从而为后续模型训练提供坚实的基础。
技术动态 | 大模型研发核心：数据工程、自动化评估及与知识图谱的结合
开放知识图谱
09-13 1107
转载公众号| DataFunTalk导读本文将介绍大模型研发中数据工程，包括数据以及自动化相关的内容。并介绍在当前的情况下，知识图谱的定位以及如何融入到大模型的整个研发当中。分享将会围绕下面四个方面展开：1.大模型研发中的数据工程，起底当前一些大模型的数据构造以及360的构造方案2.大模型研发中的自动化评估，快速低成本迭代大模型的方案3.大模型与知识图谱的结合，是大模型促进知识图谱的研发...
数据预处理——插值法填补缺失值，并且标记填充位置.zip
03-02
在人工智能和机器学习领域，数据预处理是至关重要的一步，它直接影响着模型的性能和准确性。数据预处理涉及多种技术，其中包括处理缺失值。本项目实践聚焦于使用插值法来填补缺失值，并且标记填充的位置，以确保数据...
上海写字楼租金预测——包含预处理数据源和python实验代码.zip
03-02
这个项目涵盖了数据预处理、特征工程以及机器学习等多个关键领域，旨在通过Python编程实现对租金价格的预测模型。 首先，数据预处理是任何数据分析或机器学习项目的基础。在这个项目中，我们可能会遇到各种类型的...
python数据分析——数据预处理与学习心得
weixin_66628097的博客
06-30 1248
数据预处理是数据分析流程中的第一步，也是至关重要的一步。它涉及对原始数据进行清洗、转换、集成和规约，以消除噪声、填补缺失值、纠正错误，并将数据转换成适合分析的形式。通过有效的数据预处理，我们可以提高数据分析的质量和效率，为后续的数据挖掘和机器学习模型训练打下坚实的基础。
数据挖掘互评作业1：数据探索性分析与数据预处理.zip
03-03
在本项目“数据挖掘互评作业1：数据探索性分析与数据预处理”中，我们将深入探讨人工智能领域中的核心步骤——数据预处理。这个过程是机器学习项目的基础，因为高质量的数据是模型性能的关键。我们将使用Python编程...
大模型面试准备（十）：大模型数据处理方法及优秀的开源数据介绍
2201_75499313的博客
03-31 3049
所使用的**指标包括字母重复度、单词重复度、特殊字符、困惑度等。**完整的指标列表可以参考文献[3]。这些指标根据每个来源的不同，进行了两种主要的调整：针对每种语言单独选择参数，如阈值等；人工浏览每个数据来源，以确定哪些指标最可能识别出非自然语言。
人工智能大模型-数据预处理-文本数据预处理-图像数据预处理
小旺的博客
03-31 1110
re模块：专注于正则表达式的字符串处理，适合文本挖掘和数据清洗。numpy：提供高效的数值计算功能，是科学计算和数据分析的基础。pandas：专注于结构化数据的处理，是数据分析和可视化的核心工具。这三个库在Python生态系统中扮演着不可或缺的角色，掌握它们对于数据处理、科学计算和机器学习都至关重要。
大模型从入门到精通（三）预训练：数据收集和预处理、模型架构设计、预训练任务设计、模型优化与微调
老皮的博客
04-13 1033
数据清洗步骤主要包含Quality Filtering，De-duplication，Privacy Reduction，Tokenization。这个过程比较简单，在此不赘述。首先回顾一下LLMs的主流架构，主要分为三类：Encoder-decoder，Causal Decoder，Prefix Decoder。其中后两种都是Decoder-only的结构。这类模型只包含编码器部分,适用于分类、回归等任务,只需理解输入而不需要生成新的序列。代表模型有BERT。
从零手搓中文大模型｜Day03｜数据预处理
puppyapple的博客
08-23 804
文本预处理，方便模型训练时对数据的加载（尤其在数据量很大的时候，实时处理对内存和耗时都很不友好）
【数学建模】数据预处理
shaozheng0503的博客
09-06 6266
【数学建模】数据预处理
大模型预训练数据工程
qq_29787929的博客
03-03 1097
重复的数据在不同条件下具有的作用不同，不一定是好的，或者坏的作用。优质的重复数据某种程度上可以加强模型的相应能力。数据配比关注的是训练数据中的不同数据的类型数量，数据课程关注的是在训练大模型的过程中，不同类型数据训练的先后顺序。在获取数据的同时尽可能的保留与数据相关的元信息，这些元信息在后续模型训练中会发挥作用。不同的数据任务之间存在相互促进的作用，一个较好的数据训练顺序可以提升模型效果。可以使用Deita工具自动筛选高质量的数据，GitHub地址如下。大模型训练中，训练数据的配比会影响大模型的性能。
大模型训练：数据预处理与预训练模型的关键
weixin_41888295的博客
10-18 1054
因此，在进行神经网络训练之前，需要对数据进行归一化处理，将数据的范围调整到一个合理的范围内。神经网络预训练模型是指预先训练好的神经网络模型，这些模型已经经过了大量的训练，具备了某些特定的能力，如图像识别、自然语言处理等。数据标准化：数据的分布往往会影响到神经网络的性能，如果数据的分布不均匀，会对神经网络的训练造成很大的影响。总之神经网络数据预处理和预训练模型的选择对于模型的训练效果有着重要的影响.在实际应用中,需要根据具体情况对数据进行适当的预处理,并选择合适的预训练模型来提高模型的精度和泛化能力。
面向大模型成长演化的数据工程
xaut0420的专栏
08-15 455
以代码大模型为例，代码生成领域现有的评估代码集包括HumanEval等手工数据集（Python语言编写的164条数据，每条数据包括输入模型的提示文本、参考代码和对应的测试用例，包含的数据量较少）、CoderEval数据集（开发人员从GitHub开源平台上人们项目的代码中选取，并根据模型的输入输出方式对代码进行相应的修改，便于模型评测）、MBXP数据集（由Python语言通过编程语言翻译技术扩展为C++、Java等十种编程语言）等。除了文本数据外，图像、视频等多模态数据也是大模型训练数据的重要组成部分。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值