LLM代码手撕——2.WordPiece

原创 已于 2025-04-01 17:30:25 修改 · 165 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#开发语言 #llm

于 2025-03-31 18:12:21 首次发布

step1: 统计单词的词频stats

step2：统计字母表（区分单词的首个字母和单词中其他字母的区别） 

 step3：计算每个单词的split（建立映射关系）

 step4：计算每个字符对的得分

pair_scores的结果展示 

 step5: 合并所有splits中的(a, b)-->ab（去掉##）

核心程序 ：不断合并扩充词表，达到vocab_size

 

Gradio全解9——ChatInterface&Chatbot：聊天界面类与聊天机器人（6）——gr.ChatInterface与流行LLM库和API结合
shao918516的博客
01-09 1187
在本节中，我们将通过几个示例展示如何将gr.ChatInterface与流行的LLM库和API提供商一起使用，将涵盖以下库和API提供商： - Llama Index - LangChain - OpenAI - Hugging Face transformers - SambaNova - Hyperbolic - Anthropic's Claude 大部分LLM库和提供商都存在社区维护的集成库，这使得启动Gradio应用程序更加容易。我们将在下面的适当部分中引用这些库，下面逐一介绍它们的用法。
LLM 系列——BERT——论文解读
TigerZ*的博客
02-28 1760
BERT是单模态“小”语言模型，是一个“Bidirectional Encoder Representations fromTransformers”的缩写，是一个语言预训练模型，通过随机掩盖一些词，然后预测这些被遮盖的词来训练双向语言模型（编码器结构）。可以用于句子分类、词性分类等下游任务，本身旨在提供一个预训练的基础权重。
一文彻底搞懂Bert（代码+手撕）
Z4400840的博客
08-16 7313
在不断发展的自然语言处理（NLP）领域中，一项被称为 BERT 的突破性创新已经崭露头角，成为一场变革的推手。BERT代表双向编码器来自 Transformer 的表示，它不仅仅是机器学习术语浩瀚海洋中的又一个缩写。它代表了机器理解语言方式的转变，使它们能够理解使人类沟通丰富而有意义的复杂细微差异和上下文依赖关系。
【LLM模型开发】WordPiece算法
可爱满分的博客
04-28 767
模型首先需要生成一个小的初始化的基础词表；首先将所有字符、词添加到词库中，并需要预先设定词库的规模。首先，对语料进行预分词（按空格切分、按语系切分等等）；各出现一次，所以得分最高；因此作为第一个被合并的字符。但是WordPiece算法计算的是实质是条件概率。这里得分最高的字符对事。，因此合并这两个字符；在词汇表中出现一次，
Bert深度解析：代码实操+手撕教程，一文精通BERT核心原理！
m0_65555479的博客
04-17 1339
在不断发展的自然语言处理（NLP）领域中，一项被称为 BERT 的突破性创新已经崭露头角，成为一场变革的推手。BERT代表双向编码器来自 Transformer 的表示，它不仅仅是机器学习术语浩瀚海洋中的又一个缩写。它代表了机器理解语言方式的转变，使它们能够理解使人类沟通丰富而有意义的复杂细微差异和上下文依赖关系。
大模型面经
weixin_43744732的博客
07-19 2079
大模型，面试，八股文
51c大模型~合集81
whaosoft~aiotの开发板商城
11-30 2499
相比之下，本文的方法既能有效地保留主体的核心身份，又能进行多样化的、与上下文相适应的转换。为了创建用于监督扩散自蒸馏训练的成对数据集，研究者利用预训练文本到图像扩散模型的新兴多图像生成功能，生成由 LLM 生成的提示（第 3.1.2 节）所创建的潜在一致的普通图像（第 3.1.1 节）。这是一款专为移动平台量身打造的 MLLM，采用了算法与系统协同设计的创新理念，重新设计了主流 MLLM 的动态分辨率方案，并针对手机硬件特性进行了深度系统优化，从而实现了在手机上高效、流畅地运行 MLLM。
程序员必看！拆解 AI 大模型学习核心：原来搞懂它，就这么几步
kaka0722ww的博客
10-01 664
程序员必看！拆解 AI 大模型学习核心：原来搞懂它，就这么几步
【NLP算法面经】 华为、百度、腾讯、美团等算法面经集合！（★附面题整理★）
一个程序猿的AI转型之路
03-07 1401
秋招告一段落，整理文件的时候发现之前记录的面经问题，主要是秋招前期的一些面试，后期由于实习比较忙没花时间整理。希望自己的面经可以帮助到有需要的人吧。由于个人实力不行又头铁，一度要失业，最后还是留在了实习的部门。「个人背景」本科211信管，硕士985软工，算是算法中的非科班吧。一篇国内水刊，两个天池比赛Top2%，两个实验室机器学习相关项目。
LLM文档对话 —— pdf解析关键问题
Java架狗师知识框架速查表
11-18 1829
本文探讨了利用LLM实现文档助手时，对pdf进行解析的重要性及其方法。pdf解析主要分为基于规则和基于AI两种方法，各有优缺点。长文档解析中，分块索引法和文本摘要法是常见策略，但存在语义破坏和内容丢失问题。提取标题和多级标题对于LLM理解文档至关重要。此外，本文还讨论了如何区分单栏和双栏pdf、提取表格和图片数据，以及基于AI的文档解析的优缺点。建议根据pdf类型进行特定处理，以提高解析效率和准确性。
LLM in Reranking——利用LLM进行重排
2401_85324918的博客
08-03 1190
LLM不同于传统的交叉编码器，具有更强的语义理解能力，并且能够捕捉到文档列表整体的顺序信息，它仍然面对几个不可忽视的问题。一方面，LLM的输入长度对于一个文档列表来说还是十分受限的，必须通过滑动窗口或集成的方式才能实现文档输入。另一方面，list-wise的LLM重排器对于输入非常敏感，在某些极端的情况下，例如将输入文档随机打乱顺序时，模型的输出结果甚至可能不如BM25。另外，还有参数过剩与时效性的问题会导致LLM重排器难以落地。
基于LLM的语音识别——在1.1万小时开源中文数据上的探索
AI_SHELL的博客
05-22 1900
耿雪龙，徐天翼，魏坤，穆秉甡，薛鸿飞，王贺，李泱泽，郭鹏程，戴宇航，李龙豪，邵明辰，谢磊大语言模型（LLM）在人工智能领域扮演着重要角色，特别是在理解和生成人类语言的能力方面表现突出。研究人员利用LLM的优势，探索将其与语音识别（ASR）等技术相结合的可能性，并已在多个应用场景中取得显著成效。ASR是同时依赖于声学和语言建模的任务，常用的语言模型包括n-gram和神经网络语言模型（NNLM）[1]。当下，LLM在训练数据规模和模型尺寸上的优势，为ASR的语言建模提供了新的尝试机会。
【开发语言】Rust语言介绍
wendao76的专栏
12-07 1277
Rust是一种系统级编程语言，由Mozilla开发并于2015年发布1.0版本，现由Rust基金会维护。其核心特点是内存安全、高性能和并发友好，通过所有权模型和零成本抽象实现无GC的内存管理。与Go相比，Rust更适用于高性能系统编程，而Go更适合快速开发高并发服务。Rust广泛应用于操作系统、区块链、Web后端等领域，并连续多年被评为最受开发者喜爱的语言。基础语法包括变量、数据类型、所有权等，高级特性涵盖Trait、生命周期、异步编程等。尽管学习曲线陡峭，但Rust在性能敏感领域前景广阔。
基准测试使用BBO-PSO-GA附Matlab代码.rar
最新发布
12-09
1.版本：matlab2014/2019a/2024a 2.附赠案例数据可直接运行。 3.代码特点：参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象：计算机，电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。
【无人机路径规划】基于冠豪猪优化算法的三维路径规划模型设计：多目标约束下安全高效飞行路径生成方法 项目介绍 Python实现基于冠豪猪优化算法（CPO）进行无人机三维路径规划（含模型描述及部分示例代码
12-09
内容概要：本文介绍了一个基于冠豪猪优化算法（CPO）的无人机三维路径规划项目，利用Python实现了在复杂三维环境中为无人机规划安全、高效、低能耗飞行路径的完整解决方案。项目涵盖空间环境建模、无人机动力学约束、路径编码、多目标代价函数设计以及CPO算法的核心实现。通过体素网格建模、动态障碍物处理、路径平滑技术和多约束融合机制，系统能够在高维、密集障碍环境下快速搜索出满足飞行可行性、安全性与能效最优的路径，并支持在线重规划以适应动态环境变化。文中还提供了关键模块的代码示例，包括环境建模、路径评估和CPO优化流程。; 适合人群：具备一定Python编程基础和优化算法基础知识，从事无人机、智能机器人、路径规划或智能优化算法研究的相关科研人员与工程技术人员，尤其适合研究生及有一定工作经验的研发工程师。; 使用场景及目标：①应用于复杂三维环境下的无人机自主导航与避障；②研究智能优化算法（如CPO）在路径规划中的实际部署与性能优化；③实现多目标（路径最短、能耗最低、安全性最高）耦合条件下的工程化路径求解；④构建可扩展的智能无人系统决策框架。; 阅读建议：建议结合文中模型架构与代码示例进行实践运行，重点关注目标函数设计、CPO算法改进策略与约束处理机制，宜在仿真环境中测试不同场景以深入理解算法行为与系统鲁棒性。
使用python语言的京东平台抢购脚本
12-09
先看效果： https://pan.quark.cn/s/4f231e33b729 auto-buy-Python-tool 图形界面, 电脑小白也会用, 下载可直接运行! 京东自动购买口罩 实时抢购口罩 工具, 抗击疫情 中国加油! :fire: 点击这里 下载, 解压后可直接运行! 欢迎加星 修复了商品下架后的问题, 更新了交互界面; 修复了可配货商品的判断, 更新了数量调整接口, 更新了是否监控下架商品选项 :star2: 使用指南 :notebookwithdecorative_cover: Tips: 登录一次之后本地会保存登录信息, 重启软件(注意重启之后也行)之后仍然可以记住账号登录信息, 重启之后只需点击"开始监控"就可以登录! 不必重复扫码! 运行界面如下图: interface Update at 2020-3-2: Continuously monitor goods removed from JD.monitorSoldOutGoods Update at 2020-2-15: quantity can be modifiedquantity 填写方式: Tips: 软件启动时带有标准填写格式的默认值, 请留意. 输入商品ID: 比如为: https://item.jd.com/1835967.html 的商品ID为1835967. 输入收件地区编码: 使用Chrome浏览器(如果是其他浏览器请用同样方式打开开发者工具)登录京东并访问商品页, 选择派送地址后按查找开头的讯息, 如下图: AreaID 接受讯息邮箱: 您的接受讯息邮箱. 滑动条: 控制监控时查询的速度(频率). 购买数量: 调整一次购买数量. 是否自动忽略下架商品: 未打...
clustering-results-PathologyGAN.csv
12-09
clustering-results-PathologyGAN.csv
简单的MQTT客户端工具V2.0源码
12-09
代码随便写的，将就看看吧 基于pyqt5开发的，功能简单的mqtt客户端工具 原文https://blog.csdn.net/weixin_45066336/article/details/122923967
有图有真相 MATLAB实现基于深度强化学习（DRL）进行无人机三维路径规划（代码已调试成功，可一键运行，每一行都有详细注释）
12-09
内容概要：本文档介绍了基于深度强化学习（DRL）在MATLAB环境中实现无人机三维路径规划的完整解决方案。代码已调试成功，支持一键运行，并提供详细注释版本与简洁版本。系统实现了模拟数据生成、环境构建、深度Q网络（DQN）训练、超参数搜索、策略评估及多维度可视化分析，涵盖从数据处理到模型部署的全流程。通过三维栅格环境建模，结合障碍物避障与动态奖励机制，智能体能够自主学习最优飞行路径。配套的八类评估图表直观展示了训练过程与策略性能。; 适合人群：具备MATLAB编程基础并对深度强化学习有一定了解的科研人员、工程技术人员及高校研究生，尤其适用于从事无人机导航、路径规划或智能控制领域研究的专业人士。; 使用场景及目标：①用于无人机在复杂三维空间中的自主路径规划研究；②作为深度强化学习在实际控制任务中应用的教学案例；③支持参数灵活调整，便于开展算法优化实验与性能对比分析。; 阅读建议：建议用户先运行带详细注释的代码以理解整体流程，结合参数设置界面逐步掌握各模块功能；在熟悉后可切换至简洁代码进行二次开发。务必关注超参数调优环节以提升模型表现，并利用提供的可视化工具全面评估策略有效性。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

_Ocean__

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值