- 博客(518)
- 收藏
- 关注
RSS订阅原创 如何使用Hugging Face从零开始训练BPE、WordPiece和Unigram Tokenizers
如果你有一些NLP的经验，你可能知道标记化是任何NLP管道的舵手。标记化通常被认为是NLP的一个子领域，但它有自己的。现在，它支撑着许多最先进的NLP模型。这篇文章是关于通过利用从头开始训练标记化**。**在我们进入训练和比较不同标记器的有趣部分之前，我想给你一个关于算法之间关键差异的简要总结。主要区别在于要合并的，以及每个算法用来生成最终标记集的。
2025-03-31 22:36:11
719
原创 AI大模型应用实战：使用LLaMA-Factory快速训练自己的专用大模型
本文聊聊 LLama-Factory，它是一个开源框架，这里头可以找到一系列预制的组件和模板，让你不用从零开始，就能训练出自己的语言模型（微调）。不管是聊天机器人，还是文章生成器，甚至是问答系统，都能搞定。而且，LLama-Factory 还支持多种框架和数据集，这意味着你可以根据项目需求灵活选择，把精力集中在真正重要的事情上——创造价值。使用LLama-Factory，常见的就是训练LoRA模型，增强模型在某方面的生成能力。本教程将以增强 GLM-4-9B-Chat 模型的脑筋急转弯能力为例，演示LoRA
2025-03-31 22:30:33
482
原创 大模型书籍推荐：Transformer自然语言处理: 构建语言应用，附409页pdf免费下载
Transformers 已经被用来编写真实的新闻故事，改进谷歌搜索查询，甚至创造出讲笑话的聊天机器人。在本指南中，作者Lewis Tunstall、Leandro von Werra和Thomas Wolf(拥抱Transformers 的创始人之一)使用亲身实践的方法来教你Transformers如何工作，以及如何将它们集成到应用程序中。你会很快学到他们能帮你解决的各种任务。本书涵盖了NLP中transformers的所有主要应用，每一章(除了少数例外)专门针对一个任务，结合一个实际的用例和数据集。
2025-03-28 15:29:43
1084
原创 大模型应用RAG实战：如何快速搭建个性化RAG聊天机器人
在 AI 领域，Retrieval-Augmented Generation（简称 RAG）已经成为生成式 AI 应用的重要技术，尤其是在对话式 AI 中。它结合了预训练大语言模型（LLM）如 OpenAI 的 GPT 和外部知识库（存储在向量数据库中，比如 Milvus 和 Zilliz Cloud），能够生成更加精准、上下文相关的回复，并且保持信息的实时性。一个完整的 RAG 管道通常由四个基本组件组成：向量数据库、嵌入模型、LLM 和框架。
2025-03-28 15:24:40
659
原创 手把手教你用LangChain自动写SQL做数据分析可视化
从数据库里拿到原始数据后，我们得给用户生成一个人类能看懂的自然语言响应。这就得利用语言模型的能力，把原始数据转换成容易理解的内容。我们可以写一个函数，它接收（用户问题）、schema（结构）、sql（SQL 查询）、datatemplate = """根据表结构、问题、SQL 查询和 SQL 响应，提供一个结构化的、人类可读的响应。仅提取响应中可用的字段，并正确格式化它们。{schema}问题：{question}SQL 查询：{query}SQL 响应：{response}
2025-03-28 15:22:01
963
原创 Qwen2.5大模型微调实战：医疗命名实体识别（NER）任务（完整代码）
命名实体识别 (NER) 是一种NLP技术，主要用于识别和分类文本中提到的重要信息（关键词）。这些实体可以是人名、地名、机构名、日期、时间、货币值等等。NER 的目标是将文本中的非结构化信息转换为结构化信息，以便计算机能够更容易地理解和处理。 等方法已被证明可以在各种任务上达到完全微调模型的性能，同时可训练参数的数量却大大减少。这就提出一个问题，即它们学到的解决方案真的等效吗？带着这一疑问，来自 MIT 的研究者在论文《 LORA VS FULL FINE-TUNING: AN ILLUSION OF EQUIVALENCE 》中进行了深入探讨。论文地址：https://arxiv.org/pdf/2410.21228v1。
2025-02-26 14:36:06
859
原创 大模型预训练代码实战教程
dataset[0]'请你给哪吒写一首诗：哪吒降世，意气飞扬。\n逆天改命，破障冲霄。红绫缠腕，风火踏浪。\n不屈不悔，笑傲苍茫。很多人都喜欢在自定义数据集里面完成 tokenizer，但我把这个操作留到了中。如果在数据集中完成tokenizer，那么就需要在对input_ids和进行手动填充。如果在完成 tokenizer，便无需再对input_ids和手动填充。tokenizer 会默认把这个batch的数据处理完成。只需要手动处理 label。
2025-02-25 11:55:39
718
原创 震撼！HuggingFace 超大规模训练手册来袭，解锁 GPU 集群训 LLM 密码
数千个 GPU 完美和谐地协同工作，这就是训练当今最强大的人工智能模型所需要的——一场计算能力的交响乐，直到最近，这还只是精英研究实验室的专属领域。开源已经改变了这一局面，但尚未完全改变。是的，你可以下载最新的 Llama 或 DeepSeek 模型，阅读它们的技术和实验报告。但最具挑战性的部分——训练代码、协调 GPU 训练这些大规模系统所需的知识和技术——仍然笼罩在复杂性之中，分散在一系列不相关的论文和通常私有的代码库中。这本开源书籍旨在改变这一现状。从基础开始，我们将带你了解将大型语言模型的训练从一个
2025-02-24 14:53:24
978
原创 大模型企业应用报告：《AI大模型应用助力企业“营销服”跃进与提效》（附下载）
本报告详细介绍了百度智能云如何利用AI大模型技术推动企业营销、销售和服务领域创新。该文件展示了AI技术在智能创作、智能客服、数字人、营销视频生成等多场景下的应用，强调了百度智能云在提升企业营销服务效率和效果方面的潜力。报告中介绍了百度智能云的一念、曦灵、客悦等平台，这些平台通过大模型技术为企业提供全面的营销内容创作、数字人服务和智能客服解决方案。此外，文件还强调了百度智能云在不同行业的深度应用，以及与合作伙伴共同探索AI大模型在企业营销服务中的广泛应用。
2025-02-24 14:38:38
378
原创 大模型优质书籍推荐！（免费分享PDF）《AI大语言模型的基础与前沿》，程序员都在看的大模型书！！！
全球首个完全自主的 AI 软件工程师上线，它是来自 Cognition 这家初创公司的产品——Devin， 这个名字也随即引爆了科技圈。话说 Devin 有多能干？它能实现端到端的完整项目开发。也就是说，只需一句指令，Devin 就可以从零构建出一个完整互联网应用，其他工作还可以自主查找并修复代码中的 bug，甚至是训练和微调自己的 AI 模型。更厉害的是，Devin 还通过了一家 AI 公司的技术面试，并且在 Upwork 上完成了实际工作。
2025-02-22 17:54:01
987
原创 本地搭建Qwen和DeepSeek AI助手，打造专属智能体验
因此，本地部署AI助手不仅是一种技术尝试，更是一种对隐私和效率的双重保障。在本地部署AI模型之前，我们需要评估自己的电脑硬件是否能够支持目标模型的运行。如果你的设备满足上述要求，就可以尝试部署Qwen2.5:7B和DeepSeek-R1-7B等中等规模的AI模型了！这两款模型不仅功能强大，而且开源友好，社区支持广泛，非常适合初学者和进阶用户使用。Ollama是一款轻量级的工具，可以帮助我们快速部署和管理本地AI模型。
2025-02-21 13:48:24
1026
原创 聊聊SFT微调训练——如何训练更强更低成本的推理大模型
Sky-T1-32B-Preview 是伯克利 Sky Computing Lab推出的推理模型，在常见的推理和编码基准测试中，其表现可与 o1-preview 媲美。值得注意的是，Sky-T1-32B-Preview 的训练成本不到 450 美元，展示了以经济高效的方式复制高水平推理能力的可能性。
2025-02-20 11:56:11
714
原创 内行人熬夜必读！《从零构建大语言模型》：揭秘大模型核心技术，附PDF下载！
1、第一部分理解大型语言模型：介绍了 LLM 的基本概念、transformer架构以及训练大型语言模型所需的基础知识。5、第五部分无标签数据的预训练：讨论了如何在没有标签的数据上进行预训练，使模型能够捕捉语言的复杂性和上下文关系。3、第三部分注意力机制编程：深入探讨了注意力机制的原理及其在 LLM 中的应用，并通过代码实现了这些机制。6、第六部分模型微调：解释了如何在特定任务或领域的数据上微调预训练的模型，以提升其在特定应用中的表现。，没正式出版就已经在Github仓库有17.1k的星标了。
2025-02-20 11:54:52
806
原创 普通人也能转行AI？清华团队出的deepseek保姆级教程来了
对于想进阶的朋友，教程里的干货更多。2024年底发布的新一代大语言模型v3，多项评测成绩超过主流开源模型，后来又发布了r1模型，性能比肩美国开放人工智能研究中心（openai）的o1模型正式版 ，关键是训练成本才560万美元，性价比超高，在海外直接火出圈，把美国那些科技巨头都给“震”到了。比如，你想写一篇公众号推文，以前可能绞尽脑汁想半天，现在用deepseek，按照教程里教的提示语设计方法，告诉它你的主题、风格、想要表达的重点，它就能帮你生成初稿，你再稍微润色一下，一篇优质推文就诞生了。
2025-02-18 12:01:57
614
原创 PPT革命！DeepSeek+Kimi=N小时工作5分钟完成？
今天，我们暂时抛开知识库这类的聊天问答场景，看看DeepSeek能直接给我们打工人带来什么直接的好处。这个话题比较大，本期就先以我们打工人最常见的苦恼来举例吧，是什么呢？对，就是PPT，相信每个职场人一定都经历过那种加班加点去撰写和美化PPT的场景，深夜改第8版PPT的职场人第二天还要挤早班地铁赶去给客户做汇报，充满了辛酸，打工人真是太难了！但实际上，PPT中的核心内容，每个制作人心里都清楚，但要给客户讲解总是需要PPT做展示，做的太丑又显得不尊重客户似的。
2025-02-18 11:58:56
1307
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人