- 博客(9)
- 收藏
- 关注
RSS订阅原创 次模优化之次模函数的约束
选的元素个数不能超过 K。这是最常见的约束，比如：特征选择：从 1000 个特征里选最多 20 个，避免模型过拟合；推荐系统：给用户推荐最多 5 个商品，太多了用户看不过来；球队选人：最多选 11 个首发球员，多了上场不了。用公式写出来，就是我们要解决的问题：找到子集，满足表示集合的元素个数），且是所有符合条件子集里最大的。基数约束只看 “数量”，但现实中往往要考虑 “成本”—— 比如 “选商品总价格不超 100 元”“选任务总耗时不超 8 小时”“选设备总功率不超 1000 瓦”。
2025-08-20 16:10:13
1010
原创 大语言模型入门之Embedding
LLM中的Embedding是一个至关重要的概念，它在大规模语言处理任务中发挥着核心作用。这篇用于介绍Embedding。一、LLM中的Embedding是一种将高维数据转换为低维向量表示的技术，它在自然语言处理任务中发挥着重要作用。通过捕捉文本的语义信息并降低数据维度，Embedding使得计算机能够更好地理解和处理自然语言数据。随着技术的不断进步，我们可以期待Embedding在未来发挥更加重要的作用。
2024-07-20 12:40:01
803
原创 大语言模型入门之Tokenization
LLM（Large Language Model，大型语言模型）的Tokenization是自然语言处理（NLP）中的一个重要步骤，它指的是将原始文本转换成模型可以理解和处理的离散符号序列的过程。Tokenization是LLM处理文本数据的基石，它将自然语言文本分解成更小的单元或标记（Token），这些Token可以是单词、单词的一部分（如子词）、甚至是一个字符。然后这些 token 被转换成向量（vector），它们是这些单词的数字表示。
2024-07-16 22:10:28
2304
原创 大语言模型入门之Prompt Engineer
这篇用于介绍Prompt Engineer提示工程指南 | Prompt Engineering Guide (promptingguide.ai)大语言模型Prompt工程-原理详解篇 - 知乎 (zhihu.com)由于篇幅问题，这里只是简单的介绍一下Prompt Engineer相关概念，具体的可以看提示工程指南那篇，写的非常具体。1.Prompt在大语言模型中，"Prompt"（提示）指的是用户输入的文本或问题，它作为模型开始生成回复的初始信息。
2024-07-16 01:43:31
1016
原创 大语言模型入门之综述阅读
这篇主要通过阅读大语言模型综述《Large Language Models:A Survey》来学习LLM的一些概念和基础知识。从零开始学习大语言模型（一）_哔哩哔哩_bilibili最新语言大模型综述 Large Language Models A Survey_large language models: a survey-优快云博客本文综述了大型语言模型（LLMs）的研究进展和应用情况。LLMs通过在大量文本数据上训练数十亿个参数，实现了对自然语言的理解和生成能力。
2024-07-15 14:42:45
1611
原创 大语言模型入门之Transformer
现在的很多大语言模型通常是基于Transformer架构，这篇用于介绍Transformer架构。由于之前是学三维重建的，也学习过了Transformer，网上也有很多transformer的详细介绍，这里主要是做个回顾。一、Transformer模型的出现，极大地推动了NLP领域的发展。它不仅在机器翻译任务上取得了显著的成果，还被广泛应用于文本生成、文本摘要、语音识别、图像识别等多个领域。许多知名的预训练语言模型，如BERT、GPT和T5等，都是基于Transformer架构构建的。
2024-07-10 23:35:07
1931
原创 如何用Python调用智谱AI的API
智谱AI大模型以GLM（General Language Model）系列为核心，由清华大学、北京智源人工智能研究院等顶尖机构联合研发。这些模型通过自回归填空任务进行预训练，并采用Transformer架构，能够在各种自然语言理解和生成任务上进行微调，展现出强大的语言处理能力。其中，GLM-130B是智谱AI在2022年开源的一个重要模型，它基于GLM的进一步开发，在归一化、激活函数、掩码机制等方面进行了优化，成为高精度千亿规模的中英双语语言模型。
2024-07-06 11:01:06
3802
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人