LLM参数 llm_kwargs

原创 已于 2024-03-18 00:28:55 修改 · 1.9k 阅读 · 39 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#python #langchain #语言模型

于 2024-03-17 23:52:59 首次发布

大多数开源LLM框架中，都会需要指定LLM参数。这些参数通常是用一个词典—— llm_kwargs 来存储。

使用案例

answer_generator = LLMChain(
    llm=MY_LLM, 
    prompt=PROMPT,
    llm_kwargs={
        "max_new_tokens": 512,
        "top_p": 0.9,
        "temperature": 0.6,
        "repetition_penalty": 1.2,
        "do_sample": True,
    }
)

常用参数列表

（参考LangChain官网：langchain_community.llms.huggingface_endpoint.HuggingFaceEndpoint — 🦜🔗 LangChain 0.1.12）

参数名 参数类型 = 默认值

(HuggingFace)</
最低0.47元/天 解锁文章
Absurddddd
关注
LangChain question: It turns out that the LLM cannot see the information in additional_kwargs or...
suiusoar
07-27 54
LangChain 问题：事实证明，大语言模型（LLM）无法看到 HumanMessage 中的 additional_kwargs 或 id 信息
深入学习LLM开发 第五章：LangChain如何从大模型返回结构化数据
一个技术宅的博客
03-26 149
对大模型的输出进行格式化处理的方法
LLM （Large language model）的指标参数
juhanishen的博客
02-23 1989
本文详细介绍了LLM指标中Rouge和BLEU指标。Rouge是用来文本摘要和概括的，BLEU是给翻译场景中用的指标
2024-05-22 问AI: 介绍一下大语言模型LLM的常用参数
baidu_24377669的博客
05-22 2131
而一些轻量级的模型，如谷歌的PaLM和DeepMind的Chinchilla，虽然参数数量较GPT-3少，但通过优化模型结构和训练方法，它们在某些任务上也能达到类似的性能。例如，OpenAI的GPT-3模型在2020年发布时，其参数量达到了惊人的1750亿，而在之后的模型中，如GPT-4，其参数量可能进一步增加。然而，更多的参数也意味着更高的计算成本和训练难度。总结来说，大语言模型的常用参数规模随着技术进步而不断增加，目前已经有多种规模的模型被开发和应用，不同的参数规模对应着不同的性能和计算资源需求。
LLM的一些基础知识：参数和内存估计
RA AI衍生者训练营的博客
08-20 1344
了解 Mistral-7B 等模型的内存需求对于优化其部署和使用至关重要。这些信息对于那些考虑使用云服务进行模型训练和推理的人来说尤其重要，因为它会影响硬件的选择和总体成本。训练时为了保证模型收敛，参数类型不能为int8或者int4，一般使用float，如果性能稍差，也可以选择BF16。一般情况下参数数量是首要因素，例如同架构下13B-int8模型一般会比7B-BF16模型表现更好。虽然其他因素也使用内存，但推理过程中内存使用的主要部分是参数。— 使用 SGD 优化器时，需要与参数数量相当的内存。
LLM各层参数详细分析（以LLaMA为例）
qq_44345567的博客
09-21 7414
网上大多分析LLM参数的文章都比较粗粒度，对于LLM的精确部署不太友好，在这里记录一下分析LLM参数的过程。multiattention layer过后，经过加法和norm（RMS norm），进入。后，大小为(4096, 4096)，除法scale+softmax后不变，然后。经过Cancat，分开的头又合并，大小变为(4096, 4096)方阵，经过。，大小恢复变为(4096, 128)。也就是说，当h（heads） = 1时，在默认情况下，全连接，还是(4096, 4096)方阵。
LLM 推理常见参数
SQingL的博客
01-19 1535
现在常见的LLM基本都是只包含的，每个Token在输入模型的TransformerDecoder之前，都会首先从TokenEmbedding（有些也叫WordEmbedding）中通过查表获取对应的embedding向量，然后将embedding向量输入TransformerDecoder，并且在最后一层输出的也是同维度的embedding。在预测下一个Token时，实际只利用了上一个Token的embedding。如下图所示，将输入“
model_kwargs使用
最新发布
09-23
- 引用[3]：关于LLM参数llm_kwargs的使用，包括常用参数如max_new_tokens, top_p等。 - 引用[4]：关于added_cond_kwargs在Diffusion模型中的使用，用于准备微条件。 用户说：“上述引用仅供参考，并不是用户真正的...
我是离线推理，不需要发送http请求，我是本地直接请求。 def get_requests(args, tokenizer): # Common parameters for all dataset types. common_kwargs = { "dataset_path": args.dataset_path, "random_seed": args.seed, } sample_kwargs = { "tokenizer": tokenizer, "lora_path": args.lora_path, "max_loras": args.max_loras, "num_requests": args.num_prompts, "input_len": args.input_len, "output_len": args.output_len, } if args.dataset_path is None or args.dataset_name == "random": sample_kwargs["range_ratio"] = args.random_range_ratio sample_kwargs["prefix_len"] = args.prefix_len dataset_cls = RandomDataset elif args.dataset_name == "sharegpt": dataset_cls = ShareGPTDataset if args.backend == "vllm-chat": sample_kwargs["enable_multimodal_chat"] = True elif args.dataset_name == "sonnet": assert tokenizer.chat_template or tokenizer.default_chat_template, ( "Tokenizer/model must have chat template for sonnet dataset." ) dataset_cls = SonnetDataset sample_kwargs["prefix_len"] = args.prefix_len sample_kwargs["return_prompt_formatted"] = True elif args.dataset_name == "burstgpt": dataset_cls = BurstGPTDataset elif args.dataset_name == "hf": common_kwargs["no_stream"] = args.no_stream if args.dataset_path in VisionArenaDataset.SUPPORTED_DATASET_PATHS: dataset_cls = VisionArenaDataset common_kwargs["dataset_subset"] = None common_kwargs["dataset_split"] = "train" sample_kwargs["enable_multimodal_chat"] = True elif args.dataset_path in InstructCoderDataset.SUPPORTED_DATASET_PATHS: dataset_cls = InstructCoderDataset common_kwargs["dataset_split"] = "train" elif args.dataset_path in ConversationDataset.SUPPORTED_DATASET_PATHS: dataset_cls = ConversationDataset common_kwargs["dataset_subset"] = args.hf_subset common_kwargs["dataset_split"] = args.hf_split sample_kwargs["enable_multimodal_chat"] = True elif args.dataset_path in AIMODataset.SUPPORTED_DATASET_PATHS: dataset_cls = AIMODataset common_kwargs["dataset_subset"] = None common_kwargs["dataset_split"] = "train" else: raise ValueError(f"Unknown dataset name: {args.dataset_name}") # Remove None values sample_kwargs = {k: v for k, v in sample_kwargs.items() if v is not None} return dataset_cls(**common_kwargs).sample(**sample_kwargs) 这个是从数据集中构建请求； llm_outputs = llm.generate( input_ids=input_ids, attention_mask=attention_mask, max_new_tokens=32, do_sample=False, ) 这个是根据请求，生成响应。
07-29
综上所述，我们只需要在加载模型和分词器时添加`local_files_only=True`参数，并确保模型路径是本地路径，即可实现完全离线推理。 另外，如果用户的环境完全无法访问互联网，还需要设置环境变量`TRANSFORMERS_...
序列模型（3）—— LLM的参数量和计算量
佚失的诗篇
01-07 8946
本文说明重要结论：设模型参数量为 N，训练数据量（Token）为 D，LLM训练中计算量（FLOPs）C ≈ 6ND
大语言模型(LLM) 参数量 概念
qq_41045651的博客
03-12 5199
大语言模型（Large Language Model，LLM）参数量是指模型中可调整的参数的数量，通常用来衡量模型的大小和复杂程度。综上所述，LLM作为一种强大的自然语言处理模型，其大规模的参数量使得其能够处理和生成大规模的文本数据，但同时也需要应对计算资源需求高、过拟合等挑战。LLM处理的文本数据通常需要进行词嵌入（Word Embedding），词嵌入矩阵的大小与词汇表的大小相关，这也会对模型的参数量产生影响。大规模的参数量增加了模型的复杂度，使得调参变得更加困难，需要更加细致的调整和优化。
大语言模型应用指南：向模型发起请求的参数
AGI×大数据，开启智能时代的认知跃迁；解码AGI，赋能数据驱动的智能革命。
05-28 131
大语言模型应用指南：向模型发起请求的参数 作者：禅与计算机程序设计艺术 1.背景介绍 1.1 大语言模型的兴起 近年来,随着深度学习技术的快速发展,以Transformer为代表的大语言模型(Large Languag
vllm server 命令大全
qq_28269995的博客
02-25 4325
vllm serve 提供了丰富的配置选项，允许用户根据需求灵活地调整模型服务的各个方面，包括模型加载、推理、并行化、日志记录等。通过合理配置这些选项，可以优化模型的性能和资源利用率。
大模型文本生成——解码策略（Top-k & Top-p & Temperature）
zhengddzz的博客
03-19 2735
在大模型训练好之后，如何对训练好的模型进行解码（decode）是一个火热的研究话题。在自然语言任务中，我们通常使用一个预训练的大模型（比如GPT）来根据给定的输入文本（比如一个开头或一个问题）生成输出文本（比如一个答案或一个结尾）。为了生成输出文本，我们需要让模型逐个预测每个 token ，直到达到一个终止条件（如一个标点符号或一个最大长度）。在每一步，模型会给出一个概率分布，表示它对下一个单词的预测。
大模型中的temperature、topk、topn、repetition_penalty等参数原理
stephen147的博客
07-23 5056
核心就在于采样策略，一图胜千言：上图中(language model) 的预测输出其实是字典中所有词的概率分布，而通常会选择生成其中概率最大的那个词。不过图中出现了一个采样策略 (sampling strategy)，这意味着有时候我们可能并不想总是生成概率最大的那个词。设想一个人的行为如果总是严格遵守规律缺乏变化，容易让人觉得乏味；同样一个语言模型若总是按概率最大的生成词，那么就容易变成 XX讲话稿了。
LLM探索：GPT类模型的几个常用参数 Top-k, Top-p, Temperature
强化学习曾小健
06-21 6908
上一篇文章介绍了几个开源LLM的环境搭建和本地部署，在使用ChatGPT接口或者自己本地部署的LLM大模型的时候，经常会遇到这几个参数，本文简单介绍一下~top_ptop_k。
具有温度系数（Temperature）的Softmax函数
Harry的博客
04-06 6316
softmax 函数是一种激活函数，通常用作神经网络最后一层的输出函数。该函数是两个以上变量的逻辑函数的推广。Softmax 将实数向量作为输入，并将其归一化为概率分布。softmax函数的输出是与输入具有相同维度的向量，每个元素的范围为0到1。并且所有元素的总和等于1。
【AI大模型】Transformers大模型库（十）：repetition_penalty惩罚系数
人工智能领域博客
06-17 6134
本文先对大语言模型生成参数repetition_penalty进行讲解，希望可以帮助到您。
基于vllm命令启动Qwen3模型的OpenAI 兼容服务
weixin_42070672的博客
05-19 1387
可选值：auto, generate, embedding, embed, classify, score, reward, transcription。• “openai” 按 OpenAI 字典列表渲染（示例：[{“type”: “text”, “text”: “Hello world!新格式示例：{“name”: “name”, “path”: “lora_path”, “base_model_name”: “id”}示例：{“rope_type”:“dynamic”,“factor”:2.0}
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值