沐雪架构师

LMDeploy 开发了 Persistent Batch(即 Continuous Batch)，Blocked K/V Cache，动态拆分和融合，张量并行，高效的计算 kernel等重要特性。推理性能是 vLLM 的 1.8 倍LMDeploy 支持权重量化和 k/v 量化。4bit 模型推理效率是 FP16 下的 2.4 倍。量化模型的可靠性已通过 OpenCompass 评测得到充分验证。通过请求分发服务，LMDeploy 支持多模型在多机、多卡上的推理服务。

hugging face的核心组件 主要是 Transformers 和Datasets。使用代码下载模型到本地，代码演示使用depeek-r1-1.5b,小一点。等待大概几分钟就下载完成了，主要看网速。#下载模型#下载分词工具print(f"模型和分词器已下载到：{cache_dir}")AutoModelForCausalLM 是 Hugging Face 的 Transformers 库中的一个类，主要用于处理因果语言模型（Causal Language Model）任务。

LangChain 是一个为构建语言模型应用提供丰富功能和组件的框架。它旨在解决在利用语言模型时面临的诸多技术挑战，如数据处理、上下文管理、多模型集成等。LangChain 为语言模型的应用开发提供了强大的技术支持。通过理解其核心概念，并进行实际的编码实践，您已经迈出了掌握这一技术的重要一步。不断探索和创新，您将能够开发出更加智能和实用的语言模型应用。相关网址(后续将持续输出关于LangChain的技术文章,有兴趣的同学可以关注我们！

语音识别大模型，是人工智能领域的一项重要技术，它能够将人类的语音转换为文本。近年来，随着深度学习技术的不断发展，语音识别大模型取得了显著的进展，并在各个领域得到了广泛应用。目前，市面上涌现出许多优秀的语音识别大模型，它们在性能、功能和应用场景上各有侧重。

Text-To-Speech（TTS）文字配音模型是一种用于将文本信息转换成自然语音的技术。OpenAI的文字配音 API 提供了一个基于 TTS（文本到语音）模型的服务。alloyashcoralechofableonyxnovasageshimmer默认响应格式是 "mp3"，但也支持其他格式，如 "opus"、"aac"、"flac" 和 "pcm"。TTS 模型在语言支持方面通常遵循 Whisper 模型。

今天我们来看下如何调用WebAPI来实现文生图功能。我们一般都会将OpenAI的接口，因为OpenAI是标杆，其他大模型都以它为参考，并且很多大模型的接口都复刻了OpenAI的接口，不管是接口形式还是参数定义基本都一样；也就是只要学会了OpenAI的接口，很多其他大模型也就会调用了。

​大模型文生图是一种基于人工智能大模型的技术，能够将自然语言文本描述转化为对应的图像。目前非常火的AI大模型赛道，有很多公司在此赛道竞争，大模型技术也非常牛叉，既有像OpenAI、谷歌Gemini、智普等多模态的公司，也有专攻文生图的公司，比如Stability，MidJourney。

在人工智能领域，指的是数据的不同形式或类型，例如文本、图像、音频、视频等。则意味着模型能够处理和理解多种不同模态的数据。指的是那些能够处理和理解多种模态数据的大型人工智能模型。这些模型通常基于深度学习技术，通过学习不同模态数据之间的关联和规律，从而实现更强大的功能。

函数调用功能可以增强模型推理效果或进行其他外部操作，包括信息检索、数据库操作、知识图谱搜索与推理、操作系统、触发外部操作等工具调用场景。注：市面上的大模型几乎都支持函数调用，不过其稳定性不是很好，有时候无法命中函数。OpenAI的函数调用在使用中会发现对中文的理解不够精准，DeepSeek对函数的支持也不够稳定。各大模型对英文的支持度都比较好，比中文的理解更精准。函数调用功能，测试下来发现智谱大模型最优秀，不管是中文还是英文都能命中函数。

AI人工智能软件DeepSeek近期真的很火，功能强大而且免费开源，任何个人和公司都可以安装使用，甚至是商用。它可以在你的个人电脑上安装部署，而且安装操作相当简单，可以说看完这篇后，人人都会安装。支持各种操作系统：Windows,MacOS,Linux。安装部署仅需3步：1、安装Ollama，2、在Ollama里安装运行DeepSeek-R1,3、安装ChatBox并且配置DeepSeek。废话不多说，详细步骤如下。

很多AI产品对外的接口都复用了OpenAI公司的接口WebAPI，DeepSeek、智谱等也是如此。因此，只要学会OpenAI的接口，其他AI产品也就学调用了。我们就从OpenAI的接口来作为切入点学习。对话接口也是聊天机器人， 在网页上与chatgpt类似的效果。OpenAI的接口是WebAPI形式的Rest API接口，并且还提供了各种常用语言的SDK，比如Python,Java,.Net,Javascript。这些SDK也同样完全适用于DeepSeek和智谱。本教程以Python作为开发语言。

我们针对system角色设置内容，也是一种提示词设置方法，只有不断地测试不同的方式，才能更大程度的挖掘大模型的能力。

ChatGPT，DeepSeek等众多知名的AI人工智能彻底改变了世界。那么这些人工智能到底是什么东西呢?它到底是软件，还是什么？其实很多人只知道它们很牛，功能非常强大，但是不知道它们到底是什么，包括很多程序员都很疑惑，它到底是不是软件系统？到底有没有用数据库，有没有提供API接口可以调用。今天我们就来解惑一下。

和都是基于架构的语言模型，但它们有不同的侧重点和应用。下面我们来探讨一下它们的区别与联系。

输入嵌入：输入的文本（如一句话）首先通过词嵌入层转换为向量，然后加上位置编码，以保留单词的顺序信息。解码器堆叠：GPT使用多个解码器层进行堆叠。每个解码器层都会处理前一层的输出，并在此基础上生成更高层次的表示。生成下一个词：解码器的输出通过softmax层转换为词汇表中每个词的概率分布，选择最大概率的词作为下一个生成的词。Transformer架构：核心结构，特别是解码器部分。自回归生成：基于前文生成下一个词，逐步生成文本。输入嵌入和位置编码：将词汇转化为向量，保留顺序信息。多层自注意力机制。

Transformer的作用可以总结为：它通过自注意力机制提升了对长程依赖的建模能力，并行化计算大大提高了训练速度，多头注意力增强了信息捕捉能力，而位置编码解决了序列中元素顺序的问题。这些特性让Transformer在自然语言处理、计算机视觉等领域产生了深远的影响，成为了目前许多前沿AI技术的核心架构。

他们3人对这篇文章的注意力都不一样，小A只关注“原理”，忽略其他非“原理”的，小B只关注“成语典故”，忽略其他信息。虽然他们设计出来就有天生的不可磨灭的偏重性，但是女生也有喜欢打游戏的呀，所以也可能会买电竞椅，因为女性和女性是不同的，这个不同就是Q。聚焦的过程体现在【权重系统】的计算上，权重越大越聚焦于其对应的Value值上，即权重代表了信息的重要性，而Value是其对应的信息。每个家具的设计理念不同，有些可能主打服务女性，比如化妆台，有些可能主打服务男性，比如电竞椅，这些主打的偏重性就是家具的K。

Seq2Seq架构的全名是“Sequence-to-Sequence”，简称S2S，意为将一个序列映射到另一个序列。q2Seq编码器-解码器架构，这也是Transformer的基础架构。Seq2Seq架构是一个用于处理输入序列和生成输出序列的神经网络模型，由一个编码器和一个解码器组成。从直观上理解，这种架构就是将输入序列转换成一个固定大小的向量表示，然后将该向量表示转换成输出序列。

神经概率语言模型NPLM也存在一些明显的不足之处:模型结构简单，窗口大小固定，缺乏长距离依赖捕捉，训练效率低，词汇表固定等。为了解决这些问题，研究人员提出了一些更先进的神经网络语言模型，如循环神经网络、长短期记忆网络、门控循环单元（GRU）和Transformer等。这些模型能够捕捉长距离依赖，处理变长序列，同时具有更强的表达能力和泛化能力。RNN 的主要特点是。与标准神经网络不同，RNN 在每一时刻的输出不仅依赖于当前的输入，还依赖于前一个时刻的隐藏状态（或称为记忆）。

是一种基于神经网络的语言建模方法，它将传统的语言模型和神经网络结合在一起，能够更好地捕捉语言中的复杂规律和上下文依赖。

词向量是用于表示单词意义的向量， 并且还可以被认为是单词的特征向量或表示。将单词映射到实向量的技术称为词嵌入。在实际应用中，词向量和词嵌入这两个重要的NLP术语通常可以互换使用。它们都表示将词汇表中的单词映射到固定大小的连续向量空间中的过程。这些向量可以捕捉词汇的语义信息。

词袋模型（Bag of Words，简称 BOW）是自然语言处理和信息检索等领域中一种简单而常用的文本表示方法，它将文本看作是一组单词的集合，并忽略文本中的语法、词序等信息，仅关注每个词的出现频率。词袋模型会将这两个句子表示成如下的向量。{"沐雪": 1, "喜欢": 1, "吃": 1, "葡萄": 1}{"葡萄": 1, "是": 1, "沐雪": 1, "喜欢": 1, "的": 1, "水果": 1}

N-Gram模型是一种基于统计的语言模型，用于预测文本中某个词语的出现概率。它通过分析一个词语序列中前面N-1个词的出现频率来预测下一个词的出现。具体来说，N-Gram模型通过将文本切分为长度为N的词序列来进行建模。: 仅依赖于当前词的概率。例如，给定一个句子“我 爱 自然语言”，它将被切分为“我”，“爱”，“自然语言”三个独立的词。: 使用前一个词来预测下一个词。例如，在句子“我 爱 自然语言”中，Bigram模型将考虑“我 → 爱”和“爱 → 自然语言”两个词对的概率。: 使用前两个词来预测下一个词。