开发大模型相关应用，其技术核心点虽然在大语言模型上，但一般通过调用 API 或开源模型来实现核心的理解与生成，通过 Prompt Enginnering 来实现大语言模型的控制，因此，虽然大模型是深度学习领域的集大成之作，大模型开发却更多是一个工程问题。在大模型开发中，我们一般不会去大幅度改动模型，而是将大模型作为一个调用工具，通过 Prompt Engineering、数据工程、业务逻辑分解等手段来充分发挥大模型能力，适配应用任务，而不会将精力聚焦在优化模型本身上。

相信大家在用NVIDIA-GPU训练网络模型的时候，都会习惯性的在终端nvidia-smi一下吧？最直接的目的是为了查看哪些卡正在使用，哪些卡处在空闲，然后挑选空闲的卡号进行网络训练。咱们作为一名资深的算法工程师，毕竟身兼多职：上要开发AI算法，下要管理服务器，左要带新人，右要PPT汇报上级。对于管理服务器：刚买的新服务器你得装系统吧？得装DriverCudaCudnn吧？

LangChain 官⽅⽂档有详细介绍如何调⽤本地模型。LangChain 调⽤本地模型。【大模型应用开发-实战】（十）Embedding模型部署-优快云博客。【大模型应用开发-实战】（十）Embedding模型部署-优快云博客。【大模型应用开发-实战】（十）Embedding模型部署-优快云博客。【大模型应用开发-实战】（十）Embedding模型部署-优快云博客。【大模型应用开发-实战】（十）Embedding模型部署-优快云博客。【大模型应用开发-实战】（十）Embedding模型部署-CS

众所周知，OpenAI并不“open”，特别是在GPT-4发布后，整个OpenAI团队对GPT-4的几乎所有信息都守口如瓶。因为没有高质量的token，这个数据集还包含了许多个epoch。Epoch数量：针对基于文本的数据进行2个epoch的训练，而针对基于代码的数据进行了4个epoch 的训练。在预训练阶段，GPT-4使用了8k 的上下文长度（seqlen），而32k的版本是基于预训练后的8K版本微调而来的。

【大模型应用开发-实战】（三）使用embedding在⾃⼰的电脑上运⾏⼤模型。【大模型应用开发-实战】（三）使用embedding在⾃⼰的电脑上运⾏⼤模型。【大模型应用开发-实战】（三）使用embedding在⾃⼰的电脑上运⾏⼤模型。【大模型应用开发-实战】（三）使用embedding在⾃⼰的电脑上运⾏⼤模型。【大模型应用开发-实战】（三）使用embedding在⾃⼰的电脑上运⾏⼤模型。【大模型应用开发-实战】（三）使用embedding在⾃⼰的电脑上运⾏⼤模型。

【大模型应用开发-实战】（三）使用embedding在⾃⼰的电脑上运⾏⼤模型。【大模型应用开发-实战】（三）使用embedding在⾃⼰的电脑上运⾏⼤模型。【大模型应用开发-实战】（三）使用embedding在⾃⼰的电脑上运⾏⼤模型。【大模型应用开发-实战】（三）使用embedding在⾃⼰的电脑上运⾏⼤模型。【大模型应用开发-实战】（三）使用embedding在⾃⼰的电脑上运⾏⼤模型。【大模型应用开发-实战】（三）使用embedding在⾃⼰的电脑上运⾏⼤模型。

【大模型应用开发-ES】（四）ElasticSearch安装ElasticSearch安装ElasticSearch安装【大模型应用开发-ES】（四）ElasticSearch安装ElasticSearch安装ElasticSearch安装【大模型应用开发-ES】（四）ElasticSearch安装ElasticSearch安装ElasticSearch安装。

【大模型应用开发-ES】（三）ElasticSearch功能详解与原理。【大模型应用开发-ES】（三）ElasticSearch功能详解与原理。【大模型应用开发-ES】（三）ElasticSearch功能详解与原理。【大模型应用开发-ES】（三）ElasticSearch功能详解与原理。

1、创建目录2、增加配置""""""3、设置权限4、拉取镜像5、启动服务。1、创建目录2、增加配置""""""3、设置权限4、拉取镜像5、启动服务。1、创建目录2、增加配置""""""3、设置权限4、拉取镜像5、启动服务。1、创建目录2、增加配置""""""3、设置权限4、拉取镜像5、启动服务。1、创建目录2、增加配置""""""3、设置权限4、拉取镜像5、启动服务。1、创建目录2、增加配置""""""3、设置权限4、拉取镜像5、启动服务。1、创建目录2、增加配置""""""3、设置权限4、拉取镜像5、启动

【大模型应用开发-ES】（一）ElasticSearch概述。【大模型应用开发-ES】（一）ElasticSearch概述。【大模型应用开发-ES】（一）ElasticSearch概述。【大模型应用开发-ES】（一）ElasticSearch概述。【大模型应用开发-ES】（一）ElasticSearch概述。【大模型应用开发-ES】（一）ElasticSearch概述。【大模型应用开发-ES】（一）ElasticSearch概述。【大模型应用开发-ES】（一）ElasticSearch概述。

本文将继续使用qwen:0.5作为实例，来演示通过web url访问大模型。1、Chat Web UI 安装。本文将继续使用qwen:0.5作为实例，来演示通过web url访问大模型。1、Chat Web UI 安装。本文将继续使用qwen:0.5作为实例，来演示通过web url访问大模型。1、Chat Web UI 安装。本文将继续使用qwen:0.5作为实例，来演示通过web url访问大模型。1、Chat Web UI 安装。本文将继续使用qwen:0.5作为实例，来演示通过web url访问大模

​FastAPI 使用标准的Pythonlogging 模块来进行日志记录。我们可以通过配置 logger 来指定日志的级别、格式以及输出位置。在默认情况下，FastAPI 的日志信息会输出到控制台。下面是一个简单的例子，演示如何在 FastAPI 中记录日志：​参考。​FastAPI 使用标准的Pythonlogging 模块来进行日志记录。我们可以通过配置 logger 来指定日志的级别、格式以及输出位置。在默认情况下，FastAPI 的日志信息会输出到控制台。下面是一个简单的例

易于使⽤：Ollama 提供了类似 OpenAI 的 API 接⼝和聊天界⾯，使得⽤户可以轻松地与模型进⾏交。类似 OpenAI 的 API 接⼝和聊天界⾯，可以⾮常⽅便地在本地部署各种开源的⼤模型并通过接⼝使⽤。降低成本：开发阶段，可以在本地环境中使⽤ Ollama ，减少调⽤⼤模型平台接⼝ token 的消耗。热加载模型⽂件：Ollama⽀持热加载模型⽂件，这意味着⽤户可以在不重启服务的情况下更换或更 新模型。定制化与可扩展性：⽤户可以根据⾃⼰的任务和需求，定制和创建⾃⼰的语⾔模型。

转换成向量也很简单，只需要我们把数据存储到对应的向量数据库中即可完成向量的转换。官方也提供了很多的向量数据库供我们使用。一个 Chain 就是一个任务，当然也可以像链条一样，一个一个的执行多个链。顾名思义，文本分割就是用来分割文本的。，让他进行总结，他肯定会报超过最大 Token 错。功能还是直接通过向量数据库直接查询，都需要将我们的加载进来的数据。上面只是简单的进行列举了几个，官方提供了超级的多的加载器供你使用。顾名思义，这个就是从指定源进行加载数据的。比如我们将一份300页的 pdf 发给。

众所周知 OpenAI 的 API 无法联网的，所以如果只使用自己的功能实现联网搜索并给出回答、总结 PDF 文档、基于某个 Youtube 视频进行问答等等的功能肯定是无法实现的。LangChain 是一个用于开发由语言模型驱动的应用程序的框架。拥有大量的文档加载器，比如 Email、Markdown、PDF、Youtube …Prompt管理，支持各种自定义模板。

【大模型应用开发-Pandas数据清洗】（四）Pandas Dataframe处理。【大模型应用开发-Pandas数据清洗】（四）Pandas Dataframe处理。【大模型应用开发-Pandas数据清洗】（四）Pandas Dataframe处理。【大模型应用开发-Pandas数据清洗】（四）Pandas Dataframe处理。【大模型应用开发-Pandas数据清洗】（四）Pandas Dataframe处理。【大模型应用开发-Pandas数据清洗】（四）Pandas Dataframe处理。

【大模型应用开发-Pandas数据清洗】（三）Pandas数据结构。【大模型应用开发-Pandas数据清洗】（三）Pandas数据结构。【大模型应用开发-Pandas数据清洗】（三）Pandas数据结构。【大模型应用开发-Pandas数据清洗】（三）Pandas数据结构。【大模型应用开发-Pandas数据清洗】（三）Pandas数据结构。【大模型应用开发-Pandas数据清洗】（三）Pandas数据结构。

Python 官方标准发行版并没有自带 Pandas 库，因此需要另行安装。除了标准发行版外，还有一些第三方机构发布的 Python 免费发行版， 它们在官方版本的基础上开发而来，并有针对性的提前安装了一些 Python 模块，从而满足某些特定领域的需求，比如专门适应于科学计算领域的 Anaconda，它就提前安装了多款适用于科学计算的软件包。对于第三方发行版而言，它们已经自带 Pandas 库，所以无须另行安装。

Pandas 是一个开源的第三方 Python 库，从 Numpy 和 Matplotlib 的基础上构建而来，享有数据分析“三剑客之一”的盛名（NumPy、Matplotlib、Pandas）。Pandas 已经成为 Python 数据分析的必备高级工具，它的目标是成为强大、灵活、可以支持任何编程语言的数据分析工具。

服务端推送在服务器推送技术中，服务器在消息可用后立即主动向客户端发送消息。其中，有两种类型的服务器推送：SSE和 WebSocket。SSE 是一种在基于浏览器的 Web 应用程序中仅从服务器向客户端发送文本消息的技术。SSE基于 HTTP 协议中的持久连接， 具有由 W3C 标准化的网络协议和 EventSource 客户端接口，作为 HTML5 标准套件的一部分。

随着Web应用程序的发展，用户身份验证和授权成为了一个至关重要的部分。使用JWT（JSON Web Token）令牌可以方便地实现身份验证和授权功能。FastAPI是一个基于Python的现代Web框架，它提供了简单易用的功能来处理身份验证和授权。本文将介绍如何在fastapi中使用jwt令牌进行身份验证和授权。随着Web应用程序的发展，用户身份验证和授权成为了一个至关重要的部分。使用JWT（JSON Web Token）令牌可以方便地实现身份验证和授权功能。FastAPI是一个基于Python的现代Web

【代码】【大模型应用开发-FastAPI框架】(九)Sqlalchemy+postgresql简单增删改查。【代码】【大模型应用开发-FastAPI框架】(九)Sqlalchemy+postgresql简单增删改查。【代码】【大模型应用开发-FastAPI框架】(九)Sqlalchemy+postgresql简单增删改查。【代码】【大模型应用开发-FastAPI框架】(九)Sqlalchemy+postgresql简单增删改查。【代码】【大模型应用开发-FastAPI框架】(九)Sqlalchemy+pos

语言，为高效和高性能的数据库访问设计，实现了完整的企业级持久模型”。SQLAlchemy的理念是，的量级和性能重要于对象集合；而对象集合的抽象又重要于表和行。因此，SQLAlchemy采用了类似于。社区中成为广泛使用的ORM工具之一，不亚于Django的ORM框架。和declarative等可选插件可以让用户使用声明语法。SQLAlchemy首次发行于2006年2月，并迅速地在。SQLAlchemy“采用简单的。二、安装postgresql。一、SQLAlchemy简介。的数据映射模型，而不是其他。

main.pydescription='API接口文档',app.include_router(index_api, tags=["首页"])app.include_router(user_api, tags=["用户接口"])app.include_router(news_api, tags=["新闻接口"])2、自定义接口分组信息入口文件定义好接口分组描述同时，每个入口文件中，也要跟和main中的tags保持一致效果展示。

本文目的是为创建三个不同模块：common、news、user然后在main.py中设置不同的入口，根据url在不同的路由文件夹中进行响应。本文目的是为创建三个不同模块：common、news、user然后在main.py中设置不同的入口，根据url在不同的路由文件夹中进行响应。

JSON (JavaScript Object Notation) 是一种轻量级的数据交换格式。对数据进行编码。对数据进行解码。JSON (JavaScript Object Notation) 是一种轻量级的数据交换格式。对数据进行编码。对数据进行解码。JSON (JavaScript Object Notation) 是一种轻量级的数据交换格式。对数据进行编码。对数据进行解码。JSON (JavaScript Object Notation) 是一种轻量级的数据交换格式。对数据进行编码。对数据进行解码。

Python requests 是一个常用的 HTTP 请求库，可以方便地向网站发送 HTTP 请求，并获取响应结果。requests 模块比urllib模块更简洁。Python requests 是一个常用的 HTTP 请求库，可以方便地向网站发送 HTTP 请求，并获取响应结果。requests 模块比urllib模块更简洁。Python requests 是一个常用的 HTTP 请求库，可以方便地向网站发送 HTTP 请求，并获取响应结果。requests 模块比urllib模块更简洁。

参考。-name : 自定义容器名称-e POSTGRES_PASSWORD： Postgresql数据库密码-e POSTGRES_USER： Postgresql数据库账号-e ALLOW_IP_RANGE=0.0.0.0/0，这个表示允许所有ip访问，如果不加，则非本机 ip 访问不了。-v : 本地文件系统目录：容器内目录-p： 映射端口,宿主机端口：容器端口-name : 自定义容器名称-e POSTGRES_PASSWORD： Postgresql数据库密码-e PO

PostgreSQL 是一个功能强大的开源数据库系统。经过长达15年以上的积极开发和不断改进，PostgreSQL已在可靠性、稳定性、数据一致性等获得了业内极高的声誉。目前PostgreSQL可以运行在所有主流操作系统上，包括Linux、Unix和Windows。PostgreSQL 是完全的事务安全性数据库，支持丰富的数据类型。

顾名思义，它只包含最基本的内容——python与conda，以及相关的必须依赖项，对于空间要求严格的用户，Miniconda是一种选择。则是一个打包的集合，里面预装好了conda、某个版本的python、众多packages、科学计算工具等等，就是把很多常用的不常用的库都给你装好了。）允许你定义和分享一个完整的conda环境，包括所有的包、版本和依赖关系。为了加速conda包的下载速度，你可以配置conda使用国内的镜像源。如图所示，找到适合你的Linux系统版本的Miniconda安装程序，

二、Python日期和时间Python 程序能用很多方式处理日期和时间，转换日期格式是一个常见的功能。Python 提供了一个 time 和 calendar 模块可以用于格式化日期和时间。时间间隔是以秒为单位的浮点小数。每个时间戳都以自从 1970 年 1 月 1 日午夜（历元）经过了多长时间来表示。Python 的 time 模块下有很多函数可以转换常见日期格式。如函数 time.time() 用于获取当前时间戳。

lambda 函数通常用于编写简单的、单行的函数，通常在需要函数作为参数传递的情况下使用，例如在 map()、filter()、reduce() 等函数中。4）lambda 函数通常与内置函数如 map()、filter() 和 reduce() 一起使用，以便在集合上执行操作。lambda 函数是一种小型、匿名的、内联函数，它可以具有任意数量的参数，但只能有一个表达式。Python 使用 lambda 来创建匿名函数。匿名函数不需要使用 def 关键字定义完整函数。

FastAPI是一个现代、快速（高性能）的Web框架，用于构建API。Poetry是一个Python的依赖管理和打包工具，可以帮助我们更有效地管理项目的依赖和环境。在本文中，我们将介绍如何使用Poetry来运行FastAPI应用程序。。FastAPI是一个现代、快速（高性能）的Web框架，用于构建API。Poetry是一个Python的依赖管理和打包工具，可以帮助我们更有效地管理项目的依赖和环境。在本文中，我们将介绍如何使用Poetry来运行FastAPI应用程序。FastAPI是一个现代、快速（高性能

迭代是 Python 最强大的功能之一，是访问集合元素的一种方式。迭代器是一个可以记住遍历的位置的对象。迭代器对象从集合的第一个元素开始访问，直到所有的元素被访问完结束。迭代器只能往前不会后退。和。字符串，列表或元组对象都可用于创建迭代器。

元组推导式和列表推导式的用法也完全相同，只是元组推导式是用 () 圆括号将各部分括起来，而列表推导式用的是中括号 []，另外元组推导式返回的结果是一个生成器对象。元组推导式可以利用 range 区间、元组、列表、字典和集合等数据类型，快速生成一个满足指定需求的元组。Python 推导式是一种独特的数据处理方式，可以从一个数据序列构建另一个新的数据序列的结构体。[表达式 for 变量 in 列表 if 条件][表达式 for 变量 in 列表]

字典的每个键值 key=>value 对用冒号 : 分割，每个对之间用逗号(dict 作为 Python 的关键字和内置函数，变量名不建议命名为。值可以取任何数据类型，但键必须是不可变的，如字符串，数字。字典是另一种可变容器模型，且可存储任意类型对象。键必须是唯一的，但值则不必。三、字典内置函数&方法。

可以使用大括号 { } 创建集合，元素之间用逗号 , 分隔， 或者也可以使用 set() 函数创建集合。创建一个空集合必须用 set() 而不是 { }，因为 { } 是用来创建一个空字典。此外还有一个方法也是移除集合中的元素，且如果元素不存在，不会发生错误。集合中的元素不会重复，并且可以进行交集、并集、差集等常见的集合操作。将元素 x 添加到集合 s 中，如果元素已存在，则不进行任何操作。将元素 x 从集合 s 中移除，如果元素不存在，则会发生错误。集合（set）是一个无序的不重复元素序列。

与字符串一样，元组之间可以使用 +、+=和 * 号进行运算。这就意味着他们可以组合和复制，运算后会生成一个新的元组。从以上实例可以看出，重新赋值的元组 tup，绑定到新的对象了，不是修改了原来的对象。Python 的元组与列表类似，不同之处在于元组的元素不能修改。元组创建很简单，只需要在括号中添加元素，并使用逗号隔开即可。所谓元组的不可变指的是元组所指向的内存中的内容不可变。元组使用小括号 ( )，列表使用方括号 [ ]。Python元组包含了以下内置函数。元组数据不能新增元素。

序列中的每个值都有对应的位置值，称之为索引，第一个索引是 0，第二个索引是 1，依此类推。列表是最常用的 Python 数据类型，它可以作为一个方括号内的逗号分隔值出现。索引也可以从尾部开始，最后一个元素的索引为 -1，往前一位为 -2，以此类推。此外，Python 已经内置确定序列的长度以及确定最大和最小的元素的方法。与字符串的索引一样，列表索引从 0 开始，第二个索引是 1，依此类推。Python 有 6 个序列的内置类型，但最常见的是列表和元组。列表都可以进行的操作包括索引，切片，加，乘，检查成员。

复数由实数部分和虚数部分构成，可以用a + bj,或者complex(a,b)表示， 复数的实部a和虚部b都是浮点型。随机数可以用于数学，游戏，安全等领域中，还经常被嵌入到算法中，用以提高算法效率，并提高程序的安全性。有时候，我们需要对数据内置的类型进行转换，数据类型的转换，你只需要将数据类型作为函数名即可。将 x 和 y 转换到一个复数，实数部分为 x，虚数部分为 y。数据类型是不允许改变的，这就意味着如果改变数字数据类型的值，将重新分配内存空间。将x转换到一个复数，实数部分为 x，虚数部分为 0。