一休哥的专栏

本文介绍了如何通过Docker部署和运行vLLM（vLLM-OpenAI）镜像，以及如何通过pip安装vLLM并启动服务。首先，从Docker Hub拉取vLLM镜像，并使用特定命令启动容器，确保容器可以访问主机的共享内存。接着，通过pip安装vLLM，并确保CUDA版本为12.4。最后，启动vLLM服务并调用接口进行模型推理，示例中使用了“RolmOCR”模型，并通过OpenAI客户端进行交互，展示了如何发送请求并获取模型生成的文本内容。

损失函数，衡量模型预测结果与真实标签之间差异，反向传播是基于链式法则的梯度计算算法，用于计算损失函数对网络中每个参数的偏导数，指导参数的优化更新，使损失函数逐步最小化。Attention机制的本质是对source中元素的valye进行加权求和，query和key用来计算对应value的权重系数。两个向量的方法越接近，余弦夹角趋向于0，点积越大，当两个向量垂直时，点积为0的，当两个项链方向相反时，点积为负数。文本输入-》词嵌入E；在语义空间中，两个词的向量约接近，这两个词就越相似。两个向量相乘，计算点积。

LoRA（Low-Rank Adaptation）是一种通过在原始模型上添加少量可训练参数来适应特定任务的技术，避免了重新训练整个大型模型，从而减少计算和存储需求。LoRA的核心在于低秩分解，将权重更新矩阵分解为两个低秩矩阵的乘积，其中lora_rank决定了低秩矩阵的秩，影响可训练参数的数量和模型表达能力。较低的lora_rank减少参数但可能限制任务适应。

文章介绍了在qwen3发布后，旧版ollama不再支持，需要升级的两种方法。第一种方法是通过下载新镜像并启动新容器，同时使用旧的模型文件进行映射。具体步骤包括停止并移除当前容器，然后使用docker run命令启动新容器，并指定GPU、数据卷和端口等参数。第二种方法是替换ollama的二进制文件，从新部署的容器中获取二进制文件，并拷贝到目标容器中，最后重启容器完成更新。这两种方法均能有效实现ollama的升级。

可以看见conda环境的名字都回来了，可以使用"conda activate <env_name>"跳转到anaconda的环境。左边这列的"base"，指向的路径和其它环境变量安装的路径不一致。1.命令 conda env list。

而 websocket 支持双工，适用于需要长连接的场景，也可应用于目前的流式 TTS 的方案，可以在一次连接中请求多次，相比 http 请求多次而言，可减少建立连接的次数。除此之外，流式 ASR 使用的是 websocket 协议，使用 webscoket 协议启动服务，可以同时启动包含流式 ASR 和流式 TTS 的服务。http 支持流式返回，可以满足目前的流式 TTS 的方案，即请求一次，返回流式数据，响应返回结束会自动断开连接。访问流式 TTS 服务流程图（左：访问 http 服务；

它的请求和响应格式与 OpenAI 的接口不同，更贴近 Ollama 的本地模型调用方式。它的设计目的是为了让开发者能够以 OpenAI 的 API 格式与 Ollama 的模型进行交互。：相比 OpenAI 的格式，Ollama 的原生接口更简洁，适合直接与 Ollama 服务交互。：请求体和响应体的结构是 Ollama 自定义的，与 OpenAI 的格式不兼容。：由于 OpenAI 兼容接口需要额外处理格式转换，可能会有轻微的性能开销。，它的设计更简洁且更适合本地部署的场景。字段传递多轮对话历史。

看到上述信息标识容器正常启动，在浏览器输入http:ip:port可以使用dify服务。执行up -d之后，在线下载镜像和启动容器。dify容器化部署参考官方文档，比较便捷。

Xorbits Inference（Xinference）是一个性能强大且功能全面的分布式推理框架。可用于大语言模型（LLM），语音识别模型，多模态模型等各种模型的推理。

访问，下载对应系统 Ollama 客户端。对于linux系统，

在前面的文章中，详细介绍了ollama的部署过程。可点击下面链接查看。

蒸馏技术是将教师模型（复杂模型）的知识迁移到学生模型（小型高效）模型的技术，目的是在保留模型性能的同事，降低模型的计算复杂度和存储需求。蒸馏技术的通过模仿教师模型的输出，训练较小的学生模型，实现知识传递。监视模型计算成本高但性能好，学生模型更轻量，速度快，占用内存少。教师模型利用复杂的网络结构和参数学习数据的复杂模式和特征，学生模型模仿教师模式模型的输出，学习数据特征。

markdown格式的数据可以存入大模型的知识库中，使用大模型进行excel表格内容的检索温度。3.查找标题部分，有些标题包含合并单元格，将其进行拆解；拆解后转为markdown格式；4.处理body部分，从标题往下，转markdown结构。2.有些表格开头是表格内容描述，将其查找出来；1.通过pandas读取excel文件；

1）读取输入的文本内容，对其进行tokenizer计算，产出计算特征；2）对语料进行shuffle3）计算label4）计算schema5）定义网络定义GlobalPointer，创建实体网络、关系头网络、关系尾网络；6）稀疏交叉熵计算损失值使用BertAdam进行优化。

模型是指人工智能预训练大模型，具有海量参数和复杂架构，用于深度学习任务的模型，拥有强大的处理能力和表征能力，以数据+算力为支撑，借助数据管理、模型训练、评估优化、服务平台、插件等辅助工具，开发基础大模型或行业大模型，再延伸至工业、金融、医疗、交通等下游场景应用。