一休哥的专栏

可以看见conda环境的名字都回来了，可以使用"conda activate <env_name>"跳转到anaconda的环境。左边这列的"base"，指向的路径和其它环境变量安装的路径不一致。1.命令 conda env list。

而 websocket 支持双工，适用于需要长连接的场景，也可应用于目前的流式 TTS 的方案，可以在一次连接中请求多次，相比 http 请求多次而言，可减少建立连接的次数。除此之外，流式 ASR 使用的是 websocket 协议，使用 webscoket 协议启动服务，可以同时启动包含流式 ASR 和流式 TTS 的服务。http 支持流式返回，可以满足目前的流式 TTS 的方案，即请求一次，返回流式数据，响应返回结束会自动断开连接。访问流式 TTS 服务流程图（左：访问 http 服务；

它的请求和响应格式与 OpenAI 的接口不同，更贴近 Ollama 的本地模型调用方式。它的设计目的是为了让开发者能够以 OpenAI 的 API 格式与 Ollama 的模型进行交互。：相比 OpenAI 的格式，Ollama 的原生接口更简洁，适合直接与 Ollama 服务交互。：请求体和响应体的结构是 Ollama 自定义的，与 OpenAI 的格式不兼容。：由于 OpenAI 兼容接口需要额外处理格式转换，可能会有轻微的性能开销。，它的设计更简洁且更适合本地部署的场景。字段传递多轮对话历史。

看到上述信息标识容器正常启动，在浏览器输入http:ip:port可以使用dify服务。执行up -d之后，在线下载镜像和启动容器。dify容器化部署参考官方文档，比较便捷。

Xorbits Inference（Xinference）是一个性能强大且功能全面的分布式推理框架。可用于大语言模型（LLM），语音识别模型，多模态模型等各种模型的推理。

访问，下载对应系统 Ollama 客户端。对于linux系统，

在前面的文章中，详细介绍了ollama的部署过程。可点击下面链接查看。

蒸馏技术是将教师模型（复杂模型）的知识迁移到学生模型（小型高效）模型的技术，目的是在保留模型性能的同事，降低模型的计算复杂度和存储需求。蒸馏技术的通过模仿教师模型的输出，训练较小的学生模型，实现知识传递。监视模型计算成本高但性能好，学生模型更轻量，速度快，占用内存少。教师模型利用复杂的网络结构和参数学习数据的复杂模式和特征，学生模型模仿教师模式模型的输出，学习数据特征。

markdown格式的数据可以存入大模型的知识库中，使用大模型进行excel表格内容的检索温度。3.查找标题部分，有些标题包含合并单元格，将其进行拆解；拆解后转为markdown格式；4.处理body部分，从标题往下，转markdown结构。2.有些表格开头是表格内容描述，将其查找出来；1.通过pandas读取excel文件；

1）读取输入的文本内容，对其进行tokenizer计算，产出计算特征；2）对语料进行shuffle3）计算label4）计算schema5）定义网络定义GlobalPointer，创建实体网络、关系头网络、关系尾网络；6）稀疏交叉熵计算损失值使用BertAdam进行优化。

模型是指人工智能预训练大模型，具有海量参数和复杂架构，用于深度学习任务的模型，拥有强大的处理能力和表征能力，以数据+算力为支撑，借助数据管理、模型训练、评估优化、服务平台、插件等辅助工具，开发基础大模型或行业大模型，再延伸至工业、金融、医疗、交通等下游场景应用。