freewebsys的专栏

默认上 xinf 也支持。但是运行报错。其实也可以按照官方文档的方式去研究部署。估计是代码中参数没有配置对：内存不够造成的了。

速度不算太快，也需要快6分钟了。比4090D要快一点点。

开源的模型发展的速度还是挺快的。还是可以做制作一些有意思的视频的。

Compshare GPU算力平台隶属于UCloud，专注于提供高性价4090算力资源，配备独立IP，支持按时、按天、按月灵活计费，支持github、huggingface访问加速。【xinference】（14）：在compshare上，使用nvidia-docker方式，成功启动推理框架xinference，并运行大模型，非常简单方便。然后就可以通过界面启动模型了，支持大语言模型，embedding模型，rerank等。UCloud(优刻得)是中国知名的中立云计算服务商，科创板上市，中国云计算第一股。

SD3 Medium 可以根据用户输入的文本描述，重点克服了文生图模型中手部和脸部的挑战，生成足以乱真的的图像。SD3 Medium 还利用其底层的 Diffusion Transformer 架构，高精度地整合了文字元素。根据介绍，Stable Diffusion 3 Medium 模型规格参数达到了 20 亿，可以给用户带来更真实的图片体验。目前用户可以从 Hugging Face 上下载该模型。Stable Diffusion 3 Medium 正式开源。

可用于大语言模型（LLM），语音识别模型，多模态模型等各种模型的推理。无论你是研究者，开发者，或是数据科学家，都可以通过 Xorbits Inference 与最前沿的 AI 模型，发掘更多可能。进行推理，降低延迟，提高吞吐！🌟 模型推理，轻而易举：大语言模型，语音识别模型，多模态模型的部署流程被大大简化。支持分布式部署，通过内置的资源调度器，让不同大小的模型按需调度到不同机器，充分使用集群资源。前沿模型，应有尽有：框架内置众多中英文的前沿大语言模型，包括 baichuan，chatglm2。

GLM-4-9B 是智谱 AI 推出的最新一代预训练模型 GLM-4 系列中的开源版本。在语义、数学、推理、代码和知识等多方面的数据集测评中，GLM-4-9B 及其人类偏好对齐的版本 GLM-4-9B-Chat 均表现出较高的性能。本代模型增加了多语言支持，支持包括日语，韩语，德语在内的 26 种语言。【xinference】（11）：在compshare上使用4090D运行xinf和chatgpt-web，部署大模型glm4-9B-chat大模型，显存18G。是python3.12 版本造成的。

库少了几个，可以向 compshare 反馈下。可以选择中文，进行参数修改。安装完成缺少的 包之后，就可以启动成功了。

新的镜像不错，简化了部署使用，更加的方便了。可以很快的搭建SD和大模型的平台了。

【xinference】（10）：在autodl上运行xinf和chatgpt-web配置联动，xinf运行qwen-1.5大模型做api后端。前端使用chatgpt-web，后端使用xinference 项目做api。第二个是 service ，里面有nodejs的服务接口。配置好环境变量就可以使用 npm 安装了。第一个是web 在当前目录。然后就可以启动成功了。

在modelscope上可以使用免费的CPU和限时的GPU啦，成功安装xinference框架，并部署qwen-1.5大模型，速度7 tokens/s空闲的时候，会被删除掉。数据不会被保存！单次最长10个小时使用！！

专注于提供高性价比算力资源，海量GPU，一键部署，即算即用，让AI训练、深度学习、科研计算效率翻倍。需要选择 ubuntu 版本，可以支持最高 12.4 的cuda驱动。测试qwen 大模型速度。因为运行的方式不一样，不使用了需要删除应用。但是界面启动后需要等待下驱动安装。模型之能运行一个，重启再运行即可。下载速度还是非常快的。否则还是会产生费用。是独享的模型创建的。

【代码】【LocalAI】（12）：本地使用CPU运行LocalAI，一次运行5个能力，embedding模型，qwen-1.5-05b模型，生成图模型，语音转文字模型，文字转语音（只支持英文）

【代码】【LocalAI】（11）：本地使用CPU运行LocalAI，一次运行4个大模型，embedding模型，qwen-1.5-05b模型，生成图模型，语音转文字模型。

树莓派4，上面的ollama qwen 大模型测速，0.5b速度 9.6 words/s，1.8b速度 2.8 words/s。硬件还是不错的，也是arm的芯片。理论上可以支持 localai的代码运行。不知道 OrangePi AIpro(8T) 的性能咋样了。香橙派联合华为精心打造，建设人工智能新生态。ubuntu使用的是22.03 的镜像。

LocalAI的项目里面的embedding 是 bert embedding.不支持BGE 模型，有大神给改造支持了BGE的模型了。

【LocalAI】（9）：本地使用CPU运行LocalAI，一次运行4个大模型，embedding模型，qwen-1.5-05b模型，生成图模型，语音转文字模型。它允许您在本地使用消费级硬件运行 LLM（不仅如此），支持与 ggml 格式兼容的多个模型系列。支持CPU硬件/GPU硬件。LocalAI 是一个用于本地推理的，与 OpenAI API 规范兼容的 REST API。替换了镜像里面的aio 文件夹。把模型都使用国内镜像进行下载地址替换了。使用了modescope 下载地址。

【LocalAI】（6）：在autodl上使用4090部署LocalAIGPU版本，成功运行qwen-1.5-32b大模型，占用显存18G，速度 84t/s。它允许您在本地使用消费级硬件运行 LLM（不仅如此），支持与 ggml 格式兼容的多个模型系列。支持CPU硬件/GPU硬件。LocalAI 是一个用于本地推理的，与 OpenAI API 规范兼容的 REST API。24G的显存占用了 18G,同时速度还可以。配置成功之后就可以启动了。

cuda的硬件版本是 12.4 比如 4090D 的，可以使用local-ai-cuda12-Linux-x86_64 版本。其他的情况，比如 cuda 是12.2 或这 11.8 的情况。就只能使用local-ai-cuda11-Linux-x86_64 的版本了。

在linux上使用一个二进制文件，成功运行embeddings和qwen-1.5大模型，速度特别快，有gitee配置说明。它允许您在本地使用消费级硬件运行 LLM（不仅如此），支持与 ggml 格式兼容的多个模型系列。支持CPU硬件/GPU硬件。LocalAI 是一个用于本地推理的，与 OpenAI API 规范兼容的 REST API。本身localai的后端实现就是 llama.cpp ，所以也可以支持qwen大模型。modelscope.cn 进行下载，速度会更快。支持gguf的量化版本。

【LocalAI】（3）：超级简单！在linux上使用一个二进制文件，成功运行embeddings和qwen-1.5大模型，速度特别快，有gitee配置说明。它允许您在本地使用消费级硬件运行 LLM（不仅如此），支持与 ggml 格式兼容的多个模型系列。支持CPU硬件/GPU硬件。LocalAI 是一个用于本地推理的，与 OpenAI API 规范兼容的 REST API。

可用于大语言模型（LLM），语音识别模型，多模态模型等各种模型的推理。通过 Xorbits Inference，你可以轻松地一键部署你自己的模型或内置的前沿开源模型。无论你是研究者，开发者，或是数据科学家，都可以通过 Xorbits Inference 与最前沿的 AI 模型，发掘更多可能。借助 Xinference，您可以使用任何开源 LLM、嵌入模型和多模态模型在云端或本地环境中运行推理，并创建强大的 AI 应用。然后就可以查看全部支持的模型进行启动。启动Xinference服务。

Xorbits Inference (Xinference) 是一个开源平台，用于简化各种 AI 模型的运行和集成。借助 Xinference，您可以使用任何开源 LLM、嵌入模型和多模态模型在云端或本地环境中运行推理，并创建强大的 AI 应用。【xinference】（7）：在autodl上，使用xinference一次部署embedding，rerank，qwen多个大模型，兼容openai的接口协。在autodl上下载项目主要是安装。启动访问之后可以进行安装各种软件了。启动Xinference服务。

特别注意是 docker-compose-linux-armv7 版本，linux版本。安装docker 和 docker-compose 命令。

【代码】【ai技术】（3）：使用脚本对树莓派4，上面的ollama qwen 大模型测速，0.5b速度 9.6 words/s，1.8b速度 2.8 words/s，也是非常不错了。

树莓派3，安装ollama本地运行ollama大模型，测试速度。

https://github.com/bbycroft/llm-viz或者镜像：https://gitcode.com/bbycroft/llm-viz.git项目 主要项目有：LLM 可视化：运行推理的 GPT 风格 LLM 网络的 3D 互动模型。 [WIP] CPU 模拟：一个带有完整执行模型的 2D 数字电路图编辑器，展示了一个简单的基于 RISC-V 的 CPU。LLM 可视化 这个项目显示了一个 GPT 风格网络的工作实现的三维模型。也就是说，这是 OpenAI 的 GPT-2、GPT-

特别注意是 docker-compose-linux-armv7 版本，linux版本。然后安装docker 执行脚本即可。

【代码】【无标题】在jetson上安装 ollama。

Ollama 是一个强大的框架，设计用于在 Docker 容器中部署 LLM。Ollama 的主要功能是在 Docker 容器内部署和管理 LLM 的促进者，它使该过程变得非常简单。它帮助用户快速在本地运行大模型，通过简单的安装指令，可以让用户执行一条命令就在本地运行开源大型语言模型，例如 Llama 2。使用ollama + chatgpt-web 实现本地大模型执行。然后访问：http://localhost:3002/ 即可。CPU 推荐使用 7b及以下版本。

Ollama 是一个强大的框架，设计用于在 Docker 容器中部署 LLM。Ollama 的主要功能是在 Docker 容器内部署和管理 LLM 的促进者，它使该过程变得非常简单。它帮助用户快速在本地运行大模型，通过简单的安装指令，可以让用户执行一条命令就在本地运行开源大型语言模型，例如 Llama 2。【ollama】（5）：在本地使用docker-compose启动ollama镜像，并下载qwen-0.5b模型，速度飞快。

Ollama 是一个强大的框架，设计用于在 Docker 容器中部署 LLM。Ollama 的主要功能是在 Docker 容器内部署和管理 LLM 的促进者，它使该过程变得非常简单。它帮助用户快速在本地运行大模型，通过简单的安装指令，可以让用户执行一条命令就在本地运行开源大型语言模型，例如 Llama 2。速度哦还是挺快的，经过一段时间的等待就可以服务启动成功了。

然后因为是docker 虚拟环境，需要手动启动服务： ollama serve。项目使用golang+llama.cpp 项目进行开发的。有切换的时间，模型会重新载入到显存。简化了模型的安装，非常的方便。可以发现 支持中文效果也不错。然后启动 gemma:7b。

然后经过漫长的编译，就而可以生成了在 build 文件夹。里面有相关的liib库了。框架本质上还是使用了 llama.cpp 项目的。需要编译 llama.cpp 的代码，

🚀 纯c++实现，便于跨平台移植，可以在安卓上直接编译🚀 ARM平台支持NEON指令集加速，X86平台支持AVX指令集加速，NVIDIA平台支持CUDA加速，各个平台速度都很快就是了🚀 支持浮点模型（FP32), 半精度模型(FP16), 量化模型(INT8, INT4) 加速🚀 支持多卡部署，支持GPU + CPU混合部署🚀 支持Batch速度优化🚀 支持并发计算时动态拼Batch🚀 支持流式输出，很方便实现打字机效果🚀 支持python调用。

使用 candle还是非常方便的，使用另外一种方案运行大模型。使用 cpu 速度就慢多了。

步骤三：设置 crates.io 镜像， 修改配置 ~/.cargo/config，已支持git协议和sparse协议，>=1.68 版本建议使用 sparse-index，速度更快。需要返回标准的 openai api 接口了。整合 tauri 代码和 actix。实现了 server::init。配置rust环境方法。

golang 的代码可以执行 f32 的模型，但是不能执行 f16 和 int4 的模型。这部分工作并没有开发完成。因为模型 有 26G 所以使用 CPU 执行速度并不快，有 0.37 tokens/s。项目目前看已经 10 个月没有更新了。从代码量看，确实都不算太多。可以研究研究里面的算法。

然后在autodl上申请服务器，选择 30G内存的服务器：# 克隆项目： git clone https://github.com/gotzmann/llama.go.git # 然后进入 cd llama.go/ # 执行 make # 然后在 builds 目录里面就有了三个文件： ls builds确实是能运行，目前看不支持最新的 GGUF 文件格式。同时是非量化版本 f32 的，造成模型比较慢。而且这个是 llama的第一代的产品。要是有二代的模型且 int4 版本的就好了。

【chatglm3】（1）：docker本地部署，支持工具调用（Function Call）、代码执行（Code Interpreter）和 Agent 任务。【xinference】（1）：在autodl上，使用xinference部署chatglm3大模型，支持函数调用，使用openai接口调用成功！