freewebsys的专栏

默认上 xinf 也支持。但是运行报错。其实也可以按照官方文档的方式去研究部署。估计是代码中参数没有配置对：内存不够造成的了。

运行stable-diffusion-3-medium-comfyui镜像。通过浏览器访问: http://xxx.xx.xxx.xx:8188。已经有了最新的stable-diffusion-3镜像。镜像和模型都打包在里面了，直接开箱就用。还可以导入导出自己的配置。搜索各种提示词文案。用完记得关闭服务呢！

【OrangePi】（2）：香橙派OrangePi AIpro设备，安装xinference框架，运行qwen1.5大模型。默认的官方镜像已经配置好了ssh服务，可以直接远程登陆即可。直接使用root进行登陆就行。

安装依赖，启动web。

选择ubuntu 镜像和设置密码，可以设置随即。

专注于提供高性价比算力资源，海量GPU，一键部署，即算即用，让AI训练、深度学习、科研计算效率翻倍。需要选择 ubuntu 版本，可以支持最高 12.4 的cuda驱动。测试qwen 大模型速度。因为运行的方式不一样，不使用了需要删除应用。但是界面启动后需要等待下驱动安装。模型之能运行一个，重启再运行即可。下载速度还是非常快的。否则还是会产生费用。是独享的模型创建的。

【代码】【LocalAI】（12）：本地使用CPU运行LocalAI，一次运行5个能力，embedding模型，qwen-1.5-05b模型，生成图模型，语音转文字模型，文字转语音（只支持英文）

【代码】【LocalAI】（11）：本地使用CPU运行LocalAI，一次运行4个大模型，embedding模型，qwen-1.5-05b模型，生成图模型，语音转文字模型。

树莓派4，上面的ollama qwen 大模型测速，0.5b速度 9.6 words/s，1.8b速度 2.8 words/s。硬件还是不错的，也是arm的芯片。理论上可以支持 localai的代码运行。不知道 OrangePi AIpro(8T) 的性能咋样了。香橙派联合华为精心打造，建设人工智能新生态。ubuntu使用的是22.03 的镜像。

LocalAI的项目里面的embedding 是 bert embedding.不支持BGE 模型，有大神给改造支持了BGE的模型了。

【LocalAI】（9）：本地使用CPU运行LocalAI，一次运行4个大模型，embedding模型，qwen-1.5-05b模型，生成图模型，语音转文字模型。它允许您在本地使用消费级硬件运行 LLM（不仅如此），支持与 ggml 格式兼容的多个模型系列。支持CPU硬件/GPU硬件。LocalAI 是一个用于本地推理的，与 OpenAI API 规范兼容的 REST API。替换了镜像里面的aio 文件夹。把模型都使用国内镜像进行下载地址替换了。使用了modescope 下载地址。

【LocalAI】（6）：在autodl上使用4090部署LocalAIGPU版本，成功运行qwen-1.5-32b大模型，占用显存18G，速度 84t/s。它允许您在本地使用消费级硬件运行 LLM（不仅如此），支持与 ggml 格式兼容的多个模型系列。支持CPU硬件/GPU硬件。LocalAI 是一个用于本地推理的，与 OpenAI API 规范兼容的 REST API。24G的显存占用了 18G,同时速度还可以。配置成功之后就可以启动了。

cuda的硬件版本是 12.4 比如 4090D 的，可以使用local-ai-cuda12-Linux-x86_64 版本。其他的情况，比如 cuda 是12.2 或这 11.8 的情况。就只能使用local-ai-cuda11-Linux-x86_64 的版本了。

在linux上使用一个二进制文件，成功运行embeddings和qwen-1.5大模型，速度特别快，有gitee配置说明。它允许您在本地使用消费级硬件运行 LLM（不仅如此），支持与 ggml 格式兼容的多个模型系列。支持CPU硬件/GPU硬件。LocalAI 是一个用于本地推理的，与 OpenAI API 规范兼容的 REST API。本身localai的后端实现就是 llama.cpp ，所以也可以支持qwen大模型。modelscope.cn 进行下载，速度会更快。支持gguf的量化版本。

【LocalAI】（3）：超级简单！在linux上使用一个二进制文件，成功运行embeddings和qwen-1.5大模型，速度特别快，有gitee配置说明。它允许您在本地使用消费级硬件运行 LLM（不仅如此），支持与 ggml 格式兼容的多个模型系列。支持CPU硬件/GPU硬件。LocalAI 是一个用于本地推理的，与 OpenAI API 规范兼容的 REST API。

特别注意是 docker-compose-linux-armv7 版本，linux版本。安装docker 和 docker-compose 命令。

【代码】【ai技术】（3）：树莓派4，成功安装ollama软件，内存4G，推荐使用命令行界面安装，使用raspi-config配置wifi，运行速度飞快。

树莓派3，安装ollama本地运行ollama大模型，测试速度。

https://github.com/bbycroft/llm-viz或者镜像：https://gitcode.com/bbycroft/llm-viz.git项目 主要项目有：LLM 可视化：运行推理的 GPT 风格 LLM 网络的 3D 互动模型。 [WIP] CPU 模拟：一个带有完整执行模型的 2D 数字电路图编辑器，展示了一个简单的基于 RISC-V 的 CPU。LLM 可视化 这个项目显示了一个 GPT 风格网络的工作实现的三维模型。也就是说，这是 OpenAI 的 GPT-2、GPT-