xinvictory的专栏

在公安网的国产GPU上部署开源大模型

根据上面的表格，第二次训练结果比较合适。损失率比较低且模型没有过早收敛。批处理大小：2（批处理约大约占内存，容易导致显存不够，不要超过4）2张A6000GPU。

代理服务器：http://10.*.*.*:8118解决上互联网。再执行 python src/webui.py就没有问题。

大模型的transformers版本太低导致，通过config.json文件发现，transformers是4.40.2版本，升级到4.44.0就可以。你会发现modeling_chatglm.py的内容有变化，新版本没有standardize_cache_format参数。通过LLaMAFactory进行Evaluate& Predict时，报错。下载最新的配置文件就可，包括如下7个文件。大模型：GLM-4-9B-chat。

国产GPU: DCU Z100推理框架： vllm0.5.0docker容器化部署运行如下代码：报：1.重新拉取docker容器2.运行容器3.进入容器 4.运行5.调用

Spacy是一个用于执行自然语言处理（NLP）各种任务的库。它具有文本拆分器功能，能够在进行文本分割的同时，保留分割结果的上下文信息。

AnimateDiff插件以“效果丝滑、稳定、无闪烁”等特性，成为目前Stable diffusion中效果最好的生成动画视频插件之一。AnimateDiff，它的全称是Animate Your Personalized Text-to-Image Diffusion Models without Specific Tuning。目前主要有3个不同的版本，Stable Diffusion WebUI版本，ComfyUI版本和一个纯代码版本。

遇到“Couldn't load custom C++ ops”这样的错误，通常意味着 PyTorch 和 torchvision 之间的版本不兼容。

此外，通过对扩散模型的逐步蒸馏，CogView3 能够在推理时间仅为 SDXL 1/10 的情况下，生成可比的结果。由于我们在`CogVideoX`中上传过 `safetensors` 格式的T5模型，一个简单的办法是从`CogVideX-2B`模型中克隆模型，然后将其拷贝到对应的文件夹中。克隆 T5 模型，该模型不用做训练和微调，但是必须使用。# # 这个部分是给 CogView-3-Relay 模型使用的，需要将该参数设置为推理模型的输入文件夹，提示词建议与 base 模型生成图片时的提示词的一致。

CogVideoX是智谱AI开源的一款视频生成模型，其核心在于3D变分自编码器和3D旋转位置编码（3D RoPE）技术。这些技术使得CogVideoX能够在保持视频帧间连贯性的同时，极大地降低计算资源需求，并生成流畅、连贯的视频序列。此外，CogVideoX还具备强大的文本理解能力，能够处理超长且复杂的文本提示，生成与用户输入高度相关的视频内容.

使用docker-compose安装完成milvus后自动启动了，可以使用命令docker ps或者docker-compose ps命令查看容器运行状态。使用浏览器访问连接地址http://ip:9091/api/v1/health，返回{“status”:“ok”}说明milvus数据库服务器运行正常。在下载存储docker-compose.yml文件的目录下执行docker-compose up -d 命令开始安装milvus容器。注：因为提前加载了3个镜像文件，因此不会再下载，实现离线安装目的。

1.从Stable-diffusion-webui 的汉化扩展下载汉化语言包.2.进入下载好的文件夹,把"localizations"文件夹内的"chinese-and-english-0313.json"和"chinese-only-0313.json"复制到"stable-diffusion-webui\localizations"目录下.3点击"Settings"，左侧点击"User interface"界面。4.在右边界面最上方的"Localization (req

致命错误：无法访问 'https://github.com/AUTOMATIC1111/stable-diffusion-webui-assets.git/'：Error in the HTTP2 framing layer。正克隆到 '/home/third_party_app/llm/stable-diffusion-webui/repositories/stable-diffusion-webui-assets'...

注：编译源代码工程，会要求gcc的更高版本，而CentOS 7默认的软件源中没有提供这么新的版本，你可以通过以下方法来安装更新的GCC版本。c++: 错误：unrecognized command line option ‘-std=c++17’。注：发现没有SCL仓库。