- 博客(27)
- 资源 (29)
- 收藏
- 关注
RSS订阅原创 通过LLaMA-Factory-0.9.1对231文章进行训练，观察训练损失率与收敛性的关系
根据上面的表格，第二次训练结果比较合适。损失率比较低且模型没有过早收敛。批处理大小：2（批处理约大约占内存，容易导致显存不够，不要超过4）2张A6000GPU。
2024-12-19 13:53:00
522
原创 将vllm0.6.4发布多个lora模型的命令封装成shell脚本
为了简化Lora模型的发布流程并提高操作的便捷性与可记录性，我决定将所有相关的命令封装进一个Shell脚本（.sh文件）中。这样一来，每次需要发布Lora模型时，只需执行这个Shell脚本即可，大大减少了手动输入命令的工作量，并确保了每一步骤的一致性和准确性。
2024-12-19 12:16:47
436
原创 vllm0.5.0增加/api/paas/v4/chat/completions接口，供langchain4j-zhipu-ai工程调用
路径：minconda3/envs/python31013new/lib/python3.10/site-packages/vllm/entrypoints/openai。vllm发布的rest api接口中，包含/api/paas/v4/chat/completions接口。两张A6000GPU卡。
2024-12-18 17:26:44
620
原创 将vllm0.5.0发布多个lora模型的命令封装到Python代码中
路径：minconda3/envs/python31013new/lib/python3.10/site-packages/vllm/entrypoints/openai/cli_args.py。2张A6000的GPU。
2024-12-18 16:28:53
493
原创 vllm0.5.0发布lora模型，报ValueError: max_num_batched_tokens must be ＜= 65528 when LoRA is enabled.
默认是0.9.占用显存的比例，请根据你的显卡显存大小设置合适的值，例如，如果你的显卡有80G，您只想使用24G，请按照24/80=0.3设置。# 默认是0.9.占用显存的比例，请根据你的显卡显存大小设置合适的值，例如，如果你的显卡有80G，您只想使用24G，请按照24/80=0.3设置。"--block-size", "32" , # 增加此参数并设置合适的批量大小。"--block-size", "32" , # 增加此参数并设置合适的批量大小。# 的连续块的令牌块大小“令牌。
2024-12-18 16:16:22
1021
原创 LLaMA-Factory-0.9.1执行python src/webui.py会报错且会自动退出
代理服务器：http://10.*.*.*:8118解决上互联网。再执行 python src/webui.py就没有问题。
2024-12-18 15:21:58
1075
原创 LLaMAFactory0.9.1评估预测报TypeError: GenerationMixin._extract_past_from_model_output() got an unexpected
大模型的transformers版本太低导致，通过config.json文件发现，transformers是4.40.2版本，升级到4.44.0就可以。你会发现modeling_chatglm.py的内容有变化，新版本没有standardize_cache_format参数。通过LLaMAFactory进行Evaluate& Predict时，报错。下载最新的配置文件就可，包括如下7个文件。大模型：GLM-4-9B-chat。
2024-12-18 14:17:07
996
原创 vllm0.5.0升级到vllm0.6.4报错
考虑vllm0.6.4，在性能提升、模型支持和多模态处理等方面都取得了重要的进展。在性能方面，新版本引入了多步调度 (Multistep scheduling) 和异步输出处理 (Asynchronous output processing)，优化了 GPU 的利用率并提高了处理效率，从而提高了整体的吞吐量。
2024-12-09 19:52:53
1171
原创 vllm0.5.0的api_server参数说明
API 中使用的模型名称。--max-context-len-to-capture (已废弃): 替换为 --max-seq-len-to-capture，表示由 CUDA 图覆盖的最大上下文长度或序列长度。--ngram-prompt-lookup-max, --ngram-prompt-lookup-min: 在推测解码中 ngram 提示查找窗口的最大和最小尺寸。--worker-use-ray: 已废弃，建议使用 --distributed-executor-backend=ray。
2024-12-08 15:44:00
2186
原创 vllm0.5.0的v1/completions各参数说明
model指定使用的语言模型名称或标识符。prompt提供给模型的输入文本，是字符串或字符串数组。stream: 是否流式返回生成的结果。: 流式响应的额外选项。: 控制输出随机性的参数，值越低，输出越确定。top_p: 核采样，只从累积概率达到此值的最小集合中选择下一个词。: 是否使用束搜索算法进行解码。top_k: 只考虑最高概率的k个词汇。user: 用户ID或其他标识符，可用于跟踪或限制API使用。best_of: 从多个候选输出中选择最佳的一个。
2024-12-08 15:23:03
2803
原创 国产GPU中，VLLM0.5.0发布Qwen2.5-14B-Instruct-GPTQ-Int8模型，请求返回结果乱码
国产GPU: DCU Z100推理框架： vllm0.5.0docker容器化部署运行如下代码：报：1.重新拉取docker容器2.运行容器3.进入容器 4.运行5.调用
2024-12-07 12:20:05
1528
原创 1.文本方块方法（Spacy Text Splitter 方法）Can‘t find model ‘zh_core_web_sm‘
Spacy是一个用于执行自然语言处理（NLP）各种任务的库。它具有文本拆分器功能，能够在进行文本分割的同时，保留分割结果的上下文信息。
2024-12-07 11:25:19
574
原创 4.stable-diffusion-webui1.10.0--图像修复（adetailer）插件
ADetailer是Stable Diffusion WebUI的一个插件，它通过深度学习模型智能检测图像中的人脸、手部及身体等关键部位，并自动进行重绘修复，使得生成的图像更加自然、符合预期。ADetailer插件主要应用于图像的细节增强、降噪和修复，特别适用于面部瑕疵如痘痘、皱纹、色斑等的修复。它提供了高效的处理速度和精细的调整能力，因此在人脸修复方面受到用户的青睐。智能检测：ADetailer能够智能识别图像中的人脸、手部等关键部位，无需手动绘制蒙版。
2024-10-11 22:50:52
1375
原创 4.stable-diffusion-webui1.10.0安装动画视频（AnimateDiff）插件
AnimateDiff插件以“效果丝滑、稳定、无闪烁”等特性，成为目前Stable diffusion中效果最好的生成动画视频插件之一。AnimateDiff，它的全称是Animate Your Personalized Text-to-Image Diffusion Models without Specific Tuning。目前主要有3个不同的版本，Stable Diffusion WebUI版本，ComfyUI版本和一个纯代码版本。
2024-10-10 18:48:51
2194
原创 3.stable-diffusion1.10.0精准控制图-ControlNet插件的安装
注：从网址安装可以保证插件的更新能在 WebUI 中自动显示，如果是下载压缩包文件放进根目录，就无法自动更新。下面执行网址安装。
2024-10-10 11:16:18
867
原创 调用sdapi/v1/txt2img接口，报错“Couldn‘t load custom C++ ops”
遇到“Couldn't load custom C++ ops”这样的错误，通常意味着 PyTorch 和 torchvision 之间的版本不兼容。
2024-10-09 14:57:35
558
原创 部署cogview图片生成模型
此外，通过对扩散模型的逐步蒸馏，CogView3 能够在推理时间仅为 SDXL 1/10 的情况下，生成可比的结果。由于我们在`CogVideoX`中上传过 `safetensors` 格式的T5模型，一个简单的办法是从`CogVideX-2B`模型中克隆模型，然后将其拷贝到对应的文件夹中。克隆 T5 模型，该模型不用做训练和微调，但是必须使用。# # 这个部分是给 CogView-3-Relay 模型使用的，需要将该参数设置为推理模型的输入文件夹，提示词建议与 base 模型生成图片时的提示词的一致。
2024-10-08 15:28:08
1496
原创 部署cogvideox视频生成模型
CogVideoX是智谱AI开源的一款视频生成模型，其核心在于3D变分自编码器和3D旋转位置编码（3D RoPE）技术。这些技术使得CogVideoX能够在保持视频帧间连贯性的同时，极大地降低计算资源需求，并生成流畅、连贯的视频序列。此外，CogVideoX还具备强大的文本理解能力，能够处理超长且复杂的文本提示，生成与用户输入高度相关的视频内容.
2024-10-08 12:07:08
1610
原创 Centos7.9上离线安装milvus2.2.9
使用docker-compose安装完成milvus后自动启动了，可以使用命令docker ps或者docker-compose ps命令查看容器运行状态。使用浏览器访问连接地址http://ip:9091/api/v1/health，返回{“status”:“ok”}说明milvus数据库服务器运行正常。在下载存储docker-compose.yml文件的目录下执行docker-compose up -d 命令开始安装milvus容器。注：因为提前加载了3个镜像文件，因此不会再下载，实现离线安装目的。
2024-10-06 16:59:00
1076
原创 离线汉化stable-diffusion-webui界面
1.从Stable-diffusion-webui 的汉化扩展下载汉化语言包.2.进入下载好的文件夹,把"localizations"文件夹内的"chinese-and-english-0313.json"和"chinese-only-0313.json"复制到"stable-diffusion-webui\localizations"目录下.3点击"Settings"，左侧点击"User interface"界面。4.在右边界面最上方的"Localization (req
2024-10-06 09:50:27
534
原创 OSError: Can‘t load tokenizer for ‘openai/clip-vit-large-patch14‘
运行：python launch.py --use-cpu all --skip-torch-cuda-test --theme dark --precision full --no-half --listen --server-name 0.0.0.0。1.进入解压后的 stable-diffusion-webui目录，创建目录 openai。环境：centos7.9 、stable-diffusion-webui。3.在stable-diffusion-webui根目录下执行如下命令.
2024-10-06 08:44:15
1317
原创 释放centos7.9的缓存
通过free -g，发现内存太少，缓存占用太多。如下图：执行：命令的作用是清空Linux系统的文件系统缓存。具体来说，这个命令会将文件的内容设置为1，从而告诉内核释放部分缓存。
2024-10-03 18:03:12
938
原创 “git“ clone --config core.filemode=false “https://github.com/AUTOMATIC1111/stable-diffusion-webui-as
致命错误：无法访问 'https://github.com/AUTOMATIC1111/stable-diffusion-webui-assets.git/'：Error in the HTTP2 framing layer。正克隆到 '/home/third_party_app/llm/stable-diffusion-webui/repositories/stable-diffusion-webui-assets'...
2024-10-03 17:42:24
1295
原创 Centos7上安装更高版本的gcc及g++
注：编译源代码工程，会要求gcc的更高版本，而CentOS 7默认的软件源中没有提供这么新的版本，你可以通过以下方法来安装更新的GCC版本。c++: 错误：unrecognized command line option ‘-std=c++17’。注：发现没有SCL仓库。
2024-10-03 16:51:36
1329
原创 离线安装 docker 和 docker-compose
rm -rf docker/下载地址：cp docker-compose-darwin-x86_64 /usr/local/bin/docker-composedocker.service的内容如下：[Unit][Service][Install]docker -v。
2024-09-09 19:19:29
1516
2交通地址库、道路路网台账管理、交通事故上图、交通多发点段分析、交通安全隐患闭环管理
2024-08-04
基于海康设备+srs搭建直播系统V1.0.pdf
2021-03-20
基于srs+obs搭建直播系统V1.0.pdf
2021-03-16
多维分析 ROLAP的概念
2010-01-25
mondrian的基本模式
2010-01-25
数据挖掘 weka 中文教程
2010-01-25
ETL工具Kettle中文用户手册
2010-01-25
三维分析1
2008-03-26
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人