木卫二号的专栏

Tesla系列GPU默认开启了ECC(error correcing code,错误检查和纠正)试了试，显存多出1.5G左右。建议开启ECC，GPU可靠性高。开启ECC 提升数据可靠性，可用内存的减少和性能上的损失。关闭ECC，释放完整显存，​性能优化，数据错误风险增加。

速度还是可以的,一般问题都OK的，其他性能还要再测测。

速度挺快，简单的快5秒，复杂的就长了20秒+也可以使用hf-mirror在线下载。速度挺慢的，30秒+，有时更长。效果不好评判，只有自己试用。deepseek

Ollama-TeslaP40-Qwen2.5-Coder-32B

【代码】第四十二篇-离线升级Ollama-V4.1。

【代码】第四十一篇-Docker安装Neo4j

本文介绍用自己编辑ollama-webui,链接本地ollama。

以上文本，在P40中大概20秒生成，GPU显存消耗 2126MiB GPU 90%~100%可以先下载CosyVoice-300M-Instruct与CosyVoice-ttsfrd。

TeslaP40-SenseVoice部署,速速杠杠的，P40默认跑SenseVoice，识别1分钟的音频3秒完成，识别的准确率还是很好的，有待进一步测试。

【代码】第三十七篇-OpenCompass评测InternLM-1.8B。

基于MedicalGPT微调大模型，PT,SFT,RM,RL

llm任务进行基准测试，包括AI2推理挑战、HellaSwag、MMLU等。

https://github.com/shibing624/agentica （原项目名：actionflow）该项目可以学习如何构建Agent，可以使用ollama。

AnythingLLM专属私有知识库,可以使用本地OllamaLLM模型，可以上传文件，基于文件回答问题。

【代码】第三十二篇-Ollama+Lobe-Chat基本集成配置。

本文介绍使用oneapi+ollama实现openai接口实现。

【代码】第三十篇-Ollama-TeslaP40-Ollama-Qwen2-57B等速度。

第二十九篇-LM Studio设置国内模型源。

Tesla-P40还是挺令我惊讶的，14B模型速度还是非常好的，有机会大家可以用来试试。

可以查看已有下载的modlefile文件内容。等等一段时间会提示完成。

修改ollama配置使其可以监听0.0.0.0和修改端口，可以外网访问。

ollama-离线安装,使用离线方式安装ollama。

ollama-在线安装，运行速度相当不错。

该数据集旨在为大型语言模型（LLM）的训练提供优化的数据处理流程，并使用datatrove库进行处理。FineWeb的性能已超越了RefinedWeb等其他高质量网络数据集。数据集许可: Open Data Commons Attribution License (ODC-By) v1.0。FineWeb是一个由Hugging Face提供的大规模英语网页数据集，包含超过15万亿个经过清洗和去重的token，源自CommonCrawl。

替换ElasticSearchGoLang资源占用少，可ES的API相关连接。

一般CPU,1B 7B 模型，int4量化还是可以用用的，更大模型推荐GPU。

CPU利用2600%左右，42G内存，如果更强的CPU估计还是能到4倍速度吧速度还是可以的，0.6 tokens/s 这个速度还是很慢的，测试一下还是可以的，毕竟是70B的模型呀，继续研究中。

CPU利用2000% 24线程可再大些速度还是可以的，4 tokens/s 继续研究中，这个CPU还是可以的，要是换成AMD高级CPU估计效果更好，主要是不用GPU。

https://aifasthub.com/modelsAI快站可下载你希望快速的模型权重文件

Awesome ChatGPT Prompts——一个致力于提供挖掘ChatGPT能力的Prompt收集网站https://prompts.chat/Awesome ChatGPT Prompts【英文】Awesome ChatGPT Prompts【中文-百度翻译】

Awesome ChatGPT Prompts——一个致力于提供挖掘ChatGPT能力的Prompt收集网站。2023-11-16内容如下。

我们强烈推荐使用 huggingface 官方提供的 huggingface-cli 命令行工具进行模型文件的下载。默认使用多文件并行下载，速度更快。（如需更极致的下载速度，可对文件链接用其他多线程下载工具下载，默认不推荐）域名 hf-mirror.com，用于镜像 huggingface.co 域名。支持排除特定文件或指定特定文件下载，便于用户自定义下载内容。支持指定镜像 endpoint，可直接使用本站镜像服务。支持断点续传，避免因网络中断而导致的文件损坏。推荐一个Huggingface-镜像网站。

【代码】问题处理-libcudart.so.11.0: cannot open shared object file: No such file or directory

【代码】第十三篇-Tesla P40+ModelScope+Gradio+QWen-14B-Int4。

本文主要实现Qwen-7B-Chat与MindChat-Qwen-7B的简单部署与测试

简单好用(当然速度不是最快的)，支持多种方式加载模型，transformers, llama.cpp, ExLlama, AutoGPTQ, GPTQ-for-LLaMa, ctransformers支持多类模型， Llama-2-chat, Alpaca, Vicuna, WizardLM, StableLM等图形化界面聊天，微调。

我下载模型放在/models/vicuna-13b-v1.5，可以自己定义目录。2.Tesla P40性能还是不行,一个你好要回答15秒。1.内存消耗，8bit需要14G显存。一个一个下载，26文件下载比较耗时。3.后期准备找个性能更好的显卡试试。登录加载完成就可以体验了。

格式化自我意识数据用于ChatGLM微调。

Tesla P40+ChatGLM2+LoRA+CentOS7

data/train.json【自我意识-训练数据train.json】我使用和train.json一致，正式使用是要使用真实数据。train_loss 要小，如果1,2这种未调出的效果很差。可以替换【AI小木】【小吕】来构建你自己的自我认识数据集。我的是/models/chatglm2-6b。如果调整了数据集，要清理缓存，缓存目录如下。显卡：Tesla P40 24G。下载模型相关文件到自己目录。系统：CentOS-7。修改 train.sh。