- 博客(5)
- 收藏
- 关注
RSS订阅原创 RAG+Agent 实战 llama-index+ollama 本地环境构建rag、agent
设置嵌入模型和语言模型Settings.embed_model = OllamaEmbedding(model_name="yxl/m3e:latest") # 使用指定的嵌入模型Settings.llm = Ollama(model="qwen2.5:7b", request_timeout=360) # 使用指定的语言模型# 初始化 Chroma 客户端，指定数据存储路径为当前目录下的 chroma_db 文件夹。
2024-10-05 19:48:20
3407
1
原创 vllm实战：简易部署glm-4-9b-chat
max_model_len（最大长度）, tp_size（显卡数量） = 8192, 1。本次测试选用阿里云dsw a10 24g。本次测试选择glm4。
2024-10-04 13:32:44
1001
原创 ollama实战(二): gguf 格式部署及转换方式（llamacpp）
对于gguf格式（加载快），使用llamacpp进行量化，适合自己微调的模型量化后或者格式转化后再使用ollama部署。
2024-10-01 18:26:22
1767
1
原创 ollama实战(一) ：部署自己的模型（Safetensors格式）
对于llama-chinese-8b进行ollama环境创建 Safetensors格式（这个格式推理比较慢）注:8b模型(safetensors)创建过程约会消耗60g内存。注：大约占16个g显存，gguf格式约占6个g。文件内容（即你的模型路径）file 及你创建的文件名。
2024-10-01 18:23:25
10541
原创 llama-factory实战: 基于qwen2.5-7b 手把手实战 自定义数据集清洗 微调
准备工作1.数据集准备（例:民法典.txt）2.服务器准备（阿里云 DSW 白嫖）3.环境配置pip 升级模型下载微调助手4.数据集处理脚本文件4.1文本分割(bert-base-chinese)4.2数据集生成4.3.1数据集转换（只有一个数据集）alpaca格式4.3.2训练集验证集划分（两个数据集）alpaca格式5.开始微调5.1配置文件修改5.2进入微调ui5.3修改参数即可训练5.4训练结果6.测试评估7.模型对话8.模型合并9.模型量化。
2024-09-29 15:25:18
12779
10
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人