
大模型
文章平均质量分 89
相国
抱歉有些留言回复可能没看到,CS硕士,
文本挖掘、DM算法、Python数据、Java后端
展开
-
小记大模型本地部署:vllm, lmdeploy, ollama
记录一下最近折腾的大模型本地部署。尝试了vllm、lmdeploy、ollama原创 2025-02-14 14:22:01 · 1039 阅读 · 0 评论 -
简易版RAG实现
又实现了一次简易的RAG系统: 向量数据库用chromadb,但应该不如Milvus-lite好。页面交互用streamlit,研究了很久chat_input控件以及div悬停静止的效果,AI辅助开发需要多练才能精进。原创 2025-01-27 01:18:38 · 760 阅读 · 0 评论 -
EchoMimicV2的部署使用
EchoMimicV2的部署踩坑:xformers-0.0.28.post3装不上换了0.0.26+post1;torch降到2.3.0 并根据cuda版本全套库换成+cu118。模型权重文件下载也是用huggingface-cli download 方式;还修改了app_acc.py的代码。原创 2025-01-24 23:27:56 · 1224 阅读 · 0 评论