- 博客(6)
- 收藏
- 关注
RSS订阅原创 利用ktransformers框架，本地运行671B DeepSeek-Coder-V3/R1教程。
使用其 Q4_K_M 版本，仅需 14GB VRAM 和 382GB DRAM 即可运行。支持在单个（24GB 显存）/多个 GPU 和 382GB 内存上运行 DeepseekR1 和 V3，速度提升高达 3~28 倍。我们在以下配置下进行了最佳性能测试（V0.2）：CPU: Intel (R) Xeon (R) Gold 6454S 1T 内存 (2 NUMA 节点)GPU: 4090D 24G 显存内存: 标准 DDR5-4800 服务器内存 (1 TB)操作系统ubuntu22。
2025-02-18 13:41:43
383
原创 建一个openai 的api代理
国内想访问opanai的api，可以自己建一个代理服务器，很简单。然后部署一个Nginx，改配置如下，就可以了。我搭建了一个测试的服务地址，临时测试可以共享。1、一个外国的服务器和固定ip；
2024-11-19 09:37:26
445
原创 让你的大模型具备联网的能力
1、你需要一台服务器，部署searxng服务。如果部署再境外服务器上，就拥有了搜索google的能力；大模型联网可以解决很多实时的问题，并能提升回答的准确度，如何让大模型免费的具备联网的能力呢？这样，即使你使用的是小参数的大模型，在很多问题的回答中，准确性超过大参数的大模型。3、结合搜索的结果和大模型自身的回答，再融合成一个完整的答案，返回用户。2、大模型用户问题，首先调用searxng的api，返回搜索的结果；其实很简单，只要三步。
2024-11-18 16:39:06
1860
原创 简洁快速配置GRAPHRAG，实现下一代的RAG技术
昨天尝试配置了一个graphrag，也看了各种教程，都有这样那样的问题，所以我总结一个简单的教程。
2024-08-01 09:19:11
829
原创 初创公司如何最低成本的搭建一套属于自己的IT工作环境
初创公司一般资金都非常紧张，但是因为市场宣传、文件管理、办公管理、项目项目管理、售后管理等的需要，如何花最小的代价，搭建一套支持现场、远程等办公的环境，支撑初创公司的运转呢？有了上面的域名和服务器，就可以利用免费系统搭建企业网站和电子邮箱了。免费的网站系统也做得很好的，手机也可以访问网站，有一个专属企业的域名和邮箱，可以印刷到名片上，瞬间就让人感觉到企业实力提升了不少。基本上花费再200元内，就把企业的全套工作环境搭建起来了，基本满足初创企业在内部oa、宣传、文件管理、项目管理、售后管理等的需要了。
2024-05-28 10:58:54
247
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人