- 博客(5)
- 收藏
- 关注
RSS订阅原创 挑战纯CPU最低成本推理极限：四路E5服务器装机与模型优化(持续探索优化中)
对于家养服务器购买建议是, 不要直接买准系统, 只买原装的主板和电源就够了, 机箱和风扇自己DIV, 因为原装考虑到原工作场景, 给2U机箱的体积和高度有限, 四颗高功率CPU散热会出问题, 原装采用的是几个暴力工业风扇解决, 小风扇配滚珠轴承声音非常尖锐而且还吵, 因此机箱和风扇建议自己DIV, 买4U的通用机箱增加高度, 然后换更大号的静音磁悬浮风扇来解决噪声问题.与exo项目不同的是, 他使用的是树形结构, 根节点将模型的所有切片分发给 worker 节点。左下是并行, 右下是llamacpp。
2025-02-20 22:09:25
1165
3
原创 笔记本本地部署100b以上千亿级别LLM，并在手机端接入
本文将演示如何在笔记本上运行千亿级模型，后端 Koboldcpp 运行在 Ubuntu ，前端界面使用安卓手机通过 Termux 且使用 SillyTavern 进行连接，模型使用 104B 的的 Q4KM 量化，以及 123B 的的 Q3KM 量化作为演示，两者模型的性能强悍，中文表现良好，可匹敌早期的 GPT-4-0314。
2024-07-28 23:53:12
3177
原创 实机演示联想拯救者R7000P安装Ubuntu Server与Win10双系统
本人使用的是UEFI，首先找一块未分配的空闲空间, 分配50G左右的预留空间用来存放ubuntu，如果该硬盘上没有efi启动引导盘符，则还要分配1G大小的盘符用来作为启动引导盘，本人已经有一个837MB大小的efi的boot引导盘, 后续win和ubuntu的启动引导信息都会被放在这里，这里选择下图未分配的51.12G空间, 选择新建简单卷, 一路下一步即可，efi的引导盘同理。Win端使用SSH可使用NxShell，安卓端可使用Termius，或者直接终端使用ssh都行，根据个人习惯而定，这里不多赘述。
2024-07-28 19:20:30
3693
原创 手机安装系统部署LLM的方法
首先模型选择GGUF格式, 选择Q4_K_M或Q5_K_M量化手机内存8~12G或以上均可尝试, 参数一般选择7~13B以下是模型推荐及其大小, 需根据手机内存实际情况选择:Hermes-2.5-Yi-1.5-9B-Chat-i1-GGUF (中文模型, Q4量化5.33G, Q5量化6.26G)Qwen2-7B-Multilingual-RP-GGUF (中文模型, Q4量化4.68 G, Q5量化5.44 G)
2024-07-16 17:30:41
1793
原创 LeetcCode困难题——奇妙序列扩展欧几里得算法解法
也是为了符合题目要求，先考虑初步的思路，目前只考虑在data数组中已元素且在此之前还没有进行任何addAll和multAll操作的情况，此时再开始进行加与乘操作，如果想在。，因此相较于费马小定理的快速幂，可以更快的得出逆元，本题在append函数实现求逆操作并整合到data中，并且在getIndex中获取。，这里的t就是本题要求的逆元，同样采用递推的思路来减少时间和空间开销，为了实现递推，可以设。，会无法通过本题，对于值溢出的情况，需要在每次涉及到运算的地方取模。
2023-12-03 23:13:04
92
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人