- 博客(8)
- 收藏
- 关注
RSS订阅原创 Deepseek项目如何落地？落地中有哪些需要考量?落地后维护怎么办？【大模型学习笔记】大模型小知识-汇总。
32B就是320亿参数，现在有1.5B，7B，8B，14B，32B，70B，671B的模型，除671B以外都是蒸馏出来的。对于使用者的体验，输出8-10的Token是最低人类可以接受的底线（类似于每秒24帧的视频），比较舒服的的体验是输出15Token往上（类似于每秒30帧的视频），也就是个正常水平。我身边的小伙伴自己写了个脚本，做并发测试，如果绕过管理工具的鉴权和数据（别问我这是啥，我也是初学者，没搞明白，你就听结果就行），并发性能有质的飞跃，同时失败请求降为0。由此，大模型的优化比建设大模型更加重要。
2025-02-23 00:02:15
1097
原创 律师行业/团队，如何以最低成本搭建基于Deepseek大模型的知识库。使用Docker在Openwrt或Homelede中安装RagFlow。
之所以想在Openwrt中安装RagFlow，是因为本地部署大模型的成本太高了。根据我的测试32BQ4和70BQ4版本基本上不太能用（可能我的要求太高）。32B、70B、671B非量化的版本，部署成本太高了，普通家庭根本无法承受。一台可以部署32B非量化版的机器，大概配置是2块L20 48GB显卡，28000元一块，再加上主板、CPU、内存等部件，一台机器的价格接近80000元了。远非普通家庭和团队可以投资的。所以还是购买Token使用云端大模型，经济上比较划算。
2025-02-22 20:24:40
1034
原创 在Openwrt或Homelede安装git后，git时出现git: ‘remote-https‘ is not a git command. See ‘git --help‘错误的解决方案
原因：没有安装git-http。安装git-http。
2025-02-22 19:28:27
347
原创 Openwrt或Homelede软件源更换
原文链接：https://blog.youkuaiyun.com/xixihaha130/article/details/140950293。以上软件源，我没有全都测试，自己写进去，能用哪个用哪个。准备安装git时，发现软件源已经失效，寻找了新的软件源更新进去。官方 （国内使用下载安装很慢）中科大（使用没问题）教育网（使用没问题）腾讯网（使用没问题）
2025-02-22 19:18:02
1089
原创 在OpenWRT或Homelede中安装Docker-Compose
1.下载并安装Docker-Compos，安装以下命令顺序执行。或给所有人安装Docker。
2025-02-22 18:41:13
248
原创 在VM Workstation中创建的Homelede进行磁盘扩容
目标：Homelede的VMDK文件磁盘只有2GB，现在要扩容磁盘，满足Docker用量。3.回到Homelede系统中，进行分区和扩展文件系统。2.输入想要扩容到多大容量（不包含原始容量），点扩展。1.关机状态，打开虚拟机设置，并扩展。
2025-02-22 16:33:18
208
转载 Ubuntu 22.04 的虚拟机，分配了磁盘为 100GB，但在系统里看却只有 48 GB的解决方案及原理
是一个物理卷 (Physical Volume)，它被添加到一个卷组 (Volume Group) 中，然后从卷组中创建了一个逻辑卷 (Logical Volume)，即。卷组 ubuntu-vg 还有 49 GiB (Free PE / Size) 是空闲的，这俩加起来的 98 GiB 就是我们预期的。今天创建了一个 Ubuntu 22.04 的虚拟机，分配了磁盘为 100GB，但在系统里看却只有 48 GiB。把另外 49 GiB 的空闲空间，扩容到这个卷组 ubuntu-vg 就好了。
2025-02-22 16:24:05
92
原创 Homelede 通过VM Workstation创建后，修改IP地址
注：通过VM Workstation创建Homelede时，选择网络NAT方式，避免内网IP地址冲突。2.关机后，修改网络为：桥接模式。
2025-02-22 16:15:31
87
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人