- 博客(22)
- 收藏
- 关注
RSS订阅原创 【实践】VLLM显存暴增 | 多卡推理 | 批量推理
用两张A800跑Llama3-8B，按理说显存占用应该在16G以上，浮动2~3G，但是发现显存直接拉满了，一共花了140G发现通过vllm.LLM创建模型时，有个参数控制GPU的使用量，其默认值为0.9，正好是140/160将改成0.15，也就是160*0.15 =21G时，模型运行正常，且显存占用压到了21G但问题就来了，为什么16G的模型在设置的时候，会占用140G的显存呢，除了模型本身的参数之外，显存里面还装了什么东西？在 vLLM 中，我们发现 LLM 服务的性能受到内存的瓶颈。
2024-04-23 22:39:37
17043
9
原创 【LangChain】如何优雅的构造prompt
我们要想自定义一个prompt，习惯行写一个txt文档，里面放prompt_template构建prompt时，先定义变量，导入template之后，替换掉对应变量这样一类prompt就对应着一个template（txt文件）,以及一个构造函数，文件一多就很烦。
2024-04-11 21:57:28
803
原创 什么是生成文本的采样策略，如何实现？
采样”（sampling）是指在文本生成过程中从模型的概率分布中选择词汇的过程。在自然语言处理和特别是在使用语言模型生成文本的过程中，用于决定下一个时间步生成哪个词。
2024-03-03 15:37:44
484
原创 什么是梯度裁剪
1. 梯度裁剪的主要目的是防止梯度爆炸问题，即梯度的值变得非常大，导致模型无法正常学习。2. 在差分隐私中，梯度裁剪还有助于限制单个数据点对模型更新的影响，从而提高隐私保护。，对于计算出的每一个梯度，计算其L2范数（即梯度向量的长度），则将梯度裁剪（缩放）为。：确定一个梯度裁剪阈值。
2024-03-02 12:08:47
608
1
原创 面向对象知识恶补
实例：车间工厂类生产螺母类、螺丝类、锤子类三种产品，客户端通过参数从工厂类中获得螺丝类实例，当螺丝类的生产（实例化）过程发生改变时，只需要修改工厂类中实例化的代码，客户端代码不动。有一个单独的工厂类，你可以传递一个参数到工厂类的静态方法（工厂类不被实例化），工厂类根据参数的不同返回不同类的实例。可以通过类直接调用，而不用创建类的实例，多用于工具或帮助类（比如工厂类）优点：让类的实例化延迟到子类中进行，客户端代码不直接实例化对象，而是通过工厂类来完成，这样客户端代码从具体类中解耦，依赖于接口/抽象类。
2024-02-28 10:28:33
151
原创 差分隐私（differential privacy）
用来保护用户隐私，但用户不确定企业是否将隐私匿名化，以及匿名化的程度。Netflix发布了电影评分数据集，包括100M条评分，480k用户，17K电影，并匿名化处理，但有研究者结合Netflix和IMDB数据库，成功识别出一些人；匿名化后的马萨诸塞州的医疗记录和选票记录相结合，发现符合州长的邮编、出生日期、性别只有一人，因此暴露了州长的医疗记录。”，在已知噪声分布的前提下，给出一些补偿，最终得到一个相对准确的统计结果。当企业需要用户的数据提升自己算法的性能，用户担心数据隐私遭到泄露时，矛盾便出现了。
2024-02-27 16:25:18
417
原创 A dependency job for cockpit.service failed. See ‘journalctl -xe‘ for details.
ubuntu安装cockpit
2024-02-26 17:22:39
553
1
原创 linux部署Mixtral-8x7B-Instruct实践（使用vLLM/ transformer+fastapi）
Linux下用vLLM本地部署Mixtral-8x7B-instruct，部署成功
2024-02-16 22:19:52
3759
原创 北邮机试-IP地址
看了AC代码，使用了sscanf（从字符串中读取数据）方法，哦，原来这道题考这个。将string类型转化为符合c语言的char *类型。
2023-03-18 13:20:36
158
原创 北邮机试题-IP数据包解析
因为cin, scanf等输入都会省略这个多余的换行，但是getline不会，于是就把换行读入作为一个数据了，所以要在输入T之后，使用cin.get()把多余的换行符读出来。使用getline时，假如前面已经有一个输入T，我们默认输入T之后敲回车，如此读入T的同时，也在输入流中多加了一个回车。
2023-03-17 11:17:04
144
原创 最小距离查询
最小距离查询时间限制 1000 ms 内存限制 65536 KB题目描述给定一个由小写字母 a 到 z 组成的字符串 S，其中第 i 个字符为 S[i]（下标从 0开始）。你需要完成下面两个操作：INSERT c 其中 c 是一个待输入的字符。你需要在字符串的末尾添加这个字符。保证输入的字符同样是 a 到 z 之间的一个小写字母。QUERY x 其中 x 是一个输入的整数下标。对于这个询问，你需要回答在 S 中和 S[x]相等且与 x 最近的距离。输入保证 x 在当前字符串中合法例如 S = “
2023-03-15 15:34:29
147
原创 【无标题】
题目统计节点个数时间限制 1000 ms 内存限制 65536 KB题目描述给出一棵有向树，一共有 N(1<N≤1000)个节点，如果一个节点的度（入度+出度）不小于它所有儿子以及它父亲的度(如果存在父亲或儿子)，那么我们称这个节点为 p 节点，现在你的任务是统计 p 节点的个数。如样例，第一组的 p 节点为 1,2,3；第二组的 p 节点为 0。输入格式第一行为数据组数 T(1≤T≤100)。每组数据第一行为 N 表示树的节点数。后面为 N−1 行，每行两个数x,y(0≤x,y<
2023-03-15 11:45:22
75
转载 解决Maven项目pom.xml文件出现红叉但是没有错误信息
1.首先看一下下面的这两个项目，一个是新建的，一个是原来的老项目2.myEcplise中是点击如下图 Maven4MyEcplise, Ecplise中也是右键，只不过点击Mavene而已，两个一样3. 强制更新Maven4.一会 红叉就消失了...
2021-10-18 16:50:20
2553
1
原创 操作系统理论和应用的交互理解
操作系统概念：操作系统是一组能有效的组织和管理计算机硬件和软件资源，合理地对各类作业进行调度，以及方便用户使用的程序的集合。应用：操作系统也属于软件，在开机时首先被加载到内存：操作系统一般由bootloader从存储设备加载到内存里。bootloader也是一段程序，一般也是放在在存储设备上的。x86 的机器上一般由系统固件 BIOS 或者 EFI 固件将bootloader加载到内存里。固件其实也是一段程序，不过是烧在主板的某个芯片里的，格式和硬件加载的方式都是由标准定义的。h内存概念：
2021-10-15 17:08:33
264
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人