- 博客(3)
- 收藏
- 关注
RSS订阅原创 准备投简历，记录一下今天学习的defination
4、Tensor RT是nvidia gpu加速模型推理的策略，具有两个优点可以加速模型推理的速度：1、对可合并算子进行合并运算，配置资源使资源利用最大化，无需重复调用计算策略2、模型训练的float精度较高，推理所需的float精度可由Tensor RT来设置，提升推理效率；5、conv深度学习的卷积算子，bn神经网络层的归一化算子（含均值和方差），relu深度学习的激活函数算子；7、损失函数(loss)是由最后激活层导出的预测值与真值间的差值所构造的函数，确定二者是否接近输出的关键证据。
2024-07-24 14:49:51
547
原创 基于Autodl云服务器微调专属你的GLM4-9B-Chat的LLM
1、过程中遇到很多很多的问题，徒耗了好多精力和时间，就比如这个因为我是下载的最新权重参数模型，所以下载下来的transformers版本是最新最新的，导致LLaMA-Factory的一些文件虽然requirement是这么写的，
2024-07-23 17:58:54
1855
1
原创 如何正确理解LLM中的Prompt和Instruction？
Prompt是先驱，但它是Instruction的训练数据的一员，不能脱离目前的角色而单独行动，不能既要她是甄嬛，又是霍金，除非好多的Prompt数据（其中各种角色扮演）你能问他好多问题，它可以一会儿是男的，一会儿是女的，根据你问他问题的不同随时切换，一条Prompt控制一种角色扮演。
2024-07-16 11:09:19
2018
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人